Diverse OpenAI - sjukt imponerende AI

[jane]

Helseråd fra KI bør du ikke stole på, ifølge ny studie: – Verre enn jeg hadde fryktet

Det er populært å spørre KI-chatboter om råd om sykdom og helse. Men svarene er ofte villedende.

www.forskning.no

Høres ut som en helt vanlig fastlege.
Svarer ofte på noe helt annet enn hva det ble spurt om og hallusinerer i vei om ting som opptar ham selv. Mange av rådene vil jeg også kalle problematiske fordi de er generelle og tilpasset gruppenivå og ikke til min person, mine ønsker eller behov, hvis de i det heletatt har noe med problemstillingen å gjøre.
Og når jeg tenker meg om, så er det veldig lenge siden, enn om noen gang, fastlegen har kommet med litteraturhenvisninger eller annen håndfast dokumentasjon.
Ofte mistenker jeg ham for å ha kokt i hop behandlingsforslagene i sitt eget hode ut ifra egne antagelser, økonomiske fordeler, fordommer og noen kjepphester, og det bør vi jo stole på.

 

[weld77]

Har nå hatt et lite prosjekt gående på jobben med tung bruk av Claude. Det er ikke rakettforskning og langt fra en stor app men det er en kodebase på ca fire tusen linjer , spredt over 10 kildefiler. Må si det er ekstremt imponerende hva den får til og hvor villt tidsbesparende det kan være. Fra en kravspekk i løs prosa til noe som funker bra har det vært overraskende lite jeg har måttet endre på. Det ble ikke riktig på første forsøk og jeg kjenner domenet temmelig godt så det var jeg som identifiserte de prinsipielle feilene men claude fikset de greit når jeg påpekte hva som var galt. Koden som generes (Python) er også mye mer robust, layouten og arktitekturen langt bedre og kodestilen betydelig mer konsistent enn hva jeg gjør.

Jeg skal som nevnt tidligre på ingen måte skryte på meg å være en god programmerer. Jeg kan en del men har ikke fått betalt for det på over 20 år og var den gang da særdels junior.

Som det alltid er, i alle fall for meg, dukker det opp en del ting underveis jeg hadde glemt eller oppdager og så må ting veves inn, det skapte etter hvert litt problemer og da jeg bad Claude om hva den ville gjort dersom den fra børjan visste alt den nå vet ang dette konkrete prosjektet så omorganiserte den koden, logikkflyten, lagde enhetlige dataformater osv for de ymse tingene jeg ville ha gjort og det funket fint på første forsøk.

Dette involverte optimering og jeg ble skikkelig imponert av å se "tenkingen" som forgitt underveis, det var vurdering av et par aktuelle python-biblioteker, test på stadig større datamengder, fant ut at ytelsen var uakseptabel, omformulerte problemet til noe som kunne løses med mye raskere algoritmer, den sjekket selv en del edge-cases der tidskomplesksiteten og minnebruken kunne eksplodere og fant løsninger på det og så burtetter.

Jeg estimerer at jeg ville brukt minst 50 ganger så lang tid på dette selv og det å leie inn en vanlig konsulent til å gjøre noe slikt ville sikkert kostet en svært stor bunke tusenlapper. Nå gjorde jeg det selv innimellom andre arbeidsoppgaver og claude-kostnaden for det er nesten ingen ting.

 

[palmaris]

Det eg liker med Claude er at den kan setja saman presentasjoner, kurs og tekstar på ein god måte på uendeleg mykje kortare tid enn meg sjølv. Faren vil eg tru for mange er at dei ber Claude gjera noko dei ikkje har kunnskap om og soleis manglar mogelegheita til å plukka opp feil. Då vert du fort avkledd...

 

[weld77]

Det eg liker med Claude er at den kan setja saman presentasjoner, kurs og tekstar på ein god måte på uendeleg mykje kortare tid enn meg sjølv. Faren vil eg tru for mange er at dei ber Claude gjera noko dei ikkje har kunnskap om og soleis manglar mogelegheita til å plukka opp feil. Då vert du fort avkledd...

Ja det er jo alltid risken med slikt. Det som, i alle fall i teorien, gjør det ganske egnet til programmering, dataanalyse og slikt er at man kan ha en god formening om hva som er korrekt svar. En litt perifert bekjent som har jobbet som ordentlig programmerer i lang tid sier de (selvsagt) har testet det ganske omfattende på jobben hans men at det når det etter hvert dukker opp problemer kan det være vanskelig å fikse det siden man ikke har den samme forståelsen for hva koden faktisk gjør om man ikke har skrevet den helt selv.

Har også brukt det en del til ting som i seg selv ikke er særlig vanskelig men det tar jo sin tid å skrive koden for å gjøre det og da er det behagelig å bare kunne be om en funksjon som gjør ditt-eller-datt og man får noe som funker i løpet av et par-tre sekunder. Som et litt dustete eksempel er grisete IF-setninger i excel eller litt komplekse where-klausuler i SQL (databasespørringer) der ting konseptuelt er enkelt men det er fort gjort å rote seg bort i mye paranteser og hvor disse skal være og ikke minst få det pent formattert.

Ellers, som det har stått om i avisene en del i det siste, er det ikke vanskelig å se hvorfor dette har rimelig stor innvirkning på typiske startjobber i en del bransjer. Det er ganske mye man gjør som nyansatt som kan være varianter av "grunt work" - alle skjønner jo at man må starte et sted, men dersom mye av dette kan outsources til en KI-modell som jobber billig, døgnet rundt, ikke skal ha foreldrepermisjon og ikke har sykefravær så er det jo fort fristende å i alle fall delvis erstatte vanlige ansatte. Dersom dette virkelig brer om seg kommer det til å bli blodbad i en del bransjer vil jeg tro. Den opplagte innvendingen er at det etter hvert kan bli mangel på erfarne seniorer, men erfaringsmessig er det ikke noen som vil ta på seg ansvaret for å gjøre noe med det - har eksempelvis vært en del murring om at også det offentlige i stadig større grad spesifiserer folk med en del erfraring. Det er forståelig, men konsekvensene burde ikke være veldig vanskelig å se. Nesten som man er litt glad for at man nærmer seg et halvt århundre på jorden.

 

[PeriodeLytter]

En sak jeg er blitt glad i på Github web er å be den innebygde Copiloten om å analysete prosjekter og gi en oversikt over programflyt. Hvor den systematisk lister hvordan funksjoner blir kalt med kodelinjer hvor viktige endringer for programflyt tar plass. Helt genialt om man kløner med åpen kildekode og ønsker endre småting til eget bruk. Eller bare forstå hvordan koden fungerer.