Diverse OpenAI - sjukt imponerende AI

[Harry Stoteles]

Takk, @coolbiz og @weld77

Hele paperet i tilfelle fler er interessert:

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

Despite widespread adoption, the impact of AI tools on software development in the wild remains understudied. We conduct a randomized controlled trial (RCT) to understand how AI tools at the February-June 2025 frontier affect the productivity of experienced open-source developers. 16 developers...

arxiv.org

 

[Asbjørn]

Takk, @coolbiz og @weld77

Hele paperet i tilfelle fler er interessert:

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

Despite widespread adoption, the impact of AI tools on software development in the wild remains understudied. We conduct a randomized controlled trial (RCT) to understand how AI tools at the February-June 2025 frontier affect the productivity of experienced open-source developers. 16 developers...

arxiv.org

Interessant, takk!

Surprisingly, we find that allowing AI actually increases completion time by 19%--AI tooling slowed developers down.

 

[tjua]

Det er nå, og vil nok vedvare en liten tid (og liten her er mye mindre en en StTing periode). Men jeg tror at, på lik linje med alt annet KI trener til og på, så vil dette fort passere.
Legg til, og her gjetter jeg, at de cyberkriminelle vil ta dette i bruk og utvikle sine modeller rimelig kjapt som blir lagt ut for salg til en rimelig billig penge sammenlignet med prisene de kommersielle techno oligarkene tilbyr
så spørs det når den kunnskapen, og modellene, tilflyter resten av samfunnet. Kanskje ikke like kopier, men mekanismene og metodene kan helt sikkert gjenbrukes til andre formål en ren kriminalitet

 

[Asbjørn]

Som noen har lagt merke til er jeg noe mindre aktiv her på off-topic i sommer enn tidligere. Det er mest fordi jeg bruker tid på et kode-prosjekt som etterhvert skal opp på GitHub. Det er nokså sære greier, men godt utenfor hva jeg kan forsvare som en «byggetråd» på HFS.

Koden skrives for det meste i standard C (C11/C17) med noen rutiner i assembly (AMD64/x86-64 arkitektur). Jeg bruker CLion IDE, CMake/Ninja build system, og gcc/clang/mvsc/nasm kompilatorer for å kunne kompilere både på Windows og Linux. Det er noen år (ca 30) siden jeg skrev C-kode på årntli’, så jeg er nok litt rusten i faget, men ikke helt grønn.

Det jeg opplever er at GitHub Copilot og dens auto-complete i CLion bare er irriterende. Den kommer med forslag som mest avsporer tankerekken og fører til at jeg må bruke tid på å rette i stedet for å formulere det jeg allerede har tenkt. Omtrent like irriterende som gamle Clippy, eller som når Copilot tilbyr seg å «hjelpe» meg med å formulere en email eller et Word-dokument. Den kan jo ikke vite hva jeg har tenkt å si, så gå vekk, please.

Derimot opplever jeg at Google Gemini 2.5 Pro nå er på et nivå som kan være nyttig. Ikke til å generere kode, selv om den gjerne vil, men som en «bollplank» og diskusjonspartner i steget før, hvor man prøver å klekke ut datastrukturer og algoritmer for å løse oppgaven. Hvis jeg beskriver et konkret problem, gir tilstrekkelig kontekst, beskriver hvordan jeg tenker å løse det, og spør Gemini om hva den synes om det, kommer det ofte nyttige tilbakemeldinger om alternative måter å løse det på, gotchas jeg ikke har tenkt på, spesialtilfeller som må håndteres, osv. Når den kommer med kodesnutter som forslag leser jeg det mest som en illustrativ presisering av hva den forsøker å forklare, ikke som noe man kan copy/paste til koden. Så kan man fundere litt mer, gjenta prosessen en gang eller to, og ende opp med noe langt bedre enn det første utkastet.

Det er på et nivå sammenlignbart med å diskutere løsningsskisser med en noenlunde pålest kollega. Ikke sånn at man blir «awestruck» av at den kan og vet «alt», noen ganger tar den helt feil, er sjelden så presis at man kan bruke forslagene direkte, men ganske ofte nyttig som en del av prosessen. Og det er jo ganske imponerende i seg selv.

 

[tjua]

Litt om konsekvensene av KI som kan komme ganske så kjapt

TCS: India's AI-driven tech firings could derail middle class dreams

India's largest IT services company has announced it will reduce its workforce by 2% as it gets future ready for AI.

www.bbc.com

kan være alvorlig for de samfunn som har stor s/w industri.. ihvertfall

 

[weld77]

Litt om konsekvensene av KI som kan komme ganske så kjapt

TCS: India's AI-driven tech firings could derail middle class dreams

India's largest IT services company has announced it will reduce its workforce by 2% as it gets future ready for AI.

www.bbc.com

kan være alvorlig for de samfunn som har stor s/w industri.. ihvertfall

Tja at menial jobs (og de er det ganske mange av innen IT) kan automatiseres bort overrasker meg ikke. Men den nåværende generasjonen av LLMs er ikke i nærheten av å kunne erstatte faktiske programvareutviklere og jeg har en ganske tung følelse av at fascinasjonen for dette er økende jo mindre man kan om programmering av faktiske peogrsmvaresystemer som skal brukes til noe. Å kunne generere noen kodelinjer fra et prompt og løse temmelig stiliserte og snevert definere problemer er imponerende nok men det er ikke det slaget faktisk står. Selv tilsynelatende enkle ting har titusenvis av linjer kode. Som et fun fact så er referanseimplementasjonen for å beregne triggonometiske funksjoner - tilsynelatende en triviell oppgave - et par tusen linjer c-kode som er optimert i huet og rævva over tiår.

For et lekepeosjekt på gutterommet er slikt uvesentlig selvsagt - i den virkelige verden not so much. Har er par på jobben som er helt ekstatiske for chat-gpt sine kodeevner. Ingen av de vet hva forskjellen på en int og en long er for å si det slik.

 

[tjua]

Tja at menial jobs (og de er det ganske mange av innen IT) kan automatiseres bort overrasker meg ikke. Men den nåværende generasjonen av LLMs er ikke i nærheten av å kunne erstatte faktiske programvareutviklere og jeg har en ganske tung følelse av at fascinasjonen for dette er økende jo mindre man kan om programmering av faktiske peogrsmvaresystemer som skal brukes til noe. Å kunne generere noen kodelinjer fra et prompt og løse temmelig stiliserte og snevert definere problemer er imponerende nok men det er ikke det slaget faktisk står. Selv tilsynelatende enkle ting har titusenvis av linjer kode. Som et fun fact så er referanseimplementasjonen for å beregne triggonometiske funksjoner - tilsynelatende en triviell oppgave - et par tusen linjer c-kode som er optimert i huet og rævva over tiår.

For et lekepeosjekt på gutterommet er slikt uvesentlig selvsagt - i den virkelige verden not so much. Har er par på jobben som er helt ekstatiske for chat-gpt sine kodeevner. Ingen av de vet hva forskjellen på en int og en long er for å si det slik.

Det er vel litt det samme som @Asbjørn også peker på
men dette vil jo ikke vare evig, jeg tror nok at dette overkommes relativt raskt. Det blir fort en kost/nytte med utdanning/opplæring av de menneskelige faktorene (som også kan inneha noen neste uhåndterlige egenskaper) vs bare la datamaskinene jobbe døgnet rundt, året rundt.
Men som alltid, vanskelig å spå…

 

[Bergfinn]

Interessant det du nevner @Asbjørn.
Jeg har en kollega som liker å tukle med programmering
og han nevner også Gemini i nyeste versjon som en konstruktiv diskusjonspartner
som korter ned tiden betraktelig på div. utfordringer.
Men som du sier, og også han, spørsmålene må stilles på en og gjennomtenkt og riktig måte
for å få mest mulig utbytte av Gemini.

Han sier at en ny verden har åpenbart seg i hvor mye raskere koder kan fullføres pga Gemini.

For egen del, har jeg ikke filla peiling på hva dere holder på med.

 

[weld77]

Det er vel litt det samme som @Asbjørn også peker på
men dette vil jo ikke vare evig, jeg tror nok at dette overkommes relativt raskt. Det blir fort en kost/nytte med utdanning/opplæring av de menneskelige faktorene (som også kan inneha noen neste uhåndterlige egenskaper) vs bare la datamaskinene jobbe døgnet rundt, året rundt.
Men som alltid, vanskelig å spå…

Du må huske på at nesten alt du eller jeg kan finne på å spørre om finnes er svar på ett eller annet sted derute. Sånn sett er ikke programmering spesielt. Jeg er ikke god innen faget men har i det minste en ide om hva det går ut på og jeg er tung bruker av stackoverflow og lignende når jeg står fast.

Det er selvsagt mulig at ting tar helt av og disse modellene blir genuint dritsmarte men det er greit å huske på hva de faktisk er og det er språkgeneratorer. Det er en enorm forskjell på det å lage noe som er riktig basert på en kjent problemstilling og komme opp med noe genuint nytt. At en statistisk modell skal komme på ny fysikk eller annet som faktisk er korrekt har i alle fall jeg vanskelig for å se hvordan skal foregå - vitenskapelig fremskritt er ikke akkurat at man genererer ca mest sannsynlige neste setning basert på hva som før er sagt.

Som jeg muligens har sagt før så kan man be en slik modell om å lage en parser for SQL eller et programmeringsspråk eller lage en kompilator som implementerer en rekke kjente optimeringer av koden. Dette er info som er fritt tilgjengelig men har en kompleksitet som er langt utenfor noe slikt (parseren til postgresql er vel ca 15000 kodelinjer og en optimerende kompilator er hundretusenvis av kodelinjer) og knapt noe av det som skjer i slik kode er trivielt.

 

[Asbjørn]

På jobb ser jeg at yngre kolleger har god hjelp av AI-modellene for å få råd og tips. De erfarne, not so much.

Det er også soleklare risikoer der. Vi har en stor software-leverandør som er notorisk for å ta lang tid før du får svar på problemstillinger som meldes inn, og for at svarene som omsider kommer kan være bra arrogante av typen «dette er ikke vårt problem». (Det er ingen stor premie for å gjette hvem dette kan være.)

Plutselig opplevde vi at de ble mistenkelig kjappe og entusiastiske i responsen, type «Kjempebra spørsmål! Dette kan du enkelt løse ved å bruke funksjon X og gjøre Y. Bare si fra hvis det er noe mer du lurer på!» noen få sekunder etter at spørsmålet var sendt inn.

Dessverre viste det seg ganske fort at «funksjon X» rett og slett ikke eksisterte. De hadde f..nmeg koblet en hallusinerende LLM rett på portalen for kundespørsmål og lot den fabulere fritt for å gi inntrykk av hjelpsomme svar. Dette ble eskalert ganske hardt, og snart var de tilbake til sitt normale adferdsmønster, så vidt jeg kan bedømme.

 

[weld77]

Dessverre viste det seg ganske fort at «funksjon X» rett og slett ikke eksisterte. De hadde f..nmeg koblet en hallusinerende LLM rett på portalen for kundespørsmål og lot den fabulere fritt for å gi inntrykk av hjelpsomme svar. Dette ble eskalert ganske hardt, og snart var de tilbake til sitt normale adferdsmønster, så vidt jeg kan bedømme.

De fleste som har vært i kontakt med en chatbot på en eller annen kundeservice har vel også kjent litt på følelsen som ligger et sted mellom å kvele noen, plaffe noen med med maskingæver eller kutte opp noen, fortrinnsvis den ansvarlige for løsningen, med en sløv og rusten kniv. Eventuelt sag.