Diverse OpenAI - sjukt imponerende AI

Diskusjonstråd Se tråd i gallerivisning

  • W.Sand

    Hi-Fi freak
    Ble medlem
    02.05.2012
    Innlegg
    3.429
    Antall liker
    5.494
    Sted
    moelv
    Torget vurderinger
    3
    Uten å poste link, jeg lurer på hvor lenge det AI genererte showet " Merkel i knipe" får holde på
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    40.765
    Antall liker
    44.632
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    På den andre siden, det er nettopp den typen «friksjon, prøving og feiling» for å syreteste idéer hvor jeg for tiden har mest nytte av Google Gemini. Dialogen er gjerne av typen «Jeg har problemstilling X. Jeg tenker å løse det ved å gjøre Y. Har du en bedre idé?», «Det er ikke så dumt, men har du tenkt på Z? En alternativ løsning for å ta hensyn til det også kan være følgende». Man må bare ikke tro at tingen er i stand til å skrive koden for deg med mindre det er en rett frem anvendelse av et standard lærebokseksempel. Som illustrative, konseptuelle eksempler holder det derimot i massevis. Da kan man også gå tilbake med et «hmmm, jeg forsøkte å gjøre slik, og dette skjedde». Etter to-tre iterasjoner kommer man fort til noe mye bedre enn hva jeg ville vært i stand til å klekke ut på egen hånd.
     
    Sist redigert:

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    40.765
    Antall liker
    44.632
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Apples nye M5 chip begår drap på skybaserte AI-tilbud. Burde rykke litt i aksjeverdier, dette.
    Det må være vanvittige marginer på slike skytjenester, gitt hvilket gullrush det er etter å bygge fler og at prisene på tjenesten fort utgjør det samme etter to-tre måneder som å kjøpe tilsvarende hardware selv.

    Min nåværende hjemme-PC med en AMD Threadripper 3090x CPU og to RTX 3080 grafikkort gir ca 72 TFLOPS regnekapasitet. I ren regnekraft tilsvarer det 90000 stk Cray X/MP48, Gløshaugens stolthet fra 1984. Begrensningen hos meg er PSU’en på 1,2 kW for korte bursts, deretter selvsagt kjøling for å holde den varmeutviklingen over noe tid. Jeg kjøpte PC’en brukt for 35k. Jeg mener å huske at Cray’en kostet noen titalls millioner 1984-kroner og behøvde noen hundre kW strømforsyning.

    Microsoft forsøkte å selge meg noen skytjenester her forleden. Skryteeksemplet deres var noe om «5000 CUDA-kjerner!» Svaret var av typen «Jeg har 21000 bare på hjemme-PC’en. Gå vekk.»

    Mye av inntjeningen i denne bransjen må hvile på manglende teknisk kunnskap hos de som treffer beslutninger, og desto mer hype og «fear of missing out». Altså en boble. Om Apple bidrar til å punktere den med M5 er det helt OK for meg.
     
    Sist redigert:

    weld77

    Æresmedlem
    Ble medlem
    19.09.2014
    Innlegg
    23.701
    Antall liker
    16.642
    Det må være vanvittige marginer på slike skytjenester, gitt hvilket gullrush det er etter å bygge fler og at prisene på tjenesten fort utgjør det samme etter to-tre måneder som å kjøpe tilsvarende hardware selv.

    Min nåværende hjemme-PC med en AMD Threadripper 3090x CPU og to RTX 3080 grafikkort gir ca 72 TFLOPS regnekapasitet. I ren regnekraft tilsvarer det 90000 stk Cray X/MP48, Gløshaugens stolthet fra 1984. Begrensningen hos meg er PSU’en på 1,2 kW for korte bursts, deretter selvsagt kjøling for å holde den varmeutviklingen over noe tid. Jeg kjøpte PC’en brukt for 35k. Jeg mener å huske at Cray’en kostet noen titalls millioner 1984-kroner og behøvde noen hundre kW strømforsyning.

    Microsoft forsøkte å selge meg noen skytjenester her forleden. Skryteeksemplet deres var noe om «5000 CUDA-kjerner!» Svaret var av typen «Jeg har 21000 bare på hjemme-PC’en. Gå vekk.»

    Mye av inntjeningen i denne bransjen må hvile på manglende teknisk kunnskap hos de som treffer beslutninger, og desto mer hype og «fear of missing out». Altså en boble. Om Apple bidrar til å punktere den med M5 er det helt OK for meg.
    Problemet er vel ikke akkurat "inference" som er hva man gjør hjemme eller når man bruker en klient/app, men treningen av det hele. Å trene modellene krever lett absurde mengder regnekraft og ikke minst tilgang til data å trene de på. Jeg vet ikke hva ratioen er mellom ressurser krevd for å trene vs ressurser som trengs for å svare på et prompt fra den samme trente modellen, men jeg tipper det er et tall med en del nuller bak.

    Jeg har ikke sett på hva som finnes av open-source-ting man kan laste ned, altså modeller med parameterene. Men dersom man lever i den villfarelse at en Apple-datamsking med M-chip skal erstatte datasentere med tusenvis av GPUer for å trene modellene så har man røyka noe ganske kraftig i alle fall.

    Men bevares, bobletendensene og FOMOen er ikke spesielt vanskelig å se. Hvordan de har tenkt å regne dette hjem skjønner ikke jeg i alle fall.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    40.765
    Antall liker
    44.632
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Jeg har jo lekt litt med det også. Ja, læringen drar mye mer regnekraft enn inferens, men det tok ikke så veldig lang tid å mate den med 20-25 bilder av meg og lære opp en LoRA tilleggsmodul til en billedgenererende AI, for så å sette meg selv i usannsynlige situasjoner på bilder jeg postet til Yammer/Viva Engage på jobb. Fikk litt kred blant de yngre ansatte. Størrelsesforholdet var vel ca en time kjøretid for læring og 10 sek for å generere på den forrige PC’en jeg hadde.

    Men man behøver ikke gjøre den læringen veldig mange ganger. Noen gjør den en gang på ett datasenter, og deretter kan andre laste ned vektene (kanskje 10-20 GB) og kjøre inferens lokalt. Det ligger ca 2,7 millioner modeller for nedlasting her:

    Edit: Man bør tenke seg veldig nøye om før man gjør seg mer avhengige av amerikansk-kontrollerte skytjenester nå. De vil slutte å virke når den orange brølapen bestemmer at de skal slutte å virke. Hendig maktmiddel mot folk han av en eller annen grunn vil straffe.
     
    Sist redigert:

    weld77

    Æresmedlem
    Ble medlem
    19.09.2014
    Innlegg
    23.701
    Antall liker
    16.642
    Jeg har jo lekt litt med det også. Ja, læringen drar mye mer regnekraft enn inferens, men det tok ikke så veldig lang tid å mate den med 20-25 bilder av meg og lære opp en LoRA tilleggsmodul til en billedgenererende AI, for så å sette meg selv i usannsynlige situasjoner på bilder jeg postet til Yammer/Viva Engage på jobb. Fikk litt kred blant de yngre ansatte. Størrelsesforholdet var vel ca en time kjøretid for læring og 10 sek for å generere på den forrige PC’en jeg hadde.

    Men man behøver ikke gjøre den læringen veldig mange ganger. Noen gjør den en gang på ett datasenter, og deretter kan andre laste ned vektene (kanskje 10-20 GB) og kjøre inferens lokalt. Det ligger ca 2,7 millioner modeller for nedlasting her:
    Joda, klar over det. Men spørsmålet blir hvor bra f.eks ChatGPT, Claude, Gemini og de andre kommersielle er sammenlignet med open source. Man kan trygt anta at datamengden og treningsbudsjettet og mengden data som kan dyttes inn i disse er veldig mye større enn hva som er tilfelle med de som er fritt tilgjengelig nedlastbare. Noe må man ant de har brukt det tårnet av dollares som er kastet på de på. Gitt tilnærmet uendelige ressurser enn så lenge så er jeg mildt overrasket over hvor stor forskjell det er på de ymse. Gemini, i alle fall i den versjonen jeg har, klarer ikke å forholde seg til en etter normal standard relativt kort roman, den tar til dels spektakulært feil om sentrale karakterer og påstår at karakterer som er nevnt mange ganger ikke er nenvt i teksten. Diskuterte Jan Kjærstads triologi om Jonas Wergeland (som på ingen måte er en kort romanserie) med den og en gang mente Gemini at Nefertiti og Margrete Boeck er samme person, en annen gang tenkte den ikke en gang i de baner og mente noe ala "jeg skjønner hvorfor man kan tenke slik, men det er ikke slik".

    Jeg fikk faktisk ChatGPT til å tenke i 18 minutter en gang før den spyttet ut en excel-fil. Det var en determinsitisk modell om utviklingen av pæng tilgjengelig gitt antagelser om avkastning på rente- og aksjeinvesteringer, det norske skattesystemet og en del slikt. Claude svarte mye fortere men trengte ganske mange iterasjoner før det begynte å bli bra, spesielt skjermingsfradrag var vanskelig for de. Excel-filen ChatGPT spyttet ut fremstod faktisk som i alle fall i alle hovedsak korrekt på første forsøk. Gemini kunne ikke generere en Excel-fil. På en annen side kan ikke Claude lage bilder, forståelig nok siden det neppe er det mest sentrale kommersielle use-caset. Milldt fascinerende er det at ChatGPT ikke klarer å telle ord i egen output, det er et helt banalt pyton-script, noe den ellers kan lange ganske avanserte saker i.

    Lavese tilgangsnivå koster vel rundt 20 dollar / måned for disse. Kan holde på ganske lenge med det før man når prisen på en kapabel rigg til hjemmebruk. Hva det koster om man bruker API-prising aner jeg ikke fordi jeg aldri har prøvd.
     
    Sist redigert:

    Tweedjakke

    Hi-Fi freak
    Ble medlem
    29.01.2008
    Innlegg
    7.490
    Antall liker
    8.351
    Sted
    Tid og rom
    Etter to-tre iterasjoner kommer man fort til noe mye bedre enn hva jeg ville vært i stand til å klekke ut på egen hånd.
    Eg opplever det same med ein del prosatekst eg har skrive privat (på hobbybasis) den siste månaden.

    Målet er jo ikkje å bryta med Den store Andre, det ville verta psykotisk rabling, men å behandla emne eg ikkje har funne nokon som har skrive det same om, men på ein måte som faktisk gjev meining for andre.

    Så, å sparra med eit utval av LLM-ar, aktivt spørja om kven som har tenkt liknande ting før, finna inkonsistens og først og fremst halda diskusjonen på andre-ordens nivå (der målet ikkje er å få tekst, men kommentarar): det funkar. Altså, kort sagt, bruka maskineriet som ein kjapp kollegaprat med kollegaar eg ikkje har.

    Eg ville lyga om eg ikkje sa at dette var nyttig.

    Edit: Elles vonar eg @Harry Stoteles kan seia litt om korleis Lacan vert brukt i teksten Peder linka til. Eg har kjensla av at det er ein litt pop-sci bruk, men kva veit eg?
     
    Sist redigert:

    Mar-a-Lago Club

    Overivrig entusiast
    Ble medlem
    14.02.2025
    Innlegg
    1.133
    Antall liker
    2.532
    Sted
    Halden
    Poenget, med Apples M5 Pro chip, er at man kan ha noen tusen av disse i en liten boks, under skjermen, og at man kan lage strategier for hvordan man skal håndtere egne data slik at man slipper å dele dem med "fåglarna vet".

    At man samtidig kan utnytte LLM-ressurser utenfor egne vegger er en annen sak. Det som skjer åpner store muligheter.

    Screenshot 2026-03-09 at 8.50.51 am.png

    Screenshot 2026-03-09 at 8.53.27 am.png



    Men kjør for all del ikke Open Claw, dersom det er skjerming man er ute etter.
     

    jane

    Hi-Fi freak
    Ble medlem
    27.06.2004
    Innlegg
    3.386
    Antall liker
    1.614
    Sted
    '
    Poenget, med Apples M5 Pro chip, er at man kan ha noen tusen av disse i en liten boks, under skjermen, og at man kan lage strategier for hvordan man skal håndtere egne data slik at man slipper å dele dem med "fåglarna vet".
    Selv om hver prosessor avgir bare 20 watt hver, vil det blir veldig varmt på kontoret ditt, eller hvor nå denne lille boksen under skjermer er plassert, med noen tusen M5 operative.
     

    Mar-a-Lago Club

    Overivrig entusiast
    Ble medlem
    14.02.2025
    Innlegg
    1.133
    Antall liker
    2.532
    Sted
    Halden
    Selv om hver prosessor avgir bare 20 watt hver, vil det blir veldig varmt på kontoret ditt, eller hvor nå denne lille boksen under skjermer er plassert, med noen tusen M5 operative.
    "Noen tusen av disse" viser til Cray-computeren du ser i bildet, tilsvarer én M5-chip.

    Screenshot 2026-03-09 at 10.04.57 am.png

    F. eks. i denne:

     

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    3.470
    Antall liker
    4.161
    Sted
    Oslo
    Torget vurderinger
    0
    Hva er det som gjør at ChatGPT bommer her?

    Jeg tolker dette som et resultat av LLMers grunnleggende virkemåte. De er generaliseringsmaskiner som tar utgangspunkt i tekst. Når de trenes opp, så trenes de opp på (amerikansk) tekst og mønstre av symboler som er minst ett abstraksjonsnivå unna det du opplever når du holder en tusj.

    Utfordringen for ChatGPT har alltid vært, og kommer alltid til å bli, et spørsmål om grenseverdier, fordi LLMer og mennesker forholder seg til verden på fundamentalt forskjellige måter. LLMer tar utgangspunkt i hvordan mennesker vanligvis beskriver verden og prøver å etterape det, og når det ikke funker, så bruker man forskjellige tiltak for å kunne gjøre etterapingen mer troverdig. Mennesker, på den andre siden, lever gjennom å navigere i en verden som består av mange forskjellige typer inntrykk og uttrykk – fysiske, sosiale, estetiske osv – som endrer seg hele tiden, og består av mye mer enn det vi klarer å sette ord på. Vi kan føle oss veldig komfortable med situasjoner som er filosofisk og logisk problematiske. For eksempel kan vi leve greit med at Thesevs' skip fortsatt er det samme skipet selv om alle bord og nagler er byttet ut gjennom årene. Eller at et Jackson Pollock-maleri er fullt av mening. Eller at poesi fins i det hele tatt.

    I en artikkel fra 2007 kritiserer Hubert Dreyfus selv de beste KI-modellene for å være for rasjonelle. De ignorerer noe fundamentalt menneskelig, som er at mennesker ikke forholder seg til verden som representasjoner, men som verden som verden:

    I repeated what I had written in 1972 in What Computers Can’t Do: “[T] he meaningful objects. . . among which we live are not a model of the world stored in our mind or brain; they are the world itself.” And I quoted approvingly a Stanford Research Institute report that, “It turned out to be very difficult to reproduce in an internal representation for a computer the necessary richness of environment that would give rise to interesting behavior by a highly adaptive robot,” and concluded that “this problem is avoided by human beings because their model of the world is the world itself.”

    Når et menneske bruker en hammer, så er det en kompleks prosess som er sentrert rundt menneskets opplevelse av å bruke den hammeren, ikke hammerens funksjon (slik KI-er forutsetter):

    Heidegger wants to get at something more basic than simply a class of objects defined by their use. At his best Heidegger would, I think, deny that a hammer in a drawer has readiness-to-hand as its way of being. Rather, he sees that, for the user, equipment is encountered as a solicitation to act, not an entity with a function feature.
    […]
    As usual with Heidegger, we must ask: What is the phenomenon he is pointing out? In this case he wants us to see that, to observe our hammer or to observe ourselves hammering undermines our skillful coping. We can and do observe our surroundings while we cope, and sometimes, if we are learning, monitoring our performance as we learn improves our performance in the long run, but in the short run such attention interferes with our performance. For example, while biking we can observe passers by, or think about philosophy, but if we start observing how we skillfully stay balanced, we risk falling over.

    Heidegger struggles to describe the basic way we are drawn in by the ready-to-hand. The Gestaltists would later talk of “solicitations.” In Phenomenology of Perception Merleau-Ponty speaks of “motivations” and later, of “the flesh.” All these terms point at what is not objectifyable—a situation’s way of directly drawing from one a response that is neither caused like a reflex, nor done for a reason.
    […]
    Heidegger’s important insight is not that, when we solve problems, we sometimes make use of representational equipment outside our bodies, but that being-in-the-world is more basic than thinking and solving problems;that it is not representational at all. That is, when we are coping at our best, we are drawn in by solicitations and respond directly to them, so that the distinction between us and our equipment—between inner and outer—vanishes.

    Dreyfus sin konklusjon er at KI-modeller som prøver å være menneske, ikke egentlig kan lykkes med det før de prøver å være menneske fullt og helt – og det er urealistisk at de kan få til, for det er så mye der som ikke kan modelleres.
     
    Sist redigert:

    Mar-a-Lago Club

    Overivrig entusiast
    Ble medlem
    14.02.2025
    Innlegg
    1.133
    Antall liker
    2.532
    Sted
    Halden
    Hvordan kjøre store LLM-modeller lokalt, f.eks. Chat GPTs med 120 milliarder parametere, på egen Mac Studio server. Forklart i detalj. I dette tilfellet med en M4-chip. Han er forbauset over det lave strømforbruket og den lave driftstemperaturen under prosessering.
    Undres hva som skjer med aksjeverdien på skybasert "AI" når dette blir bedre forstått.


    "Just a reminder, I'm running this on a Macbook Pro, and the laptop is talking to my Mac Studio, which is acting as my server, and the important point here is the Mac Studio is entirely self-contained. It's not reaching out to the internet to pull this information down."

    M5 i forhold til M4

    #1: M5 chip
    “up to 20 percent faster multithreaded performance versus M4 for workloads like code compiling, and is perfect for multitasking or speeding through creative applications.”

    • up to 3.5x the AI performance
    • up to 1.6x faster graphics performance in pro apps
    • up to 1.6x higher frame rates in games
    #2: Higher memory bandwidth
    The M5 MacBook Pro offers 153GB/s of unified memory bandwidth. Last year’s M4 model only goes up to 120GB/s. Thus, the M5 model is an almost 30% improvement.

    #3: Faster SSD performance

    Apple says the SSD performance is “up to 2x faster” than the M4 model.

    #4: 4TB storage option
     
    Sist redigert:
  • Laster inn…

Diskusjonstråd Se tråd i gallerivisning

  • Laster inn…
Topp Bunn