ChatGPT en andere Large Language Models

[JanusDR]

Niet dat er geen grote evolutie was door de jaren heen (GPS, oorlogsvoering, weersvoorspelling, etc...).

Maar gigantische revoluties zijn redelijk zeldzaam.
De eerste auto was in 1886. Het duurde tot na de tweede wereldoorlog vooraleer de mediane burger er hier mee begon te rijden.

Nu, digitale revoluties kunnen veel sneller gaan. Maar de impact zal in de fysieke wereld niet zo extreem zijn als voorgesteld, imo.
Misschien eerst eens beginnen aan het uitfaseren van fossiele brandstoffen in die fysieke wereld, eens zien hoe lang dat gaat duren

 

[cege]

De revoluties komen meestal uit een blinde hoek en zijn niet incrementeel.

Zoals DNA sequencing uit het niks kwam plots, zoals Facebook uit het niks kwam plots, zoals de smartphone uit het niks kwam, zoals spaceX uit het niks kwam, zoals web en email uit het niks kwam... allemaal onverwacht of tegen public opinion in

Als iedereen er staat op te kijken en verwacht dat door incrementele veranderingen een revolutie zal komen. Ain't gonna happen.

Revoluties zijn niet koopbaar. Laten we 20mrd in AI kappen en we gaan een revolutie hebben. Nop.

 

[DaFreak]

Ik snap echt niet dat ook maar iemand dit zou aanraden voor analyse

Ergens in een document van 1000en paginas staat het antwoord dat je moet hebben, laat AI het lezen en vraag hem het antwoord met desnoods de pagina nummer als je zeker wil zijn. Denk aan security die per dag 1000en uren aan camerabeelden in de gaten moet houden en die nu gewoon verbaal kan bevragen of zelfs pro actief ge alert worden wanneer de AI denkt een situatie waar te nemen die dreigt te escaleren. Denk aan Alphafold die heel de mogelijke human protein space geanalyseerd heeft en al doende alle menselijke proteinen in kaart gebracht of aan GNOME. die nieuwe modellen kunnen zoveel meer dan wat chatbot spelen en kunst genereren.

Elk jaar rijden er meer zelfrijdende wagens rond dan het jaar ervoor en er komen over heel de wereld steeds meer steden bij dus ja zelfs als apple geen auto uitbrengt gaat die uitrol gewoon voort.

Revoluties zijn niet koopbaar. Laten we 20mrd in AI kappen en we gaan een revolutie hebben. Nop.

counterpoint; manhattan project, apollo program, of de LHC. Soms lonen miljarden investering wel.

Elk jaar worden AI experts bevraagd tijdens NIPS of we een technologische singulariteit tegemoet gaan en wanneer we deze kunnen verwachten en we zitten ondertussen dik over de heflt die vermoed dat we voor 2050 prijs hebben. Kan goed dat die zichzelf allemaal overschatten en dat er toch nog obstakels opduiken die er serieus de rem op gaan zetten maar toch moeilijk om zo maar af te wimpelen. In ieder geval; Of het nu een hard takeof of trager incrementeel wordt. De meeste wetenschappers zijn het erover eens dat we op het pad richting alsmaar betere AI zitten.

Ik denk dat iedereen het er wel over eens is dat als we er in slagen AGI of zelfs ASI te creeeren komende jaren/decennia dat dit niet enkel een revolutionaire gebeurtenis zal zijn voor de mens maar een revolutionaire gebeurtenis voor leven op aarde en misschien ver daar buiten. Er is een voor en een na en wat daarna zal gebeuren is praktisch niet te voorspellen want dat ligt achter de event horizon.

 

[belloc]

Elk jaar worden AI experts bevraagd tijdens NIPS of we een technologische singulariteit tegemoet gaan en wanneer we deze kunnen verwachten en we zitten ondertussen dik over de heflt die vermoed dat we voor 2050 prijs hebben. Kan goed dat die zichzelf allemaal overschatten en dat er toch nog obstakels opduiken die er serieus de rem op gaan zetten maar toch moeilijk om zo maar af te wimpelen. In ieder geval; Of het nu een hard takeof of trager incrementeel wordt. De meeste wetenschappers zijn het erover eens dat we op het pad richting alsmaar betere AI zitten.

AI experts zijn niet noodzakelijk ook goed in het schatten van vooruitgang van AI binnen decennia. Ik heb die schattingen ook gelezen, maar dan gaat het eerder van AGI rond 2050-2060, dan over technologische singulariteit. Maar als je het aan iemand moet vragen zou ik idd ook aan de AI experts vragen. Maar eigenlijk weet niemand het echt goed.
Zelf lijkt me AGI binnen deze eeuw wel een mogelijkheid.

 

[DaFreak]

De computex keynote van Nvidia in Taiwan gisteren was serieus de moeite.

Raakte alles van de AI gedreven nieuwe industriele revolutie, geopolitiek ivm china, het schalen van compute en energieverbruik, de enorme hoeveelheid specialized en dedicated AI modellen die overall als paddestoelen uit de grond springen en welke Nvidia als deel van Hun full stack verandering zelf op stal heeft. Omniverse, earth 2, digital humans, physically embodied AI, ...

Jensen heeft duidelijk een exponentiele toekomst voor ogen waarin fabrieken gedesigned door AI, robots maken die op hun beurt fabrieken maken en hoe dit reeds vandaag realiteit aan het worden is.

Nvidia heeft reeds Amazon en Google voorbijgestoken als hoogst gevalueerde bedrijf. Ergens volgende week moet waarschijnlijk apple eraan geloven. Het einde van deze gestoorde groei lijkt nog lang niet in zicht. Meer Dan waarschijnlijk gaan ze dus ook MS van de #1 spot stoten.

https://media.discordapp.net/attachments/1062314368588582913/1247257113214980146/NVIDIA_CEO_Jensen_Huang_Keynote_at_COMPUTEX_2024.mp4?ex=665f5e34&is=665e0cb4&hm=dd47a034a91869672e3732dec28bc55b34f91dc51f917507e0b50ba678c5f9bd&

Moet wel als al die Blackwells door de giganten opgeslokt worden nog voor ze van de band rollen en rekening houdend met het feit dat men gigantische hardware clusters plant voor next level AI.

 

[zwarten]

Moet wel als al die Blackwells door de giganten opgeslokt worden nog voor ze van de band rollen en rekening houdend met het feit dat men gigantische hardware clusters plant voor next level AI.

https://english.elpais.com/technolo...-want-to-have-their-own-nuclear-reactors.html

According to the latest estimates, 8% of the world’s energy is already being used for AI; this energy powers the processors on which the models are trained and the systems are hosted. That figure, as Altman recently predicted, will soon fall short, as new users are added and new versions of ChatGPT, Gemini and Copilot emerge, which will require more and more computing power.

Hallucinant feitelijk. Ik had er onlangs iets van gehoord dat datacenters gewoon nucleaire energiebronnen nodig zou hebben om in de toekomst deftig te kunnen functioneren. Maar dat het effectief al 8% van de energie in de wereld is lijkt me toch ook veel?

 

[DaFreak]

8% lijkt me idd serieus overdreven en niet accuraat. Het Internationaal energie agentschap becijferde onlangs nog dat alle energie nodig voor datacenter operaties, crypto en AI samen zo'n 2% bedraagt. Wat natuurlijk nog altijd gigantisch veel is en dat zal enkel toenemen.

In de talk zitten serieus wat eye opening statements daaromtrent. Zo zal china bijvoorbeeld door het exportverbod enkel oudere generatie chips kunnen gebruiken die, als ze willen concurreren met H100s, datacenters 10 tot 100x zo groot vereisen met een energie voetafdruk van wel 1000x zo groot. Concurreren met blackwell is gewoon niet mogelijk want om die compute te evenaren zou je al miljarden oudere chips nodig hebben in datacenters die strekken van horizon tot horizon en de energiecapaciteit om die te poweren is gewoon niet leverbaar.

 

[DogFacedGod]

https://english.elpais.com/technolo...-want-to-have-their-own-nuclear-reactors.html



Hallucinant feitelijk. Ik had er onlangs iets van gehoord dat datacenters gewoon nucleaire energiebronnen nodig zou hebben om in de toekomst deftig te kunnen functioneren. Maar dat het effectief al 8% van de energie in de wereld is lijkt me toch ook veel?

Data centres & networks - IEA

As the world becomes increasingly digitalised, data centres and data transmission networks are emerging as an important source of energy demand.

www.iea.org

1 à 1,3% voor datacenters (uitgezonderd cryptomining rekenen ze op 0,4% in 2022)
+
1 à 1,5% voor "data transmission networks"
betreft 2022

Beetje ver van de 8%. Dat lijkt mij echt bullshit dat nu 8% naar enkel AI zou gaan .
According to the latest estimates, 8% of the world’s energy is already being used for AI; Geen enkel bron gegeven in dat artikel. Beetje raar ook om Mexicaanse kranten te consulteren over energieverbruik van AI.


Wel interessant hoe datacenters in bepaalde landen bijna 20% van de energievraag opmaken (Ierland, Denemarken,...)

 

[Muñoz]

De computex keynote van Nvidia in Taiwan gisteren was serieus de moeite.

Raakte alles van de AI gedreven nieuwe industriele revolutie, geopolitiek ivm china, het schalen van compute en energieverbruik, de enorme hoeveelheid specialized en dedicated AI modellen die overall als paddestoelen uit de grond springen en welke Nvidia als deel van Hun full stack verandering zelf op stal heeft. Omniverse, earth 2, digital humans, physically embodied AI, ...

Jensen heeft duidelijk een exponentiele toekomst voor ogen waarin fabrieken gedesigned door AI, robots maken die op hun beurt fabrieken maken en hoe dit reeds vandaag realiteit aan het worden is.

Bekijk bijlage 29949

Nvidia heeft reeds Amazon en Google voorbijgestoken als hoogst gevalueerde bedrijf. Ergens volgende week moet waarschijnlijk apple eraan geloven. Het einde van deze gestoorde groei lijkt nog lang niet in zicht. Meer Dan waarschijnlijk gaan ze dus ook MS van de #1 spot stoten.

https://media.discordapp.net/attachments/1062314368588582913/1247257113214980146/NVIDIA_CEO_Jensen_Huang_Keynote_at_COMPUTEX_2024.mp4?ex=665f5e34&is=665e0cb4&hm=dd47a034a91869672e3732dec28bc55b34f91dc51f917507e0b50ba678c5f9bd&

Moet wel als al die Blackwells door de giganten opgeslokt worden nog voor ze van de band rollen en rekening houdend met het feit dat men gigantische hardware clusters plant voor next level AI.

Als ik aan Nvidia denk dan zou ik gewild hebben dat m'n ouders in 2015 ofzo eventjes een moment van helderziendheid hadden en alles geïnvesteerd hadden in aandelen. 200.000€ toen hadden nu al meer dan 30€ miljoen waard geweest.
Zelfs nog geen 4 jaar geleden stonden ze meer dan 10 keer lager.

 

[Carrion]

Als ik aan Nvidia denk dan zou ik gewild hebben dat m'n ouders in 2015 ofzo eventjes een moment van helderziendheid hadden en alles geïnvesteerd hadden in aandelen. 200.000€ toen hadden nu al meer dan 30€ miljoen waard geweest.
Zelfs nog geen 4 jaar geleden stonden ze meer dan 10 keer lager.

Kan je uiteindelijk over elk succesvol bedrijf ooit zeggen natuurlijk

 

[Muñoz]

Kan je uiteindelijk over elk succesvol bedrijf ooit zeggen natuurlijk

Er zijn toch niet al te veel bedrijven geweest wiens aandelenkoers op zo’n korte tijd zo hard stijgt.

 

[Muscleduck]

https://english.elpais.com/technolo...-want-to-have-their-own-nuclear-reactors.html



Hallucinant feitelijk. Ik had er onlangs iets van gehoord dat datacenters gewoon nucleaire energiebronnen nodig zou hebben om in de toekomst deftig te kunnen functioneren. Maar dat het effectief al 8% van de energie in de wereld is lijkt me toch ook veel?

Sam Altman heeft een tijd geleden gezegd dat we voor de volgende AI revolutie moeten wachten op kernfusie.

 

[808 State]

Spiking neural networks die gaan draaien op neuromorfe chips zoals de Intel Loihi zijn de toekomst, veel sneller en verbruiken veel minder energie.

Daarnaast moeten ook de algoritmen geoptimaliseerd worden, nu gebeuren er bij iedere run door het neuraal netwerk honderden tot duizenden matrixproducten, dit is niet houdbaar of schaalbaar meer.

 

[DaFreak]

Het zal idd van alle kanten moeten komen, alle lagen in heel de hard en software stack zullen efficienter moeten worden en het gaat ook best wel snel als je bijvoorbeeld ziet hoeveel energie je al met blackwell zal kunnen besparen tov een H100. Maar idd ook neuromorphic hardware zal waarschijnlijk wel deel van de puzzel worden. Je ziet nu ook al 1bit LLMs die sterker zijn dan GPT3 destijds en one shot learning is ook resultaat aan het boeken. Er lijkt nog niet direct een plateau in zicht waarop llms zichzelf vastrijden dus zelfs met al die verhoogde efficiëntie gaan de giganten gewoon alsmaar meer en meer willen in de concurrentie tov elkaar. GPT3 werd vermoedelijk getraind op 10k oudere GPUs, GPT4 op 25k A100s, GPT5 zou nu aan het trainen zijn, waarschijnlijk op meer dan 100k H100s. (datacenter van meer dan een miljard) maar de giganten hebben al aangegeven dat ze 10 miljard datacenters gaan bouwen voor de volgende generaties. Dat zouden al fab level bedragen zijn wat idd gewoon niet houdbaar is om te blijven schalen. Gelukkig zal dus de prijs van de hardware een rem zetten voor we aan echt astronomische energie consumptie toekomen.

 

[Z3r0]

Gelukkig zal dus de prijs van de hardware een rem zetten voor we aan echt astronomische energie consumptie toekomen.

Ze zouden gewoon beter stoppen met al die AI
Dit is echt niet goed voor onze planeet

We hebben al tekorten

 

[DaFreak]

AI gaat ons juist enorm kunnen helpen al die tekorten op te vangen en weg te werken.

Slechts 2 voorbeeldjes uit het recente verleden;

Princeton Engineering - AI approach elevates plasma performance and stability across fusion devices

Fusion researchers led by engineers at Princeton and PPPL have successfully deployed machine learning methods to suppress harmful edge instabilities without sacrificing plasma performance.

engineering.princeton.edu

New material found by AI could reduce lithium use in batteries

Microsoft said AI and supercomputing were used to synthesise an entirely new material.

www.bbc.com

Zowat elke sector gaat hier wel bij varen.

 

[808 State]

Ze zouden gewoon beter stoppen met al die AI
Dit is echt niet goed voor onze planeet

We hebben al tekorten

Correctie, ze zouden beter stoppen met die systemen beschikbaar te maken voor iedereen die een onozele afbeelding of tekstje wil laten genereren.

 

[Dewdrop Dazzle]

Correctie, ze zouden beter stoppen met die systemen beschikbaar te maken voor iedereen die een onozele afbeelding of tekstje wil laten genereren.

Inderdaad, het is alvast een ramp voor het onderwijs. Elke leerling of student gebruikt nu ChatGTP om op enkele seconden een tekst te genereren in plaats van die zelf te schrijven. Met als gevolg dat niemand nog een tekst kan schrijven in het Nederlands of in een vreemde taal. Ze zouden die ChatGTP beter offline halen.

 

[Intergalactic]

Iemand had de Shakespeare modus (van een vorige opdracht) nog laten opstaan bij een opdracht over de aandelenmarkt: to buy or not to buy this share, that is the question.

Hoe studenten glansrijk slagen met de hulp van AI: ‘Ik laat ChatGPT mijn cursus samenvatten en zelfs een proefexamen opstellen. Gevolg: meermaals een 18 op 20’

De examens in de hogescholen en universiteiten zijn begonnen, en met ChatGPT hebben de studenten nu een persoonlijke assistent ter beschikking die hun slaagkansen gevoelig kan vergroten. Hoe kan AI hen aan een diploma helpen? Zullen thesissen en afstandsexamens binnenkort verdwijnen? Van...

www.humo.be

 

[yode92]

Iemand had de Shakespeare modus (van een vorige opdracht) nog laten opstaan bij een opdracht over de aandelenmarkt: to buy or not to buy this share, that is the question.

Hoe studenten glansrijk slagen met de hulp van AI: ‘Ik laat ChatGPT mijn cursus samenvatten en zelfs een proefexamen opstellen. Gevolg: meermaals een 18 op 20’

De examens in de hogescholen en universiteiten zijn begonnen, en met ChatGPT hebben de studenten nu een persoonlijke assistent ter beschikking die hun slaagkansen gevoelig kan vergroten. Hoe kan AI hen aan een diploma helpen? Zullen thesissen en afstandsexamens binnenkort verdwijnen? Van...

www.humo.be

Ik heb nu enkel de titel gelezen, maar het laten opstellen van een proefexamen en daarmee oefenen lijkt mij wel een OK gebruik qua studeermethode. Dat is nog iets anders dan een huiswerkvraag opgeven en het antwoord te gaan copy pasten.