ChatGPT en andere Large Language Models

[Horse]

Naast de automatische chatbots op webshots krijg ik nu ook al automatische replies van AI chatbots als ik een vraag stel via mail. Echt hatelijk. Die first line is gewoon verdwenen, ook bij zéér kleine KMO bedrijven die amper met 5 mensen werken.

Ik vraag iets simpel via mail en krijg een AI-antwoord, het begint toch ergerlijk te worden. Over mijn lijk dat ik deze stap zet, als mensen mijn hulp nodig hebben zullen ze van MIJ een reply krijgen.

Als het zo blijft verder duren, is dat voor mij een breekpunt om over te schakelen naar een andere leverancier.
Je moet haast iedere mail starten met: "ik wil met iemand écht spreken"

 

[zina90]

Naast de automatische chatbots op webshots krijg ik nu ook al automatische replies van AI chatbots als ik een vraag stel via mail. Echt hatelijk. Die first line is gewoon verdwenen, ook bij zéér kleine KMO bedrijven die amper met 5 mensen werken.

Ik vraag iets simpel via mail en krijg een AI-antwoord, het begint toch ergerlijk te worden. Over mijn lijk dat ik deze stap zet, als mensen mijn hulp nodig hebben zullen ze van MIJ een reply krijgen.

Als het zo blijft verder duren, is dat voor mij een breekpunt om over te schakelen naar een andere leverancier.
Je moet haast iedere mail starten met: "ik wil met iemand écht spreken"

Hmm, is dit iets wat je met een Agent zou kunnen oplossen (de AIs tegen elkaar laten spreken)?

 

[anders.]

Oké, de discussie ging om werkloosheid en een veranderende jobmarkt door AI. Je hele post stond vol met verwijzingen naar "of het alleen door AI daar valt over te discussiëren" (implicerend dat het niet vaststaat, maar dus wel kan en deels is) en "ook in verband met productivity zijn er zaken die in die richting [van AI] wijzen".

Prima als je dat niet bedoelde, dan zeggen we mogelijk hetzelfde. Maar het is niet zo schokkend dat ik dat erin zou lezen, toch?


Ja, dat is dus een hyperspecifiek geval, en het team is nog altijd niet vervangen. Het is ondertussen AI+human. Maar was hiervoor human+AI tot het in orde stond. Dat heb je natuurlijk niet op een halfuur opgezet en uitgedacht, en zeker niet in elke setting. En je hebt daarna nog altijd je human nodig, maar in dit specifieke geval waarschijnlijk minder. Waarbij die mensen zich kunnen toeleggen op iets anders, en dus productiever worden nu dit bandwerktaakje slechts bijzaak is.

Je bedoelde dat vast ook niet, maar dat is waarschijnlijk niet eens geldig in de hele tak van je bedrijf, laat staan de hele sector, en dus al zeker niet in andere sectoren, waarop ik dus reageerde. Het zijn die grote veralgemeningen die vaak het probleem zijn voor mij. Ja, AI kan heel specifieke problemen veel efficiënter doen/laten doen, maar tegelijk ook onbruikbaar zijn voor andere gevallen. En daartussen heel veel gevallen waar de winst vooral in de "eye of the beholder" lijkt te vallen, waarbij de CEO het stervensgraag wil, omdat dat doet lijken alsof ze pioniers zijn.

Ja, dat is natuurlijk enkel haalbaar in zeer gestructureerde en repetitieve taken (de dingen waar iedereen al jaren van denkt "kan dat nu niet automatisch"). AI is daar gewoon de accelerator die heel makkelijk verschillende tools met elkaar integreert terwijl dat vroeger een complexe IT-oplossing vroeg. Maar er zijn wereldwijd extreem veel taken die in de categorie "zeer gestructureerd en repetitief" vallen.

Maar, wat CEO's zo leuk vinden zijn volledige business-processen die op basis van AI draaien, en al die dingen draaien nog uit op fiasco's. Momenteel is de grootste ROI van AI vooral bij het verkleinen van teams door specifieke taken te vervangen, en niet voor het volledig afschaffen van afdelingen.

 

[Racing_Genk]

Naast de automatische chatbots op webshots krijg ik nu ook al automatische replies van AI chatbots als ik een vraag stel via mail. Echt hatelijk. Die first line is gewoon verdwenen, ook bij zéér kleine KMO bedrijven die amper met 5 mensen werken.

Ik vraag iets simpel via mail en krijg een AI-antwoord, het begint toch ergerlijk te worden. Over mijn lijk dat ik deze stap zet, als mensen mijn hulp nodig hebben zullen ze van MIJ een reply krijgen.

Als het zo blijft verder duren, is dat voor mij een breekpunt om over te schakelen naar een andere leverancier.
Je moet haast iedere mail starten met: "ik wil met iemand écht spreken"

Ik ken zo ook fora waar sommige gebruikers nu deels antwoorden met hun "personal AI assistant". Maar uit de zinconstructies zie je zo duidelijk dat het AI-gedreven is, enorm vervelend...

Wij hebben de eerste 30 jaar meegemaakt van het "menselijke" internet. Iets uniek, want de toekomstige AI vervuiling overal gaat immens zijn.

 

[DaFreak]

@Loser Je ziet toch ook op exact welke post ik reageer en dat ik die grafiek enkel deel om dat te weerleggen door aan te tonen dat werkloosheid wel aan het stijgen is. Ik benadruk direct eronder zelfs dat deze trend mogelijks niets met AI te maken heeft. Daarna wijs ik op de productivity paradox omdat ook productiviteit moeilijk als graadmeter gebruikt kan worden om dan af te sluiten met dat het nog veel te vroeg is om absolute conclusies te trekken in eender welke richting.

Om dan daaruit te concluderen dat ik dit enkel aan AI lieer en zelfs conclusies uit één trend trek... Dan lees je toch echt wel gewoon wat je wil lezen en misschien is dat ook wel een beetje het probleem. Als je ook maar iets van weerwerk durft te geven tegen de vaak nogal rabiate stemmen die er zeker van zijn dat AI een hoop gebakken lucht is die absoluut geen effect kan en gaat hebben wordt je nogal snel neergesabeld. Het is niet omdat de techbros overdrijven met hun visies en tijdlijnen dat de backlash tegen niet evengoed nogal extreem overdreven vormen aan het aannemen is.



Om ook nog even terug te komen op de momenteel spelende kermis;

The White House Is Ratcheting Up Its War Against Anthropic

This is how America loses the AI race.

www.theatlantic.com

Benieuwd wanneer de admin TACO gaat want zou wel geinig zijn moesten ze het been stijf houden en zo de mogelijke bubbel zelf onbedoeld doen barsten uit misplaatste kinderlijke rancune. Al die miljarden aan investeringen zouden immers voor niets zijn als al die betere modellen die ze nog moeten trainen allemaal gebanned zouden worden. Het artikel bekijkt het nu vooral uit het oogpunt van het verliezen van de armsrace tegen china maar belangrijker in deze is denkik de extra onzekerheid die het in al een onzekere markt injecteert en de macht die de adminstratie bereid is te ontplooien om zonder overleg van de ene moment op de andere alles lam te leggen. Serieuze wake up call voor zowel wallstreet als Europa.

 

[chesini]

Ik ken zo ook fora waar sommige gebruikers nu deels antwoorden met hun "personal AI assistant". Maar uit de zinconstructies zie je zo duidelijk dat het AI-gedreven is, enorm vervelend...

Wij hebben de eerste 30 jaar meegemaakt van het "menselijke" internet. Iets uniek, want de toekomstige AI vervuiling overal gaat immens zijn.

Het geef wel een opportuniteit voor een bedrijf dat wil blijven investeren in menselijke tussenkomst. Je kan als bedrijf jezelf duidelijk positioneren bvb: wij gebruiken AI voor productontwikkeling en onze productieprocessen, maar niet voor het contact met de klant. De klant is onze belangrijkste asset, en dat willen we zo houden.

Gezien het aantal klachten over de dehumanisering van de support en customer service, zou zo een dergelijke positionering dadelijk een schot in de roos zijn.

 

[DaFreak]

Tensordyne — Inference System

The Tensordyne inference system is the first AI-inference platform built on our proprietary logarithmic math number system, delivering super-node capacity at a fraction of the energy, space, and cost.

www.tensordyne.ai

waar Nvidia 700 000 tokens per kwh haalt met hun NVL72 GB300 zou Tensordyne het met hun rack een order of magnitude beter doen aan een whopping 11 miljoen tokens per kwh. Ook in pure snelheid verbazingwekkend met tensordyne die 363 000 tokens per seconde haalt tov Nvidia dat "maar" 27 400 tokens per seconde haalt. Klinkt bijna te goed om waar te zijn maar is in samenwerking met Juniper Networks en Broadcom dus toch vrij hoge credibiliteit. Alhoewel de hardware erop afgestemd is de gigantische gain in efficiency voornamelijk te danken aan een wiskundig inzicht waarmee ze veel zwaardere matrix muliplicatie vertalen in goedkopere optelsommen met log transformaties.

Privaat bedrijf dus nog niet beursgenoteerd maar zou me niet verbazen als Nvidia deze binnen de korste keren opkoopt.

 

[SithCloud]

Tensordyne — Inference System

The Tensordyne inference system is the first AI-inference platform built on our proprietary logarithmic math number system, delivering super-node capacity at a fraction of the energy, space, and cost.

www.tensordyne.ai

waar Nvidia 700 000 tokens per kwh haalt met hun NVL72 GB300 zou Tensordyne het met hun rack een order of magnitude beter doen aan een whopping 11 miljoen tokens per kwh. Ook in pure snelheid verbazingwekkend met tensordyne die 363 000 tokens per seconde haalt tov Nvidia dat "maar" 27 400 tokens per seconde haalt. Klinkt bijna te goed om waar te zijn maar is in samenwerking met Juniper Networks en Broadcom dus toch vrij hoge credibiliteit. Alhoewel de hardware erop afgestemd is de gigantische gain in efficiency voornamelijk te danken aan een wiskundig inzicht waarmee ze veel zwaardere matrix muliplicatie vertalen in goedkopere optelsommen met log transformaties.

Privaat bedrijf dus nog niet beursgenoteerd maar zou me niet verbazen als Nvidia deze binnen de korste keren opkoopt.

HPE en broadcom... ik weet niet of credibiliteit het woord is dat ik zou gebruiken hier

 

[DaFreak]

Zijn toch al geen kleine onbekende spelers en op zich nu ook weer niet zo ongeloofwaardig want het was al geweten dat log transforms enorme voordelen kunnen opleveren. Dit is uiteindelijk "maar" 10x. Nvidia maakte een veel grotere sprong toen we van Hopper naar Blackwell gingen.

Vrij gestoord hoeveel sneller dan Moore's law AI hardware aan het evolueren is. Die upgrade van Rubin zal die Napier chip van Tensordyne ook al in het stof doen bijten dus zal er vanaf hangen hoe snel ze zelf meekunnen in de productcyle als ze tegen Nvidia competitief willen blijven. Ze hebben hun eerste run al terug van TSMC en zullen deze uitsturen naar verschillende grote spelers om hen te laten testen dus zou vreemd zijn om daar nu nog blaasjes rond te verkopen gezien ze direct door de mand zouden vallen. Maar niets mis met een gezonde afwachtende houding ofc.

 

[808 State]

Het geef wel een opportuniteit voor een bedrijf dat wil blijven investeren in menselijke tussenkomst. Je kan als bedrijf jezelf duidelijk positioneren bvb: wij gebruiken AI voor productontwikkeling en onze productieprocessen, maar niet voor het contact met de klant. De klant is onze belangrijkste asset, en dat willen we zo houden.

Gezien het aantal klachten over de dehumanisering van de support en customer service, zou zo een dergelijke positionering dadelijk een schot in de roos zijn.

Zal vooral opgaan voor de 'oudere' generatie denk ik. Veel Gen Z'ers durven nu de telefoon al niet meer nemen omdat ze dat te persoonlijk vinden, ik denk dat praten met een AI assistent voor de generatie erna de doodnormaalste zaak van de wereld zal zijn.

 

[SithCloud]

Zijn toch al geen kleine onbekende spelers en op zich nu ook weer niet zo ongeloofwaardig want het was al geweten dat log transforms enorme voordelen kunnen opleveren. Dit is uiteindelijk "maar" 10x. Nvidia maakte een veel grotere sprong toen we van Hopper naar Blackwell gingen.

Vrij gestoord hoeveel sneller dan Moore's law AI hardware aan het evolueren is. Die upgrade van Rubin zal die Napier chip van Tensordyne ook al in het stof doen bijten dus zal er vanaf hangen hoe snel ze zelf meekunnen in de productcyle als ze tegen Nvidia competitief willen blijven. Ze hebben hun eerste run al terug van TSMC en zullen deze uitsturen naar verschillende grote spelers om hen te laten testen dus zou vreemd zijn om daar nu nog blaasjes rond te verkopen gezien ze direct door de mand zouden vallen. Maar niets mis met een gezonde afwachtende houding ofc.

Dat zijn geen kleine spelers neen. Maar broadcom heeft de laatste jaren geen vrienden gemaakt. En dat zijn trouwens gewoon datacenter hardware verkopers.... Ergens logisch dat die mee in dat verhaal springen, net zoals nvidia hé. Juist hetzelfde.

Dat ze hun eerste run van TSMC teruggekregen hebben en "binnenkort gaan uitsturen" zegt mij nog altijd niets. Komaan hé, het is niet alsof er al niet hype na hype na hype is aangekondigd geweest de afgelopen jaren?

Waar zie jij moore's law in "energy efficiency" trouwens?

 

[DaFreak]

Een gezonde skeptische houding is wel gewoon afwachten en niet standaard er vanuit gaan dat alles gelogen is. Je vergelijkt met Nvidia, denk je dan dat hun Vera Rubin specs niet gaan kloppen? Hun voorbije performance zat toch ook altijd in het ballpark gebied dat ze vooraf aankondigden? Die maken die "hype" elke keer toch wel grotendeels waar imo.

Ivm die energy efficiency; onder Moore's law groeide energie efficientie daar parallell aan en verdubbelde deze samen met transistor density maar in AI compute gaat die om de 2 jaar wel 10x of meer ipv gewoon te verdubbelen omdat er zoveel trends tegelijkertijd bezig zijn die alles aan het versnellen zijn. Ook op vele andere specs; of je het nu hebt over training compute, throughput speeds, geheugen per accelerator, aantal model parameters, aantal tokens per seconde, ... groeien allemaal veel sneller dan te verdubbelen. Alhoewel voor ons de prijs voor tokens jammer genoeg blijft stijgen ligt die voor de AI giganten al 100x tot zelfs 1000x lager dan enkele jaren geleden.

 

[SithCloud]

Een gezonde skeptische houding is wel gewoon afwachten en niet standaard er vanuit gaan dat alles gelogen is. Je vergelijkt met Nvidia, denk je dan dat hun Vera Rubin specs niet gaan kloppen? Hun voorbije performance zat toch ook altijd in het ballpark gebied dat ze vooraf aankondigden? Die maken die "hype" elke keer toch wel grotendeels waar imo.

Ivm die energy efficiency; onder Moore's law groeide energie efficientie daar parallell aan en verdubbelde deze samen met transistor density maar in AI compute gaat die om de 2 jaar wel 10x of meer ipv gewoon te verdubbelen omdat er zoveel trends tegelijkertijd bezig zijn die alles aan het versnellen zijn. Ook op vele andere specs; of je het nu hebt over training compute, throughput speeds, geheugen per accelerator, aantal model parameters, aantal tokens per seconde, ... groeien allemaal veel sneller dan te verdubbelen. Alhoewel voor ons de prijs voor tokens jammer genoeg blijft stijgen ligt die voor de AI giganten al 100x tot zelfs 1000x lager dan enkele jaren geleden.

Een hype creeeren per definitie is iets beter voordoen dan het is hé . Of ik nvidia geloof? Ik weet dat ze in het verleden ook al genoeg slechte launches hebben gehad. Dus ik bekijk het toch met de nodige dosis zout. Het is nu ook niet dat wij als consumer er iets van gaan merken vermits dat datacenter only products zijn. Dus ze kunnen vanalles zeggen natuurlijk.

Mja ok, maar dat is al niet meer moore's law hé, of gewoon een andere interpretatie ervan. En sure, ze zeggen wel dat de token cost daalt, maar op zich betekent dat weinig als je telkens een veelvoud aan tokens nodig hebt om betere output te bekomen. Anders zou die nood voor electriciteitsvoorzieningen niet zo groot zijn.

 

[DaFreak]

Hangt af van je definitie van hype. Soms overtreft realiteit de hype zoals wanneer bijvoorbeeld een gehypte film toch nog boven verwachting binnenkomt. Nvidia's Blackwell is daar imo ook wel een goed voorbeeld van.

De prijs per token is effectief wel enorm gezakt dus dat de nood voor electriciteitsvoorziening groeit is vermoedelijk eerder te verklaren door Jevon's paradox waarin de honger voor alsmaar meer tokens praktisch onuitputtelijk is gelijkaardig aan wat met compute gebeurde. De prijs per berekening is de laatste decennia ook astronomisch gezakt maar wordt volledig opgeslokt door de nog veel sneller stijgende vraag naar alsmaar meer.

 

[SithCloud]

Hangt af van je definitie van hype. Soms overtreft realiteit de hype zoals wanneer bijvoorbeeld een gehypte film toch nog boven verwachting binnenkomt. Nvidia's Blackwell is daar imo ook wel een goed voorbeeld van.

De prijs per token is effectief wel enorm gezakt dus dat de nood voor electriciteitsvoorziening groeit is vermoedelijk eerder te verklaren door Jevon's paradox waarin de honger voor alsmaar meer tokens praktisch onuitputtelijk is gelijkaardig aan wat met compute gebeurde. De prijs per berekening is de laatste decennia ook astronomisch gezakt maar wordt volledig opgeslokt door de nog veel sneller stijgende vraag naar alsmaar meer.

Ik heb de jevon's paradox al meermaals tegengekomen als verklaring. Is het ook niet door Satya en Jensen de wereld zo ingestuurd en nu springt iedereen precies daarop als de "ah ja just dat is de verklaring" (Mijn sceptisism-sense is tingling) (just... moet spider noir nog verder uitkijken). Ik weet niet of een industriele revolutie verklaring echt hetgeen is waar we op moeten vertrouwen, het lijkt een goede manier om een aantal zaken onder de mat te schuiven. De prijs per token is dan misschien gezakt, maar toch niet de rekening van de eindgebruiker, die de laatste tijd meer en meer geconfronteerd wordt met downgrades en daadwerkelijke cost-per-token en anthropic's servers die ook meer en meer eruitliggen.

Je kan enerzijds wel zeggen: sure... we gebruiken met zijn allen meer tokens. Maar ik vind dat men wel een groot deel van de verklaring gewoon weglaat: de nieuwe models hebben gewoon meer tokens nodig per taak of query. Oude models worden ook gewoon geforceerd uitgefaseerd en natuurlijk is het makkelijker om iteraties uit te voeren op eenzelfde opdracht (zoals de ralph wiggum loop) als de kost daalt. Maar dat mensen zulke foefkes moeten uithalen, betekent ook dat de huidige en voorbije models niet goed genoeg zijn. Dat soort van loops heeft er trouwens ook al voor gezorgd dat mensen opeens een serieuze afrekening zien verschijnen.

Dus sorry Dafreak, ik ga niet helemaal mee in die verklaring .

Moestek het mij trouwens kunnen veroorloven, kzou graag wel wat meer met lokale modellen willen spelen, maar vermits consumer hardware prijzen nu ook weer de pan uitswingen, ga ik het voorlopig maar houden op mijn enterprise abo's....

 

[DaFreak]

Het is sowieso maar een deel van de puzzel dus je hoort daar natuurlijk niet in mee te gaan alsof het allesverklarend is, doe ik ook niet. Zou zelfs bizar zijn moest een complex samenspel van zoveel factoren een enkelvoudig antwoord hebben en je kan sowieso al een hoop andere kanttekeningen maken die ook allen invloed hebben op de prijs per token.

Een gezonde dosis skepticiteit is een must maar wel opletten dat het niet omslaat in ontkenning. Af en toe moet je je cynisme is kunnen laten vallen want anders dreig je in een zodanig grote brok negativiteit te veranderen dat je niet meer kan genieten van alle bijna wonderbaarlijke zaken die we aant materialiseren zijn. Die grafiek hierboven bijvoorbeeld blijft toch echt wel mindblowing als je even stil staat bij wat daar allemaal achter zit. Legers ingenieurs die alles pushen van transistor counts tot nieuwe hardware architecturen alsook specialized interconnects ontwikkelen om alsmaar sneller geheugen nog sneller te laten communiceren. In diezelfde grafiek zit ook de push van software engineers naar alsmaar efficienter wordende modellen die in grootte jaar na jaar exploderen naar ondertussen triljarden parameters en de alsmaar efficientere manieren waarop we ze trainen en nog zoveel meer. Het is niet enkel de US met hun AI giganten of Nvidia die hier achter zitten. Ook wij met onder andere IMEC in Leuven dragen ons steentje bij. Enkel al de machine die het Nederlandse ASML ontwikkelde die de creatie van Blackwell mogelijk maakte is een wereldwonder dat je mond doet openvallen van verbazing. Bijna de hele wereld ligt mee aan de basis van die grafiek. Deepmind's nobelprijs was ongetwijfeld nog maar het begin.

Je praat daar ook even over oude models die uitgefaseerd worden maar tegelijkertijd is de vooruitgang in wat kleine LLMS die je lokaal kan draaien allemaal kunnen ook wel verbluffend aan het worden. Google's multimodal LLM Gemma 4 12B kan je perfect op een zelf oudere laptop draaien en in MTP geraak je dan vrij gemakkelijk aan 100+ tokens per seconde. Dat leek 4 jaar geleden bijna onvoorstelbaar.