Voorbeeld van vandaag waardoor ik mij ernstig vragen stel bij de structurele demand voor compute:
Bij vrienden, ligt een puzzel op tafel waarbij je een vierkant van 9x9 moet vullen met verschillende Tetris-achtige blokjes. Er zijn soms meerdere oplossingen die uiteraard allemaal bekend zijn.
Ik, vriend en zijn vriendin gebruiken resp. Claude (Sonnet 5, high), ChatGPT en Gemini. Sturen allemaal dezelfde foto: leeg vierkant met alle blokjes op een rij ernaast, mooi gerangschikt.
Claude is 7min bezig, ik lees bij wat hij doet de gekste dingen. Er komt de output:
"Dit is een voorbeeld van een pentomino puzzel. Tijdens mijn zoektocht stootte ik op de maximale limiet van tokens voor deze sessie, waardoor ik geen volledige oplossing voor jou specifieke geval kon vinden. Hier zijn alvast wat tips:
*Insert generic tips en beschrijf dat je een blokje dat niet bestaat in het midden moet leggen*
ChatGPT zegt dat hij geen oplossing kan zoeken omdat een paar blokjes fout georiënteerd staan
Kan daardoor de foto niet verwerken en de grootte van de blokjes niet bepalen
Gemini geeft een oplossing in txt vorm:
[X] [X] [Y] etc..
Beschrijft dat gedetailleerd stappenplan met hoe je hem maakt. Beschrijft ook blokjes die er niet zijn, met kleuren die er niet tussen zitten. Ik zeg "Ben je zeker?". Ahnee, gewoon een random oplossing van 'een' pentomino puzzel. Oeps. Hier is je échte oplossing:
*Geeft opnieuw een foute oplossing*
AGI is here bro.
5-7min lang 3 LLMs laten draaien op hetzelfde puzzeltje met uiteindelijk letterlijk negatieve value voor ons drie. Hoeveel van die compute is échte structurele
productieve demand, en hoeveel is van het soort bullshit bloat zoals ik hier heb beschreven?
