Maar dat is niet waar? Er zit geen signaal in, want er klopt echt niks van... Het zijn geen random woorden, het zijn woorden waarvan hij berekent dat je er waarschijnlijk tevreden van gaat zijn. En dat kan door in de juiste realiteit te blijven. Maar dat heeft niks met een begrip over mij te maken en zelfs niet met een begrip over de taal. Wel met een patroonherkenning.
Daar stuurde ik dan ook op aan, dat "Begrip" iets vaags is en niet perse nodig voor intelligentie. "in de juiste realiteit blijven" is daar een hallmark van. Patroonherkenning en de intelligentie omvat in het netwerk na training slagen daarin. Dat alles afwimpelend omschrijven als niet meer dan het aaneenrijgen van waarschijnlijk gewenste lettergroepen vind ik kort door de bocht want het gaat voorbij aan al het bewijs dat ze nieuwe verbanden kunnen leggen, nieuwe zaken ontdekken, creatief kunnen zijn, dat ze kunnen extrapoleren naar zaken die niet in hun dataset zitten, ....
https://arxiv.org/abs/2307.15936
Far from being “stochastic parrots,” the biggest large language models seem to learn enough skills to understand the words they’re processing.
www.quantamagazine.org
Of dat ze niet beperkt zijn tot taal en van alles modellen kunnen maken of dat ze zelfs beter presteren als ze zichzelf trainen zonder grote bergen mensen kennis te absorberen.
Dit alles wijst erop dat het verankeren van informatie in gewogen netwerken net als bij ons een belangrijk onderdeel is van intelligentie, dat het fine tuned model daarin opgebouwd het toestaat om in de juiste realiteit te blijven en te kunnen voorspellen. In dezelfde zin kan je onze intelligentie en bewustzijn downlplayen als bijvoorbeeld niet meer dan de activatie van neuronen. Technisch correct net zoals primitieve LLMs maar wat jongleerden met tokens maar dat schept niet het totaalbeeld dat duidelijk meer is dan de som van de delen.
Bewustzijn en intelligentie liggen op een spectrum. Bewustzijn en dus "begrip" gaat met deze paradigm alleen waarschijnlijk niet bereikt worden maar de intelligentie van deze netwerken gaat wel met rasse schreden vooruit.
Toch nemen grote namen zelfs die mogelijkheid serieus;
Conclusie, we kunnen momenteel met een aan zekerheid grenzende waarschijnlijkheid zeggen dat LLMS niet sentient zijn maar gezien hun context geheugen enorm aan het groeien is alsook hun embodiment in de wereld, hun zintuigen en mobiliteit als hun vermogen om 0 shot op zichzelf te leren zonder menselijke interventie en proef ondervindelijk hun eigen datasets op te bouwen is het niet onmogelijk dat ze alsmaar meer op dat spectrum opschuiven en dat toename in complexiteit en kunnen ertoe zal leiden dat intelligente netwerken een persoonlijkheid opbouwen. Op den duur kom je dan uit bij discussies over
P-zombies en
qualia en kom je uit bij het feit dat wij ook maar slimme machines zijn waar iks in ontstaan zijn waarvan bewustzijn ook iets vaags en moeilijk meetbaar is.
Maar we gaan en zullen, zijn volop bezig, systemen te ontwikkelen die intelligenter zijn dan de meeste mensen zonder dat ze bewust zijn vandaar ook dat ik nergens een case maak voor "begrip", eerder het tegenovergestelde. Dat dit geen vereiste is voor intelligentie. Een mier begrijpt ook niet wat ze aan het doen is of waarom ze iets doet maar is wel een intelligente biologische machine, zeker het collectief ervan.