Het is een moeilijke discussie omdat we niet eens kunnen bewijzen dat we zelf geen stochastic parrots zijn. Toch is het complexer dan gewoon woordvoorspelling. Als je bijvoorbeeld kijkt naar de parallellen tussen hoe concepten gecodeerd worden in onze neuronen en software gedefinierde neuronale netwerken zie je echt een convergentie waarin gelijkaardige concepten geencapuseleerd worden in gelijkaardige netwerk structuren.
For the first time, scientists identify individual brain cells linked to the linguistic essence of a word.
www.nature.com
Anthropic's conceptual mapping helps explain why LLMs behave the way they do.
arstechnica.com
The words that the same set of neurons responded to fell into similar categories, such as actions, or words associated with people. The team also found that words that the brain might associate with one another, such as ‘duck’ and ‘egg’, triggered some of the same neurons. Words with similar meanings, such as ‘mouse’ and ‘rat’, triggered patterns of neuronal activity that were more similar than the patterns triggered by ‘mouse’ and ‘carrot.’
Dit stuk gaat op voor beiden. Rudimentaire world models kunnen dus wel degelijk emergent properties van zelf organiserende voorspel netwerken zijn. Er zijn nog een aantal emergent fenomenen zoals bijvoorbeeld transfer learning die aangeven dat LLMs meer zijn dan stochastic parrots.
The prefrontal cortex neurons didn’t distinguish words by their sounds, only their meanings. When a person heard the word ‘son’ in a sentence, for instance, words associated with family members lit up. But those neurons didn’t respond to ‘Sun’ in a sentence, despite these words having an identical sound.”
De kans is reeel dat naargelang multimodal netwerken meer sensory input krijgen zoals sound en vision en bijvoorbeeld leren voorspellen hoe een bal zich gedraagd eens hij van tafel rolt dat ze nog veel perfomanter gaan worden.
Het probleem is dat zelfs experts het eigenlijk zelf ook nog altijd niet goed weten. Dit artikel is een goede samenvatting van de verschillende kampen en meningen die momenteel het veld domineren;
Everyone thinks they know but no one can agree. And that’s a problem.
www.technologyreview.com
“The truth is these words”—intelligence, reasoning, understanding, and more—“were defined before there was a need to be really precise about it,” says Pavlick. “I don’t really like when the question becomes ‘Does the model understand—yes or no?’ because, well, I don’t know. Words get redefined and concepts evolve all the time.”
nog steeds niet opgelost.... anyhow met uw eigen AI assistant kan je dan zeggen..Nee gij dommekloot... er zitten 3 r'en in! En die onthoudt dat dan tot wanneer je de assistant in de vuilbak gooit.
