Ondat je in AI ook nog de juiste woorden moet intikken om tot een correct antwoord te komen.
Geeft mij eens het model van de phone
ChatGPT en andere Large Language Models
- Onderwerp starter GemaneDude
- Startdatum
Ondat je in AI ook nog de juiste woorden moet intikken om tot een correct antwoord te komen.
Geeft mij eens het model van de phone
Jenthe
Member
We moeten hier nu ook niet het licht van de zon ontkennen. Voor niet-cruciale taken is een goede LLM in vele gevallen een pak makkelijker dan een Google zoektocht aangaan. Zelfs (of zeker) voor vrij triviale zaken is een direct antwoord met een duidelijke structuur en stappenplan toch gewoon veel gebruiksvriendelijker.
Ik vind die samenvatting nu net het sterke punt van zo'n LLM.Maar de enige reden dat jij het nu binnen de 5min hebt, is omdat die persoon indertijd een antwoord gekregen heeft
Als je het nu dus zou zoeken met een gewone zoekmachine, zou je even snel of sneller het antwoord hebben dus. Maar dan in de context waaruit de AI het geplukt had. Als er dus nog andere dingen in de comments stonden, zou je die mogelijks wel gevonden hebben door zelf te zoeken en die reddit thread te bekijken dan enkel af te gaan op de AI samenvatting.
Ik heb een gelijkaardig voorbeeld. Ik heb recent de (tot dan toe dichte) verbinding naar een bovenverdieping terug opengemaakt. Daarin zat al een trap maar die was dichtgemaakt. Dat allemaal terug netjes opgelapt maar dan kwam ik tot besef dat ik wel graag van beneden het licht zou willen aandoen boven.
Ik had daarbij geen zin om kabels te slijpen, trekken e.d. dus vroeg ik zo'n model naar alternatieven. Blijkbaar bestaan er daarvoor analoge schakelaars via radiogolven die je kan toevoegen aan een bestaande schakelaar om dan vervolgens een draadloze knop elders te plaatsen. In mijn geval dus onderaan de trap.
Hoewel ik niet afwist van het bestaan daarvan, ken ik wel wat af van elektriciteit en aansluitingen. Ik doe de bestaande lichtknop open en dat bleek een wisselschakelaar te zijn. De handleiding van het ding was prima en wist hoe ik het allemaal moest aansluiten maar wou het toen toch ook eens testen met een LLM. Ik had toen Gemini (basis) gebruikt en daarmee een foto genomen van het aangekochte product en een foto van de schakelaar die intussen uit de muur hing.
Gemini heeft mij daarbij volledig van A tot Z de instructies gegeven over hoe ik dat extra schakelaartje daar moest tussenzetten. Dat kan en zal best dat die dat dan elders is gaan halen omdat iemand die vraag al een had of door gewoon zaken bij elkaar te puzzelen van verschillende bronnen maar dat is toch ook net waarvoor het dient? Veel liever op die manier iets behapbaar voorgeschotelt krijgen dan weer eens door een een obscuur Reddit-kanaal te moeten gaan scrollen.
Général Zantas
Well-known member
Veel aannames, waar je gelijk reeds de mist in gaat. Ik heb GenAI gewoon aangeschreven en gezegd dat ik mijn PIN vergeten ben van een oude GSM. Als ik dezelfde vraagstelling hanteer op Google, is het pas het 6e resultaat dat uiteindelijk leidt tot de oplossing. Ik heb Gemini ook een andere model benaming gegeven dan de Reddit thread (Reddit thread is Galaxy S4, ik vroeg Gemini om Galaxy GT-19505 omdat ik toen net de batterij eruit had gehaald en die modelnaam op de achterkant onder de batterij zag staan, maar als je zoekt op GT-19505 vind je die thread niet in de eerste resultaten), en de uiteindelijke oplossing staat niet bovenaan maar is pas de 3e reactie, omdat de eerste reactie te vaag was en de topicstarter meer uitleg vroeg (ook voor mij is die te vaag overigens). Die extra uitleg was uiteindelijk voldoende voor topicstarter om het issue te verhelpen. Maar je moet dus wel 3 volledige comments (2 relatief gedetailleerde en technische comments) doorlezen, naast de probleemstelling in de openingspost.
Op de Google SE-experts in deze thread na, gaan er maar heel weinig mensen zijn die het antwoord niet sneller met GenAI bekomen dan met Google.
En dat is een beetje het punt hier, er is op dat vlak geen verschil tusen GenAI en Google, behalve dan dat die eerste reeds een filter toepast en zaken uitsluit die minder relevant zijn, dat die eerste aan veel vagere omschrijvingen (of alternatieve omschrijvingen) ook hetzelfde antwoord vindt, en dat je jezelf hierdoor heel veel tijd uitspaart.
Maar als jullie willen blijven googlen, doe gerust verder he. Niemand dwingt jullie om iets anders te doen. Ik geef enkel maar mee dat ik via Gemini hetzelfde antwoord bekom als wat ik via Google met veel meer moeite had kunnen bekomen. Ik gebruik GenAI als een meer efficiënte zoekmachine, maar net zoals met Google vroeger ga ik niet zo maar alles klakkeloos overnemen en geloven. Daarom dat ik bv de commands ook eerst even googlede om te zien wat dat juist doet, en met die command kwam ik dan op die Reddit post. Commands googlen lukt gelukkig wel vrij efficiënt. Gaten in de muur fixen googled wat minder flexibel, en vragen stellen op discussiefora vereist veel geduld. Zo heb ik voor een ander issue met een meubelstuk hier en op Reddit nooit (bevredigend) antwoord op gekregen, dus ook daar de instructies van Gemini gevolgd en alles werkt tip-top in orde.
the_fox
Well-known member
Maar dan ga jij ook voorbij aan wat ik bedoelde.
Ik antwoordde op @Général Zantas die beweerde dat hij het met een LLM op 5min vond terwijl de vraagsteller op reddit 6u op een antwoord moest wachten. Het punt was dat de enige reden dat het nu 5min duurt i.p.v. 6u (ongeacht of je nu via LLM of zoekmachine gaat) is omdat de vraag in het verleden al gesteld was en je nu dus het antwoord kunt vinden.
Als het antwoord nergens online te vinden is, gaat noch LLM noch een zoekmachine u het antwoord geven op 5min en ga je ook moeten wachten tot een levend persoon met ervaring het antwoord neertypt...
Hmm, daar zie ik toch meer nuance in dan wanneer je een standaard zoekmachine gebruikt. Een LLM denkt dan wel niet voor zichzelf, het kan wel verbanden leggen en zaken combineren. De wetten van elektriciteit bv. zijn beschikbaar en je kan online perfect vinden hoe een wisselschakelaar werkt. De kracht van een LLM is dat het die dingen wel kan combineren en vervolgens in een te gebruiken vorm kan gieten. Het is dus zelfs niet noodzakelijk dat iemand al die precieze vraag gesteld heeft. Dat is gewoon patroondenken.
Ik geef je zeker gelijk dat de kennis pur sang komt van wat er op het internet te vinden is. Zonder dat er bronnen over de werking van elektriciteit te vinden zouden zijn, zou een LLM er niks van kunnen maken. Maar dat is ook zo als je naar een klassieke bib zou gaan. Als de bron er niet is, ga het zelf ook niet kunnen vinden.
Voor de ietwat ingewikkeldere vraagstellingen, richt ik mij tegenwoordig graag tot een LLM in plaats van een zoekmachine. Ook lekker makkelijk dat je er effectief iets een vraagzin kan stellen.
Voor basiszaken zoals wie schreef boek X of wie speelde in film Y, richt ik mij vooralsnog tot Google.
Nee, ik ben wel op de hoogte, hoor. Alleen heb je het over "hoe accuraat" of "het resultaat is juist". Wat ik zeg, is dat juistheid een toevallig bijproduct is als het niet gaat over de zinnen zelf. Het kàn zijn dat je resultaat deze keer juist is. Maar dan is dat per ongeluk. Ze proberen dat "per ongeluk" zo vaak mogelijk te verkrijgen, maar dat verandert niets aan het feit dat het een bijproduct is.
Je zei dat als jij aan Claude zou vragen of hij genoeg informatie heeft om een antwoord te geven, hij dat wel zou aangeven als het niet is. Dat is niet waar. Er is in dat opzicht nog niets veranderd aan de fundamentele werking van een LLM van toen je aan hem vroeg hoeveel R'en er in Blueberry zat, en hij 3 zei, omdat even daarvoor de hype was geweest om hem te vragen hoeveel R'en er in Strawberry zaten, waarbij hij maar iets gokte. Veel mensen verbeterden hem toen naar 3, en daaruit had hij geleerd dat 3 een geprefereerd antwoord was. Niet dat hij moest leren tellen.
Opnieuw: als je de LLM wilt vergelijken met een heel goedgelovige, inhoudsloze mens die meteen aanneemt dat de lucht inderdaad geel is, ja, dan geef ik je gelijk. Op dat niveau staat een LLM. Maar we hadden het over vragen aan een expert, niet vragen aan een goedgelovige, inhoudloze mens.
Je komt bij iets fundamenteels: ja, wij gebruiken ook taal, net als LLM's. Jouw conclusie daaruit lijkt echter te zijn dat we daardoor op één of andere manier op gelijke hoogte komen. Terwijl het totaal anders is. Taal is onze manier om onze redenering tot uiting te brengen. We hebben abstracte, niet-contextgebonden beelden en ideeën achter die taal, en die kruisbestuiving tussen de twee is enorm. Echter voor LLM's is die output het énige wat er is. De lagen erachter zijn er niet.
En nee, daarmee bedoel ik niet dat je sowieso LLM's niet kunt vertrouwen omdat het "maar taalmodellen zijn". Maar wel dat je de taalmodellen moet gebruiken voor wat ze zijn en wat ze doen. En het niet is omdat hun taal op de onze lijkt, dat hun denkvermogen/denkwijze op de onze lijkt of dat juistheid ook maar enige rol speelt. Wil je het gebruiken om een juiste zin te maken? Perfect. Om een tekst samen te vatten? Meer dan waarschijnlijk prima werk. Een computertaal is ook een taal, en nog wel een heel logische, dus coderen zal ook uitstekend lukken.
Om niet te filosofisch te worden: als ik hem vraag om "brood" te vertalen naar het Frans, zal hij dat vast goed doen. Hij zal geen idee hebben van wat een brood precies is, of betekent voor mensen, maar het staat er.
En dan kàn het zijn dat hij die wetten van de elektriciteit samengiet met alle andere informatie, oa ivm wisselschakelaars en tot iets bruikbaars komt. Of dat je eerst 5x tegen iets aanloopt, waarbij hij moet zeggen "Je hebt gelijk, sorry. Een typische valkuil! Ik had er niet aan gedacht, maar op deze manier word je geëlektrocuteerd." en bij de zesde merk je dat je in een soort Panamarenko bent gevallen, waarbij hij denkt dat hij het water heruitgevonden heeft en je aan lichtsnelheid kunt reizen.
Kortom; net zoals je via een Google search of bibonderzoek niet altijd direct op het juiste antwoord zal stoten.
Ik wil LLM zeker niet voortrekken maar het naar achter stoten vind ik al evenmin correct.
Vega
Well-known member
Ik begrijp uw punt eigenlijk helemaal niet meer... Je gaat eerst van dat een LLM enkel maar woorden zoekt die ietwat correct kunnen antwoorden op een vraag maar naar correctheid geen check is, naar dat een AI niet zelf kan nadenken... Dat laatste ontken ik ook niet, maar imho schets je wel een zeer negatief beeld van AI/LLM/Claude. Ik herken wat je zegt als ik Copilot gebruik of als ik een jaar geleden ChatGPT gebruikte, ik herhaal nogmaals, Claude is voor mij persoonlijk niet hetzelfde. Het gaat niet puur om de verwoording maar om de effectieve antwoorden. En je hebt 100% gelijk dat je een LLM moet gebruiker "voor de juiste zaken". Maar daarom doen alsof het een achterlijk iets is dat waarschijnlijk toch een fout antwoord geeft vind ik wel zeer kort door de bocht... Het is wel degelijk een Google op steroïden en voor de kritische persoon die zelf nadenkt over welke bronnen hij/zij moet gebruiken via Google, moet je dit op dezelfde manier benaderen dat je kritisch ermee aan de slag gaat.
Maar nogmaals, heel het relaas van "LLM's herkauwen gewoon wat er op Google te vinden is", prima... Dan is LLM een zeer goede Google voor mijn Google.
the_fox
Well-known member
Maar dat is niet waarover de discussie gaat.
Er werd gesteld dat je enkel voorkennis moest hebben om te kunnen googlen. Maar zonder die voorkennis, ga je de fouten van een LLM dus niet herkennen en ga je dus gewoon blindelings uitvoeren wat het voorstelt.
Hiermee is de discussie begonnen nadat iemand aankaartte dat mensen nu meer LLM als zoekmachine gebruiken dan een echte zoekmachine:
vs.
En met dat soort uitspraken/vergelijkingen hebben mensen het moeilijk. Niemand ontkent het nut van LLM's, maar je moet het gebruiken waarvoor het dient en de beperkingen aanvaarden. Maar stellen dat je bij google kennis van zaken moet hebben om te weten of je juist bezig bent maar dat een LLM je direct een passend kant-en-klaar antwoord geeft is gewoon fout.
Zonder kennis kan je bij geen van beiden weten of het antwoord correct is. En bij beide moet je weten hoe je de vraag moet stellen/verwoorden om relevante(re) resultaten te bekomen.
Vega
Well-known member
En ik die hoopte dat je de muur zou laten vallen.... Het is duidelijk, je dacht dat ik bedoelde dat als je een foto van een witte muur stuurt, AI gaat weten uit wat de muur samengesteld is, dat bedoelde ik dus niet hé... En zie hierboven, ik vind de antwoorden van Claude (die gerichte vragen stelt om dan een oplossing te kunnen bieden) echt wel prima in orde. Waarom zou ik dat daar dan niet voor mogen gebruiken is mij een raadsel, omdat puristen zoals jij het er dan "moeilijk mee hebben"?
Als je puur naar die quote kijkt van @Vega ja, maar die heeft dat hierboven al meermaals genuanceerd en rechtgezet. Ik mag hopen dat mensen nog altijd gaan nadenken bij de antwoorden van een LLM. Het klinkt zonder twijfel aannemelijker dan een simpele Google search wanneer je in volzinnen het antwoord krijgt voorgeschoteld. Gelukkig hebben ze mij altijd geleerd om toch een klein beetje kritisch te denken. Dat wordt wellicht de grootste valkuil voor de nieuwe generatie jongeren en is zeker iets om attent voor te zijn in het onderwijs.
Claude is dan wel beter op sommige punten, maar blijft een LLM met dezelfde fundamentele issues als elke LLM (zoals Copilot). Dat die issues vaak beter kunnen bedekt worden, verandert niets aan het feit dat die er wel zijn.
En het enige wat ik zeg, is dat je een LLM op de juiste manier moet gebruiken. Jij hebt 'm vergeleken met iemand die na 5x inderdaad gelooft dat de lucht geel is, dat kan ik niet heel anders noemen als achterlijk? Geel is daarnaast nog altijd fout, omdat hij geen spectrumanalyse van de lucht doet. Hij is namelijk een LLM die zinnen bouwt. En juistheid is in dit geval een bijproduct.
Daarom is het ook géén Google op steroïden: Het grote verschil is dat je op Google een pdf kunt vinden van een expert, naast 3 HLN-comments die iets beweren. En -even de modernere guidelines daargelaten- is het basisprincipe dat de LLM patronen herkent en de vaakst gebruikte gaat nabootsen. Dus hij recreëert een tekst, waarvan waarschijnlijk een groot deel zal komen uit de pdf, maar afhankelijk van de hoeveelheid bagger die er te vinden is, ook een deel daaruit. En zelfs als hij énkel de pdf gebruikt, gaat hij het anders verwoorden, waardoor er ook nuanceverschillen in kunnen sluipen.
Zoek ik het op Google op, kom ik op die pdf, puur en onversneden met HLN-commentaren. Klaar. Kan die expert ernaast zitten? Uiteraard. Maar het is niet omdat de ene 2/10 is en de andere 8/10 dat je kunt zeggen dat ze allebei "er wel eens naast zitten" en dus gelijk zijn. Dus je zult mij niet zien zeggen dat LLM's gewoon herproduceren wat er op Google te vinden is.
Zoals ik tegen iemand anders zei vorige week, als je hoogst haalbare doel op dat moment is die pdf perfect te krijgen via de LLM, is het een véél betrouwbaardere optie om die pdf gewoon te zoeken via Google.
Vega
Well-known member
Het is duidelijk, uw mening is totaal anders dan de mijne, geen probleem mee. We komen overeen dat je AI/LLM "correct" of toch op een bepaalde manier moet gebruiken, alleen verschillen onze definities van welke manier dan precies wel helemaal... Ook daar, geen probleem hé. Jij gebruikt het zoals jij het wilt, ik gebruik het zoals ik het wil (en dan liefst zonder de vinger te wijzen wat je wel mag/niet mag
)
Jenthe
Member
Ik vind dat je teveel focust op het “kennis als bijproduct” aspect. Daarin heb je technisch gelijk, maar hoe relevant is dat uiteindelijk als de gemeten kennis steeds beter wordt? Er zijn benchmarks die “kennis” quantificeren en release na release scoren LLMs daar steeds beter in, vaak vergelijkbaar met een goede master student. Dat die kennis dan het resultaat is van een stochastisch kansenmachine lijkt me minder interessant, zolang je je bewust bent van de limitaties die dit met zich meebrengt.
Statistisch gezien zal het resultaat van een LLM steeds beter worden. De kans dat je het eet-wasco's-in-een-hoekje-lot trekt, is er echter nog altijd. Omdat het niet start vanuit achterliggende begrippen, maar vanuit taal. De output is het vertrekpunt, zonder de achterliggende stappen. De benchmarks die liggen rond "goede masterstudent" is ook alleen bij gebruik van een LLM waarvoor het gemaakt is, hè. Niet "onafhankelijk van het gebruik".
En goed, dit is mijn persoonlijke overtuiging, maar ik ben er vrij zeker van dat we nu tot aan 80% kunnen komen, maar dat die laatste 20% naar het gat overbruggen tussen LLM's en "ons" redeneervermogen onmogelijk is, gewoon door de manier waarop LLM's werken. Daarmee zeg ik niet dat het onmogelijk is voor AI, hè. Maar wel voor LLM's.
Ik kan het puur bekijken op vertaaldata, daar gebruiken wij ze voor. En ik durf te zeggen dat LLM's het véél vernuftiger doen en op een ongelofelijk coole manier, maar dat het resultaat in de praktijk niet beter is dan via een fuzzy/non-fuzzy match in translation memory's van 10 jaar oud. Dus dat het een kansenmachine, lijkt ook bijzaak. Tot je die laatste 20% niet meer kunt overbruggen daardoor, hè.
Jenthe
Member
Ok da’s al duidelijker, daar ben ik het ook helemaal mee eens. LLMs zijn niet de weg naar AGI, maar dat betekent niet dat de “kennis” die een LLM produceert ondertussen niet zeer productiviteitsverhogend kan zijn. Alles hang uiteraard af van de specifieke toepassing en vanuit welke hoek je het bekijkt. Vertaalmodellen waren al verder gevorderd, waardoor de sprong daarin minder groot is, zeker als het letterlijke vertalingen moeten zijn. Maar er zijn nu taken die je grotendeels kan automatiseren met LLMs waarvoor vroeger gewoonweg geen modellen bestonden, dan ga je van 0% naar 80%-90%. En dat voor heel veel taken.
Ik zei "experten" met aanhalingstekens omdat dat utieindelijk is waar wij gewone mensen met moeten vergelijken. Er zal hier misschien een enkeling rondlopen die echt met experten in een vakgebied kan communiceren ( en dan gebruik ik kan zowel in de betekenis van mogelijkheid hebben tot en de kennis hebben om op dat niveau te communiceren).
Ja LLM zijn uiteraard niet te vergelijken met echte experten, maar dat is ook niet waar wij met spreken als we een of ander probleem zouden oplossen door het aan een mens te vragen die claimt te weten waar ze over spreken. DIE experten zijn in praktijk niet veel beter dan een LLM. Vaak significant slechter.
Absoluut, begrijp me niet verkeerd! Ik vind LLM's een wonderlijk gegeven en voor de zaken waarvoor ze dienen, is het een gigantische sprong. En ook superhandig, ook zelfs voor randgevallen binnen hun domein. Maar dan natuurlijk met 16 zakken zout en de nodige scepsis en kunde. Ik geef alleen aan dat oa de usecase van horse een LLM ten eerste geen eer aandoet, en ten tweede echt niet de betrouwbaarste manier is.
Als ik ga opzoeken op Google, gebruik ik de handleidingen/podcasts/workshops die gegeven worden door experten, toch?
Dus als het gaat om een Google-opdracht waarbij je een YouTube-filmpje of een pdf van een expert tegenkomt, vs een vraag die je stelt aan een LLM waarbij het hoogst mogelijk te benaderen doel diezelfde pdf is, dan is het toch maar normaal wat de betrouwbaarste methode is?