ChatGPT en andere Large Language Models

[chesini]

Ipv een plugin in een IDE begint het meer en meer naar CLI tools te gaan de laatste maanden. IDE's verliezen aan belang bij de echt zware AI gebruikers.

Plugins en CLI tools hebben toegang tot uw volledig project. Je kan context meegeven of de agent kan vrij beginnen zoeken met allerlei tools. De agent kan dan ook controleren of de code compileert, welke fouten er zijn, of de bestaande testen nog werken, etc. En ja, dat verbruikt natuurlijk veel tokens.

Dat dezelfde prompt twee keer andere output heeft lijkt mij geen probleem, geef twee developers dezelfde taal en je gaat twee verschillende uitvoeringen krijgen.

Twee keer identiek dezelfde prompt zou m.i. best hetzelfde resultaat opleveren. Maar dat zouden ze vrij eenvoudig kunnen oplossen. Elke input en output bewaren (dwz alle betrokken token-id's). Als je dan een identieke input plaatst, even snel de vorige output ophalen en als er toch wijzigingen zouden zijn, ook een nieuwe output+1 genereren. En uitleggen wat de delta is, wat de oorzaak van wijzigingen is.

Dan zou het meer gaan lijken op menselijke logica. Dwz als iemand mij 2 keer dezelfde vraag stelt op kortere termijn, dan ga ik persoonlijk iets gelijkaardigs antwoorden, en idealiter hetzelfde antwoord geven, tenzij ik er een nieuwe versie van maak owv meer nadenktijd intussen. Enfin.