Archief - De opmars van "zwarte doos" AI

Tijd om het eens te hebben over de trend waarbij onze maatschappij meer en meer door "zwarte doos" AI systemen bepaald wordt.

Deze systemen maken belangrijke beslissingen die serieuze gevolgen kunnen hebben voor een individu en het grote probleem bij "zwarte doos" AI systemen is dat de interne werking ervan niet gekend is. Het resultaat valt niet te verklaren.

Als je gedurende 10 minuten deze video bekijkt dan wordt het probleem hopelijk wat duidelijker, hij legt het ook wat beter uit dan ik.

Dit kan leiden tot allerlei bizarre situaties zoals recent nog Apple met hun Apple Card die gehuwde vrouwen om een of andere reden niet dezelfde kredietscore geeft als hun echtgenoten hoewel hun inkomsten niet afzonderlijk gerekend worden. zie hier
Of Amazon die dacht om AI te gebruiken om CVs' te evalueren en dan automatisch vrouwen wegfilterde. zie hier
Of AI die bepaalt wie een lening kan krijgen. zie hier
Of AI die bepaalt welke gevangenen recividisten zullen zijn. zie hier

Dat de resultaten niet te interpreteren zijn is m.i. het grote probleem zoals al gezegd en een van de gevaarlijke gevolgen daarvan is dat je de beslissingen vaak niet in vraag kan stellen. Het algoritme bepaalde dat je niet geschikt was en daar valt weinig aan te doen. Er is namelijk geen mens die kan verklaren hoe die beslissing genomen werd. Het gebruik van deze technieken is natuurlijk enorm kostenbesparend, maar de gevolgen voor het individu mogen niet onderschat worden vind ik. Vooral Big Tech (Google, Facebook, Amazon, Apple, ...) maakt gebruik van deze technieken, maar er zijn meer en meer AI startups die deze technieken willen gebruiken voor toepassingen die voorlopig nog altijd tot het domein der mensen behoren.

Willen we werkelijk een toekomst waarin beslissingen genomen worden door AI systemen die niet te verklaren vallen en waar overheden en bedrijven de verantwoordelijkheid kunnen doorschuiven naar het algoritme?

imho heb je gelijk dat minstens een aantal parameters verplicht zichtbaar zouden moeten zijn. En ook zeker de zaken waarop gechecked worden.

Of je zou moeten verplichten aan bedrijven om hun algoritmes te publiceren, weet ik niet. Wat mij betreft mag dat zeker, maar dat zal langs de andere kant ook competitief voordeel van dat bedrijf doen verliezen. Mss moet je verplichten dat bedrijven na bvb 5 jaar hun algoritmes verplicht moeten publiceren.

Waarom van AI hier de grote boeman maken? Oh nee, het is een "black box"... Reality check veel beslissingen die door mensen gemaakt worden zijn dat ook. AI liegt ten minste niet en baseert zijn beslissingen op meetbare en dus objectieve criteria. Dat dit soms tot ongewenste resultaten leidt komt eerder door de manier waarop deze AI werd getraind of omdat mensen erachter komen dat de realiteit niet overeenstemt met hun politieke ideaalbeelden

Als je als bv. Amazon je recruterings-AI opleert met jaren van aanwervingen waarin je niet "fender-neutraal" geweest bent, dan moet je geen "gender-neutrale" AI verwachten... en wie weet: misschien zijn ook los daarvan de top5 techtalenten nog meer mannelijk dan je al moet verwachten in een reeds door mannen gedomineerde sector? Mannen zijn ook oververtegenwoordigd in de misdaadcijfers en mogelijk zullen de zwaarste misdaadcijfers nog extra mannelijk zijn?

Idem met die zogenaamd racistische politie-AI in de V.S., tja als je AI opleert met data waarin enerzijds de politie wel degelijk enig racisme zal hebben vertoond en anderzijds ook met een realiteit zit waarin er meer zware misdaad voorkomt in de zwarte gemeenschap...

Bovendien wanneer een AI op zichzelf tot een conclusie komt dat vrouwen een groter kredietrisico zijn dan mannen, tja... Bij verzekeringmaatschappijen past men al tientallen jaren zonder AI iets vergelijkbaar toe voor mannen en auto's waardoor pannen meer betalen: het heet statistiek.
Maar bij gezondheidsverzekeringen voor vrouwen mag dat dan weer niet... Dit is geen AI-issue: dit is een politiek issue. Men zou bv. perfect kunnen verbieden en programmeren dat geslacht geen factor kan en mag zijn. Maar doen we dat dan voor alles of alleen voor issues waar vrouwen benadeeld worden?

Zo'n AI's zijn eigenlijk extra interessant als spiegels voor onszelf als samenleving.

Van een AI verwacht ik tenminste geen politieke corruptie, nepotisme en andere vormen van vriendjespolitiek, voorkeuren op basis van uiterlijk wanneer dat er niet toe doet. Lang leve AI zou ik zeggen, maar dan uiteraard met de nodige controles.

Dat "zwarte doos" gedoe is gewoon bangmakerij.

AI is net geen algoritme, maar een stukje programma dat zichzelf bijleert. Maar je moet het wel data geven van beslissingen en resultaten om te kunnen leren.

Als je bij dat Apple voorbeeld wil voorkomen dat een vrouw (met volgens de twitteraar voor de rest geen verschil met hem) een andere ktedietscore krijgt, zijn er maar een paar oplossingen:
Compleet verbieden dat men je geslacht bijhoudt in de data. Ofwel allemaal 1 sexe worden op papier.

En een black box is het in feite niet. De kleine kern programmeerlijnen voor AI wordt zelfs hergebruikt in verschillende domeinen, enkel wat getweakt. En het werkt gewoon: dwz dat dat kleine stuke AI code dezelfde of zelfs betere resultaten geeft dan zware statistische modellen en algoritmes loslaten op de data. Men heeft dat zeker vergeleken, anders zou men niet zeggen "AI werkt".

Dus vernieuwend qua wat men uit data kan halen is het niet echt, wel de manier waarop. Men heeft veel minder rekenkracht nodig, zodat men het bij wijze van spreken in je koffiezet kan inbouwen ook, en het online of in je wagen zelfs voor de kleinste ditjes en datjes kan inzetten. Bvb voor uw ruitenwissersnelheid tov de regenval en de andere sensoren in je wagen.

Alles staat of valt dus met welke data je over jij en ik mogen invoeren om de AI aan te leren. Want op basis van de data zal AI je vooral de harde waarheid vertellen, als je niet gelogen hebt in de data natuurlijk, en als je geen fouten gemaakt hebt bij de implementatie van de AI.

“Het resultaat valt niet te verklaren” is imo niet waar.

“Meneer wij hebben in 50 jaar data deze input parameters genomen met deze succes criteria en 5 biljoen simulaties/generaties gedaan en daaruit blijkt dat dit het resultaat is”. Is voor mij een perfecte verklaring. Zoals hierboven gezegd de code zelf is niet zo lang of ingewikkeld.

Wat je verder met dat resultaat van zoiets gaat doen, dat is het discussiepunt.

Als je AI afkeurt wegens black box, wat doe je dan met de wetenschap waar men ook werkt met steekproeven.
Als je bij 1000 muizen test dat een medicijn werkt, is dat dan een goed teken dat het medicijn werkt zelfs al weet niemand waarom het werkt?

Dieter85 zei:

“Het resultaat valt niet te verklaren” is imo niet waar.

“Meneer wij hebben in 50 jaar data deze input parameters genomen met deze succes criteria en 5 biljoen simulaties/generaties gedaan en daaruit blijkt dat dit het resultaat is”. Is voor mij een perfecte verklaring. Zoals hierboven gezegd de code zelf is niet zo lang of ingewikkeld.

Wat je verder met dat resultaat van zoiets gaat doen, dat is het discussiepunt.

Als je AI afkeurt wegens black box, wat doe je dan met de wetenschap waar men ook werkt met steekproeven.
Als je bij 1000 muizen test dat een medicijn werkt, is dat dan een goed teken dat het medicijn werkt zelfs al weet niemand waarom het werkt?

Klik om te vergroten...

Het is vooral een vraag over verantwoordelijkheid. Iemand, ( mens) moet verantwoordelijk zijn voor de gevolgen van die beslissingen. En wie wil verantwoordelijk zijn voor iets waar ze niet van weten waarom het zo is? 'Computer says no'

KnightOfCydonia zei:

Van een AI verwacht ik tenminste geen politieke corruptie, nepotisme en andere vormen van vriendjespolitiek, voorkeuren op basis van uiterlijk wanneer dat er niet toe doet. Lang leve AI zou ik zeggen, maar dan uiteraard met de nodige controles.

Klik om te vergroten...

Dat hangt helemaal van de dataset af lijkt mij, en in hoeverre een AI zekere nuances kan maken. De verkeerde data, of onvolledige data, lijken mij schadelijker voor de werking van een AI dan voor een systeem gerund door mensen.

Dieter85 zei:

Als je AI afkeurt wegens black box, wat doe je dan met de wetenschap waar men ook werkt met steekproeven.
Als je bij 1000 muizen test dat een medicijn werkt, is dat dan een goed teken dat het medicijn werkt zelfs al weet niemand waarom het werkt?

Klik om te vergroten...

Buiten dat het wel wat complexer is dan dat om een medicijn goed te keuren, is dat toch helemaal hetzelfde niet.
Na vele tests blijkt een medicijn een goede kans te hebben een bepaalde ziekte te behandelen>goedkeuring>een behandelende arts kan nu op basis van eigen onderzoek/ervaring/kennis beslissen om dit toe te dienen aan een bepaalde patiënt.
vs
Na door een hele hoop data te gaan beslist AI over iets. Hoe makkelijk kunnen we de redenen nagaan? Willen we nog controlestappen door mensen? Dat is hier toch de problematiek?

Gonzo the Great zei:

Als je bij dat Apple voorbeeld wil voorkomen dat een vrouw (met volgens de twitteraar voor de rest geen verschil met hem) een andere ktedietscore krijgt, zijn er maar een paar oplossingen:
Compleet verbieden dat men je geslacht bijhoudt in de data. Ofwel allemaal 1 sexe worden op papier.

Klik om te vergroten...

Dat is ook ineens de oplossing voor heel het probleem: wil je dat AI enkel rekening houdt met de parameters die jij maatschappelijk wenselijk vindt, geef het dan ook enkel die parameters. Maar, dat impliceert dat je die parameters al moet weten, en dan voegt de AI eigenlijk niks meer toe.

Bij gevolg is het in praktijk bijna onmogelijk om een "ethisch verantwoorde" AI te maken als hij zich basseert op trainingsdata van "niet-ethisch verantwoorde beslissingen".

Daarnaast heb je het probleem dat een AI zich enkel aan zeer specifieke regels houdt, zo is er een voorbeeld van een AI die een voorwerp moest zoeken dat een (virtueel) obstakelparcours kon doorlopen met als regel "het moet benen hebben". Eerste oplossing: 1 lange staaf die langer was dan het obstakelparkours in zijn geheel. Die valt naar beneden en komt aan de andere kant uit. Problem solved. Het is echt ongelofelijk moeilijk om die regels zo specifiek te schrijven zodat een AI ook ongeveer doet wat jij wil.

KnightOfCydonia zei:

Van een AI verwacht ik tenminste geen politieke corruptie, nepotisme en andere vormen van vriendjespolitiek, voorkeuren op basis van uiterlijk wanneer dat er niet toe doet. Lang leve AI zou ik zeggen, maar dan uiteraard met de nodige controles.

Klik om te vergroten...

Dus moet je kunnen interpreteren wat het model doet, hoe ga je anders weten dat dit niet gebeurt?
Het verschil tussen een "zwarte doos" mens en een "zwarte doos" AI is de schaal en van mensen eisen we ook dat ze hun besluiten kunnen rechtvaardigen.

Gonzo the Great zei:

En een black box is het in feite niet. De kleine kern programmeerlijnen voor AI wordt zelfs hergebruikt in verschillende domeinen, enkel wat getweakt. En het werkt gewoon: dwz dat dat kleine stuke AI code dezelfde of zelfs betere resultaten geeft dan zware statistische modellen en algoritmes loslaten op de data. Men heeft dat zeker vergeleken, anders zou men niet zeggen "AI werkt".

Dus vernieuwend qua wat men uit data kan halen is het niet echt, wel de manier waarop. Men heeft veel minder rekenkracht nodig, zodat men het bij wijze van spreken in je koffiezet kan inbouwen ook, en het online of in je wagen zelfs voor de kleinste ditjes en datjes kan inzetten. Bvb voor uw ruitenwissersnelheid tov de regenval en de andere sensoren in je wagen.

Alles staat of valt dus met welke data je over jij en ik mogen invoeren om de AI aan te leren. Want op basis van de data zal AI je vooral de harde waarheid vertellen, als je niet gelogen hebt in de data natuurlijk, en als je geen fouten gemaakt hebt bij de implementatie van de AI.

Klik om te vergroten...

De discussie gaat niet echt over de code, maar over de modellen die de code genereert. Verder is het vaak zo dat statistische modellen volstaan voor de meeste problemen, maar tegenwoordig is het in om AI te gebruiken zelfs als de meerwaarde beperkt is. Minder rekenkracht hangt er van af. Eerst moet je jouw model trainen en dat vergt redelijk wat rekenkracht, nadien kan je daar de vruchten van plukken.
De discussie gaat hier vooral over je laatste zin. Als je het model niet kan interpreteren, hoe kan je dan garanderen dat je niet gelogen hebt in de data en geen fouten hebt gemaakt bij de implementatie? Dat lijkt me toch geen onredelijke eis?

Dieter85 zei:

“Het resultaat valt niet te verklaren” is imo niet waar.

“Meneer wij hebben in 50 jaar data deze input parameters genomen met deze succes criteria en 5 biljoen simulaties/generaties gedaan en daaruit blijkt dat dit het resultaat is”. Is voor mij een perfecte verklaring. Zoals hierboven gezegd de code zelf is niet zo lang of ingewikkeld.

Wat je verder met dat resultaat van zoiets gaat doen, dat is het discussiepunt.

Als je AI afkeurt wegens black box, wat doe je dan met de wetenschap waar men ook werkt met steekproeven.
Als je bij 1000 muizen test dat een medicijn werkt, is dat dan een goed teken dat het medicijn werkt zelfs al weet niemand waarom het werkt?

Klik om te vergroten...

Je ziet het resultaat, maar je kan het resultaat niet verklaren. Dat is wat mij betreft niet goed genoeg voor veel zaken.
Een medicijn voor muizen of een medicijn getest op muizen? Indien het tweede dan kan je daar op dit moment nog geen conclusies uit trekken. Bij de wetenschap is het net belangrijk dat je kan verklaren waarom een fenomeen zich voordoet, hier vind je dat niet nodig als ik het goed begrijp?

zarathustra zei:

Het is vooral een vraag over verantwoordelijkheid. Iemand, ( mens) moet verantwoordelijk zijn voor de gevolgen van die beslissingen. En wie wil verantwoordelijk zijn voor iets waar ze niet van weten waarom het zo is? 'Computer says no'

Klik om te vergroten...

Voor AI bestond gebruikten ze zware algoritmes, dat 99,9 perc van de gebruikers ook niet snapten hoe die rekende, en hoe veel gewicht elke parameter in feite had.

AI is een andere manier van uitwerking, das al.
De grootste verandering is dat er nu veel meer data beschikbaar is, en dat databases meer en meer gekoppeld worden.

En dat is ook het probleem van het Apple voorbeeld van de OP: die twitteraar beweert dat er geen verschil is tussen hem en zijn vrouw, buiten het geslacht. Maar hij kan nooit weten welke data Apple effectief heeft over hem en zijn vriendin, en welke parameters er allemaal meespelen.

Volgens de privacy wet kan je hier opvragen wat een bedrijf over je weet. Of die man en die vrouw dat effectief deden wordt alvast niet vermeldt in dat artikel, dus ws niet.

En of men moet verbieden dat m/v een parameter moet zijn in AI is een andere discussie. Maar ook al zou het verboden zijn, vaak zal de AI dan wel het verschil merken via andere factoren, en er "rond leren", zodat de resultaten op hetzelfde neerkomen, ook al is m/v nergens een veldje in de data.

Gonzo the Great zei:

Voor AI bestond gebruikten ze zware algoritmes, dat 99,9 perc van de gebruikers ook niet snapten hoe die rekende, en hoe veel gewicht elke parameter in feite had.

AI is een andere manier van uitwerking, das al.
De grootste verandering is dat er nu veel meer data beschikbaar is, en dat databases meer en meer gekoppeld worden.

En dat is ook het probleem van het Apple voorbeeld van de OP: die twitteraar beweert dat er geen verschil is tussen hem en zijn vrouw, buiten het geslacht. Maar hij kan nooit weten welke data Apple effectief heeft over hem en zijn vriendin, en welke parameters er allemaal meespelen.

Volgens de privacy wet kan je hier opvragen wat een bedrijf over je weet. Of die man en die vrouw dat effectief deden wordt alvast niet vermeldt in dat artikel, dus ws niet.

En of men moet verbieden dat m/v een parameter moet zijn in AI is een andere discussie. Maar ook al zou het verboden zijn, vaak zal de AI dan wel het verschil merken via andere factoren, en er "rond leren", zodat de resultaten op hetzelfde neerkomen, ook al is m/v nergens een veldje in de data.

Klik om te vergroten...

Voor AI bestond gebruikten ze gewoon statistische formules om dingen uit te rekenen. Aangezien je daar bepaalde factoren ingeeft, weet je exact wat er allemaal invloed heeft op je resultaat (en zelfs in welke mate). Dat is het verschil met AI, waar je dat niet meer weet.

sandervdw zei:

Voor AI bestond gebruikten ze gewoon statistische formules om dingen uit te rekenen. Aangezien je daar bepaalde factoren ingeeft, weet je exact wat er allemaal invloed heeft op je resultaat (en zelfs in welke mate). Dat is het verschil met AI, waar je dat niet meer weet.

Klik om te vergroten...

Voor simpele dingen zijn statistische formules inderdaad doorzichtig, maar eens dat complex wordt zal de transparantie ook verminderen.

En ook al zijn de formules simpel, ze worden soms ook niet gedeeld met iedereen van het bedrijf, gewoon omdat sommige factoren die men hanteert nu eenmaal gevoelig liggen, en men niet graag heeft dat zoieys op straat gegooid wordt door een werknemer of misnoegde ex werknemer.

En hoe een bedrijf besluiten trekt met de data dat men over mij heeft, kan ik in feite weinig commentaar op hebben. Zij doen hun bedrijf draaien, en doen business met wie zij willen. Vinden zij mijn kredietwaardigheid niet goed, dan moet ik dat maar accepteren.

Waar ik wel een probleem mee heb is als ze dat zouden baseren op info waar ze geen recht op hebben. Dus de data beschermen via de privacy wet is mi voldoende, ook al gebruikt men AI om die te analyseren.

Gonzo the Great zei:

En hoe een bedrijf besluiten trekt met de data dat men over mij heeft, kan ik in feite weinig commentaar op hebben. Zij doen hun bedrijf draaien, en doen business met wie zij willen. Vinden zij mijn kredietwaardigheid niet goed, dan moet ik dat maar accepteren.

Klik om te vergroten...

Zij zullen kunnen verklaren waarom je kredietwaardigheid niet goed genoeg is, dat is het verschil. Vandaag nog gelezen:
https://www.newscientist.com/articl...if-they-fail-to-explain-decisions-made-by-ai/
Ze ontwijken het centrale probleem wel (interpreteerbaarheid), maar de wetgeving begint te komen.

sandervdw zei:

Voor AI bestond gebruikten ze gewoon statistische formules om dingen uit te rekenen. Aangezien je daar bepaalde factoren ingeeft, weet je exact wat er allemaal invloed heeft op je resultaat (en zelfs in welke mate). Dat is het verschil met AI, waar je dat niet meer weet.

Klik om te vergroten...

Maar de factoren moet je toch wel kennen , ook bij AI? Het programma zal zelf bepalen welke factoren er hoe belangrijk zijn in een beoordeling, maar die factoren zelf weergeven nadien kan toch niet moeilijk zijn. Ook het de "redenering" die de AI volgt om een beoordeling op een bepaalde manier te doen, lijkt me toch iets dat helemaal geen black box moet zijn? Of zie ik dat verkeerd?

beryl zei:

Maar de factoren moet je toch wel kennen , ook bij AI? Het programma zal zelf bepalen welke factoren er hoe belangrijk zijn in een beoordeling, maar die factoren zelf weergeven nadien kan toch niet moeilijk zijn. Ook het de "redenering" die de AI volgt om een beoordeling op een bepaalde manier te doen, lijkt me toch iets dat helemaal geen black box moet zijn? Of zie ik dat verkeerd?

Klik om te vergroten...

Bij een normale statistische functie kan je die factoren zeker bepalen. Bij AI ligt dat lastiger omdat hij achterliggend niet 1 functie maar mogelijk een paar 1000-en met elke keer andere factoren gebruikt. Er komt ook niet echt een model dat je kan interpreten uit zo'n AI-systeem.

Bij ons was er bvb een AI-team dat effectief dit probleem had, en daar kwamen "voorstellen" uit om meer te verkopen. Echter vroeg de CEO daar ook een verklaring achter, en die kan je niet meer geven. Gevolg: die voorstellen worden niet uitgevoerd.

Interessante video hoe AI twee teams leert verstoppertje spelen in een videogame.

https://youtu.be/Lu56xVlZ40M