Straddle zei:
Het is redelijk simpel. Jij (en jawadde e.a.) gaan ervan uit dat er per 1000 actieve beleggers er wel een paar geluksvogels tussen zitten die winnen, mede door randomness. Ik ga die mensen in detail bekijken en zien wat ze hebben gedaan en welke verhalen ze hebben over hun trading ervaring en leid daar conclusies uit af. Vervolgens verwijten jullie mij survivorship bias en verwerpen jullie de validiteit van FA en TA.
Ok, dat lijkt op het eerste zicht een valid point. Maar het probleem met iedereen apart bekijken, is dat je veel te veel informatie weggooit omdat je geval per geval werkt. Jij doet in feite een hoop statistische tests op steekproeven met grootte 1. En bijkomend: die steekproeven zijn dan nog niet eens random, omdat je a priori mensen kiest op basis van hun succes. De failures, die krijg je gewoon nooit te zien. Per extra steekproef daalt de betrouwbaarheid van je eindconclusie. Dat is een beetje te vergelijken met dat de betrouwbaarheid van 1 betrouwbaarheidsinterval (bijv. 95%) groter is dan de gezamelijke betrouwbaarheid van stel 5 betrouwbaarheidsintervallen met betrouwbaarheid 95%. Zie bijv.
Multiple comparisons - Wikipedia, the free encyclopedia. Bij iedere aparte test heb je een kans op een foute conclusie. Hoe meer testen, hoe groter de kans op een foute conclusie.
Het feit dat je het aanpakt zoals ik hierboven schets, blijkt uit hetgeen je hier zegt:
Straddle zei:
Iemand kan volgens mij 1 jaar of 2 jaar lucky zijn en de beurs verslaan, maar jaar na jaar de beurs verslaan is geen randomness meer.
Dat is inderdaad waar. Het is vrij onwaarschijnlijk dat iemand 10 jaar de markt kan verslaan, laat staan 40 of 50. Maar, en dit is enorm belangrijk voor ons argument, hetgeen wat hier vergeten wordt is de wet van de grote getallen. Dat één geval zoveel geluk heeft is zeer onwaarschijnlijk (de kans dat ik 10 keer op rij munt gooi is 0.10%). In jouw methodiek zou je oordelen dat die kans zo klein is en hij eigenlijk geen geluk kan hebben gehad. Maar dit is niet de vraag die je moet beantwoorden. De cruciale vraag is: als X aantal mensen 10 keer een munt op gooien, wat is dan de kans dat we Y personen observeren die 10 keer munt gooien? Bijv:
100 mensen => 9.31% kans om één of meer personen met 10 keer munt tegen te komen
1000 mensen => 62.36% kans om één of meer personen met 10 keer munt tegen te komen
10000 mensen => 99.99% kans om één of meer personen met 10 keer munt tegen te komen
Je kan dit vergelijken met apen die random zitten te typen op een computer. Als je maar genoeg apen hebt of genoeg tijd, zal er uiteindelijk een aap zijn die Hamlet zal schrijven. Extreem voorbeeld, maar wel ludiek
. (komt uit
Oogklepdenken van Ruben Mersch, aanrader).
Om hieraan te ontsnappen volgen wij gewoon de wetenschappelijke methode: ik ga uit van de nulhypothese. Ik ga ervan uit dat wij in de wereld van de nulhypothese leven, namelijk dat die TA'ers enkel maar geluk kunnen hebben. Dan bekijk ik wat wij in de realiteit observeren en plaats dat in het kader van de nulhypothese. Als zo'n observaties extreem onwaarschijnlijk zijn in de wereld van nulhypothese, dan is er waarschijnlijk iets mis met die nulhypothese, en ga ik die dus verwerpen: die kan niet kloppen, of daar lijkt het toch sterk op. Maar als de geobserveerde realiteit vrij waarschijnlijk is in de wereld van de nulhypothese, dan is die wereld helemaal niet zo gek, en gaan we die aanvaarden.
Voor mensen met minder ervaring statistiek: het is een beetje te vergelijken met een rechtzaak. De nulhypothese is dat men onschuldig is, dat is de wereld die we bekijken. Vervolgens kijken we naar het bewijs: de observaties. Vinden we een mes met bloed van het slachtoffer op in de tuin van de zogenaamde dader, dan is het vrij onwaarschijnlijk dat die nulhypothese klopt en mogen we die verwerpen. Vinden we echter gewoon modder onder zijn schoenen dat afkomstig is van hetzelfde bos waar het slachtoffer werd vermoord, dan is het zo zeker niet. Als de zogenaamde dader daar 3 keer per week met zijn hond gaat wandelen is zo'n observatie helemaal normaal in een wereld waar hij onschuldig zou zijn. Dat is zo'n beetje het verhaal.
Jij doet in principe hetzelfde, maar geval per geval. Je gaat voor ieder geval eigenlijk de nulhypothese verwerpen omdat geval per geval het zeer onwaarschijnlijk lijkt dat ze enkel geluk hebben. Maar als je het in het volledige plaatje plaatst, dan wordt snel duidelijk dat die waarschijnlijkheden snel tegen je in zullen draaien. Nog een additioneel probleem is dat je veel gevallen negeert, omdat er gewoon geen data van is. Bij hedge funds is dat probleem ook bekend. Veel van die fondsen publiceren hun resultaten pas na een paar goede jaren. Als het dus niet lukt in die jaren, dan duiken ze nooit in de databanken op, en is alle onderzoek op basis van die databank dus biased.
Je zou een groot deel van de bias al kunnen vermijden als je voor iedere toptrader die je zo apart onderzoekt, ook een absolute failure te zoeken, een soort van tegenpool of controlegroep.
