Hangt sowieso van persoon tot persoon af.
True story. In mijn eerste maanden daar was ook veel verloop in het data engineering team, later is mijn frank/euro pas beginnen vallen waarom... 
En in die reporting/dashboarding zit zeker value voor klanten, dat wil ik helemaal niet ondermijnen, maar vrees dat het ook vaak verpakt wordt als "AI/machine learning" terwijl dat nog iets helemaal anders is...Ik heb exact hetzelfde gevoel hoor. In praktijk zie je de echte AI/ML projecten zelden voorbij een POC fase geraken en wordt er heel veel basis statistiek verpakt als zijnde "data science".Ik werk zelf nu zo'n 12 jaar in de IT-sector, voor het grootste deel als software engineer in Java/Kotlin/JavaScript en ook een goeie 3 jaren lang als Python-ontwikkelaar.
Dankzij die laatste ervaring was het mij ook ooit gelukt om een project te doen als "data engineer": dus deel uitmaken van een team dat ruwe data transformeert naar een database om dan vervolgens value te halen uit die gegevens voor industriële productieprocessen. "ETL" wordt dat ook wel eens genoemd.
Ik was initieel heel enthousiast en omdat het team voor 80% bestond uit PhD's, dacht ik: wow, hier ga ik superveel van bijleren! Maar dat sloeg in de praktijk echt wel tegen... Daar werd Apache Airflow gebruikt, wat volgens mij helemaal niet de geschikte tool was voor hun use case (qua scalability) in combinatie met een configuratie die veel te ingewikkeld was gemaakt. Om een voorbeeld te geven: daar was 1 PhD gewoon voltijds bezig met klanten te onboarden op dat systeem en dieje mens was voor 1 nieuwe klant daar bijna 1 volledige maand mee bezig: dus YAML-configuraties maken en dan trial en error om het werkend te krijgen. Software testing? Was allemaal niet nodig volgens hen, hoewel ik hen probeerde duidelijk te maken dat dat in hun geval echt wel zinvol was. Mijn constructieve raad op het vlak van programmeren werd veelal in de wind geslagen. Ik had immers geen PhD zoals hen, dus hoorde er toch niet echt bij.
En als die gegevens dan eenmaal in de database zaten, dan hadden ze eigenlijk niet veel meer dan een key-value met nog metadata, zoals datum en tijd. Vervolgens was er dan het team van "data scientists" (ook allemaal PhD's met vooral ervaring in MATLAB) bezig met het maken van berekeningen, maar dat waren bijna altijd gewoon week- en maandgemiddelden. Allemaal gegevens die wel wat value hadden voor die productieprocessen, maar echt revolutionair was het allemaal toch ook niet... Terwijl er op hun website gegoocheld wordt met woordjes als "AI" en "machine learning", maar eigenlijk was het gewoon maar dashboards maken voor klanten met week- en maandgemiddelden.
En ik vrees dat het bij veel "revolutionaire" bedrijven in deze tak van de IT-sector wel zo is. Allez, dat is toch de perceptie die ik heb na mijn 1 jaar ervaring als "data engineer". Maar de echte experten hier die er veel langer inzitten of hebben gezeten als mij zullen mij misschien ook wel wat kunnen tegenspreken vermoed ik.
. Dus als ze dat wouden gebruiken om ETL mee te doen, dan is scalability niet hun enige probleem...Dat is gewoon regressie, en dus geen machine learning (dat is gewoon gebasseerd op uw historische data). Het punt van machine learning, is net dat de machine zelf leert en bijgevolg kan je dus onmogelijk nog weten wat de "logica" achter een beslissing is.
Verkeerd of niet, regressie wordt gezien als een vorm van machine learning. Alles onder de vorm van een 'functie' vinden in de vorm y = f(x) dmv. historische data is machine learning.
En dat is dus exact het "probleem" in de sector nu. Als je regressie onder machine learning gaat plaatsen, dan is half België een data scientist in wording. Regressie is basis-statistiek die je in Excel kan uitvoeren en letterlijk in zowat elke universitaire opleiding ziet. Dan krijg je dus PhD's die niks anders doen gemiddeldes berekenen als "data scientist"
JaAls je een regressie programmeert met automatische variable selection je laat het voorspellingen doen en het resultaat van die voorspellingen wordt dan automatisch toegevoegd aan de traindata, het model doet een update uit zichzelf en zo voort.
Is dat dan machine learning ?
Als laatste bijdrage aan deze discussie: je hebt hier eigenlijk 80 % gelijk in, maar er ontbreekt toch wat nuance.
Hier beschrijf je eigenlijk een 2e probleem dat zich stilaan in de sector aan het vormen is. Ik gok dat 90% van de bedrijven amper meerwaarde haalt uit "echte" data science en eigenlijk gewoon voldoende heeft met wat gemiddeldes en counts. Een voorbeeld hiervan is dat hier (officieel) uit "een moeilijke analyse" is gebleken dat bvb mensen op vluchten naar Dubai, veel alcohol kopen. Dat is niet "uit een moeilijke analyse" he, dat is gewoon een grafiek lezen...Als laatste bijdrage aan deze discussie: je hebt hier eigenlijk 80 % gelijk in, maar er ontbreekt toch wat nuance.
Bij een goede regressie toch wel wat meer komt kijken dan de basics die je in Excel doet bvb. reguralisatie, collineariteit, welke metric je gebruikt, hoe je omgaat met seizoensgebondenheid, hoe je omgaat met andere niet-lineare verhoudingen, hoe je het model evalueert (je wilt immers niet met nonsense naar productie gaan) etc.
Als je net als in mijn geval data hebt dat niet in je werkgeheugen past moet je ook kijken naar strategieën om hier mee om te gaan. Sure, met spark gaat zoiets wel, maar de bazen gaan niet blij zijn met de rekening ontvangen van de cloudprovider als je hier niet voldoende over nadenkt.
In mijn geval heb ik 15000 product combinaties dat elks een forecast nodig hebben. Bij sommigen kan je echt gewoon gemiddeldes berekenen en gebruiken, maar bij anderen echt gewoon niet. Een 'normale' regressie volstaat ook niet bij producten waar je een sterk seizoenseffect hebt. Je moet ook nadenken over wat je doet met nieuwe SKU's, hoe kleef je daar een voorspelling op? Ga je voor elks van die 15000 onderzoeken welke wel of niet gewoon gemiddeldes kunnen gebruiken?
Ik wil benadrukken dat het geen avance heeft om het veel te ver te zoeken als het niet moet, als gemiddeldes lukken dan doe je da toch gewoon? Voor situaties waar je toch meer 'power' voor nodig hebt is het toch wel aangewezen dat je iemand met de nodige expertise hebt?
Dit is ook machine learning maar zeer gevaarlijk aangezien je 'error propagation' hebt. Er zit een foutmarge op de eerste voorspelling die je dan meeneemt naar de volgende enzovoort. Tegen dat je ronde 10 gedaan hebt is het gans naar de kloten.
Dit klopt zoals ik zei in m'n eerste comment wellicht wel. Ik ben ook fan van met het simpelste te beginnen, als het hiermee kan, dan zei het zo. Als bijna startende junior hoop ik dus dat ik veel van het andere 10 % mag meemaken waar mijn opleiding/kennis wel het verschil maakt. Dat is het meest logische voor zowel mezelf als het bedrijf in kwestie.
Dit is not my hill to die on dus als het tegensteekt doe ik gewoon iets anders na een paar jaar.
Ik vind dit eerlijk gezegd nogal dubbel. Uit eenvoudige gemiddeldes en counts kunnen sommige businesses al zeer veel waarde halen.
Ik wil u helemaal niet "bang" maken, maar mijn verhaal is wel hoe ik het toen ervaren heb. En niks tegen PhD's, maar degenen waarmee ik toen heb samengewerkt hebben dan 10 jaar van hun volwassen leven op de unief doorgebracht en zijn daarna in het bedrijfsleven gestapt. Dan moet je ook een klik maken als je in de rol van data/software engineer terecht komt in een bedrijfsomgeving i.p.v. een unief met toch meer "vrijblijvende" sfeer. Als je schrik hebt om dingen in productie te zetten en als je een maand bezig bent met in YAML files te liggen kloten met trial en error om een nieuwe klant te onboarden op het systeem, dan moet je eens heel kritisch naar uw codebase en bedrijfsprocessen durven kijken en dingen aanpassen i.p.v. maar aan te modderen. Ga dan aan de slag met constructieve feedback van mensen die de pijnen als eens gevoeld hebben en spreken uit ervaring i.p.v. te denken dat je het altijd bij het rechte eind hebt, puur omdat je "langer naar school" bent gegaan. Software schrijven is uiteindelijk iets heel "ambachtelijk" en je gaat daar alleen maar beter in worden door veel te "doen".
Maar dat hoort er gewoon soms eens bij in veel (IT-)jobs.Dit is ook machine learning maar zeer gevaarlijk aangezien je 'error propagation' hebt. Er zit een foutmarge op de eerste voorspelling die je dan meeneemt naar de volgende enzovoort. Tegen dat je ronde 10 gedaan hebt is het gans naar de kloten.
"Data Science" is tegenwoordig een heel brede term, en beslaat gewoon het intelligent gebruiken van data om ergens belangrijke inzichten / voorspellingen / recommendations / ... te bekomen. Sommige aspecten daarvan kunnen inderdaad vaak onder de noemer "Data Analytics" ofzo ondergebracht worden. Maar in mijn mening is het doel 'simpele 'gemiddeldes berekenen, regressies doen, klassieke machine learning, deep learning... hetzelfde, enkel met een verschillende complexiteit. Heb als Data Scientist al problemen opgelost met technieken aan beide extremen van dat spectrum. Veel bedrijven zijn inderdaad niet klaar voor ML projecten, maar voor de meesten is dat op dit moment ook nog niet nodig. Ik verbaas me er van vaak hoeveel low-hanging fruit er nog is zonder dat er complexe dingen nodig zijn. Als je natuurlijk wel complexe dingen nodig hebt, moet je idd zorgen dat je geen zo'n data scientists aanneemt die enkel gemiddelden kunnen berekenen natuurlijk. 
Dat is intrinsiek toch exact hetzelfde als een neuraal netwerk? Je gebruikt een hoop training samples (/ historische data) om een aantal parameters te fitten in een functie, zodat je die functie later op nieuwe inputs kunt gaan toepassen. Het enige verschil lijkt me de complexiteit van die functies, maar fundamenteel is dat toch echt hetzelfde (met complexere functies moet je soms nog wat hyper-parameters tunen, maar ook dat is geen fundamenteel verschil lijkt me).Maar een neuraal netwerk is evengoed geen machine learning, maar data mining. Want wat "leert de machine" in dat geval?Ik vind net dat deze ingesteldheid een probleem is in de sector.
En over die regressie: Ik zie persoonlijk echt niet waarom dat geen machine learning zou zijn. Het bestond gewoon al lang voor dat machine learning cool werd.