Wat is ETL? Data ophalen, omzetten en laden uitgelegd

ETL staat voor Extract, Transform, Load: data uit bronsystemen ophalen, opschonen en opslaan voor analyse. Zo werkt het en wanneer je het nodig hebt.

Kort antwoord

ETL staat voor Extract, Transform, Load: een proces in drie stappen waarmee je data uit een of meer bronsystemen ophaalt, omzet naar een bruikbare vorm en opslaat op een plek waar je er rapportages op bouwt. Het werkt als een lopende band tussen je software en je dashboard. Zonder ETL moet je zelf exporteren, opschonen en samenvoegen, meestal in Excel.

ETL is een afkorting voor Extract, Transform, Load. Het beschrijft hoe data van de plek waar hij ontstaat, zoals je boekhouding of urenregistratie, op een plek komt waar je ermee kunt rapporteren. Het begrip komt uit de wereld van datateams, maar het idee erachter is simpel en geldt ook voor een mkb-bedrijf dat elke maand cijfers uit Excel plakt.

Extract: data ophalen

De eerste stap is het ophalen van de gegevens uit het bronsysteem. Dat kan met een export naar een bestand, maar in een geautomatiseerd proces gebeurt het meestal via de API van het systeem. Je haalt bijvoorbeeld facturen uit Exact Online of sessies uit Google Analytics.

Een goed extractieproces haalt niet elke keer alles opnieuw op. Het houdt bij wat al binnen is en vraagt daarna alleen wat nieuw of gewijzigd is. Ook moet het rekening houden met limieten van het bronsysteem en met tijdelijke storingen, zodat een mislukte poging niet leidt tot ontbrekende data.

Transform: omzetten naar bruikbare data

Elk systeem noemt dingen anders en slaat ze anders op. Datums staan in verschillende notaties, bedragen met of zonder btw, en een klant heet in het ene pakket “relatie” en in het andere “contact”. In de transformatiestap breng je dat in een vaste structuur: kolomnamen, datatypes en eenheden die overal gelijk zijn.

Hier gebeurt ook het opschonen en samenvoegen. Dubbele regels verwijder je, ontbrekende waarden markeer je en tabellen uit verschillende bronnen koppel je aan elkaar. Dit is het werk dat anders handmatig in Excel gebeurt, en waar de meeste fouten in sluipen.

Load: opslaan om te analyseren

De laatste stap is het opslaan van het resultaat in een database of datawerkbank, in tabellen waarop je dashboards en rapportages bouwt. Daarmee verandert de data van een stroom losse exports in een betrouwbare bron die iedereen raadpleegt. Dat is de kern van een datafundament: één plek waarop alle cijfers rusten.

Vanuit die opslag haal je de data weer op met Power BI, Excel of een eigen tool, bijvoorbeeld via de publieke API. Het dashboard zelf hoeft dan niet meer met elk bronsysteem te praten.

ETL in de praktijk

Een eigen ETL-proces bouwen betekent per bronsysteem code schrijven voor koppelen, omzetten en opslaan, en die code onderhouden zodra een bron iets wijzigt. Dat is verdedigbaar als je veel specifieke eisen hebt, maar voor de gangbare mkb-systemen is het vooral herhaalwerk. Een platform als APIboard doet de drie stappen voor je: je koppelt een bron, de data wordt opgehaald, omgezet naar een vaste tabelstructuur en opgeslagen, en daarna op vaste momenten ververst. Hoe vaak dat gebeurt, hangt af van je pakket, zie de prijzenpagina.

Meer over het verschil tussen losse exports en geautomatiseerd verversen lees je in data synchronisatie automatiseren.

Waar ETL meestal misgaat

De fouten zitten zelden in het ophalen, maar in de omzetting. Twee bronnen rekenen een bedrag anders (met of zonder btw), een datum wordt als tekst opgeslagen, of een veld krijgt in het bronsysteem opeens een andere betekenis. Het dashboard toont dan cijfers die kloppen met zichzelf maar niet met de bron. Leg daarom vast hoe elk veld is gedefinieerd, en vergelijk na de eerste synchronisatie een paar totalen met het bronsysteem. Pas als die overeenkomen, bouw je er rapportages op.

Onze tip: begin klein. Kies één bron en één rapport dat je nu handmatig maakt, laat dat geautomatiseerd lopen en breid daarna uit. Zo zie je meteen of de omzetting klopt voordat je er meer op laat steunen.

Veelgestelde vragen

Wat is het verschil tussen ETL en ELT?

Bij ETL zet je de data om voordat je hem opslaat, bij ELT sla je eerst de ruwe data op en zet je hem daarna om in de opslagomgeving zelf. ELT komt vaker voor bij grote datavolumes en krachtige databases. Voor een mkb-bedrijf maakt de volgorde in de praktijk weinig uit, zolang het resultaat een schone, betrouwbare tabel is waarop je kunt rapporteren.

Heb ik als mkb-bedrijf een ETL-tool nodig?

Als je data uit meerdere systemen wilt combineren en regelmatig wilt verversen, heb je ETL nodig, maar niet noodzakelijk als apart gereedschap. Een platform dat koppelen, omzetten en opslaan voor je regelt, vervult dezelfde rol. Voor één bron met een eenvoudig rapport is een handmatige export soms genoeg.

Is ETL hetzelfde als een API-koppeling?

Nee. Een API is de manier waarop een systeem gegevens beschikbaar stelt, ETL is het hele proces eromheen. De API gebruik je vooral bij de eerste stap, het ophalen. Daarna moet de data nog worden omgezet naar een vaste structuur en worden opgeslagen, en dat is wat ETL toevoegt.

Hoe vaak moet ETL draaien?

Dat hangt af van hoe actueel je cijfers moeten zijn. Een maandrapportage heeft genoeg aan een nachtelijke verversing, een operationeel dashboard vraagt vaker. De frequentie is meestal een instelling van de tool of het pakket waarmee je werkt, geen eigenschap van ETL zelf.

Hier meer over weten?

Koppel binnen minuten met je software, zonder zelf te hoeven knutselen. Wij maken het eenvoudig voor je.