Toekomstbestendige datawarehousing in professionele dienstverlening

Context en doelstellingen

Een bedrijf dat zich bezighoudt met personeelsbeheer wilde zijn gegevensomgeving centraliseren zodat verschillende medewerkers er gemakkelijk toegang toe hadden, met name voor rapportagedoeleinden. Daarnaast wilden ze een flexibel systeem dat geschikt is voor toekomstig gebruik, zoals AI-toepassingen.

Het project ging van start omdat ze van plan waren om hun personeelsbeheer over te zetten naar een nieuw systeem, wat het risico van gegevensverlies met zich meebracht. Om dit risico te beperken, ontwikkelden we een modern datawarehouse dat een robuuste basis vormt voor effectief gegevensbeheer.

Benadering

Eerst analyseerden we de gegevens in de brondatabases. Deze analyse hield rekening met factoren zoals de grootte van de gegevens, de aanwezigheid van indices en het potentieel voor het implementeren van incrementele logica voor dagelijkse gegevensupdates. Met deze aanpak hoeven we niet steeds hele tabellen te downloaden als we een update nodig hebben.

Vervolgens analyseerden we de rapporten die werden gebruikt door de agenten en de backoffice van het bedrijf om de werklast te prioriteren en tegelijkertijd een uitgebreid beeld te behouden van het langetermijndoel. We organiseerden de gegevens uit de SQL-database, documenteerden alle gemaakte transformaties, bepaalden de gebruiksfrequentie voor elk rapport en prioriteerden ze op basis van zakelijke inzichten, complexiteit van de query en gebruiksfrequentie.

Tot slot hebben we een database herontwerp uitgevoerd om de datavelden bij te werken en de infrastructuur in Azure op te zetten met een geschikt datamodel. Daarnaast migreerden we de belangrijkste rapporten die in eerste instantie waren geïdentificeerd naar het nieuwe framework. Deze rapporten zullen dienen als tastbaar voorbeeld voor eindgebruikers en interne ontwikkelingsteams.

Resultaten

Het bijgewerkte dataplatform biedt een reeks functies, waaronder het opzetten van de infrastructuur, het implementeren van een datamodel voor een datawarehouse, het ontwerpen van een architectuur met meerdere opties en het geven van de beste aanbeveling voor de klant. Het zorgt voor datagovernance en creëert documentatie voor het team van de klant. De cloudgebaseerde datawarehouse-architectuur brengt verschillende gegevensbronnen samen in één ETL-framework, waardoor analytische rapporten kunnen worden gegenereerd en inzichten kunnen worden geanalyseerd.

We migreerden zeven belangrijke en complexe rapporten van de oude databasestructuur naar de nieuwe. Deze rapporten worden gebruikt door de agenten en back-office medewerkers van de klant voor hun dagelijkse analyses.

Ons team coördineerde op efficiënte wijze het proces van dagelijkse gegevensinvoer, verzorgde de logica voor het transformeren van de gegevens en zette een beveiligd netwerk op voor naadloze communicatie tussen de verschillende componenten. Daarnaast hebben we een Key Vault opgezet om alle essentiële referenties en configuraties veilig op te slaan.