Digitale marketingoplossingen bevorderen met een verbeterd datawarehouse

Context en doelstellingen

Een leider in digitale marketingoplossingen had een datawarehouse nodig vanwege het groeiende datavolume en de toenemende complexiteit. Het mengen van gegevens uit verschillende bronnen in Tableau resulteerde in traag reagerende dashboards, waardoor commerciële en operationele workflows werden belemmerd. 

Onze klant wist dat het tijd was om gebruik te maken van een cloud data management infrastructuur en te profiteren van voordelen zoals kostenoptimalisatie, minder onderhoud, geavanceerde technologie en het gemak van ontwikkeling. Ze namen contact op met Agilytic om een nieuwe oplossing te implementeren.

Benadering

We zijn begonnen met het implementeren van een proof-of-concept voor een datapijplijn en een datawarehouse die in de cloud worden gehost. 

Eerst definieerden we het toepassingsgebied en de bedrijfsvereisten. We identificeerden use cases voor de korte en lange termijn via interviews met belanghebbenden om onze klant te helpen bij het herontwerpen van gegevensstromen.

Vervolgens voerden we een marktonderzoek uit om de beste cloudserviceprovider te vinden die geschikt was voor de behoeften van de klant. We gingen verder met Amazon Web Services (AWS) en identificeerden de ideale cloudintegratie (ontwikkeling, test, productie) en iteratie van de analytische stack om ervoor te zorgen dat de infrastructuur bij onze klant paste.

ETL-ontwikkeling met AWS

Daarna hebben we de cloudinfrastructuur opgezet (deels IaC) en ETL-ontwikkeling voor ons datawarehouse uitgevoerd. Er waren twee gegevensbronnen voor de use cases waaraan we werkten: een PostgreSQL-database gehost in de AWS-cloud en Google BigQuery met analysegegevens. De klant had ervaring met de cloud en was bedreven in een aantal goede DevOps-praktijken zoals Infrastructure as Code (IaC). Nadat we een beslissing hadden genomen over de leverancier, hoefden we alleen nog maar een beslissing te nemen over de ETL-tool. Twee opties die we overwogen waren: AWS Glue of Lambda functies geschreven in Python getriggerd door Step. Verleid door de functionaliteit van de datacatalogus kozen we voor Glue. Technisch gezien bestond het project voornamelijk uit het vertalen van SQL-query's naar Spark. We gaven twee trainingssessies om Glue en ETL-concepten te introduceren. 

Voordat we het datawarehouseproject voltooiden, werkten we de bedrijfslogica uit om de klant definitieve oplossingen te kunnen bieden. Daarnaast creëerden we een gegevenscatalogus met een gedefinieerde lineage en richtlijnen voor gegevensgovernance voor eenvoudiger beheer op de lange termijn.

Resultaten

In twee maanden tijd ontwikkelden we een ETL-pijplijn en een robuust, flexibel datawarehouse op basis van vertrouwde cloudinfrastructuur. 

Bedrijfsafdelingen hebben toegang tot de meest actuele gegevens om met de oplossing snelle en impactvolle beslissingen te nemen. Bovendien kunnen ze in het geval van een eenvoudige aarzeling snel inzicht krijgen in gegevens door te verwijzen naar de meegeleverde gegevenscatalogus.

Nieuw aangenomen ontwikkelaars kunnen eenvoudig functies toevoegen of wijzigingen doorvoeren die door zakelijke gebruikers zijn aangevraagd, gezien de schaalbaarheid van deze oplossing.