Om inzicht te krijgen in bedrijfsprocessen en om beslissingen te nemen op basis van gegevens is het noodzakelijk dat je in staat bent om gegevens uit verschillende bronnen te verzamelen en te integreren. Een dataplatform wordt gevoed met gegevens uit bronsystemen. Het extraheren van bronsystemen doet Inergy met Azure Data Factory, door onze Data Engineers ook wel ADF genoemd.
Wat is Azure Data Factory
Azure Data Factory is een cloud-gebaseerde data extractie- en orkestratie tool van Microsoft. Het biedt een robuuste set instrumenten van gegevensintegratie, waaronder visuele workflows en standaard ondersteuning voor meer dan 170 databronnen. Hierdoor wordt het ophalen van gegevens uit verschillende bronnen eenvoudiger.
Databases zowel SaaS als on-premise
Denk hierbij aan de bekende database zoals Microsoft, Oracle, Postgres en MySQL, maar ook Data feeds en ondersteuning voor veel SaaS diensten. Indien de dienst niet direct wordt ondersteund, spreekt Azure Data Factory ook API-taal zodat direct met een REST API gesproken kan worden. Daarnaast is er nog een generieke ODBC-driver mogelijkheid, waar vrijwel alles mee aan te sluiten is.
Maar niet alleen cloud en SaaS bronnen worden ondersteund, ook on-premise bronnen kunnen eenvoudig ontsloten worden. Bovendien biedt Azure Data Factory flexibiliteit en schaalbaarheid, zodat dit zelfs voor grote datasets kan worden ingezet.
Essentieel onderdeel van toolkit Inergy
Omdat Azure Data Factory een standaardcomponent is van Azure, is dit een essentieel onderdeel in de koolkit van Inergy en van onze klanten. ADF integreert uitstekend met verschillende Azure componenten. Denk bijvoorbeeld aan de standaard logging en monitoring welke zijn geïntegreerd in de Azure portal, maar ook Azure Functions, Databricks, Snowflake en Microsoft Purview.
De eenvoud van Azure Data Factory
Azure Data Factory is een standaard component in de Azure toolkit. Dit betekent dat een ontwikkelaar enkel hoeft te navigeren naar de webpagina van Azure Data Factory om te beginnen met bouwen van data pipelines. Binnen enkele minuten bouw je een data pipeline op deze webpagina. Daarna drukt de ontwikkelaar op de Debug knop om de pipeline te testen.
De ontwikkelaars testen de data pipelines op deze manier direct in de cloud en krijgen via een visuele weergave direct terug of de pipeline wel of niet goed heeft gedraaid. Deze zelfde interface wordt ook gebruikt om de acceptatie- en productieloods te bekijken. Als er bijvoorbeeld in productie iets aan de hand is, kan er gebruik van worden gemaakt voor foutopsporing.
Samenwerking met Snowflake: Cloud-Native Datawarehousing
Snowflake is een cloud-native datawarehouseplatform dat de mogelijkheid biedt om grote hoeveelheden gegevens op te slaan, te analyseren en te beheren. Het is een schaalbare, beveiligde en geoptimaliseerde omgeving voor het opslaan en beheren van gegevens.
Door de samenwerking tussen Azure Data Factory en Snowflake is het mogelijk om gegevens van verschillende bronnen te integreren en te verzamelen in Snowflake. Hierna kunnen ze op een efficiënte manier worden geanalyseerd. Je gebruikt Azure Data Factory om gegevens van verschillende bronnen naar Snowflake te laden en te transformeren, waardoor je een compleet bleed krijgt van je gegevens.
Snowflake is beschikbaar op Microsoft Azure en integreert goed met de verschillende Azure componenten zoals Azure Data Factory en Azure Storage. Waar Azure Data Factory de marktleider is in integratie en gebruiksgemak, is Snowflake de marktleider in cloud dataplatformen. Snowflake en Azure Data Factory is een perfecte combinatie om efficiënt, effectief en pragmatisch het moderne dataplatform in de cloud te realiseren.
Wil je meer weten?
Wil je meer weten over data integratie en beheer in de cloud? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op.
