Snel naar content
Data Integratie en beheer cloud

Azure Data Factory: Data Integratie en Beheer in de Cloud

Om inzicht te krijgen in bedrijfsprocessen en om beslissingen te nemen op basis van gegevens is het noodzakelijk dat je in staat bent om gegevens uit verschillende bronnen te verzamelen en te integreren. Een dataplatform wordt gevoed met gegevens uit bronsystemen. Het extraheren van bronsystemen doet Inergy met Azure Data Factory, door onze Data Engineers ook wel ADF genoemd.

Wat is Azure Data Factory

Azure Data Factory is een cloud-gebaseerde data extractie- en orkestratie tool van Microsoft. Het biedt een robuuste set instrumenten van gegevensintegratie, waaronder visuele workflows en standaard ondersteuning voor meer dan 170 databronnen. Hierdoor wordt het ophalen van gegevens uit verschillende bronnen eenvoudiger.

Databases zowel SaaS als on-premise

Denk hierbij aan de bekende database zoals Microsoft, Oracle, Postgres en MySQL, maar ook Data feeds en ondersteuning voor veel SaaS diensten. Indien de dienst niet direct wordt ondersteund, spreekt Azure Data Factory ook API-taal zodat direct met een REST API gesproken kan worden. Daarnaast is er nog een generieke ODBC-driver mogelijkheid, waar vrijwel alles mee aan te sluiten is.

Maar niet alleen cloud en SaaS bronnen worden ondersteund, ook on-premise bronnen kunnen eenvoudig ontsloten worden. Bovendien biedt Azure Data Factory flexibiliteit en schaalbaarheid, zodat dit zelfs voor grote datasets kan worden ingezet.

Essentieel onderdeel van toolkit Inergy

Omdat Azure Data Factory een standaardcomponent is van Azure, is dit een essentieel onderdeel in de koolkit van Inergy en van onze klanten. ADF integreert uitstekend met verschillende Azure componenten. Denk bijvoorbeeld aan de standaard logging en monitoring welke zijn geïntegreerd in de Azure portal, maar ook Azure Functions, Databricks, Snowflake en Microsoft Purview.

De eenvoud van Azure Data Factory

Azure Data Factory is een standaard component in de Azure toolkit. Dit betekent dat een ontwikkelaar enkel hoeft te navigeren naar de webpagina van Azure Data Factory om te beginnen met bouwen van data pipelines. Binnen enkele minuten bouw je een data pipeline op deze webpagina. Daarna drukt de ontwikkelaar op de Debug knop om de pipeline te testen.

De ontwikkelaars testen de data pipelines op deze manier direct in de cloud en krijgen via een visuele weergave direct terug of de pipeline wel of niet goed heeft gedraaid. Deze zelfde interface wordt ook gebruikt om de acceptatie- en productieloods te bekijken. Als er bijvoorbeeld in productie iets aan de hand is, kan er gebruik van worden gemaakt voor foutopsporing.

Samenwerking met Snowflake: Cloud-Native Datawarehousing

Snowflake is een cloud-native datawarehouseplatform dat de mogelijkheid biedt om grote hoeveelheden gegevens op te slaan, te analyseren en te beheren. Het is een schaalbare, beveiligde en geoptimaliseerde omgeving voor het opslaan en beheren van gegevens.

Door de samenwerking tussen Azure Data Factory en Snowflake is het mogelijk om gegevens van verschillende bronnen te integreren en te verzamelen in Snowflake. Hierna kunnen ze op een efficiënte manier worden geanalyseerd. Je gebruikt Azure Data Factory om gegevens van verschillende bronnen naar Snowflake te laden en te transformeren, waardoor je een compleet bleed krijgt van je gegevens.

Snowflake is beschikbaar op Microsoft Azure en integreert goed met de verschillende Azure componenten zoals Azure Data Factory en Azure Storage. Waar Azure Data Factory de marktleider is in integratie en gebruiksgemak, is Snowflake de marktleider in cloud dataplatformen. Snowflake en Azure Data Factory is een perfecte combinatie om efficiënt, effectief en pragmatisch het moderne dataplatform in de cloud te realiseren.

Wil je meer weten?

Wil je meer weten over data integratie en beheer in de cloud? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op.

Blijf op de hoogte

De auteur

Inergy
Inergy

Wij eten, drinken en ademen data – en wat je ermee kan doen. Dat delen we graag met jou. Meer weten over Inergy? Neem contact met ons op via 0348 45 76 66 of info@inergy.nl.

Meer berichten

Alle berichten

3 redenen voor een snel dataplatform & hoe je dit voor elkaar krijgt

3 redenen voor een snel dataplatform & hoe je dit voor elkaar krijgt

Een goed dataplatform lepelt de data voor rapportages in een ogenblik op. En niet pas na een paar minuten. Waarom is snelheid zo belangrijk voor het werken met een dataplatform? In deze blog gaan we dieper in op die vraag en presenteren we drie heldere redenen.

Lees verder

Optimaliseren van rapportages met Power BI – Een succesverhaal bij Oosterberg

Optimaliseren van rapportages met Power BI – Een succesverhaal bij Oosterberg

Deze week waren we van Inergy bij onze klant Koninklijke Oosterberg voor deel twee van de workshop Power BI dashboard met het thema 'verkoop'. Het is geweldig om te werken met een organisatie die altijd op zoek is naar verbetering en efficiëntie.

Lees verder

ETL of ELT? Drie belangrijke performancevoordelen van ELT

ETL of ELT? Drie belangrijke performancevoordelen van ELT

Hoe sneller je waardevolle inzichten uit je data kunt halen, hoe beter. Daar komen veel aspecten bij kijken, waaronder de wijze waarop je data transformeert. Van oudsher werd hiervoor ETL (Extraction, Transformation, Load) gebruikt, maar inmiddels hebben veel dataspecialisten een voorkeur voor ELT. In dit blog bespreken we de voordelen van ELT voor een betere performance van je dataplatform en je business.

Lees verder