Dataflows Gen2 vs Data Factory dans Microsoft Fabric : quelle est la différence ? On m’a posé cette question à plusieurs reprises lors de récentes sessions de formation sur Microsoft Fabric, j’ai donc pris quelques notes ici.

Microsoft Fabric rassemble le meilleur des capacités d’ingénierie, d’intégration de données, d’analyse et d’IA de Microsoft dans une seule plateforme unifiée. Pour de nombreuses équipes qui adoptent Fabric, l’une des premières questions qui se pose est la suivante :

« Quelle est la différence entre Dataflows Gen2 et Data Factory Pipelines ? »

Les deux peuvent déplacer, transformer et préparer des données. Les deux vivent à l’intérieur de l’expérience Fabric. Et les deux peuvent être planifiés, surveillés et orchestrés. Cependant, ils servent différents objectifsoffre différentes forceset fonctionnent mieux dans différentes parties du cycle de vie moderne des données.

Cet article explique les principales différences et fournit des exemples pratiques pour vous aider à choisir le bon outil pour votre scénario.

Que sont les flux de données Gen2 ?

Flux de données Gen2 sont la solution de préparation et de transformation de données low-code de Fabric. Ils sont construits sur Requête puissantele même moteur utilisé dans Power BI et Excel, offrant aux analystes et aux développeurs citoyens une interface familière et conviviale.

Caractéristiques clés

• Low-code/no-code : Étapes de transformation par glisser-déposer plutôt que d’écrire du SQL ou du Python.
• Basé sur Power Query : Idéal pour la gestion, le nettoyage, la fusion, la mise en forme et l’enrichissement des données.
• Fonctionne bien pour les données de volume moyen : Excellent pour la préparation de données commerciales et les transformations de code M.
• Sorties directement dans Fabric : Peut charger des données dans les bases de données Lakehouses, Warehouses et KQL.
• Accessible aux analystes : Vous n’avez pas besoin d’une formation en ingénierie des données pour l’utiliser efficacement.

Quand utiliser Dataflows Gen2

Les flux de données Gen2 brillent dans des scénarios tels que :

• Préparation des données en libre-service pour les analystes qui construisent des modèles sémantiques.
• Ingestion de données d’applications métier (Fichiers Excel, listes SharePoint, Dataverse, SQL).
• Transformations rapides telles que le fractionnement de colonnes, la fusion de tables, le nettoyage de texte ou la déduplication.
• Ensembles de données de prototypage avant de les confier aux équipes d’ingénierie.

Si vous connaissez Power Query, vous vous sentirez immédiatement chez vous.

Qu’est-ce que Data Factory (dans Fabric) ?

La version Fabric de Usine de données combine deux choses :

1. Pipelines – orchestration et déplacement des données.
2. Flux de données (Power Query) et notebooks (Spark) – transformation lourde pour les ingénieurs.

Il s’agit de la plateforme d’intégration complète des données et ETL/ELT de Microsoft, désormais étroitement intégrée à Fabric.

Caractéristiques clés

• Orchestration de niveau entreprise avec des pipelines, des déclencheurs et une gestion des dépendances.
• Des connecteurs puissants pour l’ingestion à grande échelle, en particulier à partir de systèmes cloud et sur site.
• Prend en charge les blocs-notes Spark et les charges de travail d’ingénierie des données.
• Gère des pipelines complexes et à volume élevé.
• Compatible CI/CD et adapté à l’ingénierie des données de production.

Quand utiliser Data Factory

Data Factory est conçu pour des tâches d’ingénierie plus complexes, telles que :

• Ingestion de gros volumes à partir de systèmes opérationnels, d’API ou de fichiers atterrissant dans le stockage cloud.
• ETL/ELT utilisant des notebooks SparkScripts SQL et activités de pipeline.
• Orchestration de workflows en plusieurs étapesy compris le branchement, les boucles et la logique conditionnelle.
• Copie d’ensembles de données à l’échelle du téraoctet à partir d’Azure SQL Database, Synapse, ADLS, AWS S3, Oracle, etc.
• Construire des pipelines prêts pour la production avec surveillance, tentatives et gestion des erreurs.

Si vous connaissez Azure Data Factory, cela semblera être sa prochaine évolution au sein de Fabric.

Dataflows Gen2 vs Data Factory : comment choisir ?

Voici une façon simple d’y penser :

Choisissez Dataflows Gen2 lorsque :

• Tu veux mise en forme de données low-code.
• Les analystes commerciaux préparent leurs propres ensembles de données.
• Vous avez besoin d’une simple ingestion ou transformation.
• Les volumes de données sont petit à moyen.
• Les systèmes sources sont Excel, SharePoint, Dataverse ou SQL.

Choisissez Data Factory lorsque :

• Vous construisez pipelines d’entreprise.
• Vous avez besoin d’orchestration, de planification et de dépendances.
• Vous travaillez avec ensembles de données volumineux ou complexes.
• Vous avez besoin de Spark, de notebooks, de Data Engineering ou d’une logique de pipeline SQL.
• Le mouvement des données doit être intégré dans CI/CD ou exploité à l’échelle de la production.

Une approche combinée

Dans de nombreuses organisations, la meilleure approche est les deuxtravailler ensemble :

• Pipelines Data Factory gérer l’ingestion des systèmes sources dans la couche Bronze.
• Flux de données Gen2 appliquez ensuite des transformations pour façonner et enrichir les données de la couche Silver ou du modèle sémantique.

Cette approche en couches offre évolutivité, gouvernance et flexibilité tout en permettant des analyses en libre-service.

Résumé

Bien que Dataflows Gen2 et Data Factory se côtoient dans Microsoft Fabric, ils ciblent des utilisateurs et des charges de travail très différents :

• Flux de données Gen2 → Idéal pour les analystes, transformations low-code, préparation rapide des données.
• Usine de données → Idéal pour les ingénieurs, les pipelines de données d’entreprise, l’ingestion complexe et l’orchestration.

Comprendre ces différences garantit que votre équipe utilise le bon outil pour le bon travail, vous aidant ainsi à créer des solutions de données efficaces, évolutives et bien gouvernées dans Microsoft Fabric.

Si vous enseignez ou adoptez Fabric, cette distinction est l’un des concepts les plus importants à maîtriser dès le début.