Comprendre les dimensions qui évoluent lentement

Les dimensions à évolution lente (SCD) sont la pierre angulaire de la conception de l’entreposage de données. Ils garantissent que les attributs descriptifs des entités commerciales (clients, produits, employés, emplacements) sont traités correctement lorsqu’ils évoluent au fil du temps. Sans une stratégie claire pour suivre les modifications des données dimensionnelles, les systèmes analytiques perdent un historique précieux ou deviennent incohérents, conduisant à des rapports inexacts.

Dans cet article, nous explorons les principaux types de SCD, ce qu’ils signifient en pratique et comment ils s’intègrent dans une routine typique de chargement de dimensions. Nous examinons également de plus près l’approche la plus couramment utilisée : la dimension à évolution lente de type 2.

Que sont les dimensions qui changent lentement ?

Une dimension « évolue lentement » lorsque ses attributs ne restent pas statiques. Les noms des clients changent, les descriptions de produits évoluent et les structures organisationnelles changent. Un entrepôt de données a besoin d’une stratégie pour gérer ces changements de manière prévisible et vérifiable.

Les types de SCD les plus reconnus comprennent :

• Type 0 : fixe – aucune modification autorisée Un attribut de dimension de type 0 est effectivement en lecture seule. Une fois chargé, cela ne change jamais. Ceci est utile pour les valeurs qui doivent rester liées de manière permanente à l’enregistrement d’origine, telles que la date d’adhésion d’un client ou la catégorie de lancement du produit d’origine.
• Type 1 : Écraser – pas d’historique Le type 1 écrase simplement les anciennes valeurs par les nouvelles. La valeur historique est perdue. Cette approche convient pour corriger des erreurs ou mettre à jour des attributs non critiques tels qu’un format de nom standardisé.
• Type 2 : Ajouter un nouvel enregistrement – historique complet préservé Le type 2 est le cheval de bataille de la modélisation dimensionnelle. Chaque fois qu’un changement se produit, une nouvelle version du dossier est insérée et l’ancienne version est clôturée en utilisant les dates d’entrée en vigueur. Cela préserve un historique complet de l’évolution de l’entité au fil du temps.
• Type 3 : Ajouter une nouvelle colonne – historique limité Ici, l’ancienne valeur est stockée dans une colonne supplémentaire « valeur précédente ». Cela ne donne qu’un aperçu d’un état historique. Ceci est utile lorsque vous avez uniquement besoin de comparer les attributs « actuels » et « antérieurs ».
• Type 4 : Tableau historique – archiver les anciens enregistrements Les anciennes versions sont déplacées vers une table d’historique dédiée. Le tableau actuel reste petit et rapide, tandis que les enregistrements historiques détaillés restent accessibles en cas de besoin.
• Type 5/6 : Approches hybrides Les organisations grandes ou complexes mélangent parfois des techniques, par exemple en combinant des comportements de type 1 et de type 2 pour différents ensembles d’attributs, ou en conservant des versions actuelles et historiques pour des raisons de performances.

Pourquoi le type 2 est le plus courant

La plupart des entrepôts de données du monde réel privilégient les SCD de type 2, en particulier pour les dimensions client, produit et employé. Les entreprises doivent analyser le comportement et les performances en fonction de ce qui était vrai à l’époque et non de ce qui est vrai aujourd’hui. Par exemple:

• À quelle catégorie de produits appartenait cet article au moment de la vente ?
• À quelle adresse résidait le client au moment de l’émission de la facture ?
• À quel service l’employé était-il affecté au début du projet ?

Les SCD de type 2 permettent aux rapports de refléter le contexte historique correct en stockant chaque version de l’enregistrement ainsi qu’une plage de validité.

Un flux de travail de chargement typique de type 2

Une routine de chargement SCD standard de type 2 suit un modèle clair et prévisible. Le processus utilise souvent des colonnes de métadonnées telles que ValidDe, ValidToet un EstActuel drapeau.

Un flux de travail typique ressemble à ceci :

1. Identifier les enregistrements modifiés dans le système source Le pipeline ETL interroge les tables source pour les lignes mises à jour depuis le dernier chargement. Cela se fait généralement à l’aide d’un ModifiedDate ou LastUpdated colonne.
2. Comparez les valeurs entrantes avec les enregistrements de dimension actuels Si aucun attribut n’a changé, ne faites rien. Si un ou plusieurs attributs suivis diffèrent, l’enregistrement en cours est clôturé en définissant son ValidTo date à l’horodatage actuel.
3. Insérez la nouvelle version Une nouvelle ligne est insérée dans la table de dimensions avec les valeurs mises à jour. Le ValidDe est défini sur l’horodatage de chargement, tandis que ValidTo est défini sur une date d’espace réservé élevée (par exemple, 9999-12-31).
4. Suivre l’état du chargement Un tableau de statistiques de chargement ou un tableau de métadonnées enregistre le nombre de lignes traitées, mises à jour ou insérées pendant l’exécution. Ceci est essentiel pour le dépannage et la visibilité opérationnelle.

Le résultat est une table de dimensions qui se comporte comme un enregistrement temporel de l’historique de l’entreprise. Les analystes peuvent reconstruire de manière fiable à quoi ressemblait le monde à tout moment grâce à un simple filtrage basé sur la date.

Pourquoi les SCD sont importants

Les dimensions à évolution lente permettent des analyses temporelles, l’une des principales raisons pour lesquelles les organisations créent des entrepôts de données en premier lieu. Sans SCD, l’analyse historique devient peu fiable. Avec eux, les organisations gagnent :

• Comparaisons précises d’une période à l’autre
• Analyse de tendance fiable
• Confiance dans les pistes d’audit
• Prise en charge d’un reporting réglementaire et financier complet

À mesure que votre entrepôt s’agrandit, il devient essentiel de choisir la bonne stratégie SCD. Comprendre ces modèles et les mettre en œuvre de manière cohérente jette les bases d’un écosystème analytique robuste.

Si vous souhaitez de l’aide pour concevoir ou mettre en œuvre vos modèles dimensionnels ou vos routines de chargement de données, n’hésitez pas à nous contacter et nous pourrons explorer comment appliquer ces modèles dans votre environnement.