Leçon 5 : Automatisation du nettoyage et de la correspondance à l’aide de SQL Server Integration Services (SSIS)

Dans la leçon 1, vous avez créé la base de connaissances fournisseurs et l’avez utilisée pour nettoyer les données de la leçon 2 et faire correspondre les données de la leçon 3 à l’aide de l’outil DQS Client. Dans un scénario réel, vous devrez peut-être extraire des données d’une source que DQS ne prend pas en charge ou vous souhaitez automatiser le processus de nettoyage et de correspondance sans avoir à utiliser l’outil client DQS . SQL Server Integration Services (SSIS) contient des composants que vous pouvez utiliser pour intégrer des données provenant de différentes sources hétérogènes et un composant de transformation de nettoyage DQS pour appeler la fonctionnalité de nettoyage exposée par DQS. Actuellement, DQS n’expose pas les fonctionnalités correspondantes à utiliser pour SSIS, mais vous pouvez utiliser la transformation de regroupement approximative pour identifier les doublons dans les données.

Vous pouvez charger des données dans MDS en utilisant la fonction de staging basée sur l'entité. Lorsque vous créez une entité dans MDS, les tables intermédiaires et les procédures stockées correspondantes sont automatiquement créées. Par exemple, lorsque vous avez créé l’entité Fournisseur, la table stg.supplier_Leaf et la procédure stockée stg.udp_Supplier_Leaf ont été créées automatiquement. Vous utilisez les tables et procédures intermédiaires pour créer, mettre à jour et supprimer des membres d’entité. Dans cette leçon, vous allez créer des membres d’entité pour l’entité fournisseur. Pour charger des données dans le serveur MDS, le package SSIS charge d’abord les données dans la table intermédiaire stg.supplier_Leaf, puis déclenche la procédure stockée associée stg.udp_Supplier_Leaf. Pour plus d’informations, consultez Importation de données .

Dans cette leçon, vous effectuez les tâches suivantes :

1. Supprimez les données des fournisseurs dans MDS (si vous avez suivi les quatre leçons précédentes). Le package SSIS que vous créez dans cette leçon charge automatiquement les données dans MDS. Précédemment, vous avez chargé les données de fournisseur nettoyées et mises en correspondance sur le serveur MDS manuellement à l’aide du client DQS.

2. Créez une vue d’abonnement sur l’entité Fournisseur pour exposer des données dans l’entité à d’autres applications. Cette action crée une vue SQL que vous allez vérifier à l’aide de SQL Server Management Studio. Vous n'utiliserez pas cette vue dans cette version du didacticiel.

3. Créez et exécutez un projet SSIS à l’aide de SQL Server Data Tools. Le projet utilise la transformation de nettoyage des données pour envoyer une demande de nettoyage au serveur DQS. DQS n’expose pas encore la fonctionnalité correspondante. Vous allez donc utiliser la transformation de regroupement floue pour identifier les doublons.

4. Vérifiez que les données sont créées dans MDS à l’aide de Master Data Manager.

5. Passez en revue les résultats du projet de nettoyage DQS créé par le package SSIS et effectuez éventuellement un nettoyage interactif pour renforcer la base de connaissances.

Étape suivante

Tâche 1 (prérequis) : suppression des données des fournisseurs dans MDS