Cas d’utilisation

Contrôle qualité

Définition

Le contrôle qualité d’un jeu de données consiste à vérifier si celui-ci respecte bien les règles qui ont été définies pour sa production ou son stockage.

On peut distinguer deux étapes indépendantes dans un projet de contrôle qualité :

Il est d’abord nécessaire de recenser les règles à respecter en décrivant le schéma de contraintes du jeu de données. Ce document peut prendre différentes formes selon l’outil de contrôle exploité : XLSX, XML, CSV, table…

Ensuite, la phase de contrôle permet de comparer le jeu de données aux contraintes spécifiées lors de la première étape. Cette opération permet de collecter les erreurs observées et éventuellement des statistiques sur le jeu de données : nombre d’enregistrements, taux de remplissage, occurrence des valeurs…

Les contraintes peuvent porter sur tous les aspects du jeu de données :

  • Valeur des attributs (domaine de valeurs, plage de valeurs, expression régulière…)
  • Unicité (les identifiants sont bien uniques)
  • Intégrité relationnelle
  • Validité de la géométrie de l’entité (absence d’auto-intersection de polygone par exemple)
  • Cohérence spatiale (deux parcelles ne se chevauchent pas)
  • Topologie (il y a bien un nœud à l’extrémité de chaque câble électrique)

Les opérations de contrôle qualité peuvent constituer une tâche spécifique, par exemple pour réceptionner les données d’un producteur ou bien elles peuvent faire partie intégrante d’un processus plus complexe lié à l’intégration de données.

FME pour le contrôle qualité

FME propose l’ensemble des outils nécessaires pour vérifier la conformité d’un jeu de données, qu’il s’agisse de contrôler la valeur des attributs, la validité d’un document JSON ou XML ou la cohérence des données géométriques 2D et 3D.

Plusieurs stratégies sont applicables pour assurer le contrôle :

  • Pendant l’intégration des données
  • Préalablement à l’intégration

La première solution revient à filtrer les entités à intégrer en ne laissant passer que les enregistrements conformes. Elle n’est donc acceptable que si l’on accepte un chargement partiel des données source.

La seconde solution permet de vérifier que le jeu de données source est totalement conforme avant son intégration. Elle ne peut donc s’appliquer a des données dynamiques pouvant être mises à jour en permanence.

FME permet de concevoir les chaînes d’intégration correspondant à ces différents scénarios et d’assurer leur automatisation.

Dernières études de cas sur ce thème


En savoir plus sur FME


FME Form

Toute la technologie FME
commence ici


FME Flow

Automatisez
vos traitements FME


FME Flow Hosted

Une version hébergée
de FME Flow

<