Cas d’utilisation
Contrôle qualité
Définition
Le contrôle qualité d’un jeu de données consiste à vérifier si celui-ci respecte bien les règles qui ont été définies pour sa production ou son stockage.
On peut distinguer deux étapes indépendantes dans un projet de contrôle qualité :
Il est d’abord nécessaire de recenser les règles à respecter en décrivant le schéma de contraintes du jeu de données. Ce document peut prendre différentes formes selon l’outil de contrôle exploité : XLSX, XML, CSV, table…
Ensuite, la phase de contrôle permet de comparer le jeu de données aux contraintes spécifiées lors de la première étape. Cette opération permet de collecter les erreurs observées et éventuellement des statistiques sur le jeu de données : nombre d’enregistrements, taux de remplissage, occurrence des valeurs…
Les contraintes peuvent porter sur tous les aspects du jeu de données :
- Valeur des attributs (domaine de valeurs, plage de valeurs, expression régulière…)
- Unicité (les identifiants sont bien uniques)
- Intégrité relationnelle
- Validité de la géométrie de l’entité (absence d’auto-intersection de polygone par exemple)
- Cohérence spatiale (deux parcelles ne se chevauchent pas)
- Topologie (il y a bien un nœud à l’extrémité de chaque câble électrique)
Les opérations de contrôle qualité peuvent constituer une tâche spécifique, par exemple pour réceptionner les données d’un producteur ou bien elles peuvent faire partie intégrante d’un processus plus complexe lié à l’intégration de données.
FME pour le contrôle qualité
FME propose l’ensemble des outils nécessaires pour vérifier la conformité d’un jeu de données, qu’il s’agisse de contrôler la valeur des attributs, la validité d’un document JSON ou XML ou la cohérence des données géométriques 2D et 3D.
Plusieurs stratégies sont applicables pour assurer le contrôle :
- Pendant l’intégration des données
- Préalablement à l’intégration
La première solution revient à filtrer les entités à intégrer en ne laissant passer que les enregistrements conformes. Elle n’est donc acceptable que si l’on accepte un chargement partiel des données source.
La seconde solution permet de vérifier que le jeu de données source est totalement conforme avant son intégration. Elle ne peut donc s’appliquer a des données dynamiques pouvant être mises à jour en permanence.
FME permet de concevoir les chaînes d’intégration correspondant à ces différents scénarios et d’assurer leur automatisation.
Dernières études de cas sur ce thème
-
Sirap automatise l’intégration des plans topographiques d’Eau17 avec FME Server
Pour permettre à sa solution de webmapping de contrôler et intégrer automatiquement des plans topographiques d’Eau 17 de manière synchrone, la société Sirap a utilisé FME Server.
-
PROF : Un outil de génération du fibrage
Présentation de Mathieu Caudie et Jean-Pierre Chartier (Covage) dans le cadre de la Conférence FME 2021 – Session Télécoms et réseaux – enregistrée le 20 mai 2021.
-
Comment Covage améliore le contrôle de ses réseaux et le travail collaboratif
Pour contrôler la cohérence et la qualité des plans de son patrimoine et les intégrer au sein de son SIG, l’entreprise a fait appel à Veremes pour le développement d’un outil dédié : Calimap.
