De FME Form à FME Flow : comment la Mairie d’Avignon orchestre ses données

La Mairie d’Avignon emploie quotidiennement FME depuis plus de dix ans pour une variété de missions qui ne se limitent plus au traitement de données géographiques.

Forte de 2 200 salariés, la Mairie d’Avignon a créé une mission SIG pour coordonner l’action. En 2015 cette mission a été étendue à l’open data. Pour répondre aux besoins des collaborateurs et des 90 000 habitants de la collectivité, de nombreux traitements FME Form ont été développés au fil des années, que ce soit pour notifier des utilisateurs par e-mail, pour générer des cartes PDF, pour actualiser le webSIG de la commune ou encore pour produire des rapports dédiés aux Contrôle de Gestion de la Mairie D’Avignon.

Afin de ne pas interférer avec les modes opératoires des salariés, le service SIG a élaboré une stratégie : la data est traitée avec FME Form et se connecte aux données métiers sans interférer les processus, puis est mise à disposition pour les différents services qui la traiteront, la stockeront, l’analyseront… L’ensemble des données sont manipulées via FME Form puis versionnées, archivées et/ou stockées dans un référentiel global et unique. Enfin, les outils sont rendus indépendants des applications métiers car toutes les données sont accessibles via ce référentiel unique.

La modularité est un grand avantage de cette démarche, mais le nombre important d’utilisateurs, de sources, de métiers et de destinations impliqués font émerger le besoin de faciliter l’accès et le déclenchement et la supervision de ces traitements.

En 2022, pour répondre à cette nécessité d’automatisation et d’orchestration de traitements FME Form, la Mairie d’Avignon acquiert FME Flow, la solution web d’automatisation et de planification de traitements FME de Safe Software.

Depuis, FME Flow est employé pour généraliser la mise à disposition et l’approche données pour le contrôle de gestion, sur la donnée géographique et au-delà. Voici quelques-uns de ces cas d’usage.

Intégration de données à la demande

Le premier type d’exemples est l’intégration automatique de fichiers déposés par les utilisateurs dans un sas ce qui déclenche une Automation.
Une Automation est un outil de FME Flow permettant d’orchestrer visuellement une série d’action à effectuer selon un ou plusieurs déclencheurs : nous parlons ici de dépôt de fichier dans un endroit précis, mais il peut s’agir de la réception d’un e-mail, d’une soumission de formulaire ou encore d’un déclenchement manuel.

Dans un effort d’optimisation et de standardisation, il a été décidé de créer les traitements FME avec trois résultats possibles : la réussite du traitement, l’échec de celui-ci ou la lecture d’un fichier non-conforme. Pour chacun de ces cas, des scénarios différents sont préparés dans l’Automation afin d’intégrer la donnée et/ou de notifier le demandeur.

Analyse des ressources humaines du Service des Sports

Comme beaucoup de services, le service des sports utilise un fichier Excel pour gérer sa population d’agents. Afin de pouvoir aisément visualiser les différentes caractéristiques des agents (pyramide des âges, ancienneté, etc.), un traitement FME lit le fichier Excel et génère un tableau de bord.
A chaque mise à jour de l’effectif, le service des sports dépose le fichier Excel modifié dans un répertoire dédié : cela déclenche l’Automation qui exécute le traitement FME (qui met à jour le tableau de bord) et notifie le demandeur.

Intégration de tickets Allô Mairie

Sur un principe similaire, le service Direction de la Demande extrait dans un fichier les de tickets Allô Mairie (service d’assistance et d’intervention aux citoyens dans la vie quotidienne) qui chaque mois sont déposées dans le sas dédié.

L’Automation FME Flow s’enclenche alors pour les traiter et les intégrer les données dans le référentiel.

Ainsi l’outil de visualisation de données dataviz de la Mairie d’Avignon, se connectant sur le référentiel, se trouve de fait actualisé.

Exécutions planifiées

En parallèle à ces traitements se déclenchant sur présence de fichier dans un sas (répertoire), la Mairie d’Avignon a mis en place des traitements exécutés automatiquement à une date ou un horaire spécifié (tâches cron ou crontab).

Mise à jour planifiée des données

Le traitement FME Form d’intégration Litteralis (application métier de gestion des arrêtés) lit les flux WFS et actualise chaque soir les données. Les données sont ainsi téléchargées, versionnées et stockées dans ce référentiel centralisé. Les métadonnées sont également créées à l’intégration pour faciliter la recherche et le tri ultérieurs.

Dans notre cas, la carte des arrêtés en cours (voir page suivante) est automatiquement à jour car elle consomme les données du référentiel mises à jour par cette Automation.

Un accès facilité grâce aux applications FME Flow

Les applications de traitement FME Flow permettent de proposer à l’utilisateur final une interface graphique pour lancer un traitement. Elles sont accessibles sous forme de page web et permettent de centraliser plusieurs traitements ou Automations préparés en amont.
Il est également possible d’aller plus loin en imbriquant des galeries d’applications et donc créer son propre portail, l’utilisateur final pouvant naviguer facilement dans la l’arborescence d’applications.

Ces applications ouvrent des formulaires permettant de prendre en compte des paramètres utilisateurs avant l’exécution.

Exemples d’applications FME Flow

L’un des cas d’usage est l’extraction des voies d’Avignon demandée par le pôle Ville Durable et Sobre. L’utilisateur se connecte à l’URL de l’application et peut faire une demande d’extraction en remplissant le formulaire personnalisé (il s’agit des paramètres publiés du traitement FME Form). Si son adresse e-mail fait partie des adresses autorisées, l’utilisateur reçoit un e-mail le notifiant de l’état de sa demande d’extraction et lui partage un lien de téléchargement.

Autre cas d’usage : un service d’impression grand format. Ici, l’utilisateur utilise l’application pour indiquer son adresse et divers paramètres (format de sortie, fond de plan, mairie…). La soumission de ce formulaire déclenche le traitement FME délivrant le plan demandé au format PDF que l’utilisateur reçoit par e-mail sous forme également d’un lien de téléchargement.

Dernier exemple : le suivi du coût des manifestations. Comme d’autres collectivités, la ville gère des manifestations et doivent évaluer leur coût.

Auparavant, le fichier source était un tableur Excel disponible par plusieurs salariés de la Mairie, qui se l’échangeaient lors d’un besoin de complétion. L’utilisation de l’application FME Flow dédiée lance la production des tableaux Excel personnalisés pour chaque utilisateur avec ses propres données. Ensuite une seconde applications FME Flow permet de déposer les fichiers de saisie pré générés et en effectue la consolidation pour avoir le coût global des manifestations.

Pour moi, FME, c’est comme avoir deux agents à temps plein.
Par exemple, je télécharge les données OSM, SIREN et FINANCES
automatiquement chaque nuit : c’est impensable par un traitement manuel !

François Ganz – Mairie d’Avignon

Imbrication de galeries d’applications FME Flow

Une galerie d’applications est un outil permettant de réunir visuellement plusieurs applications de traitements FME Flow.

La galerie d’applications FME Flow mise en place permet de réunir tous les services sur un portail unique, accessible sans besoin de connexion ou création de compte. L’imbrication de galeries permet d’organiser les traitements par pôle ou thématique.

L’avenir de FME pour la Mairie d’Avignon

FME est un outil devenu indispensable de l’intégration et du traitement de données pour la Mairie d’Avignon. Bien sûr, ces cas d’usage ne sont qu’un échantillon de toutes les d’utilisation de FME à la Mairie d’Avignon.

Un dernier exemple pour illustrer cette importance : aucun service n’avait les moyens humains nécessaires pour un traitement manuel des données relatives aux meublés de tourisme, soit 33 millions de lignes. Grâce à FME, le service SIG a su générer en deux jours un rapport avec la data visualisation des meublés de tourisme, ainsi que des analyses par, mairies de quartier et IRIS, des évolutions de 2018 à nos jours…

Comme le résume François Ganz, « ça, c’était impossible à faire sans FME ! »