Du temps réel au Grand Lyon pour rendre la ville plus intelligente

Le champion français de l’édition de logiciels étend son offre aux collectivités et gestionnaires de territoires. A suivre…

Tirer le meilleur parti des nouvelles technologies pour favoriser le développement économique, offrir de nouveaux services et améliorer la qualité de vie en ville, telle est l’ambition du projet de Métropole Intelligente, ou Smart City, de la Communauté urbaine du Grand Lyon. Au cœur de ce vaste chantier, Grand Lyon SmartData* est la plate-forme de mise à disposition des données qui sert de support à plusieurs projets innovants notamment : Lyon Urban Data (Living Lab), Onlymoov’ (site d’information sur les déplacements) et Optimod/Opticities (expérimentations nouvelles mobilités).

« La vocation de ce service est bien sûr de fournir des données aux citoyens, il rentre en cela dans les démarches de transparence et d’accès aux données publiques de type OpenData » nous explique Grégory Blanc-Bernard, chef de projet informatique au Grand Lyon. « Mais notre projet va au-delà, son objectif principal est de proposer aux entreprises innovantes un socle technique leur permettant de développer de nouveaux services qui au final vont bénéficier aux citoyens ou permettre à ces entreprises d’optimiser leurs propres activités ».

Infrastructure

Grand Lyon SmartData repose sur une infrastructure robuste qui permet d’offrir toutes les garanties aux entreprises utilisatrices en termes de performance, de disponibilité et de sécurité. Cette infrastructure est divisée en trois zones : le back-office correspond aux bases internes au Grand Lyon et ses partenaires, inaccessibles de l’extérieur, le middle-office contient des données destinées à être publiées et les outils de préparation des données, le front-office enfin est chargé de la publication des données vers les utilisateurs.

Plusieurs types de données sont disponibles sur Grand Lyon SmartData : les données de référence, les données historiques et les données temps réel. Les données de référence sont stockées sur les serveurs de back-office du Grand Lyon ou des partenaires. Elles évoluent relativement lentement et sont exportées quotidiennement ou mensuellement par des scripts FME Desktop vers un serveur de fichiers middle-office synchronisé avec le serveur front-office de publication.

De leur côté, les données temps réel sont produites par des capteurs ou saisies par les gestionnaires (déclaration d’accident par exemple) et mises à disposition par des partenaires sur des serveurs externes. Elles sont traitées par FME Server dès qu’elles sont disponibles puis croisées avec les données de référence du Grand Lyon pour mettre à jour une base de données PostGIS du middle-office répliquée à chaud sur un serveur du front-office.

Des traitements optimisés pour le temps réel

Le Grand Lyon s’est appuyé sur Veremes pour mettre en place les procédures FME Server de chargement des données temps réel vers les bases de Grand Lyon SmartData. La conception de ces traitements devait répondre à plusieurs contraintes :

  • Exploiter les données dès leur mise à disposition
  • Ne pas dépasser 10 secondes de temps de traitement
  • Ne pas devoir interrompre le service pour des opérations de maintenance
  • Être capable de gérer les anomalies (accès à la source impossible par exemple) et alertes métiers
  • Préserver en permanence la disponibilité et la cohérence des données de la base cible (transaction unique)

Les types des données source traitées sont variables : il peut s’agir de fichiers XML déposés sur un serveur FTP comme pour le trafic routier, les événements routiers (norme européenne Datex 2) ou les places de parking disponibles mais également de données JSON accessibles via une API fournie par JcDecaux pour les informations des stations Vélo’v.

Pour suivre le rythme de mise à jour des données source, les traitements FME Server s’exécutent très fréquemment et très rapidement ce qui a été rendu possible en exécutant du code Python dans FME (par exemple pour la lecture des fichiers sur FTP) et en optimisant la structure des projets.

L’exécution des différents projets génère au minimum 5 traitements par minute, auxquels il faut ajouter des chargements journaliers et des tâches de maintenance (purge, sauvegarde…). Pour répondre à cette avalanche de requêtes, le Grand Lyon a mis en place une instance FME Server sur un serveur Linux qui exploite un unique moteur FME. « L’exploitation d’un seul moteur était à l’origine une contrainte purement économique mais cela a eu au final un effet positif » reconnait Matthieu Ambrosy, le chef de projet de Veremes. « Cela nous a obligé à optimiser les traitements et à développer des fonctions de supervision et de gestion des anomalies en exploitant le service de notification et en ajoutant des tables spécifiques dans la base de données interne à FME Server ».

Ainsi, chaque anomalie est remontée au Grand Lyon par e-mail et tracée dans une table de maintenance. Les traitements anormalement longs sont tués automatiquement pour ne pas créer de file d’attente.

Exemple : le trafic routier en temps réel

La fourniture en temps réel de données sur le trafic routier illustre bien l’importance des moyens mis en œuvre et le cheminement de l’information de la route jusqu’à l’utilisateur final.

A l’origine, des boucles magnétiques de comptage intégrées à la chaussée indiquent la présence de véhicules. Ces boucles sont reliées à des contrôleurs calculant le débit (nombre de véhicules par minute). Les contrôleurs sont équipés d’un modem ou d’une connexion radio ou 3G leur permettant d’envoyer leurs données sur le réseau de fibres optiques du Grand Lyon. Les données sont ensuite regroupées par des concentrateurs répartis sur l’agglomération avant d’atteindre le poste de gestion centralisée du trafic du Grand Lyon, le PC Criter. Là, elles sont stockées dans des bases de données Oracle puis agrégées par tronçon routier et exportées toutes les 60 secondes sous forme de documents XML sur un serveur FTP.

Quelques secondes après le dépôt, FME Server exécute un traitement qui récupère le fichier XML du trafic, traite la donnée et met à jour la base PostGIS du middle-office. Cette base est répliquée à chaud vers le front-office et la donnée devient disponible pour tous sur le portail SmartData.

Des utilisations variées et concrètes

Parmi les premiers utilisateurs de la plateforme, Renault Trucks mène actuellement une expérimentation pour fournir à ses chauffeurs des informations sur le trafic en temps réel, de la prédiction de trafic ainsi que la localisation et la disponibilité des aires de livraison. Ces données permettront d’optimiser les tournées en réduisant le temps perdu inutilement dans les zones congestionnées.

« C’est une bonne illustration du principe gagnant-gagnant que nous souhaitons mettre en place » souligne Grégory Blanc-Bernard. « Les livreurs vont pouvoir améliorer la rentabilité de leurs tournées et diminuer leur consommation en carburant. Pour les citoyens cela signifie moins de circulation et moins de pollution ».

Autre exemple, directement accessible au grand public, Geovelo offre un service de calcul d’itinéraires exploitant les données libres d’OpenStreetMap et des données de la plateforme Grand Lyon SmartData comme par exemple les pentes ou la disponibilité des vélos en libre-service lyonnais, les Vélov.

Un bilan positif pour FME Server

« Avant d’utiliser FME Server nous avons évalué d’autres possibilités, exploiter un autre ETL ou réaliser des développements spécifiques » reconnait Grégory-Blanc Bernard. « L’intégralité de notre plate-forme est constituée d’outils libres, CentOS, PostgreSQL, MapServer et nous souhaitions privilégier cette approche. Un premier test nous a cependant convaincu que FME Server était la meilleure solution nous permettant de répondre aux contraintes de délai et d’évolutivité mais aussi de budget imposées par le projet. Même si nous avons fait remonter à Safe Software des demandes d’amélioration, celles-ci demeurent mineures par rapport aux apports de FME Server en termes de performance, de fiabilité et de maintenabilité. La plateforme actuelle nous permet d’envisager l’avenir avec sérénité, elle est déjà prête à accueillir de nouvelles sources de données temps réel comme le niveau sonore, la qualité de l’air ou les disponibilités de parking en temps réel qui devraient être proposées prochainement sur smartdata.grandlyon.com. »

* Depuis la publication de cet article, smartdata.grandlyon.com est devenu data.grandlyon.com

Références :

Personne interrogée :
Grégory Blanc-Bernard
Chef de projet Service Informatique / MIPS


data.grandlyon.com