Les nouveautés de FME 2021

Don Murray et Dale Lutz, les cofondateurs de Safe Software, ont présenté les nouveautés de FME 2021 à l’occasion de leur traditionnel webinaire annuel. Evénement particulier cette année : FME 2021 est sorti le jour-même et est dorénavant disponible en téléchargement !

Où trouver FME 2021 ?

Vous pouvez télécharger FME Desktop 2021 et FME Server 2021 directement depuis le site de Safe Software.

État des lieux

Doux euphémisme qu’il est maintenant coutume de dire : 2020 a été une année particulière. Pour Safe Software, toutefois, tout ne fut pas si sombre. Voici un rapide aperçu des éléments clés de 2020 pour l’éditeur de FME :

  • 2020 a marqué le record de téléchargements de FME
  • Parmi les nouvelles fonctionnalités de FME 2020, 17 étaient issues de FME Community
  • Safe Software a été reconnu dans le top 20 des éditeurs d’outils d’intégration de données dans le Magic Quadrant de Gartner
  • Safe Software a noué et amélioré ses relations avec des leaders de l’industrie (Snowflake, Google…) pour délivrer le meilleur support pour les données spatiales

La barre a donc été mise haute pour 2021, mais c’est le type de défis que Safe Software sait relever. L’ensemble de la plateforme FME se dote d’ajouts et d’améliorations quant au support de nouveaux formats avec une dizaine de systèmes supplémentaires pris en compte ; de nouveaux Transformers et Connectors disponibles et l’accent mis sur l’optimisation et l’accélération de l’exécution des traitements.

Quoi de neuf dans FME 2021 ?

Nouveaux formats

  • Apache Parquet : format de stockage orienté colonne pour de gros volumes de données dans l’écosystème Apache Hadoop (tel que présenté par Dale Lutz, il s’agit « d’un meilleur CSV »). Ce format supporte les nulls, les types de colonnes, la compression… Safe met à disposition un tutorial pour débuter avec Apache Parquet et FME
  • Geodatabase : support ajouté pour ArcGIS Pro Annotations. Le Writer est destiné à Esri Enterprise Geodatabase (SDE), Esri File Geodatabase (FGDB)
  • OGC : mises à jour du support OGC WFS, WFS 3.0, WMTS, OGC API Features 1.0
  • RabbitMQ : RabbitMQ est un courtier de messages (message broker) open-source. Il fait partie du protocole MQTT pour la diffusion continue de données
  • USD : ce format 3D est développé par Pixar. Un nouveau Writer FME permet de générer du .usda, .usdc et .usdz (USDZ est le format natif de réalité augmentée pour iOS). FME AR supportera bientôt les modèles 3D améliorés

Concernant les améliorations, la dernière version de la librairie de reprojection PROJ (PROJ7) est supportée avec un accès à distance aux grilles de conversion de référentiel. FME peut maintenant calculer, manipuler et visualiser les données spatiales indexées par le framework Uber H3 Worlwide Geospatial Hexagonal.

Nouveaux Transformers

  • CurveFitter : ce Transformer était auparavant payant. Avec FME 2021, il devient gratuit et vient s’ajouter aux Transformers natifs de FME
  • EsriCityEngineModelGenerator: ce Transformer génère des modèles 3D depuis des géométries en entrée. Il est disponible en tant que package sur FME Hub
  • PipeReplacer : à destination de FME Mobile/Data Express. Ce Transformer permet de remplacer des canalisations dans l’espace avec un effet de trou
  • TimeWindower : crée des groupes d’entités sur une base périodique. Ce transformer est très utile pour traiter les données arrivant sous la forme d’un flux continu (typiquement un projet IOT). En effet, le regroupement des entités dans certains transformers (paramètre « Regrouper par ») entraîne le traitement des données dès que la valeur du paramètre change.
  • Pour exploiter au mieux le transformer précédent, la gestion des regroupement a été intégrée aux transformers PythonCaller et FeatureWriter.

Nouveaux Connectors

Pour rappel, un Connector est un Transformer qui a pour objet de se connecter à un service web pour télécharger, charger, modifier, supprimer ou lister des fichiers et des dossiers. Vous pouvez ainsi trouver GoogleDriveConnector pour vous connecter à un compte Google Drive, DropboxConnector pour un compte Dropbox, OneDriveConnector pour OneDrive, etc.)

  • AutodesktBIM360Docs: disponible sur FME Hub, ce connecteur vous permet de charger, télécharger, supprimer ou lister les contenus des fichiers sur le service BIM 360 Document Management
  • AzureEventHubs : disponible sur FME Hub, publication et réception de messages de manière asynchrone depuis ou vers le service Azure Event Hubs
  • CKANConnector: disponible sur FME Hub. Chargement de données depuis et vers le portail CKAN (portail libre de stockage et distribution de données). Un Writer pour CKAN DataStore est prévu pour plus tard
  • Connectors MQTT & Cloud IoT Services: de nouveaux Connectors liés à l’IoT (Internet of Things) sont disponibles dans un seul et même package sur FME Hub. Celui-ci comprend :
    • MQTTConnector pour se connecter aux courtiers MQTT
    • AWSIoTConnector pour se connecter à AWS IoT Core
    • AzureIoTConnector pour se connecter à Azure IoT Hub
    • GoogleIoTConnector pour se connecter à Google IoT Core
    • IBMIoTConnector pour se connecter à IBM Watson Platform

Nouvelles fonctionnalités de FME Desktop

Gestionnaire de paramètres

FME Desktop introduit une nouvelle façon de gérer et de travailler avec les paramètres. Le nouveau gestionnaire de paramètres vous permet de voir tous vos paramètres dans une seule fenêtre, ainsi que d’en créer de nouveaux, de les réorganiser et de les regrouper. La fenêtre des paramètres publiés a été revue pour apporter plus d’informations et être plus intuitive, notamment sur l’ajout du type de paramètres qui est maintenant une liste illustrée.

Cette nouvelle gestion des paramètres sera disponible dans FME Server, à l’exception des groupes qui seront compatibles plus tard dans l’année. FME 2021.1 apportera dans l’année la fonctionnalité d’affichage conditionnel des paramètres.

Safe Software a consacré un article détaillé pour présenter ce gestionnaire de paramètres que nous vous invitons à consulter pour vous accompagner dans vos premiers pas.

Lecture des valeurs des attributs

Cette fonctionnalité a été souvent demandée et est maintenant une réalité : avec FME 2021.0 certains Transformers permettent d’utiliser les valeurs des données mises en cache dans un traitement.

Par exemple, sur un Transformer Tester, vous n’avez plus besoin d’entrer manuellement une valeur de comparaison, il suffit de la choisir dans la liste déroulante parmi les données déjà lues.

Modèles de traitements FME avec données en cache

Les projets modèles (.fmwt) peuvent inclure les données mises en cache sans embarquer les jeux de données complets.

Cela permet notamment de conserver les chemins originaux vers les jeux de données plutôt que de les remplacer par des chemins temporaires.

Vous pouvez consulter une démonstration faite par Mark Ireland sur la vidéo ci-contre.

Comparaison de FME 2021.0 avec FME 2020.2, déjà plus rapide que FME 2020.0

Amélioration des performances

Le moteur de FME Desktop a été optimisé pour gagner en rapidité et en efficacité.

Bien sûr, gardez à l’esprit que ces résultats varient selon les ressources matérielles disponibles ainsi que les données elles-mêmes.

A noter aussi : ces scores concernent surtout les modes de traitements par lots, dont l’utilisation de la mémoire vive a été réduite (1/7 de l’utilisation originale).

HTTPCaller, absent de ce tableau, est aussi accéléré avec plus d’opérations en parallèles (jusqu’à 25) en interne. Jusqu’à 30x plus rapide selon certains retours utilisateurs.

Eléments dépréciés

Safe Software a mis à jour la liste des éléments dépréciés, les plateformes affectées ainsi que les actions recommandées. Vous pouvez consulter ces informations en cliquant ici.

Nouvelles fonctionnalités de FME Server

Flux FME Server

Un nouveau mode fait son apparition dans l’interface de FME Server (qui profite au passage de petites retouches). La section Flux FME Server permet la diffusion de données en continue pour FME Server. Les utilisateurs peuvent dès lors mettre en place des traitements qui exécutent des flux de données en temps réel. Ce nouveau mode s’accompagne d’un Writer FMEServerStream.

Mise à l’échelle

Dans FME Server 2021, les utilisateurs pourront avoir les statistiques d’exécution de traitement, le contrôle des files d’attente et la durée de file d’attente pour les traitements. Parmi les statistiques disponibles : la durée de traitement ; l’utilisateur ; le système ; l’utilisation de la mémoire ; le temps CPU ; pourcentage CPU…

Safe met à disposition un guide de surveillance des performances de traitements grâce à l’API REST de FME Server. Les tableaux de bord pour les statistiques de FME Server seront disponibles sur FME 2021.1. C’est un point sur lequel il y aura de plus en plus d’évolution à l’avenir grâces aux endpoints de l’API.

Gestion de la file d’attente

Les administrateurs peuvent dorénavant gérer la charge des moteurs FME Server. Ils peuvent déterminer les traitements et moteurs assignés aux files d’attente grâce à des nouvelles règles.

Garantie d’exécution

Le mécanisme d’Automations permet maintenant d’assurer qu’une action ou une exécution sera retentée en cas d’échec. L’administrateur peut configurer les tentatives, gérer les échecs et les suivre comme il le souhaite.

Déclenchement manuel des Automations

Il est maintenant possible de déclencher une automation d’un simple clic grâce au déclencheur « Déclencher manuel ». Très utile pour les tests.

Generic Directory

En plus de Microsoft Active Directory, FME Server 2021 propose le support de Generic Directory, un composant générique permettant de se connecter à des annuaires LDAP quelconques.

Et après ?

Veremes et Safe Software préparent des événements pour en apprendre plus sur FME 2021, vous présenter les nouveautés et partager des expériences d’utilisateurs. Suivez-nous sur Twitter et LinkedIn : nous vous en reparlons très prochainement !