Quoi de neuf avec FME 2019 ?

A quelques semaines de la sortie de FME 2019, Dale Lutz et Don Murray (cofondateurs de Safe Software) ont dévoilé l’ensemble des évolutions de FME Desktop et FME Server. Découvrons ensemble ces nouveautés.

Comment télécharger FME

Vous pouvez dès à présent télécharger FME Desktop et FME Server sur la page de téléchargement de Safe Software.

FME 2019, c’est pour quand ?

Commençons par l’information la plus intéressante : tout d’abord annoncé pour mars, FME 2019 a été repoussé à la première moitié du mois d’avril. A l’heure de la rédaction de ces lignes, la date exacte n’a pas été dévoilée mais un nouveau report est peu probable.

Les plus impatients d’entre vous peuvent dès à présent essayer FME 2019 dans sa version « release candidate » en téléchargeant cette dernière sur le site de Safe Software. Notez bien que, même s’il s’agit de la dernière version avant la sortie officielle, cela reste une bêta et il n’est pas conseillé de l’utiliser dans un but de production : des erreurs et bugs peuvent survenir.

Deux mises à jour majeures apportant leur lot de nouveaux formats et Transformers auront lieu durant l’année, en juillet et en novembre.

Les nouvelles fonctionnalités de FME Desktop 2019

Dark mode et interface

Suivant les traces de FME Server, FME Desktop propose un dark mode pour Workbench et Data Inspector. Les options de modification de l’apparence sont d’ailleurs plus nombreuses pour vous permettre de personnaliser davantage votre expérience avec FME, notamment avec une personnalisation de la palette de couleurs des signets plus souple et pouvant se faire dans les options ou via l’import d’un fichier JSON.

L’interface propose d’autres améliorations mineures, comme des icônes plus lisibles et au style plus élégant, se mariant tout aussi bien avec le dark mode qu’avec le light mode original.

Prévisualisation intégrée

Ajout majeur de FME 2019 : vous pouvez inspecter en direct vos données spatiales et non spatiales, en 2D, en 3D ou en mode diaporama, directement dans FME Workbench ! Pour cela, il suffit d’activer l’option d’affichage de la prévisualisation intégrée ainsi que l’option de mise en cache des données.

Une fois un traitement exécuté (partiellement ou totalement), vous pouvez découvrir l’état de vos données à chaque étape du projet. Bien sûr, si le changement d’affichage à chaque Transformer cliqué vous dérange, vous pouvez le geler sur une étape précise.

A noter que l’exécution d’un traitement avec données en cache est maintenant différente : si le mode Mise en cache est activé et que vous appuyez sur « Exécuter » (ou sur F5), le traitement ne s’exécutera qu’à partir des Transformers dont les données ne sont pas mises en cache (équivalent à l’ancien « Exécuter depuis ici »). Pour effectuer une exécution complète du traitement, il faudra appuyer sur Shift+F5 ou sélectionner l’option idoine dans la barre d’outils.

Traitement parallèle

Le traitement parallèle fait l’objet d’une restructuration. Avec FME 2019, dans les paramètres des Transformers, l’option de parallélisme disparaît et celle d’Entrée de groupes ordonnés est renommée Mode de regroupement. La fonctionnalité de traitement parallèle perdure mais est maintenant limitée aux Transformers personnalisés.

Cette décision a été prise en raison du risque de ralentissements issus de mauvais paramétrages effectués par l’utilisateur, du besoin de simplification des boîtes de dialogue des Transformers, de la confusion sur le lien entre parallélisme et ordre des groupes (il n’y en a en fait pas, malgré la proximité de ces deux options dans les interfaces ainsi que dans le code) ainsi que pour encourager l’utilisation de bonnes pratiques.

Pour plus d’informations sur les traitements parallèles, nous vous invitons à consulter le très détaillé article de Mark Ireland, Parallel Processing and FME: A Redesign for 2019.

Préréglages de Transformers

Petite amélioration qui semble anodine mais facilitera la vie de beaucoup d’utilisateurs de FME, un système de presets apparaît dans la boîte de dialogue de paramètres des Transformers. Vous pourrez ainsi enregistrer les réglages d’un Transformer pour pouvoir les charger plus tard dans une autre instance.

Un ajout idéal pour tous ceux qui ont l’habitude de recréer certains processus dans chacun de leurs projets FME ou qui préfèrent conduire plusieurs tests sans avoir plusieurs doublons de Transformers non connectés.

A noter que vous pourrez enregistrer plusieurs préréglages par Transformer et pourrez aussi choisir l’un d’entre eux comme préréglage par défaut.

FME Packages

Les packages FME sont un nouveau format de fichier pouvant regrouper Transformers, Readers, Writers, connexions web et scripts Python. Il vous suffit de télécharger le fichier .fpckg et de l’ouvrir dans FME pour installer les différents composants.

Vous pouvez trouver certains packages FME sur le FME Hub, comme les Transformers S3Connector, CesiumIonConnector, RasterObjectorDetector et NLP (Natural Language Processing) que nous verrons plus bas.

L’objectif est de pouvoir transmettre plus facilement certains composants et de les mettre à jour sans avoir à télécharger et installer une nouvelle version de FME.

Traitement du langage naturel

Le Traitement automatique du langage naturel (TALN ou, dans la langue de Shakespeare, NLP pour Natural Language Processing) est une technique informatique d’apprentissage du langage humain.

FME 2019 accueillera donc deux Transformers dédiés à cette branche du machine learning : NLPTrainer et NLPClassifier. Le premier recueillera des données qualifiées, « étiquetées », tandis que le second recueillera de nouvelles données pour les analyser et les trier en fonction des conditions indiquées en amont.

Nous vous en parlions en détail dans notre article sur les premières nouveautés de FME 2019. Pour plus de sources anglophones, nous vous conseillons la vidéo de Mark Ireland illustrant ci-dessous ainsi que son article détaillé sur FME et le NLP, FME 2019 Sneak Peek: Machine Learning and Natural Language Processing.

Détection d’objets raster

La détection automatique de formes devient possible dans FME 2019. Vous pourrez ainsi utiliser un ensemble de Transformers pour reconnaître visages, parties du corps, objets ou animaux dans vos images :

• RasterObjectDetector
• RasterObjectDetectorSampleGenerator
• RasterObjectDetectorSamplePreparer
• RasterObjectDetectionModelTrainer

A noter que ces trois derniers Transformers sont téléchargeables dans un seul package FME disponible sur FME Hub ainsi que directement depuis FME Desktop 2019.

Refonte de Transformers

Dissolver

Le Transformer Dissolver a été réétudié et est maintenant bien plus rapide qu’auparavant. Lors de la démonstration en direct de ce Transformer faisant peau neuve, les résultats sont aussi étonnants que convaincants : pour dissoudre un polygone donné, Dissolver a besoin de 44.8 secondes avec FME 2018 alors que seulement 3.7 secondes sont nécessaires avec FME 2019. Pour un autre projet, ce sont 3 heures et 15 minutes avec FME 2018 qui se transforment en 2 minutes et 34 secondes avec FME 2019. Selon les équipes de Safe Software, ce nouveau Dissolver sera entre 2 et 76 fois plus rapide, en fonction de la complexité des données.

Tester

Le Transformer Tester voit la présentation de ses tests conditionnels légèrement modifiée. Si auparavant vous deviez choisir entre ET, OU ou un test composite (où chaque test était numéroté), le nouveau paramétrage de Tester se veut plus littéraire.

La liste déroulante « Critère de réussite » disparaît au profit d’une nouvelle colonne servant de préfixe à chaque test. C’est ici que vous pouvez alors indiquer la logique du test (ET, ET NON, OU…) tout en gérant les imbrications avec les parenthèses (l’ouverture d’une parenthèse provoquant par conséquent l’affichage de nouveaux choix de logique).

Tester est le Transformer le plus utilisé de FME : autant dire que la moindre modification apportée l’est avec soin et prudence. Il est fort à parier que ce changement trouvera très vite sa place dans les habitudes des utilisateurs.

Ce changement se répercute aussi sur les autres occurrences de tests, à l’instar du Transformer TestFilter. Pour plus d’informations sur cette évolution, nous vous conseillons l’article Test Clauses Remade: Data Filtering in FME 2019 sur le blog de Safe Software.

ChangeDetector

Le Transformer ChangeDetector change quelque peu. Si auparavant le Transformer utilisait des ports de sortie Unchanged, Added et Deleted ; ceux-ci deviennent avec FME 2019 Updated, Inserted, Deleted, Unchanged.

Cette nouvelle organisation élargit grandement le champ de détection de ce Transformer qui peut maintenant gérer les entités mises à jour. Le nouveau ChangeDetector possède donc de nouvelles options permettant de comparer les entités actuelles à un modèles de base afin de savoir si mise à jour il y a eu.

A noter que grâce à ces ajouts, cette nouvelle version de ChangeDetector remplace l’UpdateDetector présent sur FME Hub et qui sera déprécié à partir de FME 2019.

EsriReprojector

Ce Transformer n’est pas nouveau mais il a été intégralement réécrit pour ne pas utiliser d’ArcObjects. Dorénavant, nul besoin d’ArcGIS installé pour mettre EsriReprojector à profit.

Amélioration du Reader Esri Shapefile

Il n’y a pas que les Transformers qui ont le droit à une cure de jouvence, les Readers et Writers aussi ! Le Reader Shapefile a été revu et traite maintenant plus rapidement les données entrantes par lot. Dans l’exemple donné en direct, ce sont 40 secondes pour FME 2018 qui se transforment en 16 secondes.

Ce Reader est encore au stade de « Tech preview » mais l’objectif avoué est qu’il devienne le Reader par défaut pour FME 2020.

Lecture native du Revit

Ajout du format Autodesk Revit en lecture, sans avoir à utiliser de fichiers intermédiaires (comme le .rvz obtenu avec FME Exporter). Cet ajout illustre la volonté de Safe Software de rapprocher SIG et BIM avec le support des flux de travail d’indoor mapping ou encore la création de projets pour la réalité augmentée et les moteurs de jeu.

Ecriture au format Epic Games Unreal Datasmith

Nouveau format annoncé avec Revit au début de l’année, Unreal Engine est un moteur de jeux vidéo. Les nouveaux détails révélés par Safe Software nous permettent de savoir que FME pourra créer un fichier Datasmith. Il s’agit d’un format de fichier de projet pour Unreal Engine.

A titre d’exemple, si vous exportez en Datasmith une scène Revit contenant habitation, terrain et voiture en 3D, vous pouvez donc charger ce fichier Datasmith comme projet dans Unreal Engine. Les modèles 3D garderont les attributs pertinents (noms, emplacement…).

Lecture de format DICOM (imagerie médicale)

Safe Software s’est associé à BC Cancer et SFU NeuroTech pour utiliser les technologies de machine learning et d’intégration de données dans le but d’analyser avec précision les scans cérébraux et identifier de potentielles tumeurs. FME peut donc maintenant lire les images au format DICOM, que vous pouvez voir évoluer dans le temps sur les scans de gauche, et dans l’espace au centre et à droite.

A noter que le DICOM n’est pas utilisé que dans le domaine médical mais aussi dans le minage de charbon. Les entreprises spécialisées dans ce domaine utilisent la tomographie informatisée pour identifier le parcours du gaz dans le charbon. FME peut donc automatiquement y analyser la densité des divers éléments grâce à la détection d’objets raster.

Support de formats de fichiers compressés

En plus du format de fichier ZIP lisible déjà par FME, d’autres formats de compression font leur apparition. Vous pourrez donc utiliser les fichiers .7zip, .tar, .rar, .zipx, .gzip ou encore .bz2.

Support du format Esri i3s

Le format Esri i3s (Indexed 3D Scene Layers), standard OGC depuis 2017, est maintenant supporté dans FME pour travailler sur de larges environnements en 3D.

Nouveaux connecteurs

Six nouveaux connecteurs feront leur apparition dans FME 2019, auxquels viendront s’ajouter trois autres dans le courant de l’année :

• AzureBlobStorageConnector
• AzureFileStorageConnector
• CesiumIonConnector

• CityworksConnector
• GoogleCloudStorageConnector
• S3Connector

• AzureQueueStorageConnector (à venir)
• KafkaConnector (à venir)
• TrelloConnector (à venir)

Et FME Server ?

A chaque release de FME Server, Safe Software fait effectuer un audit par une entreprise externe pour améliorer la sécurité du logiciel. Et ça se voit, avec une sécurité qui sera de nouveau renforcée cette année avec notamment des règles de sécurité pour les mots de passe.

Outre l’amélioration de la sécurité, FME Server se voit aussi amélioré dans le filtrage des logs, la gestion de tokens, les échanges de projets avec FME Hub et la conservation des préférences utilisateurs de navigateur en navigateur.

Mais la plus grande nouveauté est sans nul doute Automations, le nouvel outil de FME Server qui va faciliter, si ce n’est révolutionner, votre manière d’automatiser vos traitements FME et les tâches annexes. Notre article « Automations : le renouveau de FME Server » vous permettra d’en savoir plus sur cette évolution majeure.