Intégration de flux de données

Définition

Un flux de données est une source continue d’information composée d’éléments fondamentaux : les messages. Par nature, un flux est dynamique contrairement aux classiques sources de données, fichiers et bases de données, qui représentent un stock statique.

Les flux de données sont généralement associés à des capteurs qui envoient des informations sur un réseau à fréquence fixe ou lorsqu’un événement survient.

L’intégration de flux de données est une opération qui permet d’exploiter en temps réel les différents messages en fonction de leur nature : certains pourront être stockés (base de données, datalake), d’autres pourront déclencher des actions et d’autres enfin pourront être abandonnés.

Les projets de ce type sont en plein développement avec l’essor de l’Internet des Objets (IoT). Ils nécessitent la mise en place de composants physiques (capteurs, passerelles), de réseaux et de plusieurs couches logicielles comprenant notamment un agent de message (broker) chargé de distribuer les messages, un ETL pour leur exploitation et un espace de stockage pour leur archivage sous forme de donnée statique.