Contexte :
Suite à la mise en place de données dans un projet Azure chez un client nous avons été confronté à des problèmes de performance lors de l’intégration des données dans notre Azure Datawarehouse
Afin de gagner du temps nous récupérons différentes interfaces sous format Csv que nous transformons en format .parquet
L’intérêt du format parquet est de gagner du temps lors de l’exploitation de ces différentes interfaces car le format parquet permet de structurer les données et de stocker les données de manière pré formaté.
Dans notre cas nous avons souhaité héberger ces données dans un service distribué comme Azure Data Lake.
Ce service est un service distribué qui permet de stocker les fichiers « formatés ». L’intérêt de ce système de stockage est de gagner du temps sur l’interrogation de ces fichiers car nous sommes sur un système distribué.
