[Azure] Optimisation de vos chargement dans Azure Datawarehouse

Contexte :

Suite à la mise en place de données dans un projet Azure chez un client nous avons été confronté à des problèmes de performance lors de l’intégration des données dans notre Azure Datawarehouse

Afin de gagner du temps nous récupérons différentes interfaces sous format Csv que nous transformons en format .parquet

L’intérêt du format parquet est de gagner du temps lors de l’exploitation de ces différentes interfaces car le format parquet permet de structurer les données et de stocker les données de manière pré formaté.

Dans notre cas nous avons souhaité héberger ces données dans un service distribué comme Azure Data Lake.

Ce service est un service distribué qui permet de stocker les fichiers « formatés ». L’intérêt de ce système de stockage est de gagner du temps sur l’interrogation de ces fichiers car nous sommes sur un système distribué.

Lire la suite

[Azure] Installation d’une Gateway DataFactory

Contexte : Dans notre exercice nous essayons de réaliser une copie de données entre des données en local et Azure Data Lake store.
Pour réaliser ce transfert nous allons utiliser le service Azure Data Factory et nous avons besoins de réaliser une Gateway pour sécuriser les données entre notre machine local et notre Azure Data Lake Store.

Lire la suite

[Azure][SQL] Passage de certification 70-473

Suite à mon passage de la certification 70-473 : Conception et implémentation de solutions de plateforme de données cloud

Voici mon retour cette certification :

  • Une 50aine de questions au total
  • Pas mal d’études de cas 4 ou 5, partant de la base suivante :
    • J’ai un système On-Premise (en local) je souhaite le migrer dans le cloud vers quelle solution  dois je me tourner ?
      • Evidemment il faut répondre en fonction du contexte client 🙂
    • Et le contexte client peut varier :
      • Soit ça peut être tourné vers des machines en IAAS avec potentiellement de la haute dispo
      • Soit vers du SQL Database ou du SQL Datawarehouse
  • Passer ces études de cas très intéressante (car, pour une fois elle reflète vraiment les questions que l’on peut se poser en clientèle)

 

  • Il y a pas mal de questions techniques orientés sur les informations suivantes :
    • Ouverture des ports pour accéder la SQL Database depuis l’extérieur ou vers les machines en IAAS
    • Configuration de l’Azure Active Directory quand cela est nécessaire
    • Il faut bien connaitre les différences entre les niveaux de services proposés dans la SQL Database (basic, Standard, premium)
    • Il faut connaitre tous les systèmes de géoréplication
    • Certaines questions portent sur les connaissances des systèmes de sauvegarde disponible que ce soit sur la version SQL Database ou en IAAS
    • Il est nécessaire de connaitre les systèmes de transfert de données vers Azure suivant la volumétrie
    • Il est impératif de connaitre les systèmes de chiffrement et de sécurité des données
    • Les nouveautés coté SQL Server 2016 SP1 et SQL Database V12 sont aussis de la partie et sont utiles dans les questions (polybase, Always encrypted …)
    • Certaines questions consistent à connaitre les commandes powershell permettant re restaurer un backup sur une SQL database par exemple, il est donc nécessaire de connaitre les commandes PowerShell disponible dans Azure.

Ma méthode de révision a été la suivante :

  • Comprendre le type de questions qui peuvent être demandés (via la vidéo ci-dessous et les slides)
  • Réviser sur la MSDN les différentes parties sollicitées
  • J’ai eu la chance de travailler à quelques reprises sur des cas similaires chez des clients ou lors de présentation et il n’y a pas à dire mais la pratique ça aide énormément 🙂

 

Si vous souhaitez en savoir plus :

https://www.microsoft.com/fr-fr/learning/exam-70-473.aspx

https://cloudthat.in/course/azure-certification-boot-camp-for-exam-70-473/?pdfpopup=1

https://www.youtube.com/watch?v=rOC4nhuXoRo

 

Julien PIERRE

Consultant MSBI

[SSRS][PowerBI] Introduction a Power BI dans le Server de Rapport SQL Server (SSRS)

Suite à de nombreuses demandes d’utilisateurs ne souhaitant pas voir leur donner partir dans le cloud Microsoft.

Microsoft à mis en place 2 solutions à dispositions pour la partie Power BI :

  • La mise en place d’une gateway permettant de ne pas exporter les données dans le cloud
  • La création d’un serveur de rapport SSRS permettant d’héberger des rapports Power BI conçu à partir de Power BI Desktop

Dans cette introduction nous allons étudiés la solution numéro qui vient de sortir en mode pré view dans la vNext de SQL Server

Lire la suite