Auteur : jpierre2014

jpierre2014http://jpierre2014.wordpress.com

SQL 2019 Les nouveautés et les retours d’experience

Comme prévu Microsoft nous l’avait annoncé il y a quelque temps une nouvelle version de SQL Server est bientôt prête à arriver.

A l’heure actuelle, où j’écris ces lignes, nous en sommes à la version CTP 2.1

Au menu plein de petites nouveautés :

  • Du Machine Learning
    • Possibilité de créer un cluster Spark Big Data
      • Déployer des applications Python et R
    • Déployer un cluster Big Data avec des conteneurs SQL et Spark Linux sur Kubernetes
    • Accéder à votre Big Data à partir de HDFS
    • Exécuter l’analytique avancée et le Machine Learning avec Spark
    • Utiliser Spark Streaming pour envoyer des données aux pools de données SQL
    • Utiliser Azure Data Studio pour exécuter des livres de requêtes qui procurent une expérience de bloc-notes
  • Moteur de base de données
    • Traitement des requêtes intelligent avec la fonction inlining de fonction UDF
    • Amélioration de la gestion des erreurs en incluant les noms de tables de colonnes ainsi que les valeurs tronquées (pour les erreurs de troncations)
    • Prise en charge de l’UTF 8 à l’installation
    • Utilisation d’alias de tables dérivées ou de vues dans les requêtes de correspondance de graphe
    • Amélioration des données de diagnostic pour le blocage des statistiques
    • Pool de mémoires tampons hybride
    • Masquage statique des données
  • Linux
    • Prise en charge de la réplication
    • Prise en charge de MSDTC (Microsoft Distributed Transaction Coordinator)
    • Groupe de disponibilité Always On sur des conteneurs Docker avec Kubernetes
    • Prise en charge d’OpenLDAP pour les fournisseurs AD tiers
    • Machine Learning sur Linux
    • Nouveau registre de conteneurs
    • Nouvelles images conteneur basées sur RHEL
    • Notification de sollicitation de la mémoire
  • Outil
    • Azure Data Studio
      • Mise a jour pour SQL 2019
      • Nouvel outil SQL Server

 

Retour d’experience :

Après avoir testé rapidement cette nouvelle version, j’ai eu quelques déboires avec PolyBase sans doute dû à des problèmes de drivers HDFS qui ont changé avec l’arrivée de la nouvelle version…

J’ai pu tester la mise en place de cluster Spark et vérifier l’intérêt de celui ci On-prem avant de diffuser sur un vrai cluster Spark en ligne sur Azure par exemple.

Il a un autre intérêt, il permet de travailler les données en amont de leur intégration et peut venir remplacer un ETL comme SSIS lors de la phase de Data Prep cela peut donc devenir une alternative intéressante. SQL2019

 

Sources :

https://docs.microsoft.com/fr-fr/sql/sql-server/what-s-new-in-sql-server-ver15?view=sqlallproducts-allversions

[Power BI][Azure Analysis Service] Comment importer un modele Power BI dans Azure Analysis Services

De nombreux concepteur de rapports Power BI se sont souvent posé la question :

Comment industrialiser mon rapport et partager mes données avec mes collègues de bureau de manière automatisée.

Mon model est bon, la direction m’a validé les chiffres il ne reste plus qu’a le mettre en production malheureusement il est disponible que dans mon Power BI que j’ai créé, mes collègues ne peuvent pas utiliser ma base pour venir créer leurs rapports ni même agrémenté mes formules DAX avec d’autres formules sans devoir créer de nouveaux modèles.

Cette réflexion reviens à dire : Comment intégrer mon modele Power BI dans une instance Analysis Services en mode Tabulaire de manière automatique.

Réponse : Il existe 2 méthodes :

Méthode 1 : Je crée un nouveau projet Visual studio et je développe ce qui a été réalisé dans Power BI

Méthode 2 : J’importe depuis le portail Azure les données depuis mon fichier Power BI et l’outil va créer automatiquement le modèle tabulaire présent dans le fichier Power BI Desktop.

Dans ce blog je vais vous présenter brièvement la méthode N°2 qui permet d’uploader rapidement un modèle tabulaire issus de Power BI desktop

1

 

Cette option est en mode préview actuellement sur le portail, elle n’est pas encore complètement achevé et donc elle est susceptible de comporter des erreurs.

On sélectionne un fichier Power BI Destktop (on voit que nous pouvons importer des modèles depuis un Datawarehouse ou une SQL database également)

2

 

Pour notre test nous avons sélectionné le fichier pbix de notre choix :

3

 

Il nous importe le modele avec les formules en DAX qui sont incorporé dans notre projet Power BI desktop:

4.jpg

Il ne reste plus qu’a se connecter a ce modèle depuis notre instance Azure Analysis Services.

Les formules en DAX et le code M de transformation des données étant repris  lors de cet import.

Julien PIERRE

Consultant MSBI

[Azure] Optimisation de vos chargement dans Azure Datawarehouse

Contexte :

Suite à la mise en place de données dans un projet Azure chez un client nous avons été confronté à des problèmes de performance lors de l’intégration des données dans notre Azure Datawarehouse

Afin de gagner du temps nous récupérons différentes interfaces sous format Csv que nous transformons en format .parquet

L’intérêt du format parquet est de gagner du temps lors de l’exploitation de ces différentes interfaces car le format parquet permet de structurer les données et de stocker les données de manière pré formaté.

Dans notre cas nous avons souhaité héberger ces données dans un service distribué comme Azure Data Lake.

Ce service est un service distribué qui permet de stocker les fichiers « formatés ». L’intérêt de ce système de stockage est de gagner du temps sur l’interrogation de ces fichiers car nous sommes sur un système distribué.

Lire la suite →

[Azure] Installation d’une Gateway DataFactory

Contexte : Dans notre exercice nous essayons de réaliser une copie de données entre des données en local et Azure Data Lake store.
Pour réaliser ce transfert nous allons utiliser le service Azure Data Factory et nous avons besoins de réaliser une Gateway pour sécuriser les données entre notre machine local et notre Azure Data Lake Store.

Lire la suite →

[Azure][SQL] Passage de certification 70-473

Suite à mon passage de la certification 70-473 : Conception et implémentation de solutions de plateforme de données cloud

Voici mon retour cette certification :

  • Une 50aine de questions au total
  • Pas mal d’études de cas 4 ou 5, partant de la base suivante :
    • J’ai un système On-Premise (en local) je souhaite le migrer dans le cloud vers quelle solution  dois je me tourner ?
      • Evidemment il faut répondre en fonction du contexte client 🙂
    • Et le contexte client peut varier :
      • Soit ça peut être tourné vers des machines en IAAS avec potentiellement de la haute dispo
      • Soit vers du SQL Database ou du SQL Datawarehouse
  • Passer ces études de cas très intéressante (car, pour une fois elle reflète vraiment les questions que l’on peut se poser en clientèle)

 

  • Il y a pas mal de questions techniques orientés sur les informations suivantes :
    • Ouverture des ports pour accéder la SQL Database depuis l’extérieur ou vers les machines en IAAS
    • Configuration de l’Azure Active Directory quand cela est nécessaire
    • Il faut bien connaitre les différences entre les niveaux de services proposés dans la SQL Database (basic, Standard, premium)
    • Il faut connaitre tous les systèmes de géoréplication
    • Certaines questions portent sur les connaissances des systèmes de sauvegarde disponible que ce soit sur la version SQL Database ou en IAAS
    • Il est nécessaire de connaitre les systèmes de transfert de données vers Azure suivant la volumétrie
    • Il est impératif de connaitre les systèmes de chiffrement et de sécurité des données
    • Les nouveautés coté SQL Server 2016 SP1 et SQL Database V12 sont aussis de la partie et sont utiles dans les questions (polybase, Always encrypted …)
    • Certaines questions consistent à connaitre les commandes powershell permettant re restaurer un backup sur une SQL database par exemple, il est donc nécessaire de connaitre les commandes PowerShell disponible dans Azure.
    • …

Ma méthode de révision a été la suivante :

  • Comprendre le type de questions qui peuvent être demandés (via la vidéo ci-dessous et les slides)
  • Réviser sur la MSDN les différentes parties sollicitées
  • J’ai eu la chance de travailler à quelques reprises sur des cas similaires chez des clients ou lors de présentation et il n’y a pas à dire mais la pratique ça aide énormément 🙂

 

Si vous souhaitez en savoir plus :

https://www.microsoft.com/fr-fr/learning/exam-70-473.aspx

https://cloudthat.in/course/azure-certification-boot-camp-for-exam-70-473/?pdfpopup=1

https://www.youtube.com/watch?v=rOC4nhuXoRo

 

Julien PIERRE

Consultant MSBI