Power BI comment utiliser des Fonctions et paramètres

Bonjour,

Dans ce tutoriel nous allons voir comment réaliser certains tooltips qui peuvent être intéressant dans Power BI :

A savoir

  • Créer des paramètres
  • Créer des fonctions
  • Récupérer et traiter  un ensemble de fichiers avec les fonctions créés précédemment
  • Traiter le dernier fichier en date

Lire la suite

SQL 2019 Les nouveautés et les retours d’experience

Comme prévu Microsoft nous l’avait annoncé il y a quelque temps une nouvelle version de SQL Server est bientôt prête à arriver.

A l’heure actuelle, où j’écris ces lignes, nous en sommes à la version CTP 2.1

Au menu plein de petites nouveautés :

  • Du Machine Learning
    • Possibilité de créer un cluster Spark Big Data
      • Déployer des applications Python et R
    • Déployer un cluster Big Data avec des conteneurs SQL et Spark Linux sur Kubernetes
    • Accéder à votre Big Data à partir de HDFS
    • Exécuter l’analytique avancée et le Machine Learning avec Spark
    • Utiliser Spark Streaming pour envoyer des données aux pools de données SQL
    • Utiliser Azure Data Studio pour exécuter des livres de requêtes qui procurent une expérience de bloc-notes
  • Moteur de base de données
    • Traitement des requêtes intelligent avec la fonction inlining de fonction UDF
    • Amélioration de la gestion des erreurs en incluant les noms de tables de colonnes ainsi que les valeurs tronquées (pour les erreurs de troncations)
    • Prise en charge de l’UTF 8 à l’installation
    • Utilisation d’alias de tables dérivées ou de vues dans les requêtes de correspondance de graphe
    • Amélioration des données de diagnostic pour le blocage des statistiques
    • Pool de mémoires tampons hybride
    • Masquage statique des données
  • Linux
    • Prise en charge de la réplication
    • Prise en charge de MSDTC (Microsoft Distributed Transaction Coordinator)
    • Groupe de disponibilité Always On sur des conteneurs Docker avec Kubernetes
    • Prise en charge d’OpenLDAP pour les fournisseurs AD tiers
    • Machine Learning sur Linux
    • Nouveau registre de conteneurs
    • Nouvelles images conteneur basées sur RHEL
    • Notification de sollicitation de la mémoire
  • Outil
    • Azure Data Studio
      • Mise a jour pour SQL 2019
      • Nouvel outil SQL Server

 

Retour d’expérience :

Après avoir testé rapidement cette nouvelle version, j’ai eu quelques déboires avec PolyBase sans doute dû à des problèmes de drivers HDFS qui ont changé avec l’arrivée de la nouvelle version…

J’ai pu tester la mise en place de cluster Spark et vérifier l’intérêt de celui ci On-prem avant de diffuser sur un vrai cluster Spark en ligne sur Azure par exemple.

Il a un autre intérêt, il permet de travailler les données en amont de leur intégration et peut venir remplacer un ETL comme SSIS lors de la phase de Data Prep cela peut donc devenir une alternative intéressante. SQL2019

Exemple d’utilisation d’un script d’analyse prédictive depuis un cluster spark sur un un SQL Server 2019 en version CTP 2.1.

SparkSQL2019.png

Sources :

https://docs.microsoft.com/fr-fr/sql/sql-server/what-s-new-in-sql-server-ver15?view=sqlallproducts-allversions

[Power BI][Azure Analysis Service] Comment importer un modele Power BI dans Azure Analysis Services

De nombreux concepteur de rapports Power BI se sont souvent posé la question :

Comment industrialiser mon rapport et partager mes données avec mes collègues de bureau de manière automatisée.

Mon model est bon, la direction m’a validé les chiffres il ne reste plus qu’a le mettre en production malheureusement il est disponible que dans mon Power BI que j’ai créé, mes collègues ne peuvent pas utiliser ma base pour venir créer leurs rapports ni même agrémenté mes formules DAX avec d’autres formules sans devoir créer de nouveaux modèles.

Cette réflexion reviens à dire : Comment intégrer mon modele Power BI dans une instance Analysis Services en mode Tabulaire de manière automatique.

Réponse : Il existe 2 méthodes :

Méthode 1 : Je crée un nouveau projet Visual studio et je développe ce qui a été réalisé dans Power BI

Méthode 2 : J’importe depuis le portail Azure les données depuis mon fichier Power BI et l’outil va créer automatiquement le modèle tabulaire présent dans le fichier Power BI Desktop.

Dans ce blog je vais vous présenter brièvement la méthode N°2 qui permet d’uploader rapidement un modèle tabulaire issus de Power BI desktop

1

 

Cette option est en mode préview actuellement sur le portail, elle n’est pas encore complètement achevé et donc elle est susceptible de comporter des erreurs.

On sélectionne un fichier Power BI Destktop (on voit que nous pouvons importer des modèles depuis un Datawarehouse ou une SQL database également)

2

 

Pour notre test nous avons sélectionné le fichier pbix de notre choix :

3

 

Il nous importe le modele avec les formules en DAX qui sont incorporé dans notre projet Power BI desktop:

4.jpg

Il ne reste plus qu’a se connecter a ce modèle depuis notre instance Azure Analysis Services.

Les formules en DAX et le code M de transformation des données étant repris  lors de cet import.

Julien PIERRE

Consultant MSBI

[Azure] Optimisation de vos chargement dans Azure Datawarehouse

Contexte :

Suite à la mise en place de données dans un projet Azure chez un client nous avons été confronté à des problèmes de performance lors de l’intégration des données dans notre Azure Datawarehouse

Afin de gagner du temps nous récupérons différentes interfaces sous format Csv que nous transformons en format .parquet

L’intérêt du format parquet est de gagner du temps lors de l’exploitation de ces différentes interfaces car le format parquet permet de structurer les données et de stocker les données de manière pré formaté.

Dans notre cas nous avons souhaité héberger ces données dans un service distribué comme Azure Data Lake.

Ce service est un service distribué qui permet de stocker les fichiers « formatés ». L’intérêt de ce système de stockage est de gagner du temps sur l’interrogation de ces fichiers car nous sommes sur un système distribué.

Lire la suite

[Azure] Installation d’une Gateway DataFactory

Contexte : Dans notre exercice nous essayons de réaliser une copie de données entre des données en local et Azure Data Lake store.
Pour réaliser ce transfert nous allons utiliser le service Azure Data Factory et nous avons besoins de réaliser une Gateway pour sécuriser les données entre notre machine local et notre Azure Data Lake Store.

Lire la suite