Comment la BI Microsoft est en train d’évoluer !

 

BI on-demand, Big Data, Cloud, Mobilité, Machine Learning, Social BI…. Décryptage !

 

Cet article a pour but d’expliquer l’évolution actuelle et à venir de la Business Intelligence Microsoft et de décrypter son écosystème pas si simple à appréhender. En effet l’émergence du cloud, de la mobilité, des «  big data » (réseau sociaux, e-commerce…) et de l’analyse qu’on peut en faire, le tout associé aux demandes avec des délais de plus en plus cours de la part des décideurs ont fait naître de nouvelles technologies de Business Intelligence plus modernes et qui pour certaines sont parfois en phase transitoire et en mode « preview ».

L’écosystème se découpe en 4 domaines et un ensemble d’outils associés comme le montre le schéma d’ensemble ci-dessous :

 

 

 

 

_MSBI

 

 

La BI On-Premise (traditionnel) :

Depuis plus de quinze ans Microsoft fait évoluer ses outils décisionnels « On-Premise » autour de SQL Server pour permettre aux sociétés de mettre en place eux même une solution décisionnelle d’entreprise centralisée, robuste et évolutive, en harmonie avec l’infrastructure locale existante et qui répond à des exigences à la fois de sécurité, de performance mais aussi de budget.

Traditionnellement, pour la conception d’un environnement décisionnel, une société peut faire appel à l’IT, on parle alors pour une solution « Corporate » d’entreprise. Mais un utilisateur final souvent appelé « Power User » peut également mettre en place une solution et devenir autonome dans la totalité ou une partie des phases d’un projet, de la conception jusqu’au déploiement.

Dans le dernier cas on parle souvent de solution BI « On-demand » ou « Self-service » et parfois personnelle si elle est conçu intégralement par l’utilisateur.

La suite d’outils BI traditionnels, et ceux-ci autour de la SQL Server, est composée :

  • Du moteur de base de données : SQL DB Engine
  • De l’ETL : SSIS
  • Du moteur d’analyse multidimensionnel : SSAS
  • Du serveur de rapports : SSRS

Pour la BI « On-Demand », Excel est l’outil de prédilection.

 

_BIOnprem

 

 

 

La BI « Corporate » :

Avec SQL Server et depuis la version 7.0, la plateforme BI Corporate de Microsoft est en perpétuelle évolution toujours dans un but d’être plus robuste, performante et avec de nouvelles fonctionnalités souvent inédites.

 

Aujourd’hui nous en sommes à la version SQL Server 2014 maintenant orientée « Hybrid Cloud » pour faciliter de manière transparente la gestion du stockage, des sauvegardes ou des transferts des données que cela soit sur site ou dans le cloud.

Microsoft a également conçu et développé depuis la version SQL Server 2012 un nouveau moteur d’analyse « In Memory » qui rend plus puissant le traitement des données, les calculs d’agrégats et des formules d’analyse en mémoire, ainsi que la restitution et l’analyse de données autant fines et « Tabulaire » qu’agrégées et en tableau croisé.

De plus, un nouveau type d’index « Column Store Index » permet d’améliorer considérablement les performances de chargement des entrepôts et son requêtage.

Enfin, SQL server permet de réindustrialiser dans SSAS les données provenant des cubes « On-demand », que nous verrons plus loin, conçus avec « Power Pivot », stockées en local dans Excel, de les exposer dans SharePoint pour donner la possibilité à l’utilisateur final de concevoir directement dans un site des analyses ad-hoc grâce au composant de « Data Vizualisation » « Power View » issu de SQL Server et intégré à un service SharePoint 2013.

 

En complément, pour permettre aux utilisateurs de mieux collaborer, la solution SharePoint 2013 permet, en plus de ce qu’on a vu au-dessus avec « Power Pivot » et « Power View »,  la mise en place de portail décisionnel, le partage des classeurs Excel d’analyse, l’intégration des rapports SSRS et l’utilisation des fonctionnalités intrinsèques à SharePoint comme par exemple la GED,  les intranets, les réseaux sociaux d’entreprise… Un petit plus dans SharePoint avec Power View : la possibilité d’exporter les « Dashboards » dans des slides Power Point en conservant l’interactivité et la possibilité de mettre à jour les données au sein d’une présentation.

Un service appelé « Performance Point » qui intègre entre autre l’outil d’analyse racheté à la société « Proclarity » n’est plus mis en avant.

 

_Collab

 

 

Dans la gamme des outils « On-Premise », un nouveau « petit » vient de naitre, il s’appelle « DataZen », il vient d’être racheté par Microsoft, il est fourni gratuitement à partir de la version SQL Server 2008 édition Entreprise avec la Software Assurance.

Comme « Reporting Services », « DataZen » est un outil de restitution, il comporte un « Publisher » pour permettre à l’IT de concevoir des rapports avant les déployer coté serveur.

Par contre, contrairement à « Reporting Services », « DataZen » est un outil orienté « Multi-device » et permet par exemple d’analyser des données sur tout type de tablettes ou smartphones (Windows, iOS et Android), puisque qu’il est compatible HTML5.

De plus, il a été conçu pour faire du « Dashboarding » plus que du « Reporting » opérationnel et fait partie de la gamme d’outil d’analyse visuelle de « Data Visualization ».

Enfin, il offre intrinsèquement la possibilité de faire de la BI collaborative en gérant des flux de commentaires entre les utilisateurs.

Petit bémol, il ne comporte pas comme « Reporting Services » les fonctionnalités de « push mail »  automatisé, l’intégration à SharePoint et le « Data Alert ». Par contre il permet contrairement à Power BI pour le moment de faire des analyses en mode déconnecté.

 

_Datazen

 

 

 

On voit bien que Microsoft a construit au fil du temps une véritable plateforme BI On-Premise solide et avec des évolutions permanentes. Aujourd’hui, IT ou l’utilisateur final bénéficie de toute l’expérience de l’éditeur, de la maturité et la robustesse de sa solution pour mettre en place ou utiliser un système d’information décisionnel d’entreprise accessible depuis partout (tablette, smartphone…) et en mode collaboratif.

 

 

La BI « On-Demand » :

Excel, l’outil idéal pour d’analyse des données « On-demand » a bien évolué. Si on regarde en arrière, avec la version Excel 2003, pour faire de l’analyse avec une connexion OLAP, on se restreignait qu’à un simple tableau croisé dynamique (« Pivotable »). Aujourd’hui avec Excel 2013, on a une véritable solution complète de Business intelligence personnelle avec ses outils permettant à l’utilisateur final de concevoir, comme avec l’IT et SQL Server, sa propre solution en libre-service composée :

  • D’un ETL : Power Query
  • D’un moteur d’analyse et son « Modeler » : Power Pivot
  • De deux outils de « Data Vizualisation » : Power View et Power Map pour l’aspect Géospatial

La philosophie de « Power View » et « Power Map » est de mettre en place comme Power Point un scénario, « Story Boarding » avec des slides, dans le but de faire une présentation issue de sa propre analyse et de faire en quelque sorte « parler les chiffres » ou faire du « Story Telling ».

Cette présentation peut être du « One-Shot » et être exposée qu’une seule fois par exemple à un Codir. D’où l’utilité en la mettant en œuvre rapidement avec Excel, outil très familier de l’utilisateur final, de ne pas passer par des cycles de conception et développement avec des délais qui peuvent parfois être annoncés comme importants par l’IT.

Par contre dans le cas où cette solution nécessite d’être stable, pérenne, sécurisée et partageable, il faut la réindustrialiser de Excel vers SQL Server grâce à des outils d’ « Import » qui existent.

 

_Collab2

 

 

 

La Business Intelligence dans le « Cloud » :

L’évolution des services dans le cloud, notamment autour de l’offre Azure de Microsoft, permet à l’IT maintenant d’une manière transparente de disposer de coûts d’administration mieux maîtrisés. L’infrastructure technique et applicative est plus robuste, performante et évolutive. Enfin les cycles de mise à jour sont plus courts et les opérations de maintenance et l’hébergement sont gérés directement par Microsoft.

 

Trois solutions vont être décrites dans la suite de cet article:

« IaaS »: Infrastructure as a Service

« PaaS »: Platform as a Service

« SaaS » : Software as a Service

 

La solution SaaS Power BI :

Elle permet de concevoir simplement une solution personnelle de Business Intelligence depuis Excel, avec les composants Power Query, Power Pivot, Power View, Power Map. Mais aussi depuis un concepteur dédié appelé « Power BI Designer » ou « On-Line » à partir du site powerbi.com avec un espace dédié et un compte associé.

Office 365 comporte également un site dédié Power BI où sont publiés et visualisés les rapports.

Les utilisateurs se connectent à des sources de données sur site ou dans le cloud pour mettre en œuvre plusieurs rapports et peuvent également les imbriquer simplement dans des « Dashboards ».

Plusieurs connecteurs sont nativement fournis comme par exemple Analysis Services, Salesforce, Univers Business Object, Dynamics CRM, Azure….

 

_CaptureDash

 

 

Une fois la solution publiée sur le site powerbi.com, les utilisateurs pourront depuis un mobile (iPhone et Windows Phone pour le moment) ou d’autres « Devices » se connecter à la solution pour visualiser leurs « Dashboards ».

Des fonctionnalités avancées existent également :

 

– « Q&A ». Une fonctionnalité de requêtage en langage naturelle (uniquement en anglais pour le moment) qui permet de poser des questions Ad-hoc sans connaissances techniques.

– «Data Refresh » permet de planifier la mise à jour des données au sein des rapports.

– « Data Management Gateway » permet de se connecter depuis le cloud à des sources « On-Premise » comme des cubes SSAS.

– « Data Catalog » permet d’exposer les données des rapports dans le cloud pour en faire des sources pour d’autres utilisateurs concevant des rapports.

 

 

powerbi4

 

 

Aujourd’hui Power BI existe en version Preview car il est en perpétuelle évolution, il peut être mis en œuvre et utilisé gratuitement, sauf si vous voulez utiliser les fonctionnalités avancées ci-dessus ou si vous dépassez la capacité limite de 1Go de stockage de données, d’un débit de 10k rows/ heures ou de cycle de rafraîchissement des données de plus de un jour. Dans ce cas le coût actuel est de 9,99 $ par utilisateur/mois.

L’intégration dans l’environnement Microsoft avec un « Designer » très convivial et ergonomique, la conception BI possible depuis Excel , des composants graphiques très riches, des « Dashboards » dynamiques et interactifs, des connecteurs très variés, la publication sur des mobile et tablettes, les cycles MS de mises à jour très réguliers font de Power BI LA solution personnelle et complète pour faire de la « Business Intelligence » « On-demand ».

Face aux solutions concurrentes Tableau Software et Qlik (ex QlikView), Power BI n’a rien à se reprocher.

 

 

La BI Mobile :

Avec les deux solutions « Power BI » et « Datazen » la mobilté cross-plateform est possible. Selon les usages, vous pouvez utiliser l’un des deux outils. « Power BI » est idéal pour le Cloud en mode connecté, gratuit selon certains critères ou avec un système d’abonnement et « Datazen » pour une infrastructure sur site et en mode connecté ou déconnecté, il est inclus dans les licences SQL Server avec la « Sofware assurance » Microsoft.

Une différence importante : pour concevoir un rapport avec Power BI, l’utilisateur n’a pas besoin d’être développeur, il peut le créer dans Excel ou le Power BI Designer. Pour « Datazen », il faut être développeur et être formé sur le « Datazen Publisher ».

 

 

mob

 

 

 

La Business Intelligence dans Azure (IaaS et PaaS) :

Autour des services de données PaaS et de la possibilité d’utiliser des VM dans des infrastructures  IasS ou des « Appliances » va simplifier le travail des administrateurs sur site et offrir des possibilité inédites pour faire par exemple des traitements de « Big Data » ou alors du Machine Learning sur des « Datacenters » mutualisés, ultra-puissants où la mise à jours des services pourra s’effectuer plus simplement.

L’offre IaaS :

Elle offre la possibilité de porter simplement son infrastructure local dans le cloud dans des VM et de pouvoir la superviser à distance et sans avoir à supporter les coûts de maintenance associés.

 

Les appliances APS :

APS ex PDW a été conçue conjointement par Microsoft et des architectes « Hardware » pour offrir la meilleur performance en MPP (Massive Parallel Processing) au sein d’une appliance. Elle offre également la possibilité d’intégrer sous le nom de HDInsigt le moteur NoSQL d’Hadoop pour des traitements « Big Data » et d’offrir au travers du moteur « Polybase » la possibilité de faire des requêtes en langage SQL pour ensuite exposer les données à des fins d’analyse.

 

L’offre PaaS :

Plusieurs  services de données ont été mis en œuvre dans Azure et sont accessibles via son portail. Ceux-ci sont mis à jour régulièrement et certains sont encore en mode « Preview ».

Pour le traitement des « Big Data », Microsoft a intégré dans sa plateforme Azure le moteur Hadoop de la société HortonWorks bien connu pour son architecture de données distribuées, HDFS, sous le nom de « HD Insight ».

Avec HD Insight », sont remodelés, la création de clusters pour la parallélisation des traitements de données, la mise en œuvre des process « Map/Reduce » pour tout type de transformation comme l’agrégation  ou le  nettoyage de données déstructurées comme par exemple le comptage de l’occurrence de mots parmi une multitude de messages comme des tweets, de sms ou flux RSS.

Pour ce faire le service ELT « Azure Data Factory » avec une interface très conviviale, permet d’ordonnancer tous ces traitements, il permet d’extraire des données sources, d’appeler des transformations en passant par des bibliothèques qui s’appuient sur les fonctions « Map/reduce » pour simplifier l’écriture du code. Par exemple « Hive » pour exécuter des traitements SQL DDL (CREATE…) ou DML (SELECT…) ou alors « Pig » pour appeler comme dans un ETL des fonctions de transformations (Agrégation, comptage, boucles,…) et enfin les charger dans des « Data Warehouses ».

Pour la gestion des entrepôts le service « Azure SQL Data Warehouse » peut être utilisé pour mieux exposer ses données à des outils d’analyse comme SSAS ou Power BI.

Dans le cas de besoins d’analyse ou monitoring temps réels et pour une prise de décision rapide, le service « Azure Stream Analytics » permet de traiter des flux de données très volumineux et avec un débit important comme des « Click Streams » provenant de site internet e-commerce par exemple, de les ingérer, les regrouper, agréger ou filtrer grâce à une bibliothèque de fonctions proche du SQL, pour ensuite les exposer à des fins d’analyse avec Power BI ou de Machine Learning. « Azure Stream Analytics » peut s’appuyer sur les services d’Azure de files d’attente « Event Hub » et « Services Bus ».

Enfin avec le service, « Azure Machine Learning », les « Data Scientists » peuvent faire de l’analyse prédictive dans le cloud et exposer leur résultats à des outils front ou des process via à un appel de « Web services ». Ce service permet de créer dans un concepteur dédié, appelé « ML Studio », des unités de traitement appelés expériences comportant une boite à outils pour créer des jeux de données sources, évaluer des modèles, les entrainer ou faire du « Scoring »,  effectuer tout type de transformations en mode graphique comme on le ferait avec SSIS mais d’utiliser aussi le langage R pour le faire et enfin produire les résultats statistiques et de probabilités.

 

 

_Azure3

 

 

 

Pour mettre en œuvre tous ces services il existe un système d’abonnements dont le coût varie selon un ensemble de paramètres comme la volumétrie, le temps, le débit….

 

Vous constatez  que maintenant, avec l’offre PaaS BI dans Azure, il existe un kit de services clef en main de plus en plus matures, robustes et performants pour traiter des données de  Business Intelligence en Back Office surtout pour des process associés au « Big Data » au temps réel et au « Machine Learning ».

 

 

 

A venir :

Comme vous avez pu le constater, le paysage autour de la Business Intelligence Microsoft c’est pas mal transformé depuis ces derniers temps et il continue encore. SQL Server 2016 est annoncé avec de nouvelles évolutions comme l’unification de « BIDS » et « SSDT », l’intégration de HDInsight et Polybase qui n’étaient actuellement que dans APS ou Azure, la possibilité d’intéragir avec Azure Data Factory depuis SSIS, des nouvelles fonctionnalités de « Data Vizualisation » dans SSRS et la possibilité de publier des .rdl dans le site Power BI. Du nouveau également dans SSAS Tabular puisque les relations « many to many » seront supportées et enfin des évolutions autour de SSAS multidimensionnel et MDS.

Concernant les outils « Front », une nouvelle version d’Excel dans Office 2016 est à venir où Power Query va maintenant être natif à Excel, la possibilité maintenant de créer un rapport Power View sur des cubes SSAS multidimensionnels et d’autres fonctionnalités qui seront probablement annoncées bientôt.

 

Ce qui reste à améliorer :

La BI MS a encore de beaux jours devant elle, par contre l’offre peut paraître encore « décousu » et pas forcément simple à comprendre tant au niveau des usages, que du mode de licensing.

Par exemple, si l’utilisateur demande une publication de son modèle « Power Pivot » dans SharePoint, on s’aperçoit que le mode de licencing est complexe et qu’il faut composer entre les licences d’Excel 2013, de SQL Server mais aussi de SharePoint.

De plus, il faut un travail important de pédagogie envers l’utilisateur qui ne comprend pas pourquoi il y a autant d’offres. Par exemple, il peut être perdu avec les outils de « Data Vizualisation »: SSRS, Datazen, Power View…. donc il faut lui expliquer les correspondances qu’il y a entre les usages qu’on peut en faire et les outils associés.

Enfin, dans un composant comme Power View qui est distribué à la fois dans Excel et SharePoint On-premise, il peut y avoir des petits plus qui sont dans l’un mais pas dans l’autre, par exemple l’export vers Power Point qui n’est que dans SharePoint. De plus les composants Power BI d’Excel 2013 et du Power BI Designer ont été découplés mais les fonctionnalités sont beaucoup plus avancées dans le dernier.

 

Pour conclure :

Comme on vient de le voir avec les outils de « Data Vizualisation », les enjeux à venir de Microsoft vont être de les faire converger pour en faire une offre homogène, multi-usage, en plus d’être muti-device et cross-platform.

De même, une convergence entre le cloud et le « On-Premise » doit continuer à s’installer autour de l’hybride : faire en sorte homogénéiser les outils, les échanges de données ou de process inter plateformes, où tout sera transparent pour les développeurs, administrateurs, DBA, Data Manager ou Stewardship, Business Analyst, Power User, et utilisateur final, et où ils ne s’apercevront plus de la différence entre concevoir ou consommer de la BI sur un PC ou un mobile, « On-Premise » ou dans le cloud.

 

 

Sébastien MADAR

MVP SQL Server

 

 

[Build 14] – Developing apps using the common XAML UI Framework

Mail de John
Jeudi 03/04/2014 10:08

// Developing apps using the common XAML UI Framework

Pour développer une Universal App, il faut la dernière update de VS2013 (update gratuite). Cela est valable aussi pour Visual Studio Express.

On dispose d’un « projet partagé » dans lequel on peut mettre tous les fichiers à partager et pas seulement le code source. On peut y mettre des images, des fichiers ressources etc… Ce projet partagé ne génère aucune sortie (pas de dll, xap, appx…)
On peut convertir un projet Windows 8.1 en projet disposant d’un projet partagé. Cela n’entraine aucune modification du projet original. C’est à nous de déplacer les fichiers intéressants pour nous dans le projet partagé. Les fichiers XAML partagés sont rigoureusement les mêmes entre un projet partagé et un projet Windows 8.1 et un projet Windows Phone 8.1 Universel.

Tout WinRT n’est pas commun entre Windows Phone et Windows 8.1 mais la plupart des fonctionnalités le sont.

Qu’est-ce qui est commun alors (en se focalisant sur l’espace de nom XAML) ?
#Voir la session DeepDive controls 2-516 (Shawn Oster)
Les primitives sont partagées (Panels, Buttons, Slider, RadioButton, ProgressBar, TextBox, TextBlock, Shapes/Path etc….)
Certaines primitives ont la même API mais sont adaptés par devices (Hub, AppBar/CommandBar, Date/Time Picker, ListView, Flyouts, Media, Ads SDK*). L’AppBar ne peut en fait pas être utilisé sur Windows Phone. Les Flyouts sur Windows Phone peuvent être en plein écran mais pas en Windows 8.1.

S’ensuit une démo intéressante du HubControl, de l’AppBar et d’autres contrôles vus en mode Windows 8.1 et Windows Phone 8.1.

En ce qui concerne les publicités, on ne peut pas les utiliser directement en XAML. Il faut les instancier par code car les deux SDK de pubs sont dans des namespaces différents même si l’API est identique. De plus les AdUnit diffèrent en fonction des plateformes. Pour cela on utilise une directive de compilation : WINDOWS_APP ou WINDOWS_PHONE_APP.

Certains contrôles restent spécifiques à la plateforme :
Windows :
– SearchBox
– SettingsFlyout

Windows Phone :
– Pivot
– AutoSuggestBox
– ContentDialog
– Maps
– System Chrome (Progress Area) (Nouvelle API permettant de choisir la façon dont le SystemTray obtient sa couleur de fond).

Il y a une petite différence dans le modèle de navigation entre Windows Phone et Windows au niveau de la gestion du bouton back (maintenant l’appui sur Back ne ferme plus l’application).

#Voir la session Navigation Model for XAML Apps (Roberth Karman)

Il y a des points communs au niveau des animations :
ThemeAnimations et ThemeTransitions fonctionnent aussi maintenant sous Windows Phone.

La gestion du texte est uniformisée entre Windows Phone et Windows.
Il reste cependant quelques spécificités à Windows Phone.
Les PasswordBox sont aussi légèrement différentes (sur le téléphone on a un délai avant le masquage des caractères écrits).
Les tuiles sont aussi différentes entre Windows et Windows Phone.
Ajout dans Windows du XamlRenderingBackgroundTask pour générer des tasks en XAML dans Windows.
Ajout de l’API du RequestedTheme dans Windows Phone permettant de surdéfinir le thème par nœud XAML.

John

[Techdays 2014] Le Must du décisionnel avec l’ensemble de l’offre Microsoft BI

Session du Jeudi 13 février : 15h15 – 16h

Intervenants :

  • Franck Mercier (Microsoft France)
  • Kaoutar Hajji Laamouri (Microsoft)

Niveau : Intermédiaire (200)

Résumé : Comment gagner du temps dans vos prises de décisions ? Et Power BI dont tout le monde parle tant? Qu’est-ce c’est au juste? Nous vous donnons rendez-vous pour répondre à ces questions et découvrir les nouveautés proposées par Power BI et SQL 2014! Au programme de cette session :

  • Gérer le cycle de vos données (EIM avec SSIS, DQS et MDS).
  • Les analyser rapidement (InMemory avec xVelocity) et efficacement (BISM dans Power View, PowerPivot et Power BI dans Excel et Office 365).
  • Faire des prévisions (DataMining avec SSAS et Excel).

Bref, la session à ne pas manquer pour connaitre tous les outils et les technologies associées répondant à l’ensemble de vos scénarios BI.

 

 

Présentation de SQL Server : gestion du cycle de vie de la donnée et la partie BI

Après nous avoir fait un rappel des différentes briques BI existantes, Kaoutar Hajji et Franck Mercier nous ont présenté les nouveaux composants POWER BI présents sur le Cloud ainsi que la partie Data Mining souvent oubliée par les utilisateurs de business intelligence.

1. Présentation de la solution de Business Intelligence

 

2. Présentation du modèle sémantique

 

La BI sémantique à plusieurs moyens de création :

  • BI personnelle (Self-service)
  • BI d’équipe (équipe dédiée)
  • BI d’entreprise (SI dédié à la BI)

Après nous avoir présenté ces différentes couches Kaoutar nous a fait un rappel sur les différentes possibilités offertes par la brique de DATA Mining à la fois du coté OLAP mais aussi du côté Excel.

Franck et Kaoutar ont ensuite réalisé une démo sur le thème de la Saint Valentin présentant l’utilisation des différents outils de BI de l’offre Microsoft

En particulier, Franck a pu mettre en avant l’intérêt du nouvel outil Q&A en cherchant des idées de cadeaux pour la saint valentin et plus particulièrement des soutiens gorge J. Q&A permet d’interagir en langage naturel avec les données chargées dans Office365.

Kaoutar a quant à elle essayé de trouver des billets de foot pour son amoureux au travers des différentes solutions Power BI (chargement de données dans Power Pivot, analyses graphiques via Power View).

 

NB :

 

Liens :

[Techdays 2014] Power Query Demos Extravanganza

Session du Mercredi 12 février 2014 : 12h15 – 13h00

Thèmes : Le Nouvel Office : solutions de communication et collaboration

Intervenant : Jean-Pierre Riehl

Niveau : Expert (400)

Résumé : Session 100% queries ! Jouons avec les données et poussons Power Query à ses limites pour savoir s’il est digne de porter le nom de Self-Service ETL. Attention, code M Inside… Level 400 / 100% Démos.

 

Dans cette démo très intéressante, Jean-Pierre Riehl nous a présenté les capacités de power BI par l’intermédiaire de plusieurs mini projets composés par lui-même autour de sujets abordés lors de ses « repas dominicaux ».

Power Query est un add-in Excel 2013. C’est un self-service ETL. Il fait partie de la suite POWER BI.

Power Query  a pour objectif de charger des data model pour les utiliser dans POWER PIVOT.

Comme SSIS, il permet de se connecter à de nombreuses sources de données afin de les charger dans Excel et plus particulièrement dans la partie Tabulaire de la partie POWER BI (POWER PIVOT).

Power Query a pour particularité d’incorporer des outils permettant de transformer les données à la « volée » avant le chargement.

Comme sur SSIS la transformation apparait sous forme d’étapes et permet d’effectuer des tâches telles que l’ajout, la suppression et la transformation de colonne ou la transformation de données.

Power Query permet de créer des procédures et des fonctions permettant de simplifier et d’automatiser certaines tâches de traitement de données (mode « avancé » de l’outil nécessitant de maîtriser le langage M).

Dans ses différentes démos, Jean-Pierre Riehl nous a montré les capacités d’intégration et de transformation des données présente dans Power Query.

Actuellement le « point faible » de power Query reste l’automatisation, qui nécessite de passer par la partie Cloud pour automatiser l’exécution des tâches et le partage de sources de données.

Voici quelques notes sur les démos de sa session :

  • Démo d’extraction de données via une page web
  • ETL visible sur le Query editor dans la partie « Applied steps » (Les « Queries » sont éditables à partir du « workbook queries »)
  • Export des données vers Power Pivot grâce à la case à cocher « Load to data model » dans les « Load settings » sur le Query editor
  • Possibilité de charger plusieurs fichiers contenus dans un dossier sans passer par une boucle For
  • Le chargement des données (affichage) se fait à la volée ce qui permet à l’outil d’être plus rapide (affichage du TOP)
  • L’add-in MDS permet à l’utilisateur d’ajouter/supprimer des données
  • Concernant le mode avancé de Power Query : cet outil n’est pas destiné à un utilisateur métier à moins de leur « prémâcher » le travail en leur mettant les formules à disposition.

Points forts : Intégration de données, inclus dans la suite « Power BI », connecteur a de nombreuses sources de données et surtout de nouvelles formes : Facebook, Twitter, oData …

 

Liens  :

[Techdays 2014] Venus des nuages, les héros de la BI

Session du Mercredi 12 février 2014 : 15h15 – 16h

Intervenants :

  • Caroline Morillot (Microsoft France)
  • Emilie Beau (Microsoft France)
  • Franck Mercier (Microsoft France)
  • Ilana Cohen Bengio (Microsoft France)

Niveau : Intermédiaire (200)

Résumé : Nouvelle puissance, nouveaux pouvoirs, venez découvrir lors de cette session dégantée, présentée par des super héros, toute la BI dans le Cloud. Grâce à Azure et Office 365 Power BI, ils relèveront tous les défis… Venez nombreux des Goodies seront à gagner !

2014-02-12 15.43.14

On a pu voir lors de cette session très intéressante, 3 Démos des Powers BI Rangers qui avaient pour mission de retrouver leur vaisseau grâce à l’ensemble des outils d’Office 365 Power BI et d’Azure, à partir d’un PC, d’une tablette ou de Facebook.

  • Démo 1 :

Objectif : retrouver la position du vaisseau en se basant sur l’analyse du niveau de carburant, ces données étant stockées dans le Cloud.

Étapes mises en œuvre : à partir d’un PC, récupérer les données sur le Cloud, les nettoyer et afficher sur Excel la Map des lieux avec le niveau d’essence en fonction du temps.

  • Démo 2 :

Objectif : A partir des données Facebook, récupérer les données des lieux fréquentés lors de la soirée de la veille pour retrouver leur vaisseau qui a dû planer après leur panne d’essence.

Étapes mises en œuvre : Affichage sur Excel des photos des lieux et affichage de la Map avec la popularité Facebook des lieux et leur visite dans le temps. Publication du rapport sur le Cloud.

  • Démo 3 :

Objectif : Utiliser un autre support qu’un PC pour interroger les données stockées précédemment dans le Cloud.

Étapes mises en œuvre : A partir d’une tablette, récupérer le rapport sur le Cloud pour visualiser le dernier endroit visité. Avec Q&A, questionner la base des rapports pour connaitre l’adresse et le numéro de téléphone du dernier lieu fréquenté pour retrouver leur vaisseau.

Notes :

  • Power Query est un add-in Excel à télécharger qui contient un connecteur permettant de récupérer les données Facebook.
  • Catégorisation des colonnes sur Power Pivot nécessaire notamment pour pouvoir afficher correctement sur la Map les lieux (catégorisation des adresses, code postal, pays, …) – la recherche de Power Map s’appuie sur Bing, une ville trop mal orthographiée pourrait donc ne pas être retrouvée. 
  • Power BI est intégrable à SharePoint Online
  • Power BI Site = site SharePoint dédié à la BI (sur Office O365)
  • Power BI = Excel + O365

 

Liens :

[JSS 2013] Session : Power BI : Restitution des données

On entre dans le détail de Power BI avec une session plutôt axée sur la partie restitution des données.

Level : 200
Speaker : Serge Luca

La self BI est présente sous Office365.

Si on veut faire un parallèle entre la self BI et la BI traditionnelle, on a les produits suivants :

  • SSIS est remplacé par Power Query
  • SSAS est remplacé par Power Pivot
  • SSRS est remplacé par Power View/Power Map/Q&A
  • SharePoint par Office365 (le site Web installé sur la machine)

I. Power Pivot

Power Pivot est rapide car en mémoire. Il s’agit d’un Add-In Excel.

Il y a un Diagram View qui est une vue des tables que l’on a importé dans Power Pivot, avec leurs relations.

Les relations sont effectuées manuellement sauf si des foreign keys existent dans la base de données source.

Les requêtes sur Power Pivot sont effectuées en DAX.

II. Power View

Il s’agit encore d’un Add-In Excel.

Power View était avant en Silverlight, ce qui limitait les devices possibles. Maintenant, Power View est en HTML5, ce qui permet de l’utiliser sur IPAD par exemple.

On peut facilement poser des filtres dans le TCD, et faire des filtres interdépendants à l’aide de Slicers.

Les graphiques sont variés, et on peut en insérer dans des tableaux.

Les cartes sont quand à elles reliés à Bing Map (il faut par contre avoir une connexion à Internet).

Les graphiques peuvent être animés, notamment sur l’axe Temps.

Petite limitation : les images que l’on insérera dans les rapports devront être stockées sur des champs binaires et pas sur des URL.

III. Power Map

Toujours un Add-In dans Excel.

Power Map permet de raconter une histoire (Story Telling).

On peut créer un film, y ajouter des légendes et même ajouter du son.

L’utilisation est simple : on clique sur Map, on choisit un tour et on ajoute une scène.

On a alors une première question demandant des coordonnées géographiques. On choisit ensuite l’indicateur. On peut zoomer sur une zone précise. Enfin on choisit le temps de la scène.

On peut créer plusieurs scènes. L’outil les lira les une après les autres.

Pour conclure, il faudra cliquer sur create video.

Cette vidéo pourra être partagée sur Office365 ou sur SharePoint.

Les atouts de SharePoint sont les suivants : Sécurité, centralisation, approbation, et moteur de recherche notamment.

Office365 ne peut pas charger des documents dépassant 10 Mo. Pour avoir plus (250 Mo) il faut prendre Office365 BI.

Les rapports présentés dans SharePoint 2013 peuvent être stockés dans le Cloud.

IV. Q&A

Un site web est installé sur notre machine lors de l’installation de Power BI.

Un nouveau module y existe, appelé Q&A.

On peut poser des questions de manière littérale (la démo était en Anglais), et le moteur de recherche donnera une réponse sous forme graphique.

La question qui a été posée était basée sur une BDD sur les médailles olympiques : « Show athletes from France with gold medals in 1984 ».

V. Partie Mobile

Cette partie mobile est cruciale pour Microsoft.

Power BI APP est disponible sur Windows 8 Store. Il existe des rapports prédéfinis.

Power BI APP est en HTML5 (anciennement en SilverLight), ce qui permet à la suite de fonctionner sur la plupart des devices.

Le site pour Power BI : www.office.com/powerbi

VI. Conclusion

Une session intéressante avec un bon speaker.

Le cheval de bataille de Microsoft avec Power BI c’est de pouvoir permettre à n’importe quel utilisateur lambda de faire du décisionnel.

Autant je reste sceptique sur la partie ETL (Power Query) qui me parait être définitivement trop compliqué pour un non initié, autant j’ai été convaincu par la partie restitution qui me paraît vraiment facile d’utilisation et surtout très jolie.

Power Map en démo il n’y a rien de mieux : ça en jette un max !

Frédéric – Consultant décisionnel MCNEXT