Comment la BI Microsoft est en train d’évoluer !

 

BI on-demand, Big Data, Cloud, Mobilité, Machine Learning, Social BI…. Décryptage !

 

Cet article a pour but d’expliquer l’évolution actuelle et à venir de la Business Intelligence Microsoft et de décrypter son écosystème pas si simple à appréhender. En effet l’émergence du cloud, de la mobilité, des «  big data » (réseau sociaux, e-commerce…) et de l’analyse qu’on peut en faire, le tout associé aux demandes avec des délais de plus en plus cours de la part des décideurs ont fait naître de nouvelles technologies de Business Intelligence plus modernes et qui pour certaines sont parfois en phase transitoire et en mode « preview ».

L’écosystème se découpe en 4 domaines et un ensemble d’outils associés comme le montre le schéma d’ensemble ci-dessous :

 

 

 

 

_MSBI

 

 

La BI On-Premise (traditionnel) :

Depuis plus de quinze ans Microsoft fait évoluer ses outils décisionnels « On-Premise » autour de SQL Server pour permettre aux sociétés de mettre en place eux même une solution décisionnelle d’entreprise centralisée, robuste et évolutive, en harmonie avec l’infrastructure locale existante et qui répond à des exigences à la fois de sécurité, de performance mais aussi de budget.

Traditionnellement, pour la conception d’un environnement décisionnel, une société peut faire appel à l’IT, on parle alors pour une solution « Corporate » d’entreprise. Mais un utilisateur final souvent appelé « Power User » peut également mettre en place une solution et devenir autonome dans la totalité ou une partie des phases d’un projet, de la conception jusqu’au déploiement.

Dans le dernier cas on parle souvent de solution BI « On-demand » ou « Self-service » et parfois personnelle si elle est conçu intégralement par l’utilisateur.

La suite d’outils BI traditionnels, et ceux-ci autour de la SQL Server, est composée :

  • Du moteur de base de données : SQL DB Engine
  • De l’ETL : SSIS
  • Du moteur d’analyse multidimensionnel : SSAS
  • Du serveur de rapports : SSRS

Pour la BI « On-Demand », Excel est l’outil de prédilection.

 

_BIOnprem

 

 

 

La BI « Corporate » :

Avec SQL Server et depuis la version 7.0, la plateforme BI Corporate de Microsoft est en perpétuelle évolution toujours dans un but d’être plus robuste, performante et avec de nouvelles fonctionnalités souvent inédites.

 

Aujourd’hui nous en sommes à la version SQL Server 2014 maintenant orientée « Hybrid Cloud » pour faciliter de manière transparente la gestion du stockage, des sauvegardes ou des transferts des données que cela soit sur site ou dans le cloud.

Microsoft a également conçu et développé depuis la version SQL Server 2012 un nouveau moteur d’analyse « In Memory » qui rend plus puissant le traitement des données, les calculs d’agrégats et des formules d’analyse en mémoire, ainsi que la restitution et l’analyse de données autant fines et « Tabulaire » qu’agrégées et en tableau croisé.

De plus, un nouveau type d’index « Column Store Index » permet d’améliorer considérablement les performances de chargement des entrepôts et son requêtage.

Enfin, SQL server permet de réindustrialiser dans SSAS les données provenant des cubes « On-demand », que nous verrons plus loin, conçus avec « Power Pivot », stockées en local dans Excel, de les exposer dans SharePoint pour donner la possibilité à l’utilisateur final de concevoir directement dans un site des analyses ad-hoc grâce au composant de « Data Vizualisation » « Power View » issu de SQL Server et intégré à un service SharePoint 2013.

 

En complément, pour permettre aux utilisateurs de mieux collaborer, la solution SharePoint 2013 permet, en plus de ce qu’on a vu au-dessus avec « Power Pivot » et « Power View »,  la mise en place de portail décisionnel, le partage des classeurs Excel d’analyse, l’intégration des rapports SSRS et l’utilisation des fonctionnalités intrinsèques à SharePoint comme par exemple la GED,  les intranets, les réseaux sociaux d’entreprise… Un petit plus dans SharePoint avec Power View : la possibilité d’exporter les « Dashboards » dans des slides Power Point en conservant l’interactivité et la possibilité de mettre à jour les données au sein d’une présentation.

Un service appelé « Performance Point » qui intègre entre autre l’outil d’analyse racheté à la société « Proclarity » n’est plus mis en avant.

 

_Collab

 

 

Dans la gamme des outils « On-Premise », un nouveau « petit » vient de naitre, il s’appelle « DataZen », il vient d’être racheté par Microsoft, il est fourni gratuitement à partir de la version SQL Server 2008 édition Entreprise avec la Software Assurance.

Comme « Reporting Services », « DataZen » est un outil de restitution, il comporte un « Publisher » pour permettre à l’IT de concevoir des rapports avant les déployer coté serveur.

Par contre, contrairement à « Reporting Services », « DataZen » est un outil orienté « Multi-device » et permet par exemple d’analyser des données sur tout type de tablettes ou smartphones (Windows, iOS et Android), puisque qu’il est compatible HTML5.

De plus, il a été conçu pour faire du « Dashboarding » plus que du « Reporting » opérationnel et fait partie de la gamme d’outil d’analyse visuelle de « Data Visualization ».

Enfin, il offre intrinsèquement la possibilité de faire de la BI collaborative en gérant des flux de commentaires entre les utilisateurs.

Petit bémol, il ne comporte pas comme « Reporting Services » les fonctionnalités de « push mail »  automatisé, l’intégration à SharePoint et le « Data Alert ». Par contre il permet contrairement à Power BI pour le moment de faire des analyses en mode déconnecté.

 

_Datazen

 

 

 

On voit bien que Microsoft a construit au fil du temps une véritable plateforme BI On-Premise solide et avec des évolutions permanentes. Aujourd’hui, IT ou l’utilisateur final bénéficie de toute l’expérience de l’éditeur, de la maturité et la robustesse de sa solution pour mettre en place ou utiliser un système d’information décisionnel d’entreprise accessible depuis partout (tablette, smartphone…) et en mode collaboratif.

 

 

La BI « On-Demand » :

Excel, l’outil idéal pour d’analyse des données « On-demand » a bien évolué. Si on regarde en arrière, avec la version Excel 2003, pour faire de l’analyse avec une connexion OLAP, on se restreignait qu’à un simple tableau croisé dynamique (« Pivotable »). Aujourd’hui avec Excel 2013, on a une véritable solution complète de Business intelligence personnelle avec ses outils permettant à l’utilisateur final de concevoir, comme avec l’IT et SQL Server, sa propre solution en libre-service composée :

  • D’un ETL : Power Query
  • D’un moteur d’analyse et son « Modeler » : Power Pivot
  • De deux outils de « Data Vizualisation » : Power View et Power Map pour l’aspect Géospatial

La philosophie de « Power View » et « Power Map » est de mettre en place comme Power Point un scénario, « Story Boarding » avec des slides, dans le but de faire une présentation issue de sa propre analyse et de faire en quelque sorte « parler les chiffres » ou faire du « Story Telling ».

Cette présentation peut être du « One-Shot » et être exposée qu’une seule fois par exemple à un Codir. D’où l’utilité en la mettant en œuvre rapidement avec Excel, outil très familier de l’utilisateur final, de ne pas passer par des cycles de conception et développement avec des délais qui peuvent parfois être annoncés comme importants par l’IT.

Par contre dans le cas où cette solution nécessite d’être stable, pérenne, sécurisée et partageable, il faut la réindustrialiser de Excel vers SQL Server grâce à des outils d’ « Import » qui existent.

 

_Collab2

 

 

 

La Business Intelligence dans le « Cloud » :

L’évolution des services dans le cloud, notamment autour de l’offre Azure de Microsoft, permet à l’IT maintenant d’une manière transparente de disposer de coûts d’administration mieux maîtrisés. L’infrastructure technique et applicative est plus robuste, performante et évolutive. Enfin les cycles de mise à jour sont plus courts et les opérations de maintenance et l’hébergement sont gérés directement par Microsoft.

 

Trois solutions vont être décrites dans la suite de cet article:

« IaaS »: Infrastructure as a Service

« PaaS »: Platform as a Service

« SaaS » : Software as a Service

 

La solution SaaS Power BI :

Elle permet de concevoir simplement une solution personnelle de Business Intelligence depuis Excel, avec les composants Power Query, Power Pivot, Power View, Power Map. Mais aussi depuis un concepteur dédié appelé « Power BI Designer » ou « On-Line » à partir du site powerbi.com avec un espace dédié et un compte associé.

Office 365 comporte également un site dédié Power BI où sont publiés et visualisés les rapports.

Les utilisateurs se connectent à des sources de données sur site ou dans le cloud pour mettre en œuvre plusieurs rapports et peuvent également les imbriquer simplement dans des « Dashboards ».

Plusieurs connecteurs sont nativement fournis comme par exemple Analysis Services, Salesforce, Univers Business Object, Dynamics CRM, Azure….

 

_CaptureDash

 

 

Une fois la solution publiée sur le site powerbi.com, les utilisateurs pourront depuis un mobile (iPhone et Windows Phone pour le moment) ou d’autres « Devices » se connecter à la solution pour visualiser leurs « Dashboards ».

Des fonctionnalités avancées existent également :

 

– « Q&A ». Une fonctionnalité de requêtage en langage naturelle (uniquement en anglais pour le moment) qui permet de poser des questions Ad-hoc sans connaissances techniques.

– «Data Refresh » permet de planifier la mise à jour des données au sein des rapports.

– « Data Management Gateway » permet de se connecter depuis le cloud à des sources « On-Premise » comme des cubes SSAS.

– « Data Catalog » permet d’exposer les données des rapports dans le cloud pour en faire des sources pour d’autres utilisateurs concevant des rapports.

 

 

powerbi4

 

 

Aujourd’hui Power BI existe en version Preview car il est en perpétuelle évolution, il peut être mis en œuvre et utilisé gratuitement, sauf si vous voulez utiliser les fonctionnalités avancées ci-dessus ou si vous dépassez la capacité limite de 1Go de stockage de données, d’un débit de 10k rows/ heures ou de cycle de rafraîchissement des données de plus de un jour. Dans ce cas le coût actuel est de 9,99 $ par utilisateur/mois.

L’intégration dans l’environnement Microsoft avec un « Designer » très convivial et ergonomique, la conception BI possible depuis Excel , des composants graphiques très riches, des « Dashboards » dynamiques et interactifs, des connecteurs très variés, la publication sur des mobile et tablettes, les cycles MS de mises à jour très réguliers font de Power BI LA solution personnelle et complète pour faire de la « Business Intelligence » « On-demand ».

Face aux solutions concurrentes Tableau Software et Qlik (ex QlikView), Power BI n’a rien à se reprocher.

 

 

La BI Mobile :

Avec les deux solutions « Power BI » et « Datazen » la mobilté cross-plateform est possible. Selon les usages, vous pouvez utiliser l’un des deux outils. « Power BI » est idéal pour le Cloud en mode connecté, gratuit selon certains critères ou avec un système d’abonnement et « Datazen » pour une infrastructure sur site et en mode connecté ou déconnecté, il est inclus dans les licences SQL Server avec la « Sofware assurance » Microsoft.

Une différence importante : pour concevoir un rapport avec Power BI, l’utilisateur n’a pas besoin d’être développeur, il peut le créer dans Excel ou le Power BI Designer. Pour « Datazen », il faut être développeur et être formé sur le « Datazen Publisher ».

 

 

mob

 

 

 

La Business Intelligence dans Azure (IaaS et PaaS) :

Autour des services de données PaaS et de la possibilité d’utiliser des VM dans des infrastructures  IasS ou des « Appliances » va simplifier le travail des administrateurs sur site et offrir des possibilité inédites pour faire par exemple des traitements de « Big Data » ou alors du Machine Learning sur des « Datacenters » mutualisés, ultra-puissants où la mise à jours des services pourra s’effectuer plus simplement.

L’offre IaaS :

Elle offre la possibilité de porter simplement son infrastructure local dans le cloud dans des VM et de pouvoir la superviser à distance et sans avoir à supporter les coûts de maintenance associés.

 

Les appliances APS :

APS ex PDW a été conçue conjointement par Microsoft et des architectes « Hardware » pour offrir la meilleur performance en MPP (Massive Parallel Processing) au sein d’une appliance. Elle offre également la possibilité d’intégrer sous le nom de HDInsigt le moteur NoSQL d’Hadoop pour des traitements « Big Data » et d’offrir au travers du moteur « Polybase » la possibilité de faire des requêtes en langage SQL pour ensuite exposer les données à des fins d’analyse.

 

L’offre PaaS :

Plusieurs  services de données ont été mis en œuvre dans Azure et sont accessibles via son portail. Ceux-ci sont mis à jour régulièrement et certains sont encore en mode « Preview ».

Pour le traitement des « Big Data », Microsoft a intégré dans sa plateforme Azure le moteur Hadoop de la société HortonWorks bien connu pour son architecture de données distribuées, HDFS, sous le nom de « HD Insight ».

Avec HD Insight », sont remodelés, la création de clusters pour la parallélisation des traitements de données, la mise en œuvre des process « Map/Reduce » pour tout type de transformation comme l’agrégation  ou le  nettoyage de données déstructurées comme par exemple le comptage de l’occurrence de mots parmi une multitude de messages comme des tweets, de sms ou flux RSS.

Pour ce faire le service ELT « Azure Data Factory » avec une interface très conviviale, permet d’ordonnancer tous ces traitements, il permet d’extraire des données sources, d’appeler des transformations en passant par des bibliothèques qui s’appuient sur les fonctions « Map/reduce » pour simplifier l’écriture du code. Par exemple « Hive » pour exécuter des traitements SQL DDL (CREATE…) ou DML (SELECT…) ou alors « Pig » pour appeler comme dans un ETL des fonctions de transformations (Agrégation, comptage, boucles,…) et enfin les charger dans des « Data Warehouses ».

Pour la gestion des entrepôts le service « Azure SQL Data Warehouse » peut être utilisé pour mieux exposer ses données à des outils d’analyse comme SSAS ou Power BI.

Dans le cas de besoins d’analyse ou monitoring temps réels et pour une prise de décision rapide, le service « Azure Stream Analytics » permet de traiter des flux de données très volumineux et avec un débit important comme des « Click Streams » provenant de site internet e-commerce par exemple, de les ingérer, les regrouper, agréger ou filtrer grâce à une bibliothèque de fonctions proche du SQL, pour ensuite les exposer à des fins d’analyse avec Power BI ou de Machine Learning. « Azure Stream Analytics » peut s’appuyer sur les services d’Azure de files d’attente « Event Hub » et « Services Bus ».

Enfin avec le service, « Azure Machine Learning », les « Data Scientists » peuvent faire de l’analyse prédictive dans le cloud et exposer leur résultats à des outils front ou des process via à un appel de « Web services ». Ce service permet de créer dans un concepteur dédié, appelé « ML Studio », des unités de traitement appelés expériences comportant une boite à outils pour créer des jeux de données sources, évaluer des modèles, les entrainer ou faire du « Scoring »,  effectuer tout type de transformations en mode graphique comme on le ferait avec SSIS mais d’utiliser aussi le langage R pour le faire et enfin produire les résultats statistiques et de probabilités.

 

 

_Azure3

 

 

 

Pour mettre en œuvre tous ces services il existe un système d’abonnements dont le coût varie selon un ensemble de paramètres comme la volumétrie, le temps, le débit….

 

Vous constatez  que maintenant, avec l’offre PaaS BI dans Azure, il existe un kit de services clef en main de plus en plus matures, robustes et performants pour traiter des données de  Business Intelligence en Back Office surtout pour des process associés au « Big Data » au temps réel et au « Machine Learning ».

 

 

 

A venir :

Comme vous avez pu le constater, le paysage autour de la Business Intelligence Microsoft c’est pas mal transformé depuis ces derniers temps et il continue encore. SQL Server 2016 est annoncé avec de nouvelles évolutions comme l’unification de « BIDS » et « SSDT », l’intégration de HDInsight et Polybase qui n’étaient actuellement que dans APS ou Azure, la possibilité d’intéragir avec Azure Data Factory depuis SSIS, des nouvelles fonctionnalités de « Data Vizualisation » dans SSRS et la possibilité de publier des .rdl dans le site Power BI. Du nouveau également dans SSAS Tabular puisque les relations « many to many » seront supportées et enfin des évolutions autour de SSAS multidimensionnel et MDS.

Concernant les outils « Front », une nouvelle version d’Excel dans Office 2016 est à venir où Power Query va maintenant être natif à Excel, la possibilité maintenant de créer un rapport Power View sur des cubes SSAS multidimensionnels et d’autres fonctionnalités qui seront probablement annoncées bientôt.

 

Ce qui reste à améliorer :

La BI MS a encore de beaux jours devant elle, par contre l’offre peut paraître encore « décousu » et pas forcément simple à comprendre tant au niveau des usages, que du mode de licensing.

Par exemple, si l’utilisateur demande une publication de son modèle « Power Pivot » dans SharePoint, on s’aperçoit que le mode de licencing est complexe et qu’il faut composer entre les licences d’Excel 2013, de SQL Server mais aussi de SharePoint.

De plus, il faut un travail important de pédagogie envers l’utilisateur qui ne comprend pas pourquoi il y a autant d’offres. Par exemple, il peut être perdu avec les outils de « Data Vizualisation »: SSRS, Datazen, Power View…. donc il faut lui expliquer les correspondances qu’il y a entre les usages qu’on peut en faire et les outils associés.

Enfin, dans un composant comme Power View qui est distribué à la fois dans Excel et SharePoint On-premise, il peut y avoir des petits plus qui sont dans l’un mais pas dans l’autre, par exemple l’export vers Power Point qui n’est que dans SharePoint. De plus les composants Power BI d’Excel 2013 et du Power BI Designer ont été découplés mais les fonctionnalités sont beaucoup plus avancées dans le dernier.

 

Pour conclure :

Comme on vient de le voir avec les outils de « Data Vizualisation », les enjeux à venir de Microsoft vont être de les faire converger pour en faire une offre homogène, multi-usage, en plus d’être muti-device et cross-platform.

De même, une convergence entre le cloud et le « On-Premise » doit continuer à s’installer autour de l’hybride : faire en sorte homogénéiser les outils, les échanges de données ou de process inter plateformes, où tout sera transparent pour les développeurs, administrateurs, DBA, Data Manager ou Stewardship, Business Analyst, Power User, et utilisateur final, et où ils ne s’apercevront plus de la différence entre concevoir ou consommer de la BI sur un PC ou un mobile, « On-Premise » ou dans le cloud.

 

 

Sébastien MADAR

MVP SQL Server

 

 

Microsoft Ignite 2015 – Dealing With Application Lifecycle Management in Office 365 App Development – Jeudi 7 mai

Par Stéphane,
Pôle SharePoint MCNEXT

Dealing With Application Lifecycle Management in Office 365 App Development
Code : BRK4126

Niveau : 400
Cible : Développeurs
Présentateur : Chris O’Brien

Travail sur le processus de développements d’apps SharePoint ou Office 365. Approche pragmatique et beaucoup de bonnes idées, à voir à tout prix !

Lire la suite

Build 2015 – Day 3

Par Benoît,
Pôle .Net MCNEXT

Bonjour à tous,

Dernier jour de Build et donc derniers comptes rendus.
Première session autour des API d’Office 365 appelées depuis une application mobile.
Viens ensuite la conversion d’une application 8.x vers une application universelle Windows 10.
Un retour sur les nouveaux outils de VS2015 (Blend,  Profiling Tools,…) et enfin une session Xamarin avec notamment les outils Xamarin Inspector et Xamarin Test Cloud.

Benoît

Lire la suite

[Build 14] – Go Mobile with C# and Xamarin

Mail de John
Vendredi 4 avril 2014 06:10
Go Mobile with C# and Xamarin
Les gens passent 86% du temps sur mobile à utiliser des applications natives contre 14% pour les applications web.

Facebook utilisait le HTML5 pour développer leurs applications mais leurs notes étaient terriblement basses. Une fois qu’ils sont repassés en natif les notes sont passées de 2 à 4 en moyenne.

C# tourne sur 2.6 milliard de devices (tout OS confondus).

 

Explication de comment fonctionne le développement multiplateforme à l’heure actuelle avec le mode en Silo en natif.
On enchaîne avec un court rappel du développement multiplateforme avec les technologies web.
Ensuite présentation de la façon de procèder avec Xamarin et de la liste des APIs disponibles par plateforme (projection des API).
Démonstration du développement d’une application native Ios (Camera, Filtres et Twitter)

 

Quelques statistiques sur le pourcentage de code commun entre les plateformes pour des applications réelles avec explication de pourquoi telle ou telle application à un meilleur pourcentage que sa voisine.

 

Pour partager du code avec Xamarin on peut utiliser des Universal Apps, des PCL simple ou PCL avancée avec NuGet (PCL ne contenant que les définitions du code comme SQLite).

Xamarin est en train de migrer complètement vers des PCL (utilisant le profil 78).
Ajout de certaines API dans Xamarin :

– Mono.Data.Sqlite
– CouchBase
– System.Drawing
– MailKit/MimeKit
– Et bien d’autres à venir
Démonstration de l’application de démo Xamarin Store
Xamarin dispose d’un store de composants accessibles depuis Xamarin Studio (par exemple un composant pour gérer les Google Glass).
Présentation de Xamarin Test Cloud, un outil permettant de tester automatiquement une application Android sur plusieurs centaines de devices.

 

John

[Build 14] – Keynote day 2

Mail de Alexandru
Jeudi 3 avril 2014 16:42

Keynote day 2

Motto: Mobile first, cloud first.
// Intro

Three hundred new features in 2013, 44 new features presented now. New Azure regions in China (continental). Adoption of azure, growing:
– 57% Fortune 500, 250K websites, 1.000.000 SQL Databases, 200 trillion storage objects, 300 Mio AD users, 1Mio VS Online.
Titanfall (game) is presented, demo & interview with the team. The general lack of lag is highlighted = everyone has the same frame rate, the game does not depend on the local available power. Game cannot be played without the cloud. More 100.000 VM on launch day.
Another experience with Azure: 2014 Sochi Olympics with NBC. 100 Mio users, 2.1Mio concurrent HD viewers during US/Canada hockey match.
Rick Cordella (sr VP and General Mgr NBC Sports digital) does a testimony concerning the impact of the cloud on his news channel. 1Bio dollars invested, 70 days to recover the investment. “There is no going back”.
Azure : Internet as a Service (IaaS) Or PaaS (Platform as a service).
// IaaS

New features:
– Virtual Studio integration (create, manage, destroy or debug VM) without leaving it.
– Capture VM images with any number of storage drives=> create any instances as necessary.
– Puppet modules (sql, web, app). Chef server is presented. Puppet Master manages puppets (change VM role, etc.).

Integration with VS
Demo with VS @ creating a VM, based on OS, etc, all from the VS Server Explorer. A nice wizard (OS, ports, etc.). Debug is possible & demoed (right click on the vm => enable debug). The debugging client is injected in the VM. Attach the debugger => all works (frenetic applause in the room….)

Snapshots
Command List is demoed, launching powershell commands. A “snapshot” capability is possible with this command option. Disks are copied on the fly.

Puppet
“Puppet Master” is demoed (partnership with Puppet Labs partner). “Puppet master server” linking is demoed. Puppet CEO showcases the technology.
“Puppet Class” => demo for deploying technology (sysinternals for ex, deployed on all the machines).
The object of their techno is to install & synchronize machines fast: automate configuration management.
“Getty Images” testimony is next. Hint: non-commercial service launched.
Scott takes over again: new features listed (see photo)
// PaaS

PaaS is the detailed (prebuilt services). Patching, load balancing, etc is handled.
Capabilities are presented in detail.

Azure Website service
Deploy web applications. Java is supported, etc.
– Autoscale is by default, maximum number of VM (& the minimum) is customizable.
– Staging (test facilities for example) is presented. Swap function allows an easy deployment.
– Webjobs is for background tasks that should relief the load from a webserver. A queue is the typical example. Same machine can be used as the azure web site
– Traffic Manager support. Single DNS entry, with instances all around the world. You can route your traffic based on geographical location. Not for VM only, but for websites also.
Mads Kristensen (Web in action) is next.
Creating a website & database from VS. Publishing scripts are created (can be modified). Browser Developer Tools demoed with live modification of the background (=> VS changes also). See the transcript from yesterday 3-602. JsHint is demoed. Staging feature is presented. *-staging.azurewebsites.net suffix. Swap feature demoed (with certificates, etc.). Background task are demoed via WebJobs. Same context is used. The “invocation log” can be seen in order to monitor the Webjob. Traffic Manager scenarios are presented (failover, performance, etc.).

Web announcements
are listed (see photo).
MVC 5.1, Web API 2.1, Identity 2.0, etc.

Mobile Services
– Develop backends with .net, node.js.
– Flexible data (No SQL, SQL, blob storage, etc.)
– Broadcast notifications. Notification hubs => broadcast afterwards
– Now supports Active Directory (new). Standard OAuth tokens => custom logic possible (for ex Office). Works with any device (Android, iOS, etc.)
Demo for Mobile Services is next. API Documentation & a Test Client. Local & Remote Debug demoed. Template for a Controller & Security is demoed. Portable Class Library is used. Native Authentication Library demoed (Active Directory). SharePoint or Office 365 integration is demoed, quite nice demo. Xamarin integration & demoed on iOS. Nice cross platform demo.

Enterprise Auth & Office 365 API
Demo & testimony by DocuSign, Grant Peterson (CTO). Active Directory integration gets demoed, on an iPhone. SharePoint integration is also demoed (still on the iPhone). Signing on the run possible, nice demo! 20 lines of code in Objective C on the iPhone & that’s it.
Mobile announcements (see photo)
Azure AD SDK for android & iOs, Office 365, Azure AD premium, SSO AD, Notifications on Kindle, etc.

Data
Data is the next chapter
SQL Improvements in Azure \
– Size 150Gb-> 500Gb, 99.95% SLA.
– Self service restore. Automatic backups possible. Restore a snapshot.
– Active geo replication (primary instance-> data replication-> readonly secondary region). Multiple centers in the same region (Europe for ex).
– Other announcements listed (see photo).

 

// Next is programming languages & tools for Azure

New .NET compiler platform (Roslyn) is highlighted. Anders Hejlsberg is talking over the show.
New generation preview: VSIX available. Features
– Importing static (Math.PI for example), Math.PI gets Pi directly (using System.Math needs to be added).
– Rename help
– OPEN SOURCE Roslyn project. It is on Codeplex! Publish LIVE. .NET compiler goes Open Source…
– Modification on the compiler shown (changing quotes for example)
Migel de ICAZA (Xamarin) does the next demo. He changes the IDE from Mono-> Roslyn, compiles, works.
Scott takes over:
Announcing the .NET Foundation, founding project shown on photo (see photo).
// New Azure Management Portal

The new Azure Management Portal is demoed: Bill Staples. Looks like a W8 app., Blade is the term used for the dropdown that allows a drilldown (see photo). A new navigation method (journey) on the website.
The billing can be drilled down more effectively. Resource costs are easily available.
The portal is open, third party devs can integrate with it.
Continous deployment is presented directly from the Azure Portal. Seamless switching between Visual Studio & Azure is demoed. Commit can be seen on the portal directly (code view level…).
AppInsights integrated with the Azure Portal. You can edit the code directly on the Portal!
Personal comment: the blade feature is a little bit confusing…
Analytics is integrated on the new Azure Portal. Avg response time, availability, etc.
Scale up a website is now possible, without redeployment (Lionel sera content)
Demo on a desktop (an enormous touchscreen TV is shown)
Entire lifecycle: starting the service, coding, command line, analytics, management, etc.
Personal comment: the investment in this portal was huge I believe => Microsoft is placing its bets

Announcements:
– Azure Portal preview
– Azure Resource Manager preview
– VS online General Audience

Alexandru

[SPC14] Developping Office 365 Cloud Business Apps

Mail de Felipe

Mardi 04/03/13 à 10:45

Speaker, Steve Lasker

//Intro
Session totalement technique, pratiquement que des démonstrations pour nous montrer les nouveautés sur les fonctionnalités sur visual studio, pour augmenter la productivité et faciliter le développement des apps.  En gros il nous montre comme faire une app avec beaucoup de cliques et très peu de code, et le résultat est impressionnant !

// Vision général du Cloud App Model
L’app développée est compatible avec on premise et office 365
Le cloud nous permet de bien gérer nos apps avec :
o App lifecycle
o Monitoring
o Télémétrie
o Isolation

Comme les autres types d’apps il utilise les Web Standard, HTML, Json, Rest, oAuth et oData
L’app peut être héberge n’importe où, SharePoint, Azure ou sur d’autre serveur

//SharePoint App vs Cloud Business App
Il nous montre les point de chaque app :
SharePoint App,
o App Container avec Manifest
o Parametrage du SharePoint
o App Web pour definitions de liste
o Parametrage de resource
o Besoin d’assembly
o Utilisation de Asp.NE MVC/Web Form
Cloud Business App,
o Structure de projet n-tier, prêt à utiliser
 Utilisation de HTML 5 avec responsive design
 Service tier avec common data runtime
o « Screen » & « Entities Designer » (fonctionnalités dans le visual studio 2013)
o Intégration avec le cloud, people, documents, newsfeeds
//Demo
Après ces points il commence sa demo jusqu’à la fin de la session

• Il crée une solution dans visual studio en utilisant le Cloud Business App template qu’il connecte à azure
• Avec visual studio il nous crée une « storage » du type table dans azure (une data table qui n’est pas héberge dans SQL Azure mais dans azure storage)
• Il ajoute une colonne du type « people », exactement comme une colonne SharePoint du type user, mais sans être connecté avec SharePoint !
• Il nous montre comme c’est simple maintenant d’ajouter une source de données dans SAP, et aussi de faire un « drill down » sur les données afin de sélectionner seulement le données qu’on a besoin
• On voit aussi que visual studio se connecte au schema de la source de données pour qu’on puisse utiliser les « semantics » disponible, par exemple un type de données email, qui en vrais c’est une string
• Il ajoute aussi des sources de données dans SharePoint, une document library et user information list
• Il commence à construire des « relationship » entre les différentes sources des données
• Et nous montre aussi le fameux « Screens » une sorte d’élément dans visual studio qui permet de créer des visualisations de vos données et formulaires
• Il lance le debug et sharepoint s’ouvre avec son app installé et quand on clique nous sommes envoyé vers son app où elle est héberge, sont localhost
• On peut naviguer sur ces différents « screens » pour visualiser les données et ouvrir les formulaires, tout ça sans aucune ligne de code, juste avec de clique
• Après il nous montre qu’on peut facilement ajouter des handlers sur les « screens » en utilisant l’api JavaScript et qui par défaut l’app est responsive design
• On voit qu’on peut changer la propriété des « screens » pour ajouter de handlers qui vont créer des newsfeed et qu’on peut le modifie avec l’api JavaScript
• Avant le déploiement en mode release comme l’app est une web page azure, on peut aussi faire du c# pour faire de traitement côté serveur
• A la fin il publie l’app en mode release qui affiche un écran auquel on peut modifier les urls de nos source des données pour utiliser le bon environnement.

Donc à part des handlers tout a été créé en utilisant seulement les interfaces du visual studio !

[SPC14] SPC305 // SharePoint Web Templates On-premises and in the Cloud

Mail de Christian

Mardi 04/03/2014 à 17h00

Speaker
Mirjam van Olst – SharePoint Architect @ Avanade Netherlands // MVP

Résumé
Très bonne session sur les WebTemplate que Mirjam conseille d’utiliser à la place des SiteDefinitions.
Que ce soit pour créer des sous-sites ou des collections de sites, c’est l’approche à utiliser.
Pour les sous-sites, il est possible d’utiliser ça dans le cloud. Même pour les collections de sites, c’est possible même si cela nécessite un peu plus de configuration à la création.

// Agenda
Site provisioning options
Web Template fundamentals
WebTemplates and App Webs
Custom solutions for site provisioning

// Site definitions
En SharePoint 2003 et SharePoint 2007, on ne pouvait faire que ça.
Depuis 2010, elle déconseille maintenant cette utilisation qui est faisable que côté full trust solutions.
Pour des questions de changement d’avis de clients (de quoi parle t-elle ? 🙂 ou de lourdeur de migrations etc.

// Web Templates
Introduit en 2010.
On peut créer les webtemplates en full trust ou en sandbox.
Ils ont un mécanisme de mise à jour.

// Site Templates
Créé en save site as template. Faisable en sandboxed.
Utilise les Webtemplates mais contient les fonctionnalités du site originel.
Ils sont faciles à créer mais ne sont pas stables (ne serait-ce quand on créé les champs ou types de contenus custom).

// Custom solutions for site provisioning On peut maintenant créer des Apps (en provider hosted) pour faire du remote provisionin.
On utilise alors les webservice full trust.
Voir la session de mercredi correspondante.

// Web Templates features
On utilise l’élément XML WebTemplate.
La feature qui la déploie est de scope Site ou Farm.
En Site, on peut créer que des sous-sites.
En Farm, on peut créer des collections de sites basées dessus.
On peut faire du on-premise et faire un full trust WSP.
En faisant du Sandbox, on peut déployer en Office 365, mais on ne peut plus mettre du code behind.
Pour ce faire, on va sur Visual Studio, on ajoute un Empty Element dans le projet SharePoint 2013.
On ajoute un fichier onet.xml. Dans le Elements, on va mettre les métadonnées du WebTemplate.
Si nous sommes en Farm Solution, le onet.xml sont stockés dans la feature.
Si nous sommes en Sandbox, on stocke tout en base de données.
Les WebTemplate sont basés sur un site définition, mais ils n’héritent PAS de leur site définition de base.
L’avantage des WebTemplate est qu’ils peuvent être changés après coup.
Dans l’Eléments, dans le noeud <WebTemplate> on a bien un BaseTemplateName, BaseTemplateID, BaseConfigurationID correspondant aux informations de la site def de base.
A noter, on ne peut avoir qu’une seule configuration dans le WebTemplate. Il faut donc créer plusieurs WebTemplates si on veut plusieurs « configurations ».

// Web Template provisioning
Processus de provisioning d’un site avec le Webtemplate.
Le système crée une URL pour le site.
Il lui applique la site def de base (le GLOBAL).
Si on crée une collection de sites : il active les features de scope Site dans l’ordre défini.
Si on crée un sous-site, il vérifie que les features de site collections sont activées.
Ensuite les features de scope Web sont activés.
Ensuite les listes instances du onet.xml sont créées.
Attention donc avec cet ordre, à l’ordonnancement des événements.

// Limitations des WebTemplate
On ne peut créer qu’une seule Configuration.
On ne peut utiliser de Module dans l’onet mais on peut créer des features avec des Module.
Feature Stapling ne fonctionne pas mais il n’y en a pas besoin car les WebTeampltes peuvent être mise à jour même en cours d’utilisation – il faut juste éviter les dépendances.
Les hiérarchies de variations ne sont pas possible, celle-là n’est pas contournante et il faut passer par la site définition – c’est un cas plus rare.

// Web Templates best practices
Il n’y a pas d’information sur les WebTemplate.
La parade : créer une feature scope web cachée. La rajouter au onet. Stocker le WebTemplate ID et son nom dans un property bag (ou une liste).

// DEMO
Elle a créé des solutions farm et sandbox avec des WebTemplate.
// En Farm solution. Le Name du WebTemplate doit matcher.
Elle créé une feature scope Farm où elle met son WebTemplate.
Elle copie le onet qui est dans le hive 15, elle supprime ce qu’elle n’avait pas besoin comme les DocumentTemplates. Elle a laissé une seule configuration.
Elle a copié depuis la feature BaseSiteStapling, les feature staplée à son site.
Elle a ajouté une feature scope Site qui ajoute une WebPart à la galerie, et un property bag qui enregistre en property bag sur la version de son WebTemplate.
Enfin elle a une feature scope Web qui ajoute la WebPart à la page.
Debug —> En déployant, elle peut maintenant créer une collection de sites basée sur son WebTemplate. Une fois créée, elle utilise SharePoint Manager // En Sandbox Elle fait globalement la même chose mais basé sur un PROJECTSITE. Elle s’aperçoit alors que dans l’onet, un module est présent pour la homepage. Elle copie ce module pour l’extraire dans un Module à part entière, qu’elle ajoute à une feature de scope Site.
Pour cette sandbox, il est aussi possible de créer un WebTemplate pour une collection de sites même si cela nécessite plus de travail de configuration. Effectivement il suffit de créer une collection de sites sans modèle (à choisir plus tard). On arrive sur le site, ajoute la solution sandbox, l’active, puis sélectionnons le modèle développé.

// AppWebs
Elle explique le fonctionnement des Apps et des sous-sites créés pour stocker les fichiers de l’App.
On peut créer l’App basée sur un custom WebTemplate.
Le WebTemplate se déploie en scope Web, dans l’App même.
Dans l’AppManifest, on spécifie WebTemplate dans les Properties avec un attribut ID=[GUID de la feature App Web]#[WebTemplate name].

// Custom solutions for Site Provisioning Une App provider-hosted qui provisionne le site et modifie à nos volontés. Jusque à on devait faire un webservice pour créer des collections de sites on-prem.
Maintenant on peut faire du site provisioning de collections de sites sur Office 365 en revanche.
Pour du on-prem, il faut attendre l’évolution de remote provisionning.
Il faut aller voir la session parlant de ça.

Christian

[JSS 2013] Session : SQL Server 2014 : what’s new ?

Panorama des nouveautés de SQL Server 2014.
Les nouveautés abordées sur la plate forme de données : Database Engine, In Memory, Cloud, Big Data, BI, outils

I. BI

Présentation par Franck Mercier

Pour Microsoft, le devenir de la BI passera par la mobilité et le Cloud.

La vision de Microsoft est la suivante :

  1. Trouver, combiner, gérer (accès simple à tous les types de données)
    Pour la récupération de données, l’utilisateur utilisera Power Query de l’outil Power BI (Add in dans Excel)
  2. Modéliser, analyser et affiner (donner l’accès à ses analyses aux autres)
    Restitution visuelle : cartographie notamment à l’aide des outils de Power BI : Power View, Power Map.
    Les graphiques peuvent être dynamiques suivant un axe temps (ou autre).
  3. Agir et opérationnaliser (déployer)
    Partage par l’interface Web.
    Q&A est un outil permettant d’effectuer des requêtes en posant des questions en langage naturel.
    Il suffit d’aller sur le site web créé lors de l’installation de Power BI et de poser une question telle que : « Show stock growth, dividend, close ». Cette recherche marche avec l’IntelliSense.

Power BI est la grosse nouveauté de 2014.

II. Big Data

Les volumétries de données n’arrêtent pas d’augmenter.

L’apache Hadoop est le framework Big Data le plus utilisé aujourd’hui.

HD insight est le service Microsoft permettant d’utiliser une solution Apache Hadoop dans le Cloud.

Une démo est ensuite réalisée sous Windows Azure avec la création d’un cluster.

Microsoft Hive ODBC driver est le driver de connexion à une base de données sous Azure.

Le Hive language est un langage d’interrogation de données sur le Cloud qui est proche du SQL.

Les requêtes s’effectuent dans management studio comme une requête SQL.

III. In Memory

Le moteur In Memory BI est appelé Vertipaq. La première fois qu’on a parlé du Vertipaq, c’était sous Power Pivot.

Le moteur In Memory pour l’OLTP est appelé Hekaton.

La grosse nouveauté pour le Column Store Index sous SQL Server 2014 : on peut mettre à jour les données sans avoir à supprimer puis recréer l’index. Il est dorénavant géré comme n’importe quel index.

Pourquoi utiliser le In Memory ? Parce que la mémoire est rapide, l’écriture sur un disque est lente.

Le In Memory  peut être facilement mise en place : une instruction SQL suffit pour passer en In Memory .

L’exemple est montré avec un create table, avec l’option Memory optimized on.

Puis sur une PS avec l’option With Native Compilation.

L’avantage est qu’il n’y a pas à réécrire l’existant.

Il est annoncé une progression d’un facteur 30 en termes de performance, et même 100 sur certaines requêtes ainsi que 90% d’espace disque en moins. Et nous sommes encore en preview, ce qui laisse encore espérer des améliorations.

IV. Database engine

  • Amélioration du service de haute disponibilité always on (rapprochement entre le cluster pour les solutions de haute disponibilité et le miroir de bases pour la réplication de données)
  • Performances améliorées grâce aux SSD (notamment le BPE Buffer pool extension  permettant de mettre un buffer sur un disque SSD beaucoup plus rapide qu’un disque classique)
  • Amélioration apportées sur l’optimiseur de requête.
  • Gouverneur de ressources : permet de spécifier les limites sur l’utilisation des mémoire/cpu/disque
  • Sauvegarde managée (smart backup). Très simple d’utilisation. Il n’y a que 2 paramètres à entrer : la durée de rétention et l’emplacement sur Windows Azure.

V. Cloud et Hybride

3 types de stockage sur le Cloud :

  • IaaS : infrastructure as a service. Il consiste à offrir un accès à un parc informatique virtualisé. Des machines virtuelles sur lesquelles le consommateur peut installer un système d’exploitation et des applications.
  • PaaS platform as a service. le système d’exploitation et les outils d’infrastructure sont sous la responsabilité du fournisseur.
  • L’hybride est une structure mixte qui permet de combiner les ressources internes du Cloud privé à celles externes du Cloud public. Une entreprise qui utilise un Cloud hybride peut par exemple avoir recours au Cloud public ponctuellement, lors de pics d’activité et le reste du temps se contenter des ressources à disposition en interne

On pourra par exemple prendre une base en local et la déployer vers un VM sur Windows Azure.

Les backup sont facilités (voir le chapitre précédent).

Nouvelle offre premium : La fonctionnalité distinctive de Premium est la réservation de capacité. Une réservation garantit une quantité de capacité fixe qui n’est pas partagée avec une autre base de données et qui, ainsi, permet de meilleures performances. L’offre Premium est actuellement en mode préliminaire.

VI. Outils

Pas de démo spécifique par manque de temps, mais une liste d’outils :

  • SSMS
  • SSDT (data tools)
  • SSDT-BI (sur visual studio 2013)
  • TFS
  • Nombreux outils présents sur CodePlex comme BIDS Helper par exemple.
  • ALM pour Azure

Pour conclure :

Une session intéressante permettant de faire le tour des nouveautés de SQL 2014.

Le bémol : un non-initié comme moi aura eu du mal à suivre les nouveautés sur le Cloud et le Big Data. En effet, pas de rappel des bases, beaucoup de termes techniques et un débit rapide.

Pour le reste, à retenir : Microsoft pousse à fond sur PowerBI et le Cloud.

Les Column Store Index sont enfin utilisables sur des tables pouvant avoir des données modifiées (insert, update, delete).

Le In Memory, c’est bien : la RAM a bien baissé en prix, et les temps de réponses sont vraiment meilleurs que sur disque.

Les sauvegardes des BDD sous le Cloud me paraissent être une alternative très intéressantes par rapport aux bandes (entre les temps de récupération des bandes, des étapes à mettre en place pour réaliser ces sauvegardes, etc,etc…).

Frédéric – Consultant décisionnel MCNEXT