SQL Server – les columnstore index à la rescousse de la BI

Petit retour d’expérience sur l’usage des CCSI (Clustered Column Store Index) avec SQL Server 2014.

Avec un de nos clients, nous avons fait quelques bench sur le sujet. Sur une architecture équivalente, nous avons mis en place un index columnstore sur une table de fait contenant plus de 300 millions d’enregistrements. Malgré me dires et ceux de Microsoft, mes interlocuteurs étaient très sceptiques tout en fondant de grands espoirs. Lire la suite

Sécurité dynamique dans les cubes SSAS avec SQL Server 2012

Avec l’ouverture des données Power BI Self-Service vers les utilisateurs (vu dans plusieurs de mes missions) les métiers veulent gérer eux même les droits ou périmètres sur de nombreux utilisateurs finaux (>1000).

En effet dans certains domaines, nous avons une forte contrainte de confidentialité des données contenues dans les cubes SSAS. Les juridictions qui doivent s’appliquer peuvent être changées avec des cadences variables allant de la journée, à des cadences inférieures (temps réel). Pour cela, l’ensemble de la sécurité mise en œuvre est stocké dans la source de données du cube, qui détermine qui peut voir quoi.

A travers cet article, nous allons voir comment rendre dynamique une sécurité de cube SSAS basée sur l’appel à une procédure stockée.

Lire la suite

[JSS 2014] Session : BI et déploiement automatique avec TFS

Speaker : Romuald COUTAUD & Khirdine HADDAR
Level : 200

Objectif : Déploiement des solutions BI (SQL, SSIS, SSAS, SSRS) automatiquement avec TFS

Introduction :
Dans tous les projets BI, il y a différentes façons de gérer l’industrialisation de nos projets (SQL, SSIS, SSAS, SSRS). Cette session va permettre d’illustrer TFS (Team Foundation Server), l’un des moyens d’industrialisation de ces projets en automatisant la génération et le déploiement des livrables dans les différents environnements (Dev, Intégration, Prod).
Ce qui va être présenté ici, ce sont juste le versioning des solutions ainsi que la génération et le déploiement automatique des différents projets (TFS Build).

TFS :

  • Gestion des versions des projets
  • Packager les livrables
  • Build TFS
    • Extraction et copie automatique sur le serveur
    • Génération des projets (se fait à l’aide de MSBuild, un framework dotNet)
    • Déploiement

Le déploiement se fait à l’aide de WWF (Windows Workflow Foundation). Il est possible d’utiliser des scripts PowerShell pour compléter ces tâches.
Beaucoup de DLL (codeplex) ont été développées par la communauté et seront utilisées.

Outils :
SSIS : MSBuildSSIS2012 (génération & déploiement)
SSAS : SSASHelper (génération)
SSRS : SSRSMSBuildTasks

Démo : Déploiement SQL Server

  • définition du Build avec les différents arguments (deploy, environment, …)
    • fait appel à TFSBuild.exe

>> Toute la base a été déployée sur l’instance DB indiquée, avec les schémas associés.

Démo : Déploiement SSIS

  • le fichier .proj a été modifié pour prendre en compte des options non natifs
  • possibilité d’ajouter un fichier .xaml (WWF) pour avoir des options en plus aussi (BuildSSIS, …)
  • lancement du Build
    • compilation du projet SSIS + déploiement
    • le build peut se lancer aussi en ligne de commande. En changeant les paramètres, on peut facilement déployer les mêmes sources mais sur des instances différentes

Démo : Déploiement SSAS

  • mêmes procédés que précédemment à l’exception qu’un fichier de config.xml peut permettre de customiser ses différentes sources
  • comme indiqué dans la partie Outils, le codeplex pour SSAS ne permet pas de déployer les solutions SSAS. Pour la démo, un script PowerShell a été développé, permettant les déploiements

Démo : Déploiement SSRS

  • pas de surprise par rapport aux précédentes démos. La DLL, récupérée sur codeplex, met à disposition plusieurs méthodes permettant de checker l’existance d’un rapport, l’ajout/suppression d’un rapport, la modification de la source, etc.
  • les étapes de génération et déploiement restent les mêmes que précédemment

Pré-requis :

  • avoir un server TFS configuré
  • adapter tous les codeplex récupérés

Conclusion :
On entend beaucoup parler de TFS (surtout chez les dotNetiens) mais durant mes différentes missions, je n’ai pas eu l’occasion de voir cette méthode mise en place.
Très bonne session, on a pu voir qu’une fois que toutes les configurations, pour chaque type de solution, ont été mises en place, on peut facilement déployer nos solutions sur chacun de nos environnements et du coup, faciliter la tâche à nos chers collègues du support (et nous même).
Reste à voir ce que TFS peut donner avec les tests unitaires par exemple…

[Sql Serveur] Backup de bases de données SQL Serveur

Voici différentes façons de faire des backups de bases de données SQL Serveur, et quelques scripts pour en obtenir les informations.

Par Sql Serveur Management Studio (SSMS)

  • Voici une vidéo qui explique comment faire un backup avec SSMS

Par des logiciel tiers

Il existe plusieurs logiciels qui permettent de faire des backups de bases de données sql serveur.Il y en a un que je trouve très intéressant c’est SQLBackupAndFTP  car il est très simple à configurer et à utiliser.Il a comme avantages :

  • de pouvoir stocker les backups sur plusieurs types de destinations: FTP , réseau, dropbox, skydrive, google drive, …
  • De ziper les backups
  • De les encrypter
  • d’envoyer un mail à la fin de la tache
  • De suivre l’historique
  • Il permet aussi de restaurer des backups

Au niveau des licences il possède une version gratuite et une version commerciale.

(Les certifiés Microsoft MCP ont droit à une licence gratuite de la version commerciale)

Lire la suite

70-466 – Implementing Data Models and Reports with Microsoft SQL Server 2012 – Novembre 2013

La préparation

J’ai passé les certifications liées au MCSA en me basant sur les excellent training kit, mon expérience et divers sites pouvant répondre à mes questions. Mais lorsque je me suis décidé à passer mon MCSE Business Intelligence, j’ai été surpris de ne pas trouver de training-kit officiel sur ce sujet.
En parcourant le programme de cet examen, trois parties se distinguent: l’administration multidimensionnel ( SSAS et SSRS), le tabulaire.
Pour le multidimensionnel, je me suis basé sur les le training kit 70-448. Concernant le tabulaire, j’ai regardé et pratiqué beaucoup de tutoriels ne pratiquant pas en mission ce nouveau mode.

L’examen

Ayant une forte expérience sur la partie multi-dimensionnel, j’abordais cet examen confiant. Lorsque l’on a un doute, il faut souvent se dire, quelle serait la réponse dans l’esprit Microsoft. En découvrant les 50 questions, l’examen est très complet avec comme d’habitude les questions à choix multiples sur 4 sujets différent, les drag& drop à mettre dans le bon sens.
L’examen s’étant bien déroulé et enchainant le 70-467, ma joie de réussite fut courte.

[PASS SUMMIT 2013] NY, London, Munich, Everybody’s talkin about Mobile BI

Speaker : Paul Turkey

Niveau de la session : 200

Le speaker commence la session en se filmant avec sa webcam depuis sa tablette Windows 8 qui est projeté à l’écran.

Ensuite il fait un sondage auprès des participants sur la région d’où ils viennent, leur fonction, est ce qu’ils sont « Cloud Ready » …..

Les infos sont saisies en live sur la tablette du speaker transférées dans un cube et présentées avec Power View.

 

Il présente ensuite les prérequis pour faire de la « BI Mobile », puis les différents outils MS de Reporting, Data Visualization et portail BI ainsi que leurs capacités à faire de la BI Mobile, puis fait des démos sur sa tablette avec ces outils.

 

Enfin il fait une démo de Power BI en mobilité.

On voit du Power View dans Office 365 s’afficher dans un navigateur en HTML 5.

 

Enfin il présente des outils tiers pour faire de la BI mobile « On Premise » et notamment DataZen qui s’appuie  sur l’API « ComponentArt »

Conclusion :

Speaker très pédagogue, le scénario et la progression des démos sont très inventifs.

Power View dans Office 365 (Power BI) s’affiche enfin dans un navigateur en HTML5. La BI mobile fonctionne bien pour une fois. Donc bravo Microsoft !!

Là on se dit que Silverlight devient obsolète et qu’afficher de l’Excel, du SSRS ou Power View avec  SharePoint depuis un mobile ne sert plus à rien. De toute façon c’était pas « Touch ready » et peu performant.

Enfin l’éditeur tiers DataZen est très bluffant !!

La question qui reste en suspens et c’est dommage : à quand la mobilité Microsoft sur les iPad du concurrent Apple ?

Sébastien Madar

[PASS SUMMIT 2013] CAT : High Performance, High Volume Data Movement in Azure

Speaker : Steve Howard

Niveau de la session : 300

Plusieurs outils associés pour le transfert de données :

  • BCP
  • Custom Code (BulkCopy API, TVP, .NET)
  • SSIS

Il existe 5 patterns du mouvement de données :

  • Telemetry Aggregation
  • Hierarchy Aggregation
  • Data Synchronisation et Bulk mouvement
  • Data Stream Multiplexing (Sharding)
  • Cloud ETL

Dans Sharding :

Le Principe : améliorer les performances du « Scale out »

Les datasets sont distribué dans plusieurs bases

Il existe un composant SSIS  dans codeplex « Database Sharding »

Démo

Script qui lance plusieurs Package et place en file d’attente les données

Sébastien Madar