SQL SERVER Troubleshooting Tuning SQL 2014

Mardi 11 février : 16h30-17h15

  • Salle : 351
  • Audiences : Professionnels de l’IT
  • Thèmes : Infrastructure des systèmes d’information
  • Niveau : Confirmé (300)

Intervenant : Yanick Mezui (Microsoft), Frederic Pichaut (Microsoft)

Performing or not performing that is the question ! Comment diagnostiquer les problèmes de performance, les bonnes pratiques. Configurations, trace flags, indexes, statistiques…

1.     Troubleshooting  3 étapes clés :

1 ère etape clé : La collecte / la capture

Outils mis à disposition pour la collecte :

  • DMV
  • PerfMonitor
  • SQL Trace / SQL Profiler (pas en production ou en version limité)
  • Extended events
  • Automatisation de la collecte
  • PerfStats (CodePlex)
  • SQL diag
  • PSS diag

2ème étape L’analyse

Outil d’aide à l’analyse :

  • PAL  Permet d’analyser les données collecté dans le PerfMon
  • SQL nexus (Requête des DMV)
  • RML utilities (Requêtes les + consommatrices en mémoire)
  • Extended Events Viewer (Permets de trouver les requêtes les plus consommatrices)

Objectif : trouver la requête la plus consommatrice et identifier le goulot d’étranglement dans le plan d’exécution pour déterminer le problème.

3 ème étape la résolution :

Trouver une solution pour contourner le goulot d’étranglement, l’erreur, l’anomalie, la corriger et la déployer.

2.     Tunning

Améliorer les statistiques et la mise à jour des statistiques du moteur

Mettre en place des statistiques sur les tables temporaires

Utiliser l’auto update statistique et rafraichir les statistiques plus régulièrement

New Cardinality Estimation (SQL 2014)

  • Détermine le plan d’accès aux données en se basant sur les statistiques

Picasso DataBase Optimizer visualizer :

  • Permet de visualiser les plans d’exécution et d’améliorer les performances.

Nouveauté SQL 2014 :

Nouveau Cardinality Events : Mode mathématique Amélioré

3 hypothèses possibles dans le nouveau système :

  • Hypothèse de confinement (concerne les données qui existent)
  • Hypothèse d’uniformité (palier d’histogramme équidistant et a la même fréquence)
  • Hypothèse d’indépendance (corrélation des colonnes entre elles)

En SQL 2 version du Cardilaty Events (CE) existe :

  • TF 9481 : Ancien CE
  • TF 2312 : Nouveau CE ce qui permet de forcer son usage …

Liens utile :

http://support.microsoft.com/kb/298475

http://www.sqlskills.com/sql-server-training/ie2/

http://www.youtube.com/watch?v=LF8BY7OECTk

Video : https://www.youtube.com/watch?feature=player_embedded&v=rq-qM8zX-IM

Slides : http://fr.slideshare.net/Developpeurs/sql-server-tuning-et-troubleshooting

SQL 2014 et la gestion de la sécurité

  • Mercredi 12 février : 16h30-17h15
  • Salle : 242B
  • Audiences : Professionnels de l’IT
  •  Thèmes : Infrastructure des systèmes d’information
  • Intervenant : Franck Mercier (Microsoft France), Pascale DOZ (Pascale Doz Consulting)
  • Niveau : Intermédiaire (200)

Durant cette session nous passerons en revue les fondamentaux de la sécurité dans une base de données. Puis nous vous présenterons des méthodes de protection des données, ainsi que les outils pour superviser les bases. Et bien entendu, nous parlerons aussi des nouveautés apportés par la version 2014 de SQL Server !

1.     Sécurisation des comptes

–        Sécuriser le compte SA

  • Pas de mot de passe sous le clavier
  • Pas de mot de passe sur l’écran
  • Pas de mot de passe avec une sécurité faible ou qui ne change jamais

–        Donner les bons droits aux bonnes personnes

–        Essayer d’utiliser les comptes AD avec les droits correspondant à l’usage des utilisateurs

–        Utiliser une politique de changement de MDP régulière

2.     Accès aux données

–        Contrôle sur les droits 

–        SQL 2014 offre la possibilité de bloqué la visibilité  des données aux administrateurs pour l’ensemble des versions :

  • Ce système est actuellement buggé pour le moment car l’administrateur peut récupérer l’accès aux données par l’intermédiaire d’un GRANT le point a été remonté à Microsoft …

–        L’accès aux données peut être filtré pour les autres utilisateurs par l’intermédiaire des servers ROLE dispo depuis SQL SERVER 2012.

Certificat

–        L’accès aux données peut être attribué par l’intermédiaire de certificat :

  • Ex : Les données du marketing ne peuvent être visibles par les vendeurs.

–        Pour donner l’accès on met en place un système de certificat permettant de contrôler qui accède aux données.

Utilisation de l’impersonation

–        Empêcher l’emploi de l’impersonation sur le serveur

3.     Mise en place d’audit

L’objectif des audits est de contrôler qui accède aux données et de voir leurs utilisations

(Création d’audit d’utilisation)

4.     Utiliser contained DB

Cette base de données contient les logins de l’instance, l’intérêt est de faciliter la migration des bases de données

5.     D’autres outils peuvent servir à sécuriser la base :

  • Chiffrement des backups
  • SQL injection
  • Gestion de l’environnement de Chiffrement
  • DLL trigger
  • Gestion de la stratégie des instances
  • Truthworthy

Point fort de la session : Sensibilisation aux problèmes de sécurisation des de données SQL Server avec une vue panoramique des outils et des best practice de sécurité

Liens utile : http://blogs.technet.com/b/sql/archive/2013/10/01/sql-server-chez-les-clients-confidentialite-des-donnees.aspx

Vidéo : https://www.youtube.com/watch?feature=player_embedded&v=E9cGpjkxBik

Slides : http://fr.slideshare.net/TechnetFrance/sql-2014-et-la-gestion-de-la-scurit-31662361

Démystification du BIG DATA

Démystification du BIG DATA

 

La démystification du Big Data

  • Mercredi 12 février : 15h15-16h00
  • Salle : Amphi Bordeaux
  • Audiences : Professionnels de l’IT, Développeurs
  • Thèmes : Développement, Infrastructure des systèmes d’information
  • Niveau : Intermédiaire (200)
  • Intervenant : Benjamin Guinebertière (Microsoft) , François Simoës (v-traffic), Romain Casteres DCube (Microsoft Partner),

BIG DATA est un flux d’information dénormalisé provenant de plusieurs flux de données (base de données, réseaux sociaux,  fichiers textes …).

Ces données peuvent suivre un schéma relationnel ou non relationnel.

L’objectif de la démystification est de pouvoir utiliser l’ensemble de ces flux de données provenant d’une multitude de sources pour en sortir des indicateurs et des rapports.

Durant cette session l’architecture utilisée pour réaliser ces indicateurs est la suivante :

demystification_du_big_data

Source : http://www.cibis.org.je/

Les étapes qui ont permis de réaliser les indicateurs présentés sont les suivantes :

  1. Création de cluster sur HD insight (utilisant des connecteurs hadoop pour se connecter aux différentes sources de données)
  2. Création de table externe à partir de Hive pour prémâcher les données et les structurer
  3. Suppression des nœuds
  4. Utilisation de la chaine BI
    1. SSIS / POWER QUERY pour intégrer les données
    2. Création du DWH
    3. OLAP / POWER  PIVOT
    4. SSRS  / POWER BI

 

 

Pour aller plus loin : http://blog.octo.com/hdinsight-le-big-data-selon-microsoft/

Vidéo : https://www.youtube.com/watch?feature=player_embedded&v=9-64tW56LFA

Slides : http://fr.slideshare.net/Developpeurs/la-dmystification-du-big-data

 

 

 

Migration vers SQL 2014

  • Mercredi 12 février : 17h45-18h30
  • Salle : 251
  • Audiences : Professionnels de l’IT
  • Thèmes : Infrastructure des systèmes d’information
  • Intervenant Hoda EL HADDAD (Microsoft France), Pascale Doz (Pascal Doz Consulting)
  • Niveau : Intermédiaire (200)

Migration de bases hétérogènes vers SQL Server 2014 : – Comment maîtriser la migration de vos bases vers SQL server 2014 – Quels sont les outils Microsoft ? – Quels bénéfices en tirer d’une telle migration à court et moyen terme ? – Quelle démarche adopter pour minimiser les risques liés à la migration des applications ?

1.     Origine de la migration :

  • Nouvelles fonctionnalités
  • Evolution de l’architecture
  • Support
  • Baisse des couts des éditeurs
  • Amélioration des performances avec l’arrivée de L’IN Memory
  • Haute disponibilités
  • Gestion de la BI amélioré et Gestion de la partie BIG DATA
  • Déploiement dans le cloud

2.     L’apport de SQL 2014 :

  • Amélioration des performances avec l’arrivée de L’IN Memory
  • Haute disponibilités
  • Gestion de la BI amélioré et Gestion de la partie BIG DATA
  • Déploiement dans le cloud

3.     Les étapes nécessaires à une migration

1. Inventaire (Microsoft Assetement and planning MAP)

  • Appli
  • Infrastructure des données

2. Disponibilité / indisponibilité pendant la phase d’upgrade (Distributed / replay Réplication / intégration Services)

  • Retour en arrière
  • Gestion de la performance
  • Liste des composants à migrer

3. Choix des méthodes

  • In place
  • Side by Side

4. Exécution de la migration

4.     Démo : Migration SQL SERVER 2000 => 2014 les étapes clés

Pour réaliser une migration de SQL server 2000 vers 2012 ou 2014 il est nécessaire de passer par une étape intermédiaire : SQL 2005 / 2008 / 2008 R2

migration

Les principales origines de cette étape palier sont :

  • la compatibilité des package DTS sont possible jusqu’en 2008 R2
  • les nouvelles normes SQL qui ont changé certaines requetés ce qui les rends incompatible avec les dernières versions.

Dans notre démo nous avons pu suivre les étapes nécessaires pour une migration SQL Server 2000 vers 2014 :

Nous avons utilisé l’outil SQL server 2008 upgrades advisor qui permet de vérifier la compatibilité des bases présente sur l’instance SQL 2000 vers la base SQL 2008.

Ainsi nous obtenons le résultat suivant :

 upgrade advisor

Source : msdn

Une fois les anomalies levé et corrigé la migration vers la base 2008 peut avoir lieu par l’intermédiaire d’un simple backup restore.

Cette étape passé, nous avons augmenté les compatibility level des bases afin d’être sûr que le code utilisé soit compatible, puis nous avons mis en place des traces sur l’ancienne instance et sur la nouvelle instance afin de comparer les différences de performance.

Pour le passage de SQL server 2008 R2 vers 2014 nous avons utilisé l’outil MAP Microsoft Assessment and planning toolkit  pour vérifier la compatibilité des données et connaitre l’impact de la migration sur SQL Server 2014.

Pour ce faire, nous avons mis en place  des traces de simulation sur SQL 2014  avec de la génération de charge (Distributed Replay Utility) pour vérifier que les requêtes fonctionne et que les performances serait bonne sur la nouvelle instance.

Après vérification, nous avons constaté qu’il n’y avait aucune contre-indication concernant la migration, nous avons donc effectué un backup restore permettant d’effectuer la migration.

5.     Démos Migration Oracle => SQL Server 2014

Pour réaliser cette démo, Pascale Doz a utilisé Microsoft Migration Assistant afin vérifier la compatibilité entre les bases à migrer. Après cette assurer de la compatibilité et avoir corrigé les quelques anomalies rencontré, l’outil permet de réalisé la migration quasi automatiquement sous réserve d’avoir créé une base au préalable dans la nouvelle instance SQL Server 2014.

6.     Conclusion :

Cette session permet d’effectuer rapidement un tour sur les étapes importantes d’une migration, mais ne reflète pas complètement les problèmes rencontrés lors d’une migration :

–        Problématique de sécurité

–        Problématique de temps de correction des anomalies pour répondre aux nouvelles normes SQL ou aux problèmes de collation

–        …

Lien utile : http://technet.microsoft.com/fr-fr/magazine/gg454217.aspx

Vidéo

[Techdays 2014] Le Must du décisionnel avec l’ensemble de l’offre Microsoft BI

Session du Jeudi 13 février : 15h15 – 16h

Intervenants :

  • Franck Mercier (Microsoft France)
  • Kaoutar Hajji Laamouri (Microsoft)

Niveau : Intermédiaire (200)

Résumé : Comment gagner du temps dans vos prises de décisions ? Et Power BI dont tout le monde parle tant? Qu’est-ce c’est au juste? Nous vous donnons rendez-vous pour répondre à ces questions et découvrir les nouveautés proposées par Power BI et SQL 2014! Au programme de cette session :

  • Gérer le cycle de vos données (EIM avec SSIS, DQS et MDS).
  • Les analyser rapidement (InMemory avec xVelocity) et efficacement (BISM dans Power View, PowerPivot et Power BI dans Excel et Office 365).
  • Faire des prévisions (DataMining avec SSAS et Excel).

Bref, la session à ne pas manquer pour connaitre tous les outils et les technologies associées répondant à l’ensemble de vos scénarios BI.

 

 

Présentation de SQL Server : gestion du cycle de vie de la donnée et la partie BI

Après nous avoir fait un rappel des différentes briques BI existantes, Kaoutar Hajji et Franck Mercier nous ont présenté les nouveaux composants POWER BI présents sur le Cloud ainsi que la partie Data Mining souvent oubliée par les utilisateurs de business intelligence.

1. Présentation de la solution de Business Intelligence

 

2. Présentation du modèle sémantique

 

La BI sémantique à plusieurs moyens de création :

  • BI personnelle (Self-service)
  • BI d’équipe (équipe dédiée)
  • BI d’entreprise (SI dédié à la BI)

Après nous avoir présenté ces différentes couches Kaoutar nous a fait un rappel sur les différentes possibilités offertes par la brique de DATA Mining à la fois du coté OLAP mais aussi du côté Excel.

Franck et Kaoutar ont ensuite réalisé une démo sur le thème de la Saint Valentin présentant l’utilisation des différents outils de BI de l’offre Microsoft

En particulier, Franck a pu mettre en avant l’intérêt du nouvel outil Q&A en cherchant des idées de cadeaux pour la saint valentin et plus particulièrement des soutiens gorge J. Q&A permet d’interagir en langage naturel avec les données chargées dans Office365.

Kaoutar a quant à elle essayé de trouver des billets de foot pour son amoureux au travers des différentes solutions Power BI (chargement de données dans Power Pivot, analyses graphiques via Power View).

 

NB :

 

Liens :

[Techdays 2014] Power Query Demos Extravanganza

Session du Mercredi 12 février 2014 : 12h15 – 13h00

Thèmes : Le Nouvel Office : solutions de communication et collaboration

Intervenant : Jean-Pierre Riehl

Niveau : Expert (400)

Résumé : Session 100% queries ! Jouons avec les données et poussons Power Query à ses limites pour savoir s’il est digne de porter le nom de Self-Service ETL. Attention, code M Inside… Level 400 / 100% Démos.

 

Dans cette démo très intéressante, Jean-Pierre Riehl nous a présenté les capacités de power BI par l’intermédiaire de plusieurs mini projets composés par lui-même autour de sujets abordés lors de ses « repas dominicaux ».

Power Query est un add-in Excel 2013. C’est un self-service ETL. Il fait partie de la suite POWER BI.

Power Query  a pour objectif de charger des data model pour les utiliser dans POWER PIVOT.

Comme SSIS, il permet de se connecter à de nombreuses sources de données afin de les charger dans Excel et plus particulièrement dans la partie Tabulaire de la partie POWER BI (POWER PIVOT).

Power Query a pour particularité d’incorporer des outils permettant de transformer les données à la « volée » avant le chargement.

Comme sur SSIS la transformation apparait sous forme d’étapes et permet d’effectuer des tâches telles que l’ajout, la suppression et la transformation de colonne ou la transformation de données.

Power Query permet de créer des procédures et des fonctions permettant de simplifier et d’automatiser certaines tâches de traitement de données (mode « avancé » de l’outil nécessitant de maîtriser le langage M).

Dans ses différentes démos, Jean-Pierre Riehl nous a montré les capacités d’intégration et de transformation des données présente dans Power Query.

Actuellement le « point faible » de power Query reste l’automatisation, qui nécessite de passer par la partie Cloud pour automatiser l’exécution des tâches et le partage de sources de données.

Voici quelques notes sur les démos de sa session :

  • Démo d’extraction de données via une page web
  • ETL visible sur le Query editor dans la partie « Applied steps » (Les « Queries » sont éditables à partir du « workbook queries »)
  • Export des données vers Power Pivot grâce à la case à cocher « Load to data model » dans les « Load settings » sur le Query editor
  • Possibilité de charger plusieurs fichiers contenus dans un dossier sans passer par une boucle For
  • Le chargement des données (affichage) se fait à la volée ce qui permet à l’outil d’être plus rapide (affichage du TOP)
  • L’add-in MDS permet à l’utilisateur d’ajouter/supprimer des données
  • Concernant le mode avancé de Power Query : cet outil n’est pas destiné à un utilisateur métier à moins de leur « prémâcher » le travail en leur mettant les formules à disposition.

Points forts : Intégration de données, inclus dans la suite « Power BI », connecteur a de nombreuses sources de données et surtout de nouvelles formes : Facebook, Twitter, oData …

 

Liens  :

[Techdays 2014] Venus des nuages, les héros de la BI

Session du Mercredi 12 février 2014 : 15h15 – 16h

Intervenants :

  • Caroline Morillot (Microsoft France)
  • Emilie Beau (Microsoft France)
  • Franck Mercier (Microsoft France)
  • Ilana Cohen Bengio (Microsoft France)

Niveau : Intermédiaire (200)

Résumé : Nouvelle puissance, nouveaux pouvoirs, venez découvrir lors de cette session dégantée, présentée par des super héros, toute la BI dans le Cloud. Grâce à Azure et Office 365 Power BI, ils relèveront tous les défis… Venez nombreux des Goodies seront à gagner !

2014-02-12 15.43.14

On a pu voir lors de cette session très intéressante, 3 Démos des Powers BI Rangers qui avaient pour mission de retrouver leur vaisseau grâce à l’ensemble des outils d’Office 365 Power BI et d’Azure, à partir d’un PC, d’une tablette ou de Facebook.

  • Démo 1 :

Objectif : retrouver la position du vaisseau en se basant sur l’analyse du niveau de carburant, ces données étant stockées dans le Cloud.

Étapes mises en œuvre : à partir d’un PC, récupérer les données sur le Cloud, les nettoyer et afficher sur Excel la Map des lieux avec le niveau d’essence en fonction du temps.

  • Démo 2 :

Objectif : A partir des données Facebook, récupérer les données des lieux fréquentés lors de la soirée de la veille pour retrouver leur vaisseau qui a dû planer après leur panne d’essence.

Étapes mises en œuvre : Affichage sur Excel des photos des lieux et affichage de la Map avec la popularité Facebook des lieux et leur visite dans le temps. Publication du rapport sur le Cloud.

  • Démo 3 :

Objectif : Utiliser un autre support qu’un PC pour interroger les données stockées précédemment dans le Cloud.

Étapes mises en œuvre : A partir d’une tablette, récupérer le rapport sur le Cloud pour visualiser le dernier endroit visité. Avec Q&A, questionner la base des rapports pour connaitre l’adresse et le numéro de téléphone du dernier lieu fréquenté pour retrouver leur vaisseau.

Notes :

  • Power Query est un add-in Excel à télécharger qui contient un connecteur permettant de récupérer les données Facebook.
  • Catégorisation des colonnes sur Power Pivot nécessaire notamment pour pouvoir afficher correctement sur la Map les lieux (catégorisation des adresses, code postal, pays, …) – la recherche de Power Map s’appuie sur Bing, une ville trop mal orthographiée pourrait donc ne pas être retrouvée. 
  • Power BI est intégrable à SharePoint Online
  • Power BI Site = site SharePoint dédié à la BI (sur Office O365)
  • Power BI = Excel + O365

 

Liens :