Speaker : Jen Stirrup, Copper, Blue Consulting & Allan Mitchell, Copper,  Blue Consulting

Niveau de la session : 400

Objectif de la session : Why and What Big Data

Agenda :

  • What is Big Data
  • What Microsoft is doing with Big Data

En fait la session est en 2 parties : concepts généraux puis demos (Pig, SQLOOP, Hive).

Elle aborde d’abord des concepts généraux sur le Big Data

  • Définition du big data
  • différentes sources possibles (Social Network, …)
  • Notion de données non structurées ([un] [semi] structured)
  • Big Data V (Volume, Velocity, Variety, Veracity, Value)
  • Données dont on ne sait pas qu’elles n’existe pas (unknown unknowns)
  • Croissance de la donnée est exponentielle
  • etc.

Après les concepts généraux, l’écosystème de HDInsight est abordé un par un (intéressant) :

  • Windows Azure (pour le stockage, le speaker Allan fini par indiquer que Amazone répond mieux au besoin car on peut réserver de l’infra juste pendant le temps d’exécution des processus)
  • Distributed Storage (HDFS)
  • Distributed Processing (Map Reduce) : en fait Map c’est Selectionner, Reduce c’est aggréger (encore des termes nouveaux de Marketing)
  • Le scripting : le langage Pig (la démo est top le langage semble très puissant et concis : ça impressionne = pourquoi ne pas l’utiliser via en complément avec SSIS si on peut à terme)
  • Le Query (avec Hive)
  • L’intégration des données notamment avec SQOOP (passer d’un DWH hadoop a un DWH SQL , valable dans les 2 sens)
  • Hadoop (historique puis ce qui est fourni avec et ce qui lui manque : flume, hue, Ambari avec Gamblia, Hbase et Azure qui évolue fréquemment)

Conclusion :

Une bonne session (longue) de vulgarisation pour le Big Data avec des démos techniques (on y voit les requêtes des langages Pig, SQOOP, …) .

La session n’est pas orientée entièrement Microsoft puisqu’on y voit des logiciels tiers (de Hortonworks pour Hadoop).

Bref si vous voulez savoir ce qu’est le Big Data : c’est un bon début.

A noter q’une session (à venir du 18/10) aborde un cas concret (on espère) : From Data to Insight : Views from Microsoft Finance = le Big Data utilisé par le service financier de Microsoft.

Pascal Rouzé