BigData supervision : Grafana Kibana Graphite Prometheus (CB046)

• Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.
   

Supervision : définitions

• Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.
• Objets supervisés. Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.
• Définition des ressources à surveiller. Journaux et métriques.
• Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

• Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
• Produits : Prometheus, Graphite, ElasticSearch.
• Présentation, architectures.
• Les sur-couches : Kibana, Grafana.

JMX

• Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.
• Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

• Installation et configuration de base
• Définition des ressources supervisées, des intervalles de collecte
• Démarrage du serveur Prometheus.
• Premiers pas dans la console web, et l'interface graphique.
• Exporteur JMX. Exporteur mongodb.
• Démonstration avec Cassandra ou Hadoop/HBase.
• Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
• Requêtage. Visualisation des données.

Graphite

• Modèle de données et mesures
• Format des données stockées, notion de timestamp
• Types de mesures : compteurs, jauges, histogrammes, résumés.
• Identification des ressources supervisées : notions d'instances, de jobs.
• Démonstration avec Cassandra.
• Comparaison avec Prometheus.

Exploration et visualisation des données

• Mise en oeuvre de Grafana. Installation, configuration.
• Pose de filtres sur Prometheus et remontée des données.
• Etude des différents types de graphiques disponibles,
• Agrégation de données. Appairage des données entre Prométheus et Grafana.
• Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques.

Kibana, installation et configuration

• Installation, configuration du mapping avec Elasticsearch.
• Injection des données avec Logstash et Metricbeat.
• Architectures, paramétrages
• Mapping automatique ou manuel
• Configuration des indexes à explorer

À qui s’adresse cette formation ?

• Exploitants, architectes BigData, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData.
   

Pré-requis

• Connaissance générale des systèmes d'informations et des bases de données.

• Après avoir suivi l’ensemble des modules et validé l’obtention du parcours, un Certificat Pythagore FD vous sera remis. 

• Pour vous inscrire, envoyez un mail à  formationcontinue@esiee-it.fr  (réponses sous 48heures).