Apache Kafka (CB041)

• A l’issue de la formation, le stagiaire sera capable de mettre en oeuvre l’outil d’Apache Kafka pour utiliser un système de messagerie distribuée à haut débit.
   

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

• Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
• Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
• Liaison éventuelle avec Zookeeper. Impacts.

Acquérir les bonnes pratiques de distribution de messages

• Etude de la configuration du broker

Atelier : création d'une configuration multi-broker, démarrage de plusieurs noeuds

Atelier : création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

• Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples,
• modes de fonctionnement (standalone ou distribué)
• Types de connecteurs

Atelier : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Appréhender les différentes APIs de Kafka.

• Conception d'applications avec Kafka. Principe de fonctionnement.
• Atelier : développement de prototypes en Python, Java, Scala
• Couplage avec SparkStreaming en mode batch, en mode continu
• Principe et architecture de Kafka Streams

Mettre en oeuvre KSQL

• Conception d'application avec KSQL. La sur-couche KSQL.
• Présentation de ksqlDB. Création de flux en KSQL. Les ajouts SQL pour permettre le traitement en flux.
• Micro-batchs. Introduction au water-marking.

Atelier : mise en oeuvre d'une chaîne de traitement avec KSQL

Travailler en sécurité avec Kafka

• Intégrité et confidentialité :
• Chiffrement SSL et authentification SASL.
• Sécurisation de l'infrastructure : Zookeeper, proxy Rest
• Disponibilité : La réplication. Facteur de réplication. Partitions

Atelier : tests de haute disponibilité dans une configuration multi-noeuds

Exploitation

• Mise en oeuvre de kafka-tool
• Gestion des logs
• Détection de pannes : méthodes et outils
• Benchmarks
   

À qui s’adresse cette formation ?

• Architectes, Chefs de projet, Développeurs, équipes DevOps...

Pré-requis

• Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.

• Alternance de théorie et pratique avec une vérification des acquis au fur et à mesure de la formation

• Après avoir suivi l’ensemble des modules et validé l’obtention du parcours, un Certificat Pythagore FD vous sera remis. 

• Pour vous inscrire, envoyez un mail à  formationcontinue@esiee-it.fr  (réponses sous 48heures).