La formation en Big Data va vous permettre de comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data. Vous allez savoir mettre en œuvre Hive et Pig, Impala, les Spark Dataframes.
BigData : intégration SQL, Hive, SparkDataFrames (CB045)
Diplôme
Certificat Pythagore FD
Durée
2 jours (soit 14 heures)
Coût
1 812 €
Campus
Paris 9ème ou à distance
BigData : intégration SQL, Hive, SparkDataFrames
- Comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data. Savoir mettre en œuvre Hive et Pig, Impala, les Spark Dataframes.
Présentation
- Besoin. Adéquation entre les objectifs et les outils.
- Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs.
- Rappels sur le stockage : HDFS, Cassandra, HBase
- et les formats de données : parquet, orc, raw, clés/valeurs
- Les outils : Hive, Impala, Tez, Presto, Drill, Pig, SparkQL
Hive et Pig
- Présentation. Mode de fonctionnement. Rappel sur map/reduce.
- Hive : le langage HiveQL. Exemples.
- Pig : le langage pig/latin. Exemples.
Impala
- Présentation. Cadre d'utilisation. Contraintes. Liaison avec le metastore Hive.
- Atelier : mise en évidence des performances.
Presto
- Cadre d'utilisation. Sources de données utilisables.
- Atelier : mise en oeuvre d'une requête s'appuyant sur Cassandra et PostgreSQL.
Spark DataFrame
- Les différentes approches. Syntaxe SparkQL. APIs QL.
- Compilation catalyst. Syntaxe, opérateurs.
- Atelier : mise en oeuvre d'une requête s'appuyant sur HBase et HDFS.
Drill
- Utilisation d'APIs JDBC, ODBC. Indépendance Hadoop. Contraintes d'utilisation. Performances.
Comparatifs
- Compatibilité ANSI/SQL. Approches des différents produits.
- Critères de choix.
- Experts en bases de données relationnelles, chefs de projet.
- Alternance de théorie et pratique avec une vérification des acquis au fur et à mesure de la formation
- Après avoir suivi l’ensemble des modules et validé l’obtention du parcours, un Certificat Pythagore FD vous sera remis.
- Pour vous inscrire, envoyez un mail à formationcontinue@esiee-it.fr (réponses sous 48heures).
Informations complémentaires
Texte
Prochaines sessions :
- Du 27 au 28 novembre 2023
- Du 14 au 15 mars 2024
- Du 4 au 5 juillet 2024
- Du 7 au 8 octobre 2024
- Du 12 au 13 décembre 2024
- Horaires : 9h00 à 17h30
- Nombre de participants : 4 à 16 par session
- Possibilité de faire cette formation en 100% distanciel
- Nouveau programme
- Si vous êtes en situation de handicap, retrouvez toutes les informations utiles ICI.