Passer commande via notre portail client

Partager cet article ...Print this pageEmail this to someoneTweet about this on TwitterShare on FacebookShare on Google+Share on LinkedInPin on PinterestShare on TumblrDigg this
Hadoop, installation et administration
HOD / LI-REQ-198
OBJECTIFS PEDAGOGIQUES
La plateforme Apache Hadoop permet de faciliter la création d’applications distribuées. Ce stage vous permettra de comprendre son architecture et vous donnera les connaissances nécessaires pour installer, configurer et administrer un cluster Hadoop. Vous apprendrez également à l’optimiser et le maintenir dans le temps.

PUBLIC
Administrateurs de cluster Hadoop, développeurs.
PRE-REQUIS
Bonnes connaissances de l’administration Linux. Expérience requise.

CONTENU

Présentation du Framework Apache Hadoop
- Enjeux du Big Data et apports du framework Hadoop.
- Présentation de l’architecture Hadoop.
- Description des principaux composants de la plateforme Hadoop.
- Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku…).
- Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop
- Principes de fonctionnement de Hadoop Distributed File System (HDFS).
- Principes de fonctionnement de MapReduce.
- Design “type” du cluster.
- Critères de choix du matériel.

Installation d’une plateforme Hadoop
- Type de déploiement.
- Installation d’Hadoop.
- Installation d’autres composants (Hive, Pig, HBase, Flume…).

Gestion d’un cluster Hadoop
- Gestion des nœuds du cluster Hadoop.
- Les TaskTracker, JobTracker pour MapReduce.
- Gestion des tâches via les schedulers.
- Gestion des logs.
- Utiliser un manager.

Gestion des données dans HDFS
- Import de données externes (fichiers, bases de données relationnelles) vers HDFS.
- Manipulation des fichiers HDFS.

Configuration avancée
- Gestion des autorisations et de la sécurité.
- Reprise sur échec d’un name node (MRV1).
- NameNode high availability (MRV2/YARN).

Monitoring et optimisation Tuning
- Monitoring (Ambari, Ganglia…).
- Benchmarking/profiling d’un cluster.
- Les outils Apache GridMix, Vaaidya.
- Choisir la taille des blocs.
- Autres options de tuning (utilisation de la compression, configuration mémoire…).

SESSIONS PROGRAMMEES

 

Accès au calendrier

VALIDATION
Evaluation en fin de session

PEDAGOGIE
Alternance d’exposés et de travaux pratiques
INTERVENANTS
Spécialiste Hadoop

MODALITES PRATIQUES
Durée : 4 jours soit 28 heures avec 7 heures par jour
Prix stagiaire : 2 226,00 € TTC
Horaires : 09h00 – 17h30

Durée: