Hadoop

Présentation

Aperçu de formation

Hadoop Common, HDFS, YARN, MapReduce Oozie, Pig, Hive, HBase Les fonctionnalités du framework Hadoop. Les différentes versions. Distributions : Apache, Cloudera, Hortonworks, EMR, MapR. Spécificités de chaque distribution. Architecture et principe de fonctionnement. Terminologie : NameNode, DataNode, ResourceManager, NodeManager Rôle des différents composants

Objectifs

– Appréhender l’architecture d’un système Hadoop.
– Détailler les services principaux, leur configuration, la sécurité au sein d’un cluster mais aussi son exploitation.
– Passer en revue les différentes composantes logicielles pour manipuler les données big data (MapReduce, Pig, Hive Sqoop).

Public cible

– Directeurs techniques
– Chefs de projets
– Architectes
– Consultants
– DBA
– Développeurs d’applications

Programme

     1. Étude des fichiers de configurations
    – Gestion des utilisateurs pour les daemons hdfs et yarn
    – Droits d’accès sur les exécutables et répertoires
    – Architecture et gestion des services généraux Hadoop
    – HDFS
    – YARN
    – MapReduce
    – HBase

    2. Monitoring du cluster Hadoop
    – Suivi de charges journaux (jConsole)
    – Gestion des noeuds Accès JM
    – Mise en oeuvre d’un client JMX
    – Administration HDFS
    – Stockage des fichiers, fsck, dfsadmin
    – Gestion centralisée de caches avec Cacheadmin

    3. Sécurité
    – Activation de la sécurité avec Kerberos dans core-site.xml et dans hdfs-site.xml pour les NameNode et DataNode.
    – Gestion de la sécurité avec Apache Sentry

    4. Exploitation
    – Supervision des éléments par le NodeManage
    – Monitoring graphique avec Ambari, Kibana, Cloudera Manager
    – Visualisation des alertes en cas d’indisponibilité d’un noeud
    – Configuration des logs avec log4j

    5. HDFS
    – Architecture
    – Commandes SHELL

    6. Mapreduce
    – Architecture MapReduce
    – Exécuter un code MapReduce

    7. HUE
    – Introduction
    – Fonctionnalités et utilisation
    – HBASE
    – Architecture
    – Commandes SHELL
    – Création base de données, tables, familles
    – Interrogation des données

    8. HIVE
    – Architecture
    – Méthodes d’accès à Hive
    – HiveQL
    – Création de bases de données, tables, vues
    – Interrogation des données grâce au HiveQL
    – Manipulations de fonctions définies par l’utilisateur (UDF)
    – Partitionner vos données
    – Archivage de vos données

    9. PIG
    – Introduction
    – Méthodes d’exécution
    – Pig Latin
    – Communication entre Pig et Hive

    10. SQOOP
    – Introduction
    – Pour quels usages ?
    – Méthodes d’utilisation
    – Import et export des données

    11. OOZIE
    – Introduction
    – Planification de workflows avec paramètres

De Plus

Digital Finance

Please wait while flipbook is loading. For more related info, FAQs and issues please refer to DearFlip WordPress Flipbook Plugin Help documentation.

Moyens de contact

  1. Téléphone

    +216 96 803 221

  2. Email

    contact@upgradetek-engineering.com

  3. Whatsapp

Inscription

Changer de langue

    Upgradetek Engineering est un cabinet de conseil en stratégie et management, spécialisé dans la transformation des institutions financières. En tant que l'un des leaders de ce secteur en Tunisie, nous accompagnons depuis plus de 14 ans nos clients bancaires et financiers dans l'évolution de leur business model, dans la définition et la mise en œuvre de nouveaux business models cibles et dans l'amélioration de leurs performances.

    ADRESSE
    23, Avenue de Naplouse 1001 Tunis, Tunisie
    TÉLÉPHONE
    +216 71 33 93 95
    E-MAIL
    contact@upgradetek-engineering.com