Administrador Cloudera para Apache Hadoop
PRESENTACIÓN
Acción formativa de 28 horas dirigida a administradores de sistemas y otros responsables de la gestión de clústers Apache Hadoop en entornos de producción o desarrollo. Tras la realización del presente curso oficial el alumno estará preparado para superar el examen de certificación Cloudera Certified Administrator for Apache Hadoop (CCAH).
Por qué realizar este curso
- Aumento constante del uso de tecnologías Big Data
- Alta demanda de profesionales HADOOP a corto y medio plazo
- Somos partner oficial de Formación Cloudera (referente mundial en tecnologías HADOOP)
- Certificado Oficial Cloudera, con reconocimiento internacional
- Garantía de calidad: Profesores con certificación requerida para formadores
Lo que aprenderás
- Cómo funciona Hadoop Distributed File System y MapReduce
- Qué configuraciones de hardware son óptimas para los clusters Hadoop
- Qué hay que tener en cuenta a nivel de red para construir un clúster
- Cómo configurar las opciones de Hadoop para obtener el mejor rendimiento
- Cómo configurar la Alta Disponibilidad de NameNode
- Cómo configurar NameNode Federation
- Cómo configurar el FairScheduler para cumplir los service-level agreements para múltiples usuarios de un cluster
- Cómo instalar e implementar la seguridad basada en Kerberos para tu cluster Cómo mantener y monitorizar tu cluster
- Cómo cargar datos de ficheros generados dinámicamente usando Flume, y de base de datos relacionales utilizando Sqoop
- Qué problemas existen desde el punto de vista de la Administración de Sistemas con otros proyectos Hadoop como Hive, Pig, y HBase
REQUISITOS
Este curso está diseñado para personas con un nivel básico de conocimientos en la administración de sistemas Linux. No es necesario tener un conocimiento previo de Hadoop.
TEMARIO
Introducción
Historia de Apache Hadoop
- ¿Porqué Hadoop?
- Componentes principales de Hadoop
- Conceptos fundamentales
HDFS
- Características de HDFS
- Lectura y escritura de archivos
- Consideraciones acerca de memoria de NameNode
- Aspectos generales de seguridad en HDFS
- Empleo del Namenode Web UI
- Empleo del File Shell de Hadoop
Obtención de datos en HDFS
- Ingestión de datos desde recursos externos con Flume
- Ingestinón de datos desde bases de datos relacionales con Sqoop
- REST Interfaces
- Buenas prácticas para la importación de datos
MapReduce
- ¿Qué es MapReduce?
- Conceptos básicos de MapReduce
- Arquitectura del clúster YARN
- Asignación de Recursos
- Recuperación ante fallos
- Empleo de YARN Web UI
- MapReduce Versión 1
Planificación de un cluster Hadoop
- Consideraciones generales de planificación
- Elección correcta de Hardware
- Consideraciones de red
- Configuración de nodos
- Planificación de la administración del clúster
Instalación y configuración inicial
- Tipos de desarrollo
- Instalación de Hadoop
- Especificaciones en la configuración de Hadoop
- Realizar la configuración inicial HDFS
- Realizar la configuración inicial de YARN y MapReduce
- Hadoop Logging
Instalación y configuración de Hive, Pig e Impala
- Hive
- Impala
- Pig
Clientes Hadoop
- ¿Qué es un cliente de Hadoop?
- Instalación y configuración de clientes Hadoop
- Instalación y configuración de Hue
- Autorizaciones y autenticación Hue
Cloudera Manager
- Objetivos de Cloudera Manager
- Características de Cloudera Manager
- Versiones Express y Enterprise
- Topología de Cloudera Manager
- Instalación de Cloudera Manager
- Instalación de Hadoop empleando Cloudera Manager
- Realización de tareas de administración básicas empleando Cloudera Manager
Configuración avanzada de un cluster
- Parámetros avanzados de configuración
- Configuración de puertos Hadoop
- Inclusión y exlusión explícitas de hosts
- Configuración de HDFS para la organización en rack
- Configuración de HDFS para obtención de alta disponibilidad
Seguridad Hadoop
- ¿Porqué es importante la seguridad en Hadoop?
- Conceptos del sistema de seguridad de Hadoop
- Qué es Kerberos y cómo trabaja
- Protección de un clúster Hadoop Cluster con Kerberos
Gestión y planificación de tareas o trabajos
- Administración de trabajos activos
- Organización de trabajos Hadoop
- Configuración del FairScheduler
- Organización de consultas Impala
Mantenimiento de un cluster
- Chequeo de estatus de HDFS
- Copia de datos entre clústers
- Eliminación y añadido de nodos en el clúster
- Rebalanceo del Clúster
- Actualización del clúster
Solución de problemas y monitorización de un cluster
- Sistema general de monitorización
- Monitorización de clústers Hadoop
- Solución de problemas habituales en el clúster de Hadoop
- Errores habituales en la configuración
Conclusiones
NÚMERO PLAZAS
10-20
PROFESORES
Curso impartido por profesor certificado por Cloudera.
FECHAS Y LUGAR
El curso se desarrollará en el ALA del edificio Vitalis, frente a la Facultad de Informática. Se programarán dos ediciones:
- Cloudera Administrator Training for Apache Hadoop (28 horas, 5 días) 27 al 31 de marzo 2017, 16:00 a 21:30
- Cloudera Administrator Training for Apache Hadoop (28 horas, 5 días) 22 al 26 de Mayo, 9:00 a 14:30
Periodo realización
Fecha inicio (1ª Edición): 27/03/2017
Fecha fin: 31/03/2017
Periodo matrícula (1ª Edición)
De 11/02/2017 00:00:00 A 15/03/2017 23:59:00
Periodo realización
Fecha inicio (2ª Edición): 22/05/2017
Fecha fin: 26/05/2017
Periodo matrícula (2ª Edición)
De 11/02/2017 00:00:00 A 10/05/2017 23:59:00
METODOLOGÍA
El curso se impartirá de forma presencial. Durante el curso los estudiantes realizarán ejercicios para mejorar la compresión y aplicar los conocimientos recibidos de Hadoop.
MATRICULA
1ª Edición: Cloudera Administrator Training for Apache Hadoop (28 horas, 5 días) 27 al 31 de marzo 2017, 16:00 a 21:30
2ª Edición: Cloudera Administrator Training for Apache Hadoop (28 horas, 5 días) 22 al 26 de Mayo, 9:00 a 14:30
CONTACTO
Director CERTIC, Pedro M. Ruiz (pedrom @ um.es, 868884335)
