MapReduce - Administração do Hadoop

Este capítulo explica a administração do Hadoop, que inclui a administração de HDFS e MapReduce.

  • A administração do HDFS inclui o monitoramento da estrutura de arquivos HDFS, locais e arquivos atualizados.

  • A administração do MapReduce inclui o monitoramento da lista de aplicativos, configuração de nós, status do aplicativo, etc.

Monitoramento HDFS

HDFS (Hadoop Distributed File System) contém os diretórios do usuário, arquivos de entrada e arquivos de saída. Use os comandos MapReduce,put e get, para armazenar e recuperar.

Depois de iniciar a estrutura do Hadoop (daemons) passando o comando “start-all.sh” em “/ $ HADOOP_HOME / sbin”, passe a seguinte URL para o navegador “http: // localhost: 50070”. Você deverá ver a seguinte tela em seu navegador.

A captura de tela a seguir mostra como navegar no HDFS de navegação.

A captura de tela a seguir mostra a estrutura de arquivos do HDFS. Mostra os arquivos no diretório “/ user / hadoop”.

A captura de tela a seguir mostra as informações do Datanode em um cluster. Aqui você pode encontrar um nó com suas configurações e capacidades.

MapReduce Job Monitoring

Um aplicativo MapReduce é uma coleção de trabalhos (trabalho de mapa, combinador, particionador e trabalho de redução). É obrigatório monitorar e manter o seguinte -

  • Configuração do datanode onde a aplicação é adequada.
  • O número de datanodes e recursos usados ​​por aplicativo.

Para monitorar todas essas coisas, é imperativo que tenhamos uma interface de usuário. Depois de iniciar a estrutura do Hadoop passando o comando “start-all.sh” em “/ $ HADOOP_HOME / sbin”, passe a seguinte URL para o navegador “http: // localhost: 8080”. Você deverá ver a seguinte tela em seu navegador.

Na captura de tela acima, o ponteiro da mão está no ID do aplicativo. Basta clicar nele para encontrar a seguinte tela em seu navegador. Ele descreve o seguinte -

  • Em qual usuário o aplicativo atual está sendo executado

  • O nome do aplicativo

  • Tipo desse aplicativo

  • Status atual, status final

  • Tempo de início do aplicativo, decorrido (tempo concluído), se estiver concluído no momento do monitoramento

  • O histórico deste aplicativo, ou seja, informações de registro

  • E, por fim, as informações do nó, ou seja, os nós que participaram da execução da aplicação.

A captura de tela a seguir mostra os detalhes de um determinado aplicativo -

A captura de tela a seguir descreve as informações dos nós em execução no momento. Aqui, a captura de tela contém apenas um nó. Um ponteiro mostra o endereço localhost do nó em execução.