Hadoop - Referência de Comando
Existem muitos mais comandos em "$HADOOP_HOME/bin/hadoop fs"do que são demonstrados aqui, embora essas operações básicas ajudem você a começar. Executar ./bin/hadoop dfs sem argumentos adicionais listará todos os comandos que podem ser executados com o sistema FsShell. Além disso,$HADOOP_HOME/bin/hadoop fs -help commandName exibirá um breve resumo de uso para a operação em questão, se você estiver travado.
Uma tabela de todas as operações é mostrada abaixo. As seguintes convenções são usadas para parâmetros -
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Todos os outros arquivos e nomes de caminho referem-se aos objetos dentro do HDFS.
| Sr. Não | Comando e Descrição |
|---|---|
| 1 | -ls <path> Lista o conteúdo do diretório especificado por caminho, mostrando os nomes, permissões, proprietário, tamanho e data de modificação de cada entrada. |
| 2 | -lsr <path> Se comporta como -ls, mas exibe recursivamente as entradas em todos os subdiretórios do caminho. |
| 3 | -du <path> Mostra o uso do disco, em bytes, para todos os arquivos que correspondem ao caminho; os nomes dos arquivos são relatados com o prefixo de protocolo HDFS completo. |
| 4 | -dus <path> Como -du, mas imprime um resumo do uso do disco de todos os arquivos / diretórios no caminho. |
| 5 | -mv <src><dest> Move o arquivo ou diretório indicado por src para dest, dentro do HDFS. |
| 6 | -cp <src> <dest> Copia o arquivo ou diretório identificado por src para dest, dentro do HDFS. |
| 7 | -rm <path> Remove o arquivo ou diretório vazio identificado por caminho. |
| 8 | -rmr <path> Remove o arquivo ou diretório identificado pelo caminho. Exclui recursivamente quaisquer entradas filho (ou seja, arquivos ou subdiretórios do caminho). |
| 9 | -put <localSrc> <dest> Copia o arquivo ou diretório do sistema de arquivos local identificado por localSrc para dest no DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Entrada idêntica |
| 11 | -moveFromLocal <localSrc> <dest> Copia o arquivo ou diretório do sistema de arquivos local identificado por localSrc para dest no HDFS e exclui a cópia local em caso de sucesso. |
| 12 | -get [-crc] <src> <localDest> Copia o arquivo ou diretório em HDFS identificado por src para o caminho do sistema de arquivos local identificado por localDest. |
| 13 | -getmerge <src> <localDest> Recupera todos os arquivos que correspondem ao caminho src no HDFS e os copia em um único arquivo mesclado no sistema de arquivos local identificado por localDest. |
| 14 | -cat <filen-ame> Exibe o conteúdo do nome do arquivo em stdout. |
| 15 | -copyToLocal <src> <localDest> Idêntico para -get |
| 16 | -moveToLocal <src> <localDest> Funciona como -get, mas exclui a cópia HDFS em caso de sucesso. |
| 17 | -mkdir <path> Cria um diretório denominado path em HDFS. Cria qualquer diretório pai no caminho que está faltando (por exemplo, mkdir -p no Linux). |
| 18 | -setrep [-R] [-w] rep <path> Define o fator de replicação de destino para arquivos identificados por caminho para rep. (O fator de replicação real se moverá em direção ao destino ao longo do tempo) |
| 19 | -touchz <path> Cria um arquivo no caminho contendo a hora atual como um carimbo de data / hora. Falha se um arquivo já existe no caminho, a menos que o tamanho do arquivo já seja 0. |
| 20 | -test -[ezd] <path> Retorna 1 se o caminho existir; tem comprimento zero; ou é um diretório ou 0 caso contrário. |
| 21 | -stat [format] <path> Imprime informações sobre o caminho. O formato é uma string que aceita o tamanho do arquivo em blocos (% b), nome do arquivo (% n), tamanho do bloco (% o), replicação (% r) e data de modificação (% y,% Y). |
| 22 | -tail [-f] <file2name> Mostra o último 1 KB de arquivo em stdout. |
| 23 | -chmod [-R] mode,mode,... <path>... Altera as permissões de arquivo associadas a um ou mais objetos identificados por caminho .... Executa alterações recursivamente com o modo R. é um modo octal de 3 dígitos, ou {augo} +/- {rwxX}. Assume se nenhum escopo é especificado e não aplica uma umask. |
| 24 | -chown [-R] [owner][:[group]] <path>... Define o usuário e / ou grupo proprietário para arquivos ou diretórios identificados por caminho .... Define o proprietário recursivamente se -R for especificado. |
| 25 | -chgrp [-R] group <path>... Define o grupo proprietário para arquivos ou diretórios identificados por caminho .... Define o grupo recursivamente se -R for especificado. |
| 26 | -help <cmd-name> Retorna informações de uso para um dos comandos listados acima. Você deve omitir o caractere '-' inicial em cmd. |