comandos shell Hadoop Distributed File System

o shell Hadoop

Conteúdo

Video: shell scripting - variáveis de ambiente e comandos env, unset e echo - 02 - linux
Video: encontrar arquivos no linux com find

é uma família de comandos que podem ser executados a partir de linha de comando do seu sistema operacional. O escudo tem dois conjuntos de comandos: um para manipulação de arquivos (semelhante em propósito e sintaxe para os comandos Linux que muitos de nós conhecemos e amamos) e outra para administração Hadoop. A lista a seguir resume o primeiro conjunto de comandos para você, indicando que o comando faz, bem como o uso e exemplos, quando aplicável.

gato: caminhos de origem de cópias até stdout.
Uso: hdfs dfs -cat URI [URI ...]
Exemplo:

hdfs dfs -cat hdfs: /// file1
dfs HDFS-cat arquivo: /// arq2 / user / hadoop / file3

chgrp: Altera a associação grupo de arquivos. Com -R, faz a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o proprietário do arquivo ou o superusuário.

Video: Shell Scripting - Variáveis de Ambiente e comandos env, unset e echo - 02 - Linux

Uso: hdfs dfs -chgrp [-R] GRUPO URI [URI ...]

chmod: Altera as permissões de arquivos. Com -R, faz a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o proprietário do arquivo ou o superusuário

Uso: hdfs dfs -chmod [-R] URI [URI ...]

Exemplo:hdfs dfs -chmod 777teste / data1.txt

chown: Altera o proprietário de arquivos. Com -R, faz a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o superusuário.

Uso: hdfs dfs -chown [-R] [PROPRIETÁRIO] [: [GRUPO]] URI [URI]

Exemplo:hdfs dfs -chown -R hduser2 / opt / hadoop / logs

copyFromLocal: Funciona de forma semelhante ao colocar comando, exceto que a fonte está restrita a uma referência de arquivo local.

Uso: hdfs dfs -copyFromLocal URI

Exemplo: hdfs dfs de entrada / docs / hdfs data2.txt -copyFromLocal: //localhost/user/rosemary/data2.txt

copyToLocal: Funciona de forma semelhante ao obter comando, exceto que o destino está restrito a uma referência de arquivo local.

Uso: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI

Exemplo: hdfs dfs -copyToLocal data2.txt data2.copy.txt

contagem: Conta o número de diretórios, arquivos e bytes sob os caminhos que correspondem ao padrão especificado.

Uso: hdfs dfs -count [-q]

Exemplo: hdfs dfs -count hdfs: //nn1.example.com/file1 hdfs: //nn2.example.com/file2

cp: Copia um ou mais arquivos de uma fonte especificada para um destino especificado. Se você especificar várias fontes, o destino especificado deve ser um diretório.

Uso: hdfs dfs -cp URI [URI ...]

Exemplo: hdfs dfs -cp / utilizador / hadoop / arq1 / utilizador / hadoop / arq2 / utilizador / hadoop / dir

du: Exibe o tamanho do arquivo especificado, ou os tamanhos de arquivos e diretórios que estão contidos no diretório especificado. Se você especificar o -s opção, exibe um resumo agregado de tamanhos de arquivo em vez de tamanhos de arquivos individuais. Se você especificar o -h opção, formata os tamanhos de arquivo de uma forma “legível”.

Uso: hdfs dfs -du [-s] [-h] URI [URI ...]

Exemplo: hdfs dfs -du / user / hadoop / dir1 / user / hadoop / file1

dus: Exibe um resumo de equivalente arquivo tamanhos-a hdfs dfs -du -s.

Uso: hdfs dfs -dus

expurgar: Esvazia o lixo. Quando você apaga um arquivo, ele não é removido imediatamente do HDFS, mas é renomeado para um arquivo no /Lixo diretório. Enquanto o arquivo permanece lá, você pode recuperá-lo se você mudar de ideia, embora apenas a cópia mais recente do arquivo excluído pode ser restaurado.

Uso: hdfs dfs -expunge

obter: Copia os arquivos para o sistema de arquivos local. Arquivos que falham a verificação de redundância cíclica (CRC) ainda podem ser copiados se você especificar o -ignorecrcopção. O CRC é uma técnica comum para detectar erros de transmissão de dados. arquivos de checksum CRC têm a .CRC extensão e são usados para verificar a integridade dos dados de outro arquivo. Esses arquivos são copiados se você especificar o -CRC opção.

Uso: hdfs dfs -get [-ignorecrc] [-crc]

Exemplo: hdfs dfs -get / user / hadoop / LocalFile file3

getmerge: Concatena os arquivos em srce escreve o resultado para o arquivo de destino local especificado. Para adicionar um caractere de nova linha no final de cada arquivo, especifique o addnl opção.

Uso: hdfs dfs -getmerge [Addnl]

Exemplo:hdfs dfs -getmerge / user / hadoop / mydir / ~ / addnl result_file

ls: Retorna estatísticas para os arquivos especificados ou diretórios.

Uso: hdfs dfs -ls

Exemplo: hdfs dfs -ls / user / hadoop / file1

LSR: Serve como a versão recursiva de ls- semelhante ao comando Unix ls -R.

Uso: hdfs dfs -lsr

Exemplo: hdfs dfs -lsr / utilizador / hadoop

mkdir: Cria diretórios em um ou mais específicos caminhos. O seu comportamento é similar ao Unix mkdir -p comando, que cria todos os diretórios que levam até o diretório especificado se eles já não existem.

Uso: hdfs dfs -mkdir

Exemplo: hdfs dfs -mkdir / utilizador / hadoop / dir5 / temp

moveFromLocal: Funciona de forma semelhante ao colocar comando, exceto que a fonte seja excluído após ter sido copiado.

Uso: hdfs dfs -moveFromLocal

Exemplo: hdfs dfs -moveFromLocal localfile1 localfile2 / user / hadoop / hadoopdir

mv: Move um ou mais arquivos de uma fonte especificada para um destino especificado. Se você especificar várias fontes, o destino especificado deve ser um diretório. Movendo arquivos entre sistemas de arquivos não é permitido.

Uso: hdfs dfs -mv URI [URI ...]

Exemplo: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / arq2

colocar: copia os arquivos do sistema de arquivos local para o sistema de arquivo de destino. Este comando também pode ler a entrada de stdin e escrever para o sistema de arquivo de destino.

Video: Encontrar arquivos no Linux com find

Uso: hdfs dfs -put ...

Exemplo: hdfs dfs -put localfile1 localfile2 / utilizador / hadoop / hadoopdir- hdfs dfs -put - / utilizador / hadoop / hadoopdir (lê a entrada da entrada padrão)

rm: Exclui um ou mais específicos de arquivos. Este comando não exclui diretórios ou arquivos vazios. Para ignorar o lixo (se estiver ativado) e excluir os arquivos especificados imediatamente, especifique o -skipTrash opção.

Uso: hdfs dfs -rm [-skipTrash] URI [URI ...]

Exemplo: hdfs dfs -rm hdfs: //nn.example.com/file9

RMR: Serve como a versão recursiva de -rm.

Uso: hdfs dfs -rmr [-skipTrash] URI [URI ...]

Exemplo: hdfs dfs -rmr / user / hadoop / dir

setrep: Altera o fator de replicação para um arquivo ou diretório especificado. Com -R, faz a mudança de forma recursiva por meio da estrutura de diretórios.

Uso: hdfs dfs -setrep [-R]

Exemplo: hdfs dfs -setrep 3 -R / utilizador / hadoop / dir1

Stat: Exibe informações sobre o caminho especificado.

Uso: hdfs dfs -stat URI [URI ...]

Exemplo: hdfs dfs -stat / user / hadoop / dir1

rabo: Exibe a última kilobyte de um arquivo especificado para stdout. A sintaxe suporta o Unix -f opção, que permite que o arquivo especificado a ser monitorado. À medida que novas linhas são adicionadas ao arquivo por outro processo, tafligir atualiza a exibição.

Uso: hdfs dfs -tail [f] URI

Exemplo: hdfs dfs -tail / user / hadoop / dir1

teste: Retorna atributos do arquivo ou diretório especificado. Especifica -e para determinar se o arquivo ou diretório exists- -z para determinar se o arquivo ou diretório está vazio- e -d para determinar se o URI é um diretório.

Uso: hdfs dfs -teste - [EZD] URI

Exemplo: hdfs dfs -teste / user / hadoop / dir1

texto: Gera um arquivo de origem especificado no formato de texto. formatos de arquivo de entrada válidos são fecho eclair e TextRecordInputStream.

Uso: hdfs dfs -text

Exemplo: hdfs dfs -text /user/hadoop/file8.zip

touchz: Cria um novo arquivo, vazia de tamanho 0 no caminho especificado.

Uso: hdfs dfs -touchz

Exemplo: hdfs dfs -touchz / user / hadoop / file12