Apache Flume - Meio Ambiente

Já discutimos a arquitetura do Flume no capítulo anterior. Neste capítulo, vamos ver como baixar e configurar o Apache Flume.

Antes de prosseguir, você precisa ter um ambiente Java em seu sistema. Portanto, antes de mais nada, certifique-se de ter o Java instalado em seu sistema. Para alguns exemplos neste tutorial, usamos o Hadoop HDFS (como coletor). Portanto, recomendamos que você instale o Hadoop junto com o Java. Para coletar mais informações, acesse o link -

Instalando Flume

Em primeiro lugar, baixe a versão mais recente do software Apache Flume do site https://flume.apache.org/.

Passo 1

Abra o site. Clique nodownloadlink no lado esquerdo da página inicial. Isso o levará à página de download do Apache Flume.

Passo 2

Na página de download, você pode ver os links para arquivos binários e de origem do Apache Flume. Clique no link apache-flume-1.6.0-bin.tar.gz

Você será redirecionado para uma lista de mirrors, onde poderá iniciar o download clicando em qualquer um desses mirrors. Da mesma forma, você pode baixar o código-fonte do Apache Flume clicando em apache-flume-1.6.0-src.tar.gz .

etapa 3

Crie um diretório com o nome Flume no mesmo diretório onde os diretórios de instalação do Hadoop, HBase, e outro software foi instalado (se você já tiver instalado algum) conforme mostrado abaixo.

$ mkdir Flume

Passo 4

Extraia os arquivos tar baixados conforme mostrado abaixo.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Etapa 5

Mova o conteúdo do apache-flume-1.6.0-bin.tar arquivo para o Flumediretório criado anteriormente, conforme mostrado abaixo. (Suponha que criamos o diretório Flume no usuário local chamado Hadoop.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Configurando Flume

Para configurar o Flume, temos que modificar três arquivos, a saber, flume-env.sh, flumeconf.properties, e bash.rc.

Configurando o Caminho / Classpath

No .bashrc arquivo, defina a pasta inicial, o caminho e o caminho de classe para Flume como mostrado abaixo.

pasta conf

Se você abrir o conf pasta do Apache Flume, você terá os seguintes quatro arquivos -

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template e
  • log4j.properties.

Agora renomear

  • flume-conf.properties.template arquivo como flume-conf.properties e

  • flume-env.sh.template Como flume-env.sh

flume-env.sh

Abrir flume-env.sh arquivo e definir o JAVA_Home para a pasta onde o Java foi instalado em seu sistema.

Verificando a instalação

Verifique a instalação do Apache Flume navegando pelo bin pasta e digitando o seguinte comando.

$ ./flume-ng

Se você instalou o Flume com sucesso, receberá um prompt de ajuda do Flume conforme mostrado abaixo.