Apache NiFi - Proveniência de Dados

O Apache NiFi registra e armazena todas as informações sobre os eventos que ocorrem nos dados ingeridos no fluxo. O repositório de proveniência de dados armazena essas informações e fornece IU para pesquisar essas informações de evento. A proveniência dos dados também pode ser acessada para nível de NiFi completo e nível de processador.

A tabela a seguir lista os diferentes campos na lista de eventos de Proveniência de Dados NiFi com os seguintes campos -

S.No. Nome do Campo Descrição
1 Data hora Data e hora do evento.
2 Tipo Tipo de evento como 'CRIAR'.
3 FlowFileUuid UUID do arquivo de fluxo no qual o evento é executado.
4 Tamanho Tamanho do arquivo de fluxo.
5 Nome do componente Nome do componente que executou o evento.
6 Tipo de Componente Tipo de componente.
7 Mostrar linhagem A última coluna tem o ícone show lineage, que é usado para ver a linhagem do flowfile conforme mostrado na imagem abaixo.

Para obter mais informações sobre o evento, o usuário pode clicar no ícone de informações presente na primeira coluna da IU da NiFi Data Provenance.

Existem algumas propriedades no arquivo nifi.properties, que são usadas para gerenciar o repositório NiFi Data Provenance.

S.No. Nome da propriedade Valor padrão Descrição
1 nifi.provenance.repository.directory.default ./provenance_repository Para especificar o caminho padrão de proveniência dos dados NiFi.
2 nifi.provenance.repository.max.storage.time 24 horas Especificar o tempo máximo de retenção da proveniência dos dados NiFi.
3 nifi.provenance.repository.max.storage.size 1 GB Para especificar o armazenamento máximo de proveniência de dados NiFi.
4 nifi.provenance.repository.rollover.time 30 segs Para especificar o tempo de rollover da proveniência dos dados NiFi.
5 nifi.provenance.repository.rollover.size 100 MB Para especificar o tamanho de rollover da proveniência dos dados NiFi.
6 nifi.provenance.repository.indexed.fields EventType, FlowFileUUID, Filename, ProcessorID, Relationship Para especificar os campos usados ​​para pesquisar e indexar a proveniência dos dados NiFi.