Apache Pig - PluckTuple ()

Depois de realizar operações como join para diferenciar as colunas dos dois esquemas, usamos a função PluckTuple(). Para usar esta função, em primeiro lugar, temos que definir um prefixo de string e filtrar as colunas em uma relação que começa com esse prefixo.

Sintaxe

Dada a seguir está a sintaxe do PluckTuple() função.

DEFINE pluck PluckTuple(expression1) 
DEFINE pluck PluckTuple(expression1,expression3) 
pluck(expression2)

Exemplo

Suponha que temos dois arquivos, a saber emp_sales.txt e emp_bonus.txt no diretório HDFS /pig_data/. oemp_sales.txt contém os detalhes dos funcionários do departamento de vendas e o emp_bonus.txt contém os detalhes do funcionário que recebeu bônus.

emp_sales.txt

1,Robin,22,25000,sales 
2,BOB,23,30000,sales 
3,Maya,23,25000,sales 
4,Sara,25,40000,sales 
5,David,23,45000,sales 
6,Maggy,22,35000,sales

emp_bonus.txt

1,Robin,22,25000,sales 
2,Jaya,23,20000,admin 
3,Maya,23,25000,sales 
4,Alia,25,50000,admin 
5,David,23,45000,sales
6,Omar,30,30000,admin

E carregamos esses arquivos no Pig, com os nomes das relações emp_sales e emp_bonus respectivamente.

grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
	
grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

Junte essas duas relações usando o join operador como mostrado abaixo.

grunt> join_data = join emp_sales by sno, emp_bonus by sno;

Verifique a relação join_data usando o Dump operador.

grunt> Dump join_data;
 
(1,Robin,22,25000,sales,1,Robin,22,25000,sales)
(2,BOB,23,30000,sales,2,Jaya,23,20000,admin)
(3,Maya,23,25000,sales,3,Maya,23,25000,sales)
(4,Sara,25,40000,sales,4,Alia,25,50000,admin) 
(5,David,23,45000,sales,5,David,23,45000,sales) 
(6,Maggy,22,35000,sales,6,Omar,30,30000,admin)

Usando a função PluckTuple ()

Agora, defina a expressão necessária pela qual você deseja diferenciar as colunas usando PluckTupe() função.

grunt> DEFINE pluck PluckTuple('a::');

Filtre as colunas no join_data relação conforme mostrado abaixo.

grunt> data = foreach join_data generate FLATTEN(pluck(*));

Descreva a relação nomeada data como mostrado abaixo.

grunt> Describe data;
 
data: {emp_sales::sno: int, emp_sales::name: chararray, emp_sales::age: int,
   emp_sales::salary: int, emp_sales::dept: chararray, emp_bonus::sno: int,
   emp_bonus::name: chararray, emp_bonus::age: int, emp_bonus::salary: int,
   emp_bonus::dept: chararray}

Uma vez que definimos a expressão como “a::”, as colunas do emp_sales esquema são arrancados como emp_sales::column name e as colunas do emp_bonus esquema são arrancados como emp_bonus::column name

↰ Previous page