Apache Pig - DIFF ()
o DIFF()A função Pig Latin é usada para comparar dois sacos (campos) em uma tupla. Leva dois campos de uma tupla como entrada e os corresponde. Se eles forem iguais, ele retorna um saco vazio. Se eles não corresponderem, ele encontra os elementos que existem em um campo (saco) e não são encontrados no outro, e retorna esses elementos envolvendo-os em um saco.
Sintaxe
Dada a seguir está a sintaxe do DIFF() função.
grunt> DIFF (expression, expression)
Exemplo
Geralmente o DIFF()função compara dois sacos em uma tupla. O exemplo a seguir é dado, aqui criamos duas relações, agrupamos-as e calculamos a diferença entre elas.
Suponha que temos dois arquivos, a saber emp_sales.txt e emp_bonus.txt no diretório HDFS /pig_data/como mostrado abaixo. oemp_sales.txt contém os detalhes dos funcionários do departamento de vendas e o emp_bonus.txt contém os detalhes do funcionário que recebeu bônus.
emp_sales.txt
1,Robin,22,25000,sales
2,BOB,23,30000,sales
3,Maya,23,25000,sales
4,Sara,25,40000,sales
5,David,23,45000,sales
6,Maggy,22,35000,sales
emp_bonus.txt
1,Robin,22,25000,sales
2,Jaya,23,20000,admin
3,Maya,23,25000,sales
4,Alia,25,50000,admin
5,David,23,45000,sales
6,Omar,30,30000,admin
E carregamos esses arquivos no Pig, com os nomes das relações emp_sales e emp_bonus respectivamente.
grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
Agrupe os registros / tuplas das relações emp_sales e emp_bonus com a chave sno, usando o operador COGROUP conforme mostrado abaixo.
grunt> cogroup_data = COGROUP emp_sales by sno, emp_bonus by sno;
Verifique a relação cogroup_data usando o DUMP operador como mostrado abaixo.
grunt> Dump cogroup_data;
(1,{(1,Robin,22,25000,sales)},{(1,Robin,22,25000,sales)})
(2,{(2,BOB,23,30000,sales)},{(2,Jaya,23,20000,admin)})
(3,{(3,Maya,23,25000,sales)},{(3,Maya,23,25000,sales)})
(4,{(4,Sara,25,40000,sales)},{(4,Alia,25,50000,admin)})
(5,{(5,David,23,45000,sales)},{(5,David,23,45000,sales)})
(6,{(6,Maggy,22,35000,sales)},{(6,Omar,30,30000,admin)})
Calculando a diferença entre duas relações
Vamos agora calcular a diferença entre as duas relações usando DIFF() função e armazená-lo na relação diff_data como mostrado abaixo.
grunt> diff_data = FOREACH cogroup_data GENERATE DIFF(emp_sales,emp_bonus);
Verificação
Verifique a relação diff_data usando o operador DUMP conforme mostrado abaixo.
grunt> Dump diff_data;
({})
({(2,BOB,23,30000,sales),(2,Jaya,23,20000,admin)})
({})
({(4,Sara,25,40000,sales),(4,Alia,25,50000,admin)})
({})
({(6,Maggy,22,35000,sales),(6,Omar,30,30000,admin)})
o diff_data relação terá uma tupla vazia se os registros em emp_bonus e emp_salespartida. Em outros casos, ele conterá tuplas de ambas as relações (tuplas que diferem).
Por exemplo, se você considerar que os registros têm sno Como 1, então você vai encontrá-los iguais em ambas as relações ((1,Robin,22,25000,sales), (1,Robin,22,25000,sales)) Portanto, nodiff_data relação, que é o resultado de DIFF() função, você obterá uma tupla vazia para sno 1.