Apache Pig - TOP ()
o TOP() função do Pig Latin é usada para obter o topo Ntuplas de uma bolsa. Para esta função, como entradas, temos que passar uma relação, o número de tuplas que queremos e o nome da coluna cujos valores estão sendo comparados. Esta função retornará um saco contendo as colunas necessárias.
Sintaxe
A seguir está a sintaxe da função TOP().
grunt> TOP(topN,column,relation)
Exemplo
Suponha que temos um arquivo chamado employee_details.txt no diretório HDFS /pig_data/, com o seguinte conteúdo.
employee_details.txt
001,Robin,22,newyork
002,BOB,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London
005,David,23,Bhuwaneshwar
006,Maggy,22,Chennai
007,Robert,22,newyork
008,Syam,23,Kolkata
009,Mary,25,Tokyo
010,Saran,25,London
011,Stacy,25,Bhuwaneshwar
012,Kelly,22,Chennai
Carregamos este arquivo no Pig com o nome da relação emp_data como mostrado abaixo.
grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/ employee_details.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, city:chararray);
Agrupe a relação emp_data por idade, e armazená-lo na relação emp_group.
grunt> emp_group = Group emp_data BY age;
Verifique a relação emp_group usando o Dump operator como mostrado abaixo.
grunt> Dump emp_group;
(22,{(12,Kelly,22,Chennai),(7,Robert,22,newyork),(6,Maggy,22,Chennai),(1,Robin, 22,newyork)})
(23,{(8,Syam,23,Kolkata),(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23, Kolkata)})
(25,{(11,Stacy,25,Bhuwaneshwar),(10,Saran,25,London),(9,Mary,25,Tokyo),(4,Sara, 25,London)})
Agora, você pode obter os dois primeiros registros de cada grupo organizados em ordem crescente (based on id) como mostrado abaixo.
grunt> data_top = FOREACH emp_group {
top = TOP(2, 0, emp_data);
GENERATE top;
}
Neste exemplo, estamos recuperando as 2 principais tuplas de um grupo com maior id. Uma vez que estamos recuperando as 2 principais tuplas com base noid, estamos passando o índice do id do nome da coluna como segundo parâmetro da função TOP ().
Verificação
Você pode verificar o conteúdo do data_top relação usando o Dump operador como mostrado abaixo.
grunt> Dump data_top;
({(7,Robert,22,newyork),(12,Kelly,22,Chennai)})
({(5,David,23,Bhuwaneshwar),(8,Syam,23,Kolkata)})
({(10,Saran,25,London),(11,Stacy,25,Bhuwaneshwar)})