Apache Pig - BinStorage ()

o BinStorage() A função é usada para carregar e armazenar os dados no Pig usando formato legível por máquina. BinStorge()no Pig é geralmente usado para armazenar dados temporários gerados entre as tarefas MapReduce. Ele suporta vários locais como entrada.

Sintaxe

Dada a seguir está a sintaxe do BinStorage() função.

grunt> BinStorage();

Exemplo

Suponha que temos um arquivo chamado stu_data.txt no diretório HDFS /pig_data/ como mostrado abaixo.

Stu_data.txt

001,Rajiv_Reddy,21,Hyderabad 
002,siddarth_Battacharya,22,Kolkata 
003,Rajesh_Khanna,22,Delhi 
004,Preethi_Agarwal,21,Pune 
005,Trupthi_Mohanthy,23,Bhuwaneshwar 
006,Archana_Mishra,23,Chennai 
007,Komal_Nayak,24,trivendram 
008,Bharathi_Nambiayar,24,Chennai

Vamos carregar esses dados no Pig em uma relação conforme mostrado abaixo.

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/stu_data.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, age:int, city:chararray);

Agora podemos store esta relação no diretório HDFS denominado /pig_data/ usando o BinStorage() função.

grunt> STORE student_details INTO 'hdfs://localhost:9000/pig_Output/mydata' USING BinStorage();

Depois de executar a instrução acima, a relação é armazenada no diretório HDFS fornecido. Você pode ver usando o HDFSls command como mostrado abaixo.

$ hdfs dfs -ls hdfs://localhost:9000/pig_Output/mydata/
  
Found 2 items 
-rw-r--r--   1 Hadoop supergroup       0 2015-10-26 16:58
hdfs://localhost:9000/pig_Output/mydata/_SUCCESS

-rw-r--r--   1 Hadoop supergroup        372 2015-10-26 16:58
hdfs://localhost:9000/pig_Output/mydata/part-m-00000

Agora, carregue os dados do arquivo part-m-00000.

grunt> result = LOAD 'hdfs://localhost:9000/pig_Output/b/part-m-00000' USING BinStorage();

Verifique o conteúdo da relação conforme mostrado abaixo

grunt> Dump result; 

(1,Rajiv_Reddy,21,Hyderabad) 
(2,siddarth_Battacharya,22,Kolkata) 
(3,Rajesh_Khanna,22,Delhi) 
(4,Preethi_Agarwal,21,Pune) 
(5,Trupthi_Mohanthy,23,Bhuwaneshwar) 
(6,Archana_Mishra,23,Chennai) 
(7,Komal_Nayak,24,trivendram) 
(8,Bharathi_Nambiayar,24,Chennai)

↰ Previous page