Apache Pig - Manipulação de Compressão

Podemos carregar e armazenar dados compactados no Apache Pig usando as funções BinStorage() e TextLoader().

Exemplo

Suponha que temos um arquivo chamado employee.txt.zip no diretório HDFS /pigdata/. Então, podemos carregar o arquivo compactado no pig como mostrado abaixo.

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

Da mesma forma, podemos armazenar os arquivos compactados no pig como mostrado abaixo.

Using PigStorage:
  
grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');