PySpark - SparkConf

Para executar um aplicativo Spark no local / cluster, você precisa definir algumas configurações e parâmetros, é nisso que o SparkConf ajuda. Ele fornece configurações para executar um aplicativo Spark. O bloco de código a seguir contém os detalhes de uma classe SparkConf para PySpark.

class pyspark.SparkConf (
   loadDefaults = True, 
   _jvm = None, 
   _jconf = None
)

Inicialmente, criaremos um objeto SparkConf com SparkConf (), que carregará os valores de spark.*Propriedades do sistema Java também. Agora você pode definir diferentes parâmetros usando o objeto SparkConf e seus parâmetros terão prioridade sobre as propriedades do sistema.

Em uma classe SparkConf, existem métodos setter, que oferecem suporte ao encadeamento. Por exemplo, você pode escreverconf.setAppName(“PySpark App”).setMaster(“local”). Depois de passar um objeto SparkConf para o Apache Spark, ele não pode ser modificado por nenhum usuário.

A seguir estão alguns dos atributos mais comumente usados ​​do SparkConf -

  • set(key, value) - Para definir uma propriedade de configuração.

  • setMaster(value) - Para definir o URL mestre.

  • setAppName(value) - Para definir um nome de aplicativo.

  • get(key, defaultValue=None) - Para obter um valor de configuração de uma chave.

  • setSparkHome(value) - Para definir o caminho de instalação do Spark em nós de trabalho.

Vamos considerar o seguinte exemplo de uso do SparkConf em um programa PySpark. Neste exemplo, estamos definindo o nome do aplicativo spark comoPySpark App e definir o URL mestre de um aplicativo Spark para → spark://master:7077.

O bloco de código a seguir contém as linhas, quando elas são adicionadas ao arquivo Python, ele define as configurações básicas para executar um aplicativo PySpark.

---------------------------------------------------------------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077")
sc = SparkContext(conf=conf)
---------------------------------------------------------------------------------------