map(func)

Retorna um novo conjunto de dados distribuído, formado pela passagem de cada elemento da fonte por meio de uma função func.

filter(func)

Retorna um novo conjunto de dados formado selecionando os elementos da fonte em que func retorna verdadeiro.

flatMap(func)

Semelhante ao map, mas cada item de entrada pode ser mapeado para 0 ou mais itens de saída (portanto, func deve retornar um Seq em vez de um único item).

mapPartitions(func)

Semelhante ao map, mas é executado separadamente em cada partição (bloco) do RDD, então func deve ser do tipo Iterator <T> ⇒ Iterator <U> quando executado em um RDD do tipo T.

mapPartitionsWithIndex(func)

Semelhante às partições de mapas, mas também fornece func com um valor inteiro representando o índice da partição, então func deve ser do tipo (Int, Iterator <T>) ⇒ Iterator <U> ao executar em um RDD do tipo T.

sample(withReplacement, fraction, seed)

Experimente um fraction dos dados, com ou sem substituição, usando uma determinada semente do gerador de número aleatório.

union(otherDataset)

Retorna um novo conjunto de dados que contém a união dos elementos no conjunto de dados de origem e o argumento.

intersection(otherDataset)

Retorna um novo RDD que contém a interseção de elementos no conjunto de dados de origem e o argumento.

distinct([numTasks])

Retorna um novo conjunto de dados que contém os elementos distintos do conjunto de dados de origem.

groupByKey([numTasks])

Quando chamado em um conjunto de dados de pares (K, V), retorna um conjunto de dados de pares (K, Iteráveis ​​<V>).

Note - Se você estiver agrupando para realizar uma agregação (como uma soma ou média) em cada chave, o uso de reduceByKey ou aggregateByKey resultará em um desempenho muito melhor.

reduceByKey(func, [numTasks])

Quando chamado em um conjunto de dados de pares (K, V), retorna um conjunto de dados de pares (K, V) onde os valores de cada chave são agregados usando a função de redução fornecida func , que deve ser do tipo (V, V) ⇒ V Como em groupByKey, o número de tarefas de redução é configurável por meio de um segundo argumento opcional.

aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])

Quando chamado em um conjunto de dados de pares (K, V), retorna um conjunto de dados de pares (K, U) onde os valores de cada chave são agregados usando as funções de combinação fornecidas e um valor neutro "zero". Permite um tipo de valor agregado diferente do tipo de valor de entrada, evitando alocações desnecessárias. Como em groupByKey, o número de tarefas de redução é configurável por meio de um segundo argumento opcional.

sortByKey([ascending], [numTasks])

Quando chamado em um conjunto de dados de pares (K, V) onde K implementa Ordered, retorna um conjunto de dados de pares (K, V) classificados por chaves em ordem crescente ou decrescente, conforme especificado no argumento ascendente booleano.

join(otherDataset, [numTasks])

Quando chamado em conjuntos de dados do tipo (K, V) e (K, W), retorna um conjunto de dados de pares (K, (V, W)) com todos os pares de elementos para cada chave. As junções externas são suportadas por leftOuterJoin, rightOuterJoin e fullOuterJoin.

cogroup(otherDataset, [numTasks])

Quando chamado em conjuntos de dados do tipo (K, V) e (K, W), retorna um conjunto de dados de tuplas (K, (Iterable <V>, Iterable <W>)). Esta operação também é chamada de grupo com.

cartesian(otherDataset)

Quando chamado em conjuntos de dados dos tipos T e U, retorna um conjunto de dados de pares (T, U) (todos os pares de elementos).

pipe(command, [envVars])

Canalize cada partição do RDD por meio de um comando shell, por exemplo, um script Perl ou bash. Os elementos RDD são gravados no stdin do processo e as linhas de saída do stdout são retornadas como um RDD de strings.

coalesce(numPartitions)

Diminua o número de partições no RDD para numPartitions. Útil para executar operações com mais eficiência após filtrar um grande conjunto de dados.

repartition(numPartitions)

Reorganize os dados no RDD aleatoriamente para criar mais ou menos partições e equilibrá-los entre elas. Isso sempre embaralha todos os dados pela rede.

repartitionAndSortWithinPartitions(partitioner)

Reparticione o RDD de acordo com o particionador fornecido e, dentro de cada partição resultante, classifique os registros por suas chaves. Isso é mais eficiente do que chamar a repartição e, em seguida, classificar dentro de cada partição, porque pode empurrar a classificação para o mecanismo de embaralhamento.

reduce(func)

Agregue os elementos do conjunto de dados usando uma função func(que recebe dois argumentos e retorna um). A função deve ser comutativa e associativa para que possa ser calculada corretamente em paralelo.

collect()

Retorna todos os elementos do conjunto de dados como uma matriz no programa de driver. Isso geralmente é útil após um filtro ou outra operação que retorna um subconjunto suficientemente pequeno de dados.

count()

Retorna o número de elementos no conjunto de dados.

first()

Retorna o primeiro elemento do conjunto de dados (semelhante a take (1)).

take(n)

Retorna uma matriz com o primeiro n elementos do conjunto de dados.

takeSample (withReplacement,num, [seed])

Retorna uma matriz com uma amostra aleatória de num elementos do conjunto de dados, com ou sem substituição, opcionalmente pré-especificando uma semente do gerador de número aleatório.

takeOrdered(n, [ordering])

Retorna o primeiro n elementos do RDD usando sua ordem natural ou um comparador personalizado.

saveAsTextFile(path)

Grava os elementos do conjunto de dados como um arquivo de texto (ou conjunto de arquivos de texto) em um determinado diretório no sistema de arquivos local, HDFS ou qualquer outro sistema de arquivos compatível com Hadoop. Spark chama toString em cada elemento para convertê-lo em uma linha de texto no arquivo.

saveAsSequenceFile(path) (Java and Scala)

Grava os elementos do conjunto de dados como um Hadoop SequenceFile em um determinado caminho no sistema de arquivos local, HDFS ou qualquer outro sistema de arquivos compatível com Hadoop. Isso está disponível em RDDs de pares chave-valor que implementam a interface gravável do Hadoop. No Scala, ele também está disponível em tipos que são implicitamente conversíveis em graváveis ​​(o Spark inclui conversões para tipos básicos como Int, Double, String, etc.).

saveAsObjectFile(path) (Java and Scala)

Grava os elementos do conjunto de dados em um formato simples usando serialização Java, que pode então ser carregado usando SparkContext.objectFile ().

countByKey()

Disponível apenas em RDDs do tipo (K, V). Retorna um hashmap de pares (K, Int) com a contagem de cada chave.

foreach(func)

Executa uma função funcem cada elemento do conjunto de dados. Isso geralmente é feito para efeitos colaterais, como atualizar um acumulador ou interagir com sistemas de armazenamento externo.

Note- modificar variáveis ​​diferentes de Accumulators fora de foreach () pode resultar em comportamento indefinido. Consulte Noções básicas sobre fechamentos para obter mais detalhes.

Entradas de caminho de classe extras para passar ao motorista.

Observe que os jars adicionados com --jars são incluídos automaticamente no caminho de classe.

count()

Número de elementos do RDD.

Mean()

Média dos elementos do RDD.

Sum()

Valor total dos elementos do RDD.

Max()

Valor máximo entre todos os elementos do RDD.

Min()

Valor mínimo entre todos os elementos do RDD.

Variance()

Variância dos elementos.

Stdev()

Desvio padrão.