O que há de novo no Spark?
O que há de novo no Spark?

Vídeo: O que há de novo no Spark?

Vídeo: O que há de novo no Spark?
Vídeo: Olha a Scott Spark aí de Novo - "Part.1" 2024, Novembro
Anonim

Além de correções de bugs, existem 2 novo recursos em Fagulha 2.4: FAGULHA -22239 Funções de janela definidas pelo usuário com Pandas UDF. FAGULHA -22274 Funções de agregação definidas pelo usuário com pandas udf. Nós acreditamos nestes novo recursos irão melhorar ainda mais a adoção do Pandas UDF, e continuaremos melhorando o Pandas UDF nas próximas versões.

Da mesma forma, qual é a versão mais recente do Spark?

História

Versão Data de lançamento original Última versão
2.2 2017-07-11 2.2.3
2.3 2018-02-28 2.3.3
2.4 2018-11-02 2.4.4
Legenda: Versão antiga Versão mais antiga, ainda mantida Versão mais recente Versão de visualização mais recente

Além disso, o Spark SQL é compatível com ANSI? A partir de Fagulha 2.0, Fagulha é ANSI SQL :2003 compatível , que significa Spark SQL apoia SQL operações que não estão disponíveis em outros dialetos.

Aqui, o Spark oferece suporte ao Java 11?

Scala e Java os usuários podem incluir Fagulha em seus projetos usando suas coordenadas Maven e os usuários Python podem instalar Fagulha do PyPI. Fagulha corre em Java 8/ 11 , Scala 2.12, Python 2.7 + / 3.4 + e R 3.1+.

O Spark SQL suporta atualização?

2 respostas. Spark SQL não suporte ATUALIZAÇÃO declarações ainda. Hive começou apoiando ATUALIZAÇÃO desde a versão 0.14 da colmeia. Mas mesmo com o Hive, suporta atualizações / deleta apenas nas tabelas que Apoio, suporte transações, é mencionado na documentação da colmeia.

Recomendado: