Índice:

Como posso saber se o Spark está instalado no Linux?
Como posso saber se o Spark está instalado no Linux?

Vídeo: Como posso saber se o Spark está instalado no Linux?

Vídeo: Como posso saber se o Spark está instalado no Linux?
Vídeo: Como instalar programas no Linux? - SUPER FÁCIL! 2024, Maio
Anonim

2 respostas

  1. Abrir Fagulha shell Terminal e digite o comando.
  2. sc.version Ou fagulha -submit --version.
  3. A maneira mais fácil é apenas lançar “ fagulha -shell”na linha de comando. Ele exibirá o.
  4. versão ativa atual de Fagulha .

Além disso, saber é, como faço para saber se o Spark está instalado no Ubuntu?

Instalando Spark no Ubuntu

  1. Baixe a versão mais recente do Spark aqui.
  2. Descompacte o arquivo.
  3. Mova a pasta resultante e crie um link simbólico para que você possa ter várias versões do Spark instaladas.
  4. Teste o shell do Spark.
  5. Talvez Scala não seja sua preferência e você prefira usar Python.

Em segundo lugar, onde o Spark está instalado no EMR? A partir de emr -4,0. 0, todos os aplicativos em EMR estão em / usr / lib. Fagulha está em / usr / lib / fagulha.

Conseqüentemente, como você configura uma centelha?

Passos para instalar o Spark

  1. Etapa 1: verifique se o Java está instalado.
  2. Etapa 2: Certifique-se de que o Scala esteja instalado.
  3. Etapa 3: Baixe o Scala.
  4. Etapa 4: Instale o Scala.
  5. Etapa 5: baixando o Apache Spark.
  6. Etapa 6: Instalando o Spark.
  7. Etapa 7: verifique a instalação do aplicativo Spark em seu sistema.

Eu preciso instalar o Scala para o Spark?

Você irá necessidade usar um compatível Scala versão (2.10. x). Java é obrigatório para Fagulha + muitas outras dependências transitivas ( escala compilador é apenas uma biblioteca para JVM). O PySpark se conecta remotamente (por soquete) à JVM usando Py4J (interoperação Python-Java).

Recomendado: