Índice:

Como eu inicio meu servidor Spark History?
Como eu inicio meu servidor Spark History?

Vídeo: Como eu inicio meu servidor Spark History?

Vídeo: Como eu inicio meu servidor Spark History?
Vídeo: Exandria Unlimited: Calamity Wrap-Up 2024, Maio
Anonim

Para habilitar o servidor de histórico Spark:

  1. Crie um diretório para logs de eventos no sistema de arquivos DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
  2. Quando o log de eventos está habilitado, o comportamento padrão é que todos os logs sejam salvos, o que faz com que o armazenamento aumente com o tempo.

Além disso, como configuro um servidor Spark History?

Para habilitar o servidor de histórico Spark:

  1. Crie um diretório para logs de eventos no sistema de arquivos DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
  2. Quando o log de eventos está habilitado, o comportamento padrão é que todos os logs sejam salvos, o que faz com que o armazenamento aumente com o tempo.

Da mesma forma, como encontro o URL do meu servidor Spark History? Por exemplo, para o servidor de história , eles normalmente seriam acessíveis em https:// < servidor - url >: 18080 / api / v1, e para um aplicativo em execução, em https:// localhost: 4040 / api / v1. Na API, um aplicativo é referenciado por seu ID de aplicativo, [app-id].

Da mesma forma, o que é o servidor Spark History?

o O servidor de histórico do Spark é uma ferramenta de monitoramento que exibe informações sobre Fagulha formulários. Essa informação é extraído dos dados que os aplicativos gravam por padrão em um diretório no Hadoop Distributed File System (HDFS).

O que é Sparkui?

O Spark Web UI permite que você veja uma lista de etapas e tarefas do agendador, informações ambientais, informações sobre os executores em execução e muito mais. Assista a esta demonstração de 30 minutos para aprender sobre: Componentes e ciclo de vida de um programa Spark. Como seu aplicativo Spark é executado em um cluster Hadoop.

Recomendado: