Índice:

Onde posso encontrar logs de faísca?
Onde posso encontrar logs de faísca?

Vídeo: Onde posso encontrar logs de faísca?

Vídeo: Onde posso encontrar logs de faísca?
Vídeo: FAÍSCA FEZ UMA CIRURGIA!! 2024, Abril
Anonim

Registro diretórios

O local padrão de SPARK_WORKER_LOG_DIR é / var / registro / fagulha /trabalhador. O padrão registro diretório para iniciar o Fagulha O servidor SQL Thrift é $ HOME / fagulha -thrift-server. Fagulha Shell e aplicativo Histórico são enviados para o console. Registro arquivos de configuração estão localizados no mesmo diretório que fagulha -env.sh.

Com relação a isso, como obtenho logs de faísca?

Fagulha trabalho ou aplicação na página Analisar, você pode acessar o Histórico por meio da IU do aplicativo e Fagulha IU do aplicativo. página, você pode acessar a Histórico através do Fagulha IU do aplicativo. Você também pode adicionar Histórico para identificar os erros e exceções em Fagulha falhas de trabalho ou aplicativo.

Da mesma forma, como você verifica os logs do fio? Vendo um registro o arquivo Histórico de um aplicativo mestre também pode ser visualizado em um navegador na IU do gerenciador de recursos em https:// $ { fio .resourcemanager.webapp.address} / cluster (https:// localhost: 8088 em um único nó "cluster").

Da mesma forma, alguém pode perguntar, como obtenho os logs do executor no Spark?

Responder

  1. Instruções para obter os logs do executor do Spark:
  2. Para Amabari - 1) Vá para o Spark Service e a guia Configs: 2) Encontre a entrada "Advanced spark-log4j-properties".
  3. Para Cloudera - Defina: spark.executor.extraJavaOptions = -Dlog4j.configuration = file: /etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Como encontro o URL do meu servidor Spark History?

Por exemplo, para o servidor de história , eles normalmente seriam acessíveis em https:// < servidor - url >: 18080 / api / v1, e para um aplicativo em execução, em https:// localhost: 4040 / api / v1. Na API, um aplicativo é referenciado por seu ID de aplicativo, [app-id].

Recomendado: