O que é Emrfs?
O que é Emrfs?

Vídeo: O que é Emrfs?

Vídeo: O que é Emrfs?
Vídeo: 4.5 Amazon EMR Architecture 2024, Maio
Anonim

O Sistema de Arquivos EMR ( EMRFS ) é uma implementação de HDFS que todos os clusters do Amazon EMR usam para ler e gravar arquivos regulares do Amazon EMR diretamente no Amazon S3. A criptografia de dados permite que você criptografe objetos que EMRFS grava no Amazon S3 e permite EMRFS para trabalhar com objetos criptografados no Amazon S3.

Com relação a isso, qual é a visão consistente do Emrfs?

o Visão consistente EMRFS cria e usa metadados em uma tabela Amazon DynamoDB para manter um visão consistente de seus objetos S3. Esta tabela rastreia certas operações, mas não contém nenhum de seus dados.

qual é a diferença entre s3 e s3a? Isto é o diferença entre os três: s3 é uma sobreposição baseada em blocos no topo da Amazon S3 , enquanto s3n / s3a não são. Eles são baseados em objetos. s3n suporta objetos de até 5 GB quando o tamanho é a preocupação, enquanto s3a suporta objetos de até 5 TB e tem desempenho superior.

Consequentemente, o EMR usa HDFS?

EMR Sistema de Arquivos (EMRFS) Você pode usar qualquer HDFS ou Amazon S3 como o sistema de arquivos em seu cluster. Na maioria das vezes, Amazon S3 é usados para armazenar dados de entrada e saída e os resultados intermediários são armazenados em HDFS.

O que é s3a?

S3A (Esquema URI: s3a ) Um sucessor do S3 Nativo, s3n fs, o S3a : o sistema usa as bibliotecas da Amazon para interagir com S3 . Isso permite S3a para oferecer suporte a arquivos maiores (limite máximo de 5 GB), operações de desempenho superior e muito mais.

Recomendado: