Seu trabalho é uma boa opção para o HPC Cache do Azure?

O HPC Cache do Azure pode acelerar o acesso aos dados para trabalhos de computação de alto desempenho em uma variedade de disciplinas. Mas não é perfeito para todos os tipos de fluxos de trabalho. Este artigo fornece diretrizes de como decidir se o HPC Cache é uma boa opção para suas necessidades.

O artigo visão geral também fornece uma breve estrutura de tópicos de quando usar o HPC Cache do Azure e alguns exemplos de casos de uso.

Leia também este artigo sobre como fazer uso efetivo do armazenamento de blobs montado em NFS.

Aplicativos NFS versão 3.0

O HPC Cache do Azure dá suporte somente a clientes NFS 3.0.

Alta proporção de leitura em relação à gravação

As cargas de trabalho em que os clientes de computação fazem mais leitura do que gravam geralmente são boas candidatas para um cache. Por exemplo, se a taxa de leitura para gravação for 80/20 ou 70/30, o HPC Cache do Azure poderá ajudar atendendo arquivos solicitados com frequência do cache em vez de ter que buscá-los do armazenamento remoto várias vezes.

Buscar um arquivo e armazená-lo no cache pela primeira vez apresenta uma pequena latência adicional em comparação a uma solicitação normal de cliente diretamente no armazenamento, assim, o aumento de eficiência ocorre na próxima vez que um cliente solicitar o mesmo arquivo. Isso é especialmente verdadeiro para arquivos grandes. Se cada solicitação de cliente for exclusiva, o impacto do HPC Cache será limitado. Mas quanto maior o arquivo, melhor será o desempenho ao longo do tempo após o primeiro acesso.

Carga de trabalho analítica baseada em arquivo

O HPC Cache do Azure é ideal para um pipeline que usa dados baseados em arquivo e é executado em um grande número de clientes de computação, especialmente se os clientes de computação forem máquinas virtuais do Azure. Ele pode ajudar a corrigir o desempenho lento ou inconsistente causado por longos tempos de acesso a arquivos.

Acesso a dados remotos

O HPC Cache do Azure pode ajudar a reduzir a latência se sua carga de trabalho precisar acessar dados remotos que não podem ser movidos mais perto dos recursos de computação. Por exemplo, seus registros podem estar na extremidade distante de um ambiente wan, em uma região diferente do Azure ou em um data center do cliente. (Às vezes, isso é chamado de "file-bursting", ou "estouro de arquivo".)

Alta carga de solicitações

Se um grande número de clientes solicitar dados da origem ao mesmo tempo, o HPC Cache do Azure poderá acelerar o acesso a arquivos. Por exemplo, quando usado com um cluster de computação de alto desempenho, o HPC Cache do Azure fornece escalabilidade para um alto número de solicitações simultâneas por meio do cache.

Os recursos de computação estão localizados no Azure

As máquinas virtuais do Azure são uma resposta escalonável e econômica para a carga de trabalho de computação de alto desempenho. O HPC Cache do Azure pode ajudar trazendo as informações necessárias para eles, especialmente se os dados originais forem armazenados em um sistema remoto.

Se um cliente quiser executar seu pipeline atual "como está" em máquinas virtuais do Azure, o Azure HPC Cache poderá fornecer uma solução de armazenamento compartilhado (ou cache) baseada em POSIX para escalabilidade.

Usando o HPC Cache do Azure, você não precisa arquitetar novamente o pipeline de trabalho para fazer chamadas nativas para o Armazenamento de Blobs do Azure. Você pode acessar seus dados em seu sistema original ou usar o HPC Cache para movê-los para um novo contêiner de blob.

Próximas Etapas 

  • Last updated on