play_arrowPapo Cloud 319 – O Mercado de Cloud no Brasil – Mauro Souza – Edge UOL Vinícius Perrott
play_arrowPapo Cloud 318 – Transformando a Saúde com Tecnologia – Marcos Gonçalves – Beth Health Tech Vinícius Perrott
play_arrowPapo Cloud 315 – Certificações Red Hat – Cristina Crepalde – Red Hat Vinícius Perrott
play_arrowPapo Cloud 314 – Descomplicando a Cidadania Europeia – Rodrigo Gianesini – Cidadania4U Vinícius Perrott
Ao concluir todos os testes do MLPerf, Blackwell aumenta o desempenho do treinamento para aplicações com tecnologia de IA
As aplicações de IA generativa que usam texto, código de computador, cadeias de proteínas, resumos, vídeos e até mesmo gráficos 3D exigem computação acelerada em escala de data center para treinar com eficiência os grandes modelos de linguagem que os alimentam.
Nos benchmarks industriais do MLPerf Training 4.1, a plataforma NVIDIA Blackwell apresentou resultados impressionantes em cargas de trabalho em todos os testes – e até 2,2x mais desempenho por GPU em benchmarks LLM, incluindo Llama 2 70B e GPT-3 175B.
Além disso, os envios da NVIDIA na plataforma NVIDIA Hopper continuaram a manter registros em escala em todos os benchmarks, incluindo um envio com 11.616 GPUs Hopper no benchmark GPT-3 175B.
Saltos e limites com a Blackwell
O primeiro envio de treinamento da Blackwell para o MLCommons Consortium – que cria testes padronizados, imparciais e rigorosamente revisados por pares para os participantes do setor destaca como a arquitetura está avançando no desempenho do treinamento de IA generativa.
Por exemplo, a arquitetura inclui novos kernels que fazem uso mais eficiente dos Tensor Cores. Os kernels são operações matemáticas otimizadas e criadas para fins específicos, como multiplicações de matrizes, que estão no centro de muitos algoritmos de deep learning.
A maior taxa de transferência de computação por GPU da Blackwell e a memória de alta largura de banda significativamente maior e mais rápida permitem que ela execute o benchmark GPT-3 175B em menos GPUs e, ao mesmo tempo obtendo excelente desempenho por GPU.
Aproveitando a memória HBM3e de maior largura de banda, apenas 64 GPUs Blackwell foram executadas no benchmark GPT-3 LLM sem comprometer o desempenho por GPU. O mesmo benchmark executado usando o Hopper precisou de 256 GPUs para atingir o mesmo desempenho.
Os resultados do treinamento da Blackwell seguem um envio anterior para o MLPerf Inference 4.1, no qual Blackwell forneceu até 4 vezes mais desempenho de inferência LLM em comparação com a geração Hopper. Aproveitando a precisão FP4 da arquitetura Blackwell, juntamente com o Sistema de Quantização NVIDIA QUASAR, a apresentação revelou um desempenho poderoso ao mesmo tempo em que atendia aos requisitos de precisão do benchmark.
Otimização implacável
As plataformas NVIDIA passam por desenvolvimento contínuo de software, acumulando desempenho e melhorias nos recursos de treinamento e inferência para uma ampla variedade de frameworks, modelos e aplicações.
Nessa rodada de envios de treinamento do MLPerf, o Hopper apresentou uma melhoria de 1.3x no desempenho de treinamento por GPT-3 175B por GPU desde a introdução do benchmark.
A NVIDIA também apresentou resultados em grande escala no benchmark GPT-3 175B usando 11.616 GPUs Hopper conectadas com a comunicação GPU-para-GPU de alta largura de banda NVIDIA NVLink e NVSwitch e a rede NVIDIA Quantum-2 InfiniBand.
As GPUs NVIDIA Hopper mais do que triplicaram a escala e o desempenho no benchmark GPT-3 175B desde o ano passado. Além disso, a NVIDIA aumentou seu desempenho na mesma escala apresentada na rodada anterior em até 26% no benchmark de ajuste fino LoRA Llama 2 70B.
O trabalho contínuo da NVIDIA na otimização de suas plataformas de computação acelerada permite melhorias contínuas nos resultados do teste MLPerf – aumentando o desempenho em software em contêineres, trazendo computação mais poderosa para parceiros e clientes em plataformas existentes e proporcionando mais retorno sobre seu investimento na plataforma.
“Esse resultado reafirma o compromisso que a NVIDIA tem em oferecer uma plataforma de computação acelerada e com alto desempenho, que atende diversas demandas com precisão. Nosso trabalho permite que clientes e parceiros aproveitem ao máximo toda tecnologia disponível em nossa plataforma. Estamos empolgados em impulsionar esse mercado, fornecendo soluções cada vez mais modernas e eficientes”, ressalta Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Parcerias
Os parceiros da NVIDIA, incluindo fabricantes de sistemas e provedores de serviços em nuvem como ASUSTek, Azure, Cisco, Dell, Fujitsu, Giga Computing, Lambda Labs, Lenovo, Oracle Cloud, Quanta Cloud Technology e Supermicro, também enviaram resultados impressionantes para o MLPerf nesta última rodada.
Membro fundador do MLCommons, a NVIDIA considera vital o papel dos benchmarks padrão do setor e das práticas recomendadas de benchmarking na computação de IA como vitais. Com acesso a comparações simplificadas e revisadas por pares de plataformas de IA e HPC, as empresas podem acompanhar as mais recentes inovações em computação de IA e acessar dados cruciais que podem ajudar a orientar importantes decisões de investimento em plataformas.
Sobre a NVIDIA
Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de games para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de computação full-stack com soluções em escala de data center que estão revolucionando o setor. Mais informações em: https://blog.nvidia.com.br/.
Deixe um comentário aqui em baixo ou lá no grupo Para Cloud Makers ()
E aí?!
Tá na Nuvem?
“Nossos clientes buscam agilizar a implementação de seus sistemas de IA e obter valor mais rapidamente, tudo de forma mais eficiente e aproveitando nossas soluções de HPC líderes no setor,
Comentários (0)