Batata quente: a Nvidia até agora dominou o negócio de aceleradores de IA no mercado de servidores e data centers. Agora, a empresa está aprimorando suas ofertas de software para oferecer uma experiência aprimorada de IA aos usuários de GeForce e outras GPUs RTX em sistemas de desktop e estações de trabalho.
A Nvidia lançará em breve o TensorRT-LLM, uma nova biblioteca de código aberto projetada para acelerar algoritmos generativos de IA em GeForce RTX e GPUs RTX profissionais. Os mais recentes chips gráficos da corporação Santa Clara incluem processadores de IA dedicados chamados Tensor Cores, que agora fornecem aceleração de hardware de IA nativa para mais de 100 milhões de PCs e estações de trabalho com Windows.
Em um sistema equipado com RTX, o TensorRT-LLM pode aparentemente fornecer desempenho de inferência até 4x mais rápido para os mais recentes e avançados modelos de linguagem grande (LLM) de IA, como Llama 2 e Code Llama. Embora o TensorRT tenha sido lançado inicialmente para aplicativos de data center, agora está disponível para PCs Windows equipados com poderosos chips gráficos RTX.
Os LLMs modernos impulsionam a produtividade e são fundamentais para o software de IA, conforme observado pela Nvidia. Graças ao TensorRT-LLM (e a uma GPU RTX), os LLMs podem operar com mais eficiência, resultando em uma experiência de usuário significativamente melhorada. Chatbots e assistentes de código podem produzir vários resultados exclusivos de preenchimento automático simultaneamente, permitindo que os usuários selecionem a melhor resposta da saída.
A nova biblioteca de código aberto também é benéfica ao integrar um algoritmo LLM com outras tecnologias, conforme observado pela Nvidia. Isso é particularmente útil em cenários de geração aumentada de recuperação (RAG), onde um LLM é combinado com uma biblioteca de vetores ou banco de dados. As soluções RAG permitem que um LLM gere respostas com base em conjuntos de dados específicos (como e-mails de usuários ou artigos de sites), permitindo respostas mais direcionadas e relevantes.
A Nvidia anunciou que o TensorRT-LLM estará disponível em breve para download no site do desenvolvedor da Nvidia. A empresa já fornece modelos TensorRT otimizados e uma demonstração RAG com novidades da GeForce em ngc.nvidia.com e GitHub.
Embora o TensorRT seja projetado principalmente para profissionais e desenvolvedores de IA generativa, a Nvidia também está trabalhando em melhorias adicionais baseadas em IA para clientes tradicionais da GeForce RTX. O TensorRT agora pode acelerar a geração de imagens de alta qualidade usando Difusão Estável, graças a recursos como fusão de camadas, calibração de precisão e ajuste automático de kernel.
Além disso, os Tensor Cores nas GPUs RTX estão sendo utilizados para melhorar a qualidade de streams de vídeo da Internet de baixa qualidade. A super resolução de vídeo RTX versão 1.5, incluída na versão mais recente dos drivers gráficos GeForce (versão 545.84), melhora a qualidade do vídeo e reduz artefatos no conteúdo reproduzido em resolução nativa, graças à tecnologia avançada de "processamento de pixel AI".
Veja a noticia completa em: https://www.techspot.com/news/100551-tensorrt-llm-windows-speeds-up-generative-ai-performance.html
Fonte: https://www.techspot.com/
Achou esse artigo interessante? Siga Samir News em
Instagram,
Facebook,
Telegram,
Twitter,
App Boletim Tec e
App Mr Robot Sticker para ler mais conteúdo exclusivo que postamos.
#samirnews #samir #news #boletimtec #tensorrtllm #para #windows #acelera #o #desempenho #de #ia #generativa #em #gpus #geforce #rtx
Postar um comentário