A Microsoft e a Nvidia querem ajudar os desenvolvedores a executar e configurar modelos de IA em PCs com Windows. Durante o evento Microsoft Ignite na quarta-feira, Microsoft anunciou Windows AI Studio: um novo hub onde os desenvolvedores podem acessar e modificar modelos de IA para atender às suas necessidades.
O Windows AI Studio permite que os desenvolvedores acessem ferramentas e modelos de desenvolvimento do Azure AI Studio existente e de outros serviços como o Hugging Face. Ele também fornece “configuração de espaço de trabalho guiada” de ponta a ponta com uma interface de usuário para configuração de modelo e instruções para ajustar vários modelos de linguagem pequena (SLMs), como Phi da Microsoft, Llama 2 da Meta e Mistral.
O Windows AI Studio também permite que os desenvolvedores testem o desempenho de seus modelos usando modelos Prompt Flow e Gradio. A Microsoft afirma que lançará o Windows AI Studio como uma extensão do Visual Studio Code nas “próximas semanas”.
A Nvidia, da mesma forma, Atualizações reveladas Ao TensorRT-LLM, que a empresa lançou inicialmente para Windows como uma forma de executar grandes modelos de linguagem (LLMs) com mais eficiência em GPUs H100. No entanto, esta atualização mais recente traz o TensorRT-LLM para PCs que executam GPUs GeForce RTX séries 30 e 40 com 8 GB ou mais de RAM.
Além disso, a Nvidia em breve tornará o TensorRT-LLM compatível com a API de bate-papo da OpenAI por meio de um novo wrapper. Isso permitirá que os desenvolvedores executem LLMs localmente em seus computadores, o que é ideal para aqueles interessados em armazenar dados privados na nuvem. A Nvidia diz que o próximo lançamento do TensorRT-LLM 6.0 adicionará inferência até cinco vezes mais rápida, bem como suporte para os novos modelos Mistral 7B e Nemotron-3 8B.
Tudo isso faz parte do objetivo da Microsoft em criar Padrão de desenvolvimento de “episódio híbrido”., que supostamente permitirá o desenvolvimento de IA por meio da nuvem e localmente em dispositivos. Com este conceito, os desenvolvedores não precisam depender apenas de seus próprios sistemas para impulsionar o desenvolvimento de IA, pois podem acessar os servidores em nuvem da Microsoft para aliviar a carga de suas máquinas.
“Viciado em TV certificado. Ninja zumbi irritantemente humilde. Defensor do café. Especialista em web. Solucionador de problemas.”
More Stories
A Microsoft pode trazer a Xbox Game Store para dispositivos Android e iPhone
A Apple não pode arriscar melhorar o iPhone 16
O modo widescreen do Jet Force Gemini foi relatado como “quebrado” ao mudar