O roteamento inteligente de modelos locais está chegando ao GitHub Copilot

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Intelligent local model routing is coming to GitHub Copilot · Canal: GitHub · 02:09 · Assistir no YouTube

Tópicos: Automação de tarefas e workflows, Ferramentas de desenvolvimento com IA, Inferência e otimização de modelos, Modelos locais e open source

Resumo

O GitHub anuncia que o GitHub Copilot em breve poderá detectar e usar modelos locais em dispositivos compatíveis, sem exigir configuração dentro do produto. Com o roteamento automático, o Copilot poderá direcionar tarefas simples a modelos locais, cuja inferência não tem custo para o usuário. Também será possível combinar modelos de fronteira na nuvem com modelos locais para implementar tarefas, executar automações em segundo plano ou trabalhar sem conexão com a internet. O Project HydraFusion já está disponível no GitHub Copilot nas configurações experimentais; o roteamento inteligente local e o MAI Code 1.1 Flash chegarão em breve.

Pontos-chave

O GitHub Copilot deverá detectar automaticamente modelos instalados por provedores compatíveis, como Microsoft Foundry Local e Ollama.
Os modelos locais detectados aparecerão no seletor de modelos, sem necessidade de configurá-los no próprio GitHub Copilot.
Dispositivos compatíveis poderão instalar o MAI Code 1.1 Flash diretamente pelo GitHub Copilot.
No modo de roteamento automático, o Copilot poderá encaminhar tarefas simples a modelos locais.
A inferência com modelos locais não tem custo para o usuário.
É possível planejar com modelos de fronteira, como Astra, e passar a implementação para um modelo local.
Modelos locais podem executar automações agendadas em segundo plano sem consumir créditos de IA.
Os modelos locais também podem ser usados offline.
O Project HydraFusion já está disponível nas configurações experimentais do GitHub Copilot.

Capítulos

Início	Capítulo	Resumo
00:00	Orquestração de modelos e visão para modelos locais	O vídeo apresenta o Project HydraFusion e a proposta de levar inteligência ilimitada e sem medição de uso a computadores pessoais.
00:33	Detecção e instalação de modelos locais	O GitHub Copilot deverá detectar modelos de provedores compatíveis e oferecer a instalação do MAI Code 1.1 Flash em dispositivos compatíveis.
01:06	Roteamento automático para tarefas e implementação	O Copilot poderá encaminhar tarefas simples a modelos locais e combinar planejamento com modelos de fronteira e implementação local.
01:37	Automações, uso offline e disponibilidade	Modelos locais poderão executar automações sem consumir créditos de IA e funcionar offline; o Project HydraFusion já está disponível nas configurações experimentais.

Citações

A inteligência ilimitada e sem medição de uso pertence a todo computador. — 00:00

O Copilot vai encaminhar tarefas para modelos locais e aproveitá-los de forma inteligente. — 00:33

A inferência é completamente gratuita para você. — 01:06

Modelos locais funcionam muito bem aqui e custam exatamente zero créditos de IA para usar. — 01:37

Modelos locais executados na sua máquina custam exatamente zero dólares e zero centavos. — 02:09

Conceitos e entidades

GitHub Copilot (ferramenta): Produto de assistência a programação do GitHub que deverá oferecer roteamento inteligente entre modelos na nuvem e modelos locais.
Project HydraFusion (conceito): Projeto de orquestração de modelos anunciado para planejar, implementar e executar tarefas com diferentes modelos na nuvem.
Microsoft Foundry Local (ferramenta): Provedor compatível cujos modelos instalados poderão ser detectados pelo GitHub Copilot.
Ollama (ferramenta): Provedor compatível cujos modelos instalados poderão aparecer automaticamente no seletor de modelos.
MAI Code 1.1 Flash (modelo): Modelo local que poderá ser instalado em dispositivos compatíveis diretamente pelo GitHub Copilot.
Astra (modelo): Modelo de fronteira citado como opção para planejar tarefas antes de delegar a implementação a um modelo local.
roteamento automático (conceito): Modo em que o GitHub Copilot escolhe automaticamente um modelo, incluindo modelos locais, para determinadas tarefas.
modelos locais (conceito): Modelos executados no dispositivo do usuário, que podem ser usados sem custo de inferência e até mesmo offline.

Tradução completa (pt-BR)

00:00 O roteamento inteligente de modelos locais está chegando ao GitHub Copilot. Há algumas semanas, anunciamos o Project HydraFusion, uma orquestração inteligente de modelos que planeja, implementa e executa tarefas usando uma ampla variedade de modelos na nuvem, oferecendo desempenho de ponta e reduzindo significativamente os custos, em até 67%. Mas nossa visão vai além dos modelos disponíveis na nuvem, porque acreditamos que inteligência ilimitada e sem medição de uso deve estar disponível em todo desktop.

00:33 Por isso, temos o prazer de anunciar que, em breve, o Copilot vai encaminhar solicitações de forma inteligente para modelos locais e aproveitá-los em dispositivos compatíveis. Primeiro, você não precisará mais configurar modelos locais no próprio GitHub Copilot. Todos os modelos que você instalou com provedores compatíveis, como Microsoft Foundry Local ou Ollama, serão detectados automaticamente e aparecerão no seletor de modelos. Dispositivos compatíveis também poderão instalar o MAI Code 1.1 Flash, um modelo local que poderá ser instalado diretamente pelo GitHub Copilot.

01:06 Em seguida, quando o roteamento automático estiver ativado, o Copilot usará esses modelos automaticamente. Há inúmeras situações em que os modelos locais são perfeitos, e a inferência é totalmente gratuita para você. Por exemplo, com o roteamento automático ativado, o Copilot pode encaminhar automaticamente tarefas simples para um modelo local, como explicar como uma base de código funciona ou como executar um projeto. Você também pode planejar com grandes modelos de ponta, como Astra, e depois passar a tarefa para um modelo local implementar enquanto você dorme.

01:37 E os usuários adoram as automações no GitHub Copilot. São tarefas executadas em segundo plano, de acordo com um cronograma. Os modelos locais funcionam muito bem nesse caso: conseguem trabalhar em tarefas de longa duração e custam exatamente zero créditos de IA. Você também pode ficar completamente offline e ainda ter acesso aos seus modelos locais, o que é perfeito para trabalhar sem conexão ou quando simplesmente não há acesso à internet. O Project HydraFusion está disponível hoje no GitHub Copilot.

02:09 Você pode encontrá-lo nas configurações experimentais. E, muito em breve, dispositivos compatíveis poderão usar o roteamento inteligente de modelos locais, incluindo o MAI Code 1.1 Flash. Com o GitHub Copilot, você tem roteamento inteligente entre vários modelos, tanto na nuvem quanto, muito em breve, com modelos locais executados na sua máquina, sem pagar absolutamente nada.

Transcrição original

[00:00] Intelligent local model routing is coming to GitHub Copilot. A few weeks ago, we announced Project HydraFusion, an intelligent model orchestration that plans, implements, and executes across a wide range of cloud models, giving you frontier-level performance while significantly reducing cost, up to 67%. But our vision goes beyond just the models that are available in the cloud, because we think that unlimited and unmetered intelligence belongs on every desktop.

[00:33] This is why we’re pleased to announce that soon, Copilot will intelligently route to and leverage local models on capable devices. First, you’ll no longer have to configure local models in GitHub Copilot itself. Any models that you have installed with supported providers, such as Microsoft Foundry Local or Ollama, will just automatically be discovered and will appear in the model picker. Capable devices will also be able to install MAI Code 1.1 Flash, a local model available for install right from GitHub Copilot.

[01:06] Copilot will then automatically use these models when set to auto-routing. There are a myriad of scenarios where local models are perfect, and the inference is completely free for you. For instance, when set to auto-routing, Copilot can automatically offload to a local model for simple tasks, such as explaining how a codebase works or how to run a project. You can also plan with large frontier models, such as Astra, and then hand off to a local model to implement while you sleep.

[01:37] And users love automations in GitHub Copilot. These are tasks that run on a schedule in the background. Local models work incredibly here, able to work on very long-running tasks and costing you exactly zero AI credits to use. You can also go completely offline and still have access to your local models, which is perfect for working disconnected or when you just don’t have an internet connection. Project HydraFusion is available today in GitHub Copilot.

[02:09] You can look for it under experimental settings. And capable devices will be able to use intelligent local model routing very soon, including MAI Code 1.1 Flash. With GitHub Copilot, you get intelligent multi-model routing, both in the cloud and very soon, with local models that run on your machine and cost you exactly zero dollars and zero cents.