Qual modelo de IA é o certo para cada tarefa? Por dentro da seleção de modelos do Kiro

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Which AI model is right for the job? Inside Kiro’s model selection · Canal: Kiro · 57:22 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Engenharia de software com IA, Inferência e otimização de modelos, Modelos de IA

Resumo

Brian Beach conversa com Sujay e Akil, da equipe do Kiro, sobre como escolher modelos de IA para diferentes tarefas e quando deixar essa decisão para o Auto. Eles demonstram como workflows podem combinar modelos para planejamento, implementação, revisão e documentação, equilibrando qualidade, custo e velocidade. A conversa também aborda o ciclo de vida dos modelos no Kiro, incluindo testes, disponibilidade experimental, capacidade e descontinuação. O episódio conclui que o Kiro oferece tanto controle detalhado para quem deseja personalizar seus fluxos quanto uma opção automática para quem prefere se concentrar no trabalho.

Pontos-chave

O Auto escolhe modelos e níveis de raciocínio e pode recorrer a alternativas quando há problemas de capacidade ou confiabilidade.
A escolha de modelo depende da tarefa, do estilo de resposta preferido, do custo e da velocidade desejada.
Modelos mais avançados podem ser úteis para planejar tarefas vagas; modelos menores podem executar tarefas bem delimitadas com rapidez e menor custo.
Usar um modelo e um context window independentes para revisar código ajuda a obter uma avaliação menos influenciada pelas decisões de implementação.
Workflows permitem automatizar etapas como planejamento, implementação, revisão e atualização da documentação.
É possível definir modelos diferentes para cada etapa de um workflow e executar sessões independentes em paralelo.
Modelos novos podem ser disponibilizados primeiro em modo experimental, enquanto a equipe valida qualidade, capacidade e compatibilidade com os recursos do Kiro.
Os multiplicadores de créditos ajudam a comparar o custo relativo dos modelos no Kiro.
Em contas corporativas, administradores controlam quais modelos ficam disponíveis para os desenvolvedores.

Capítulos

Início	Capítulo	Resumo
00:16	Apresentação e objetivo da conversa	Brian Beach apresenta os convidados e introduz a questão de como escolher o modelo adequado para cada tarefa.
02:57	Preferências de modelos e uso do Auto	Os participantes compartilham seus modelos preferidos e exemplos de como alternam entre opções conforme a tarefa.
08:07	Escolha, custo e velocidade	A conversa explora a variedade de modelos e o equilíbrio entre capacidade, custo, rapidez e preferências pessoais.
14:50	Modelos e níveis de esforço no Kiro	A demonstração mostra a seleção de modelos, os créditos associados e o ajuste do esforço de raciocínio.
19:28	Escolher o modelo certo para cada tarefa	Os convidados explicam como usar modelos avançados para planejamento e modelos menores para tarefas de implementação ou documentação.
21:00	Introdução aos workflows	Akil apresenta workflows como receitas configuráveis para organizar etapas de desenvolvimento e automatizar a orquestração.
26:42	Atribuir modelos às etapas do workflow	A demonstração associa modelos diferentes ao planejamento, à implementação, à revisão e à atualização da documentação.
32:55	Execução em segundo plano e paralelismo	Os participantes mostram uma execução de workflow e explicam como tarefas independentes podem rodar em paralelo sem ocupar a conversa principal.
35:58	Ciclo de vida e disponibilidade dos modelos	A equipe descreve a chegada de modelos ao Kiro, a fase experimental, as garantias de capacidade e o processo de descontinuação.
43:16	O trabalho por trás do lançamento de modelos	Sujay e Akil explicam os testes, as avaliações e as automações usados para disponibilizar modelos novos rapidamente sem abrir mão de um padrão mínimo de qualidade.
48:32	Resultados do workflow e multiplicadores de créditos	A demonstração apresenta os tempos e o uso de modelos por etapa, e a conversa explica como os multiplicadores representam o custo relativo.
52:09	Acesso corporativo e encerramento	Brian explica o controle de modelos por administradores corporativos, e os participantes resumem o papel do Auto e encerram a transmissão.

Citações

A resposta curta provavelmente é Auto. — 03:27

É a ferramenta certa para a tarefa certa. — 19:28

É sempre uma boa prática começar a revisão com um context window novo e limpo. — 30:19

O objetivo é reduzir ao mínimo o tempo que está sob nosso controle. — 46:26

Queremos oferecer uma boa experiência para que os clientes não precisem pensar em nenhum desses aspectos. — 54:47

Conceitos e entidades

Kiro (ferramenta): Produto de desenvolvimento com IA que oferece vários modelos, sessões e workflows.
Auto (conceito): Modo do Kiro que escolhe um modelo e um nível de raciocínio e pode tentar novamente ou recorrer a outra opção diante de falhas temporárias.
workflow (conceito): Receita configurável que organiza e automatiza etapas executadas por um agent, podendo incluir ramificações, loops e execução paralela.
Opus 5.5 (modelo): Modelo citado como opção para pesquisa, planejamento e tarefas que exigem análise mais aprofundada.
Sonnet 5.5 (modelo): Modelo citado como opção rápida para implementar tarefas de programação delimitadas.
Haiku (modelo): Modelo citado para tarefas simples, como leitura de documentos e elaboração de alterações de documentação.
GPT (modelo): Família de modelos da OpenAI mencionada para revisão e tarefas de escrita, conforme as preferências dos participantes.
Anthropic (empresa): Provedora de modelos mencionada na discussão sobre opções disponíveis no Kiro.
OpenAI (empresa): Provedora de modelos GPT mencionada na conversa.
Brian Beach (pessoa): Apresentador da transmissão ao vivo e usuário do Kiro.
Sujay (pessoa): Integrante da equipe do Kiro que trabalha principalmente no backend e discute Auto e o ciclo de vida dos modelos.
Akil (pessoa): Líder de engenharia da equipe do Kiro que demonstra workflows e explica a seleção de modelos por etapa.

Tradução completa (pt-BR)

00:16 [música] >> Certo. Oi, pessoal, e bem-vindos de volta à transmissão ao vivo do Kiro. Sou o apresentador de hoje, Brian Beach, e faz algumas semanas que não participo. Então, fico feliz de

00:48 estar de volta e apresentar outra sessão. Esta semana, vamos falar um pouco sobre os diferentes modelos disponíveis no Kiro e sobre como decidir quando usar cada modelo. Como decidimos qual modelo é o certo para cada tarefa? Para isso, tenho alguns convidados. Temos Sujay e Akil, ambos da equipe do Kiro. Os dois trabalham no produto Kiro, então vamos fazer uma breve apresentação. Acho que vou começar. Eu

01:19 não apareço por aqui com frequência suficiente para todo mundo me conhecer, mas, mais uma vez, meu nome é Brian Beach e moro na Carolina do Norte. Sou desenvolvedor há mais anos do que gostaria de contar, mas estou muito empolgado com tudo o que está acontecendo com o Kiro e sou usuário do Kiro desde o lançamento, há pouco mais de um ano. Sujay, quer falar em seguida? >> Sim, claro. Meu nome é Sujay. Sou engenheiro de desenvolvimento de software sênior na equipe do Kiro. Trabalho principalmente no backend do Kiro. Então, o tema de hoje, a seleção de modelos de IA no Kiro,

01:52 é algo com que lido diariamente. E estou muito feliz de participar do programa. Obrigado, cara. >> Excelente. Certo. >> Oi, antes de tudo, obrigado por nos convidar para o programa, Brian. Sou líder de engenharia na equipe do Kiro. Moro em Seattle. Trabalho na Amazon há bastante tempo, talvez mais de 15 anos. Atualmente, trabalho com a equipe do Kiro para ver como podemos melhorar, de modo geral, o backend do Kiro, além da resiliência e da disponibilidade dos modelos, entre outras coisas. Então, fico muito feliz de

02:23 compartilhar com todos vocês algumas das coisas em que estamos trabalhando. >> Excelente. Não entendi muito bem. Há quanto tempo você está aqui? >> Trabalho na Amazon há mais de 15 anos. >> 15 anos, certo. Uau, uau, é bastante tempo. Eu estou prestes a completar 12 anos, a qualquer momento. Perdi a conta. Talvez sejam 12. Mas, se forem, falta só um ou dois dias. Estou prestes a completar 12 anos. Achei que eu estava aqui há bastante tempo. 15 anos, que loucura. Foi isso que achei que ouvi, mas depois pensei que talvez tivesse entendido errado. >> [risos] >> Legal, ótimo. Fico muito feliz de ter você aqui. Então, vamos

02:57 começar. Hoje queremos falar bastante sobre modelos. E acho que uma das coisas realmente importantes que o Kiro oferece é uma seleção muito ampla de modelos. Você não fica limitado aos modelos de um único fornecedor, certo? Temos todos os modelos da Anthropic e coisas da OpenAI. Temos vários modelos de pesos abertos. O que vocês estão usando? E gostaria de ouvir também quem está escutando ou assistindo, quer dizer. Fiquem à vontade para escrever no chat. Gostaria de saber qual é o modelo que vocês mais usam no dia a dia.

03:27 Qual modelo vocês usam durante a maior parte do tempo enquanto trabalham? >> Sim, acho que posso começar. A resposta curta provavelmente é Auto. Acho que Auto é meu favorito porque é o modelo em que você não precisa ficar pensando muito, e ele funciona em quase todos os casos em que você quer usá-lo. E, embora… como vocês sabem, o Kiro agora tem várias ferramentas. Temos a CLI, a IDE, o Kiro Crew e o Kiro Web. Então, eu

03:59 percebo que, às vezes, tenho uma preferência um pouco diferente em algumas dessas plataformas, dependendo de como uso a ferramenta. No Kiro Crew, por exemplo, uso para muitas tarefas de coordenação e talvez para uso do computador. Então, talvez eu escolha um modelo específico para isso. Mas, fora isso, se estou apenas conversando ou em conversas gerais, Auto funciona muito bem. >> E esse é justamente o valor do Auto, certo? Não passo o tempo todo tentando descobrir

04:31 qual modelo devo escolher. É só ativar o Auto e obter o melhor modelo para o que estou tentando fazer. Akil, o que você costuma fazer? Você também usa o Auto na maior parte do tempo? >> Acho que depende da tarefa, mas a maioria dos meus projetos no Crew usa Auto. Mas, quando uso minha IDE para algumas tarefas de pesquisa, acho que Opus 5.5 se tornou um pouco mais o meu favorito. Gosto de talvez pedir que ele faça um trabalho um pouco mais explícito por mim. Mas, para as tarefas comuns e outras coisas, geralmente volto para o Auto.

05:03 Também gosto de alguns dos modelos GPT que existem por aí. Às vezes, uso para fazer uma revisão extra e outras coisas. Então, peço ao Opus que faça a pesquisa inicial e talvez peço ao GPT que revise e diga qual é o veredito dele sobre o assunto. >> Claro. Claro. E estou curioso: há momentos em que você costuma trocar de modelo? Vou dar um exemplo, mas não tenho dados que comprovem o que vou dizer. Então, isso é

05:33 inteiramente uma preferência minha, mas passo a maior parte do tempo com os modelos da Anthropic quando estou escrevendo código. Porém, gosto da documentação que recebo dos modelos GPT. Então, se vou escrever documentação ou um post de blog sobre algo que fizemos, costumo recorrer à OpenAI e aos modelos GPT. Simplesmente prefiro o estilo de escrita. E acho que isso… >> Sim. >> Mais uma vez, não há muitos dados que comprovem isso. É só uma preferência pessoal. Gosto do jeito como ele

06:04 escreve prosa. >> E também tenho a impressão de que, ultimamente, estou gostando mais da escrita do GPT. Mas acho que o Opus 5.5 avançou bastante. Acho que comecei a gostar um pouco mais dele. Recentemente, também comecei a experimentar mais os modelos de pesos abertos. Acho que temos um Okami no Kiro. Então, comecei a testar. Ainda é cedo para dizer a quais tarefas vou dedicar esse modelo, mas também tenho experimentado um pouco mais no meu tempo livre. >> Sim. Sim. >> Sim. >> Sim, e acho que essa é uma das coisas incríveis do Kiro: vocês têm… Acho que muitas dessas preferências são subjetivas e dependem do que vocês gostam que o modelo faça. E vocês têm liberdade para escolher. Então, acho que essa é a parte divertida. >> Sim. Também acho — e vamos falar um pouco sobre usar modelos diferentes em etapas diferentes do fluxo — que muitas vezes posso usar um modelo mais barato. Nem sempre preciso do melhor modelo para fazer o que quero. Vou dar um exemplo. Falo disso

06:36 demais, mas meu hobby paralelo é genealogia e árvores genealógicas. Tenho um fluxo configurado que uso há meses, no qual uso os LLMs no Kiro até mesmo como OCR e para coisas assim. Então, tenho um documento antigo, certo? Uma certidão de nascimento antiga, um registro de censo ou algo do tipo. Coloco isso em um dos modelos menores, certo? Envio para o Haiku e peço: “Ei, traduza isso para mim”. Não preciso recorrer a um modelo grande e pesado só para ler um

07:07 demais, mas meu tipo de hobby paralelo é genealogia e coisas de árvore genealógica. Então, tenho um fluxo mais ou menos configurado que venho usando há meses, em que uso os LLMs no Kiro até mesmo para OCR e coisas assim. Tenho um documento antigo, certo? Uma certidão de nascimento antiga, um registro de censo ou algo do tipo. Coloco isso em um dos modelos menores, certo? Jogo isso, por exemplo, no Haiku e deixo ele analisar e digo: “Ei, faça a tradução disso para mim.” Não preciso usar um modelo grande e robusto só para ler um

07:37 documento. Mas depois vou pegar o resultado disso e talvez passá-lo para o Opus e dizer: “Certo, agora quero que você entenda isso e encaixe na história da vida dessas pessoas que estamos construindo há alguns meses.” Esse é um exemplo meio fora da área de desenvolvimento, mas há muitos exemplos de desenvolvimento em que podemos seguir esses mesmos caminhos e dizer: “Certo, quero que o Fable faça o planejamento e a arquitetura disso, e depois vou passar para outro modelo fazer alguns testes e coisas desse tipo.”

08:07 Então, é incrível ter todas essas opções. E acho que é disso que queremos começar a falar: da dificuldade que os desenvolvedores têm para tomar esse tipo de decisão. Conversamos bastante sobre isso este ano. Se você acompanha as redes sociais ou o Reddit, provavelmente leu todas essas discussões sobre qual é o modelo mais recente, qual modelo todo mundo está usando e como as pessoas estão migrando de um modelo para outro. Mas vamos falar

08:38 um pouco sobre isso: onde o Kiro se encaixa? E como você pensa sobre como lidar com todas essas opções de modelos? O que está impulsionando essa conversa por aí e como estamos ajudando a lidar com isso? >> Sim, acho que uma coisa que estamos observando — talvez eu possa começar falando sobre isso — é que há uma enorme variedade de modelos por aí, e modelos novos surgem com muita frequência. É muito difícil até mesmo escolher qual é o modelo certo para usar, entre tantas famílias diferentes,

09:09 certo? E acho que esse é um ponto em que, como produto, o Kiro está tentando ser um bom catálogo de todos os modelos disponíveis, para que as pessoas possam experimentá-los. E, com tantos benchmarks e outras coisas, acho que é muito difícil escolher ou dizer que este é o modelo certo para determinada tarefa, porque é muito difícil concluir, com base apenas em um benchmark simples, que uma classe de modelos será a melhor em tudo. Isso também se relaciona ao que comentamos antes: existem preferências e estilos pessoais, e algumas coisas de que gostamos mais do que de outras.

09:40 Então, como produto, o Kiro queria oferecer isso: permitir que as pessoas escolham e experimentem tudo em um só lugar e também ajustem alguns de seus workflows e outras coisas às próprias preferências, em vez de precisarem alternar entre produtos diferentes para experimentar. Fazemos o possível para trazer todos os modelos mais recentes para o Kiro. Também estamos trabalhando com nossos sistemas automáticos, que mencionei antes, para que às vezes você não precise se preocupar com nada disso, certo? Quero me concentrar na lógica de negócios ou no que estou criando, e queria deixar de lado essa sobrecarga de

10:13 decidir qual modelo escolher e outras coisas, e deixar que o Kiro decida por mim, tanto em termos de disponibilidade quanto de resiliência, porque essa é outra questão que estamos observando agora, com a capacidade de GPU e outros fatores. Eu, pessoalmente, acho que o modo automático faz um bom trabalho, porque cuida de algumas alternativas e outras coisas para mim. Então, talvez eu simplesmente deixe que o modo automático tome muitas dessas decisões. >> Sim, cara. E estou vendo confirmação de muita coisa disso. Vou presumir que seja Nirmal Patel, se estou entendendo corretamente a divisão nesse nome de usuário, mas

10:43 ele está falando um pouco sobre como o modo automático funciona como roteador padrão e sobre o impacto na economia de créditos — muitas vezes, a economia é grande. Especialmente com alguns dos modelos mais novos, o custo pode ser bem mais alto do que no modo automático. Então, refletindo sobre o que vi no último ano e no Discord, no começo do ano havia muita conversa sobre todas essas questões de escolha de modelos, e toda semana alguém dizia: “Ei, este modelo está superando aquele.” E vimos grandes mudanças

11:14 no mercado, inclusive entre fornecedores inteiros, certo? Pessoas saindo da Anthropic e migrando para a OpenAI, e depois voltando, dependendo do modelo. Quando chegamos à segunda metade do ano, grande parte da conversa mudou para o custo, e as pessoas passaram a analisar não apenas qual é o melhor modelo no momento, mas onde querem se posicionar na curva de capacidade e custo. Você está vendo a mesma coisa e pensando nesses mesmos aspectos enquanto desenvolve isso?

11:44 >> Com certeza. Acho que, quando conversamos com os clientes, um dos pedidos mais comuns é: como posso controlar meus custos ou garantir que tudo fique dentro do orçamento, para que não seja simplesmente um token gratuito jogado por aí? Como garantir que tenhamos o valor certo ou o resultado certo para cada uso? Então, acho que você mencionou acertadamente que o modo automático faz um bom trabalho ao ajudar a manter os custos — na melhor das hipóteses — mais baixos do que seriam se escolhêssemos os modelos individualmente. E esse é um feedback

12:16 que estamos recebendo de muitos clientes: eles usam o modo automático porque podem confiar nos custos e na confiabilidade. >> Sim, com certeza. E vocês ainda pensam muito em usar o melhor modelo, independentemente do custo, ou também começaram a considerar internamente essas compensações e a encontrar a opção certa? >> Estamos pensando bastante nessas compensações internamente, porque os recursos estão ficando cada vez mais limitados, e acho que todo mundo está avaliando qual é o valor real que está recebendo pelo dinheiro. Então, em geral, como

12:47 organização, temos pensado em como garantir que obtenhamos o melhor valor possível e como escolher os modelos certos para isso, entre outras coisas. Sim. [fungada] No começo do ano, acho que, como você mencionou, a questão era mais experimentar tudo e ver qual era a mágica, certo? Mas agora acho que o foco mudou mais para como obter o melhor valor possível. >> Sim, e acho que, além do custo, há também a questão da velocidade: com que rapidez você quer que o modelo responda. Em algumas tarefas, como

13:17 por exemplo, acho que você tem um exemplo sobre genealogia. Às vezes, surgem perguntas aleatórias na sua cabeça, como alguma coisa sobre geografia. Você não quer que um modelo passe tempo raciocinando; é uma pergunta e resposta rápida. Então, há modelos que você pode usar para ter uma conversa rápida, de ida e volta, e isso geralmente também custa menos. Acho que, como você disse, há muito mais nuances agora na forma como queremos pensar sobre essas opções e também sobre o que você

13:49 as preferências estão em como o modelo responde. >> Com certeza. Sim, e também há tantas configurações e controles hoje em dia, não é? Não se trata apenas de qual modelo quero escolher; você também pensa: “Ei, quero… quanto tempo quero que ele passe pensando antes de executar? Quero que ele pense por bastante tempo?” E há momentos em que até fico frustrado com ele e digo: “Ei, esta não é uma pergunta tão difícil. Por que você ainda está pensando? Esta deveria ter sido fácil.” Pelo menos é assim que eu vejo. Então, está ficando…

14:20 Está ficando cada vez mais difícil encontrar o equilíbrio certo, o que, mais uma vez, acho que nos leva ao modo automático e ao motivo de ele ser tão valioso. Não quero passar meu tempo pensando em tudo isso. Quero que o Kiro cuide disso para mim. >> Sim, mas acho que também vemos diferentes perfis de clientes. Alguns realmente querem ter acesso a todos os controles, não é? Eles querem mesmo controlar todas essas coisas. Então, queremos oferecer explicitamente essa opção a quem gostar dela, mas alguns, por outro lado, dizem: “Agora não quero ter que pensar nem cuidar dessas coisas. Quero mesmo que o Kiro cuide disso para mim”, e aí…

14:50 talvez possam simplesmente voltar para o modo automático e deixar o Kiro cuidar de tudo isso para eles. >> Uhum. Sim, sim. Excelente. Acho que talvez faça sentido. Estamos falando bastante disso de forma abstrata. Queremos entrar no Kiro e dar uma olhada? >> Sim, claro. Podemos fazer isso. >> Excelente. Deixe-me compartilhar sua tela aqui. Sim. Uhum. Excelente. >> Sim, este é um caso típico…

15:20 O Kiro… Ah, é o Kiro IDE, então é isso que você normalmente veria. E, como podem ver, esta é uma sessão totalmente nova. É sobre isso que estamos falando. O Kiro oferece vários desses modelos, listados em diferentes provedores. Vemos modelos da Anthropic e da OpenAI aqui, e também outros modelos open source. E então ele oferece visibilidade…

15:52 de quanto isso custaria em créditos. E acho que falamos sobre… Deixe-me tentar. Sim, falamos sobre o nível de esforço, certo? Se você escolher um modelo específico, também pode escolher com que nível de esforço quer que o modelo raciocine. Isso afeta tanto a profundidade com que o modelo explora uma determinada área antes de responder quanto…

16:22 o tempo que leva e a quantidade de token que consome. Então, o que queremos que o Kiro ofereça é a escolha: “Ei, se você conhece bem seu caso de uso, prefere um determinado tipo de comportamento e sabe que esta é uma tarefa complexa sobre a qual quer que o modelo pense bastante antes de responder, pode escolher um modelo adequado à tarefa. Além disso, você também pode ajustar o nível de esforço e fazer sua própria escolha entre…”

16:52 o que… Sim, até que ponto o modelo vai se aprofundar.” E, por exemplo, acho que falaremos um pouco sobre o modo automático mais adiante. Mas, se isso não for algo que faça diferença para você, basta escolher o modo automático aqui. >> Excelente. Sim, e talvez você possa percorrer a lista. Tem bastante coisa aqui. >> Sim, há muitos modelos disponíveis aqui.

17:24 Sim, incluindo o Kimiko 3, que disponibilizamos no início deste mês, acho. Sim, então é bem recente. >> Sim. Excelente. Então, essencialmente, quando escolho um desses, estou definindo o modelo para aquela conversa naquela aba. >> Isso mesmo. Se você selecionar um modelo específico, ele será usado na conversa que tiver aqui. Digamos…

17:54 neste projeto. Vamos dar uma olhada neste projeto um pouco mais adiante também. Mas você pode ter conversas paralelas ao mesmo tempo, que talvez estejam fazendo coisas mais complexas ou mais simples; com base nisso, pode escolher um modelo diferente. Assim, você pode ter threads em paralelo com modelos diferentes, cada uma personalizada para o workflow que estiver executando no momento. >> Excelente.

18:25 E acho que isso provavelmente é óbvio, mas sei que já ouvi alguma confusão sobre isso. Talvez isso não seja possível em todas as ferramentas por aí, mas posso trocar de modelo no meio de uma conversa, certo? Posso estar avançando numa conversa com um modelo e depois decidir que talvez esteja chegando a algo que não precisa de tanta potência, ou que preciso de um pouco mais de inteligência, ou que quero mudar para um modelo da OpenAI porque agora vou trabalhar na documentação e prefiro a…

18:56 resposta do modelo GPT. Não fico necessariamente preso a esse modelo durante toda a conversa. >> Exatamente. Você tem total liberdade para alternar entre modelos durante a conversa. Então, se neste momento eu quiser mudar para outro modelo, posso fazer isso, e ele continuará funcionando normalmente. O mesmo vale para o nível de esforço. >> Excelente. Ótimo. Então, talvez já tenhamos tocado um pouco nesse assunto…

19:28 mas vamos falar um pouco sobre como decidir o que é mais adequado para cada tarefa. Você tem alguma orientação para os usuários sobre o que escolher ou sobre como avaliar essa decisão para chegar a um bom resultado? >> Sim. Acho que é a ferramenta certa para a tarefa certa, não é? Pelo menos é assim que penso. O que percebo é que existe um padrão geral: quero…

19:58 talvez um dos modelos mais avançados para planejar as coisas para mim. Dou a ele uma tarefa bem geral, talvez até vaga, e posso conversar com ele para chegar aos requisitos reais. O Opus, por exemplo, é muito bom nisso. Depois, quando já tenho um bom plano, a implementação do código pode ser passada para um modelo menor, desde que as partes estejam bem…

20:29 delimitadas. E, claro, há outras tarefas que você pode até fazer com modelos pequenos, como escrever documentação. Por exemplo, talvez você possa mudar para algo como o Haiku nesse caso. Essa é uma das coisas que pelo menos funciona para mim, e acho que é uma das coisas que nós, no Kiro, estamos facilitando para os usuários. Isso nos leva à próxima parte, que eu talvez possa demonstrar…

21:00 É, como podemos organizar isso bem? Por meio de um recurso que lançamos há pouco tempo: workflows. Para dar uma breve visão geral, workflows são receitas que você pode configurar e compartilhar com sua equipe. Basicamente, essas receitas contêm etapas que você pode pedir ao seu agent para executar. É um assunto realmente muito interessante e profundo…

21:32 em si, na forma como você pode paralelizar etapas do workflow e coisas assim. Mas acho que, para os nossos propósitos, podemos escolher aqui um workflow simples que, francamente, é muito parecido com um workflow de desenvolvimento que eu realmente usaria. Então, aqui podemos ver… >> A propósito, ainda não mostramos workflows na transmissão ao vivo. Então, isso é ótimo. Você sabe, fique à vontade para dedicar um tempo a isso e explorar um pouco mais do que talvez faria normalmente, para conversarmos sobre o aspecto dos modelos, porque esta é a primeira apresentação para quem está acompanhando.

22:02 >> Correto. Então, em geral, o que você quer fazer como desenvolvedor, certo? Você tem esse workflow muito natural em que, como eu dizia, talvez planeje com antecedência qual será a mudança, talvez ajude o agent a formalizar ou remover ambiguidades do requisito geral e, então, vá implementar o código de fato. Depois, obviamente, você quer…

22:33 revisar o código antes de fazer o commit ou lançá-lo e, depois, atualizar a documentação. Então, esse é um fluxo bem padrão, certo? E, em geral, é assim que a maioria das pessoas faria, ou pelo menos é assim que eu faria: eu sou quem coordena esse workflow, certo? Como desenvolvedor, peço ao modelo que converse sobre o planejamento e, quando fico satisfeito, peço que prossiga e implemente. Depois, quando termina, peço que faça uma revisão. Mas, com workflows, você pode…

23:03 automatizar boa parte dessa coordenação dentro do próprio Kiro. Assim, o agent vai coordenar o processo e só vai pedir sua autorização ou recorrer a você quando encontrar algum problema específico. E isso pode ser, como eu dizia, muito poderoso, porque talvez você possa executar várias etapas em paralelo, criar loops para, se quiser se aprofundar em um problema ou encontrar problemas e depois voltar para corrigi-los…

23:34 Você pode planejar tudo isso em um workflow. Então, é uma ferramenta muito poderosa; quer dizer, é uma ferramenta. >> E ele vai nos mostrar isso em uma espécie de modo de visualização prévia, certo? Sei que você está olhando para o código-fonte por trás disso, mas eu também tenho uma… >> Correto. >> É. >> É. >> Provavelmente, para alguém que está vendo isso pela primeira vez, assim é um pouco mais fácil de entender. >> Com certeza. >> A essa altura, a maioria de nós consegue transformar JSON em uma imagem mental, >> [risos] >> mas… >> É. É, JSON e Markdown. Mas, sim…

24:06 é aí que estamos agora. Mas acho que você consegue ver exatamente quais são as etapas, quais prompts são usados em cada uma e qual resultado se espera dessas etapas. E também quais são as próximas etapas do fluxo. Então… >> E aí você está, de certa forma, acho que deu a entender isso antes, mas entendo que há algumas estruturas de controle de fluxo aqui, coisas como estruturas de loop e…

24:36 estruturas de ramificação e coisas assim que posso incorporar nesses workflows. Sei que você quer chegar à parte dos modelos, mas… >> Certo. >> Talvez possamos preencher algumas dessas lacunas para que todos entendam. >> Correto. Com workflows, você pode introduzir… Acho que, normalmente, o que você quer em um fluxo — de novo, esta é uma versão simplificada — é implementar, revisar; a revisão encontra problemas; então você volta e pede ao agent de implementação para analisar os comentários e corrigi-los. Então, isso é algo que você pode fazer; acho que pode configurar um workflow para isso. E pode definir: “Quero que você execute a revisão no máximo três vezes”. Talvez você não queira que ele continue e fique preso no loop. Então, também pode usar esses disjuntores, basicamente, e também pode ter fluxos paralelos. Então, de novo, é um novo conjunto de ferramentas que estamos oferecendo agora com o Kiro e estou muito animado para ver como as pessoas vão desenvolver isso. Então, sim, pelo menos para mim, isso mudou completamente a forma como penso na orquestração e, basicamente, me permite sair do papel de coordenador e delegar isso também ao agent. >> É, parece que quase todo mundo está falando sobre fábricas de software hoje em dia e, sabe, o que estamos vendo hoje talvez seja uma versão simplificada demais disso. Mas…

25:08 olhar os comentários e corrigir. Então, isso é algo que você pode fazer. Acho que dá para configurar um workflow para isso, e dá para configurá-lo assim: “Ei, quero que você execute a revisão no máximo três vezes.” Talvez você não queira que ele continue e fique preso no loop. Então, você também pode usar, basicamente, esses mecanismos simples de interrupção, e também pode ter fluxos paralelos. Então, novamente, é um conjunto de ferramentas muito novo que estamos de fato…

25:40 é assim que você montaria isso, certo? Quero seguir esta sequência de etapas, da ideia até a produção — ou talvez você só leve até um PR e depois envolva uma pessoa, dependendo da sua tolerância a riscos. Talvez leve até a produção. Mas é assim que você mapearia tudo para que o Kiro pudesse orquestrar o processo de ponta a ponta para você. >> Com certeza. É, acho que… sim, isso está nos aproximando muito disso. >> É. Excelente. Desculpe, eu meio que…

26:11 acabei conduzindo você por esse caminho — insisti para que nos desse uma visão geral dos workflows. Vamos voltar e conectar os pontos, certo? A ideia é que, agora que tenho esse workflow com vários agents definidos nele, posso começar a associar o agent certo a cada uma dessas fases e decidir o que usar em cada etapa. >> Exatamente. Então, era disso que eu estava falando antes: em geral, acho que preciso dos modelos maiores para me ajudarem a planejar e olhar adiante, porque eles também conseguem raciocinar melhor sobre o que estou pedindo antes de implementar. Então, workflows se encaixam muito bem nisso. É aqui que voltar ao JSON ajuda: você pode definir etapas e dizer: “Esta é uma etapa de planejamento; quero que você faça apenas um planejamento somente de leitura e investigue…

26:42 …que acabou nos levando por esse caminho. Eu forcei vocês a seguirem essa linha de explicar um pouco os workflows. Vamos voltar e conectar os pontos, certo? A questão é: agora que tenho esse workflow com vários agents definidos nele, posso começar a associar o agent certo a cada uma dessas fases e decidir o que usar em cada etapa. >> Exatamente. É disso que eu estava falando antes: geralmente, eu acho que eu…

27:13 a base de código para entender de fato o que aconteceu. Uma coisa sobre os workflows que não mencionei — e vou demonstrar logo depois disso — é que, ao iniciar o workflow, você também fornece um prompt. Então, pode dizer: “Qual ação ou tarefa você deve investigar?” e ele vai pegar essa tarefa e executar as etapas no contexto dela. Mas o…

27:44 que importa para esta conversa é que você pode especificar um modelo para cada uma dessas etapas, e eles podem ser modelos diferentes. Em geral, minha preferência aqui é usar Opus para o planejamento propriamente dito e depois mudar para algo como Sonnet; especialmente o 5.5, que, na minha opinião, é muito bom para programar. Se você der a ele uma tarefa bem delimitada, também é muito rápido para retornar com o código. Então…

28:14 é isso que geralmente prefiro. Opus 5 obviamente pode fazer a mesma coisa, mas eu gastaria mais créditos e, ao mesmo tempo, ele também levaria mais tempo para ficar pronto. Com Sonnet, talvez eu consiga executar mais iterações no mesmo tempo, porque ele termina a tarefa de programação mais rápido. >> [fungada] >> Depois, acho que temos uma tarefa de revisão. Para essa, em geral, às vezes também uso modelos GPT para…

28:44 É isso que geralmente prefiro. Opus 5 obviamente pode fazer a mesma coisa, mas eu gastaria mais créditos. Ao mesmo tempo, também levaria mais tempo para ficar pronto. Com Sonnet, talvez eu consiga executar mais iterações no mesmo período, já que Sonnet termina a tarefa de codificação mais rápido. >> [fungada] >> Então, acho que temos uma tarefa de revisão. Para essa, geralmente, às vezes também uso modelos GPT…

29:16 programação. Subjetivamente, para algumas tarefas, como talvez mudanças de configuração e coisas assim, acho um pouco mais atraente a concisão desses modelos. Mas isso é só uma preferência pessoal. Acho que ajuda muito trocar de provedor, para ter um modelo completamente treinado com outras coisas analisando seu código. E todos eles começam com um contexto novo. Então, na verdade, estão

29:48 analisando o código puro, como um revisor que olha seu código apenas com o contexto que está ali. >> E fico feliz que você tenha dito isso, porque essa é uma parte muito importante, especialmente para um revisor. Você quer que esse revisor tenha um contexto novo. Caso contrário, ele acaba sendo influenciado pelas decisões tomadas anteriormente. É como quando escrevo código e reviso o que escrevi: é muito difícil fazer a própria revisão de código. >> Exatamente. >> Porque você tomou todas essas decisões. Você está comprometido com elas. Não percebe o que está errado. Quando passo isso para

30:19 outra pessoa, uma segunda pessoa, fazer a revisão de código, ela percebe coisas que eu não perceberia. Mesmo que você não esteja trocando de modelo, acho que é sempre uma boa prática dizer: quero começar com uma context window nova e limpa quando for fazer essa parte da revisão. E adicionar um modelo diferente não significa apenas que ele não sabe nada sobre as decisões que tomei; ele também é um modelo completamente diferente, uma pessoa completamente diferente, por assim dizer, fazendo essa revisão, o que é muito valioso. Acho que o primeiro exemplo é

30:50 algo que eu mesmo faço o tempo todo: quando escrevo, não consigo perceber meus erros. Preciso voltar ao texto, esperar mais ou menos um dia e lê-lo no dia seguinte. Aí penso: “Nossa, olha só todos esses erros que não vi ontem”, porque perdi um pouco daquele contexto que estava preso na minha cabeça. Mas passar o trabalho para outra pessoa, como você está fazendo aqui, é muito importante. >> Sim. E só para acrescentar uma coisa: acho muito eficaz fazer o planejamento inicial, sem pedir para implementar ainda, mas sim fazer o trabalho preliminar e dividir em tarefas menores. Acho isso muito eficaz, porque, se você pedir ao mesmo modelo para fazer

31:21 tudo, mas pelo menos der a cada um uma tarefa pequena e concisa, especialmente para Sonar e outros, que conseguem realmente executá-la, achei isso muito eficaz em alguns dos meus workflows e nos meus locais de trabalho, pelo menos nos que eu costumava usar. >> Sim. Com certeza. >> Sim. Concordo com os dois pontos: para o revisor, definitivamente ajuda ter uma segunda opinião independente, que é o que você também faz em um fluxo normal de PR.

31:52 Então, essa é uma boa maneira de imitar esse tipo de fluxo. E, usando um modelo mais robusto para o planejamento, você pode dividir a tarefa antes de começar a programar. Sim, então, seguindo esse fluxo, acho que, quando a tarefa estiver concluída, queremos atualizar o changelog deste pacote. >> Claro. >> E essa é uma tarefa muito simples: basta ler os diffs e redigir um changelog bem escrito. Então, o Haiku, especialmente o 4.5, é mais do que

32:25 capaz de fazer isso. E, além disso, é muito rápido e barato em termos de créditos consumidos. Então, esse é o workflow. Sim, é assim que o workflow ficaria: um formulário simples. Podemos vê-lo sendo executado aqui. Digamos que este projeto, só para dar um pouco de contexto, seja um

32:55 digamos, um plano de controle simulado. É mais ou menos com isso que trabalho no dia a dia no backend do Kiro. Então, essa é uma tarefa bastante típica que você pediria a um agent para fazer. Talvez seja um pouco mais simples, mas podemos ver como os workflows lidariam com ela. Com os workflows, você pode ver tanto as execuções quanto a implementação em andamento. E ele vai

33:25 percorrer — ou melhor, executar — cada uma dessas etapas, e você também pode ver em detalhes o que está fazendo. Agora estamos na etapa de planejamento. Se observar, ele está apenas lendo os arquivos, tentando montar o contexto; depois, quando terminar, passará para a próxima ferramenta, para a próxima etapa. Vamos deixá-lo rodando em segundo plano. >> E este workflow específico é uma série de etapas sequenciais. É sequencial, em vez de várias tarefas em paralelo, mas também poderíamos… A outra coisa

33:56 que eu faria seria usar um workflow para distribuir o trabalho. >> Exatamente. >> Talvez este seja um exemplo péssimo, mas, se você quisesse adicionar vários campos, poderia iniciar um worker diferente para adicionar cada um deles. Não faça isso. Você estaria mexendo na mesma base de código, e provavelmente não deveria. Você não pediria a cinco pessoas para adicionar cinco campos diferentes a um formulário. Mas, conceitualmente, acho que entendeu a ideia, certo? Poderíamos distribuir as tarefas e deixar várias coisas em execução. >> Exatamente. Você pode distribuir as tarefas, pode dividi-las e também pode usar loops, para que, se algo estiver quebrado,

34:27 ele possa voltar e talvez até refazer o planejamento desde o início, caso algumas das suposições estejam incorretas. >> Sim. E, enquanto isso acontece, aquela sessão de chat que está aberta à direita continua em segundo plano. Então, também posso continuar conversando com Kim. >> Exatamente. Você pode ter sessões independentes em execução aqui que podem, sim, usar outro modelo. E

34:57 elas são completamente independentes do que os próprios workflows estão executando em paralelo. >> E acho que, a esta altura, provavelmente todo mundo já entendeu isso, mas outra vantagem de executar tudo isso como tarefas em segundo plano é que não ocupo a context window da conversa principal que estou tendo. Voltando ao meu exemplo de executar OCR em um registro de censo ou algo assim: isso normalmente ocuparia bastante contexto com dados, embora eu só me importe com três pessoas naquele formulário. Não

35:28 me importo com todas as outras pessoas que moravam naquela rua na época. Mas, se eu puder mandar isso para uma tarefa em segundo plano e receber de volta apenas a lista de nomes que me interessam, não vou sobrecarregar tanto o contexto. >> Exatamente. Como você pode ver aqui, acho que você poderia estar fazendo outra tarefa, enquanto, em paralelo, a tarefa em segundo plano termina o planejamento e passa para a implementação. E sim, isso é completamente independente, em uma context window independente. >> Sim.

35:58 Legal. Excelente. >> Aham. >> Vamos deixá-lo rodando em segundo plano. >> Sim, podemos continuar conversando enquanto isso acontece. Se estiver tudo certo por aqui, gostaria de falar um pouco sobre como vocês, como equipe de desenvolvimento, estão pensando nos modelos e no ciclo de vida dos modelos. Quando vamos adicionar modelos novos? Não sei se vamos conseguir responder a essa pergunta por chat, mas há uma conversa aqui sobre quando teremos o Kimmy K3, que oferecemos suporte,

36:30 vai estar disponível na Índia. Hum, eu não sei quais são as particularidades, não sei se há alguma limitação específica da Índia. Mas vamos falar um pouco, de forma geral, sobre o fluxo dos modelos. Pelo que vi, pelo menos no caso dos modelos da Anthropic e agora dos modelos GPT, assim que adicionamos suporte — ou assim que a AWS adiciona suporte — normalmente há uma atualização muito rápida, muitas vezes no mesmo dia e, se não, dentro de um ou dois dias depois que

37:03 ele se torna disponível. >> Sim, acho que tentamos ao máximo disponibilizar os modelos no Kiro o mais rápido possível. E, de novo, vemos muito entusiasmo: as pessoas querem experimentá-los. E as pessoas também percebem que cada modelo vem com muitas promessas, seja mais eficiência ou outras coisas. Então, queremos muito garantir que as pessoas possam usá-lo na ferramenta. Mas, ao mesmo tempo, também queremos ter cuidado para que ele funcione com nossos conjuntos de recursos, porque, de modo geral, oferecemos suporte para direcionar outras coisas. Queremos garantir que recursos como hooks e tudo

37:35 isso funcionem, porque não queremos lançar algo com bugs. Então, fazemos muitas automações para garantir que validamos e que a qualidade está lá. Muitas vezes, o que fazemos agora é disponibilizar o modelo o mais rápido possível em modo experimental. Assim, pelo menos, as pessoas podem experimentá-lo. Fazemos isso assim que temos um nível razoável de confiança, certo? Enquanto isso, talvez continuemos ajustando a qualidade e outras coisas. E, quando estivermos totalmente confiantes, então o tiramos do modo experimental e o colocamos em um modo de disponibilidade geral,

38:07 certo? Assim, as pessoas podem realmente usá-lo em seus fluxos de trabalho regulares. Então, pelo menos, é isso que tentamos fazer. Tentamos avançar o mais rápido possível, mas, ao mesmo tempo, queremos ter cuidado para garantir que funcione e não sair lançando qualquer coisa por aí. >> Acho que, de modo geral, também… >> Só para nos aprofundarmos um pouco nisso: quando um novo modelo é lançado e entra nesse modo experimental, primeiro vocês o põem à prova, certo? Garantem que ele tenha o desempenho que vocês querem,

38:38 provavelmente fazendo alguns ajustes em alguns prompts ao longo do caminho, imagino. Mas sei que há também outras coisas que mencionamos na documentação, sobre o… Vou chamar de Chris aqui, certo? E depois explico o que isso significa: quando um modelo deixa de estar em caráter experimental, fazemos algumas garantias sobre a localidade. Por exemplo, se você estiver executando nos EUA, toda essa inference vai

39:09 acontecer nas regiões dos EUA. Não necessariamente sempre na região US East; ela vai se distribuir entre várias regiões, porque muitas vezes precisamos de capacidade. O mesmo acontece nas regiões europeias: a carga se distribui entre algumas regiões da UE. No modo experimental, muitas vezes usamos o modo global, dizendo: “Podemos usar inference em qualquer lugar enquanto expandimos a capacidade.” Porque preferimos manter o modo experimental por um tempo a fazer com que você, como cliente, receba muitos erros dizendo que não temos capacidade para esse modelo no momento. E isso leva um tempo, certo?

39:41 Quando você lança algo pela primeira vez, não sabe com que rapidez as pessoas vão aderir. Se eu disponibilizar o 5.5, as pessoas vão continuar usando o cinco? Ou todo mundo vai migrar imediatamente para o 5.5? É preciso pensar nesse equilíbrio. Essa é outra parte do modo experimental que você verá por algum tempo. Depois, vamos remover a etiqueta de experimental, quando tudo se estabilizar e tivermos uma noção de como as coisas estão. >> [fungada] >> Sim, exatamente. Queremos ver o uso no mundo real. Então, em termos do ciclo de vida, tentamos prever de antemão a capacidade de que precisamos com base nos dados anteriores. Mas, de novo, cada modelo é diferente, e os usuários encontram maneiras diferentes e inovadoras de usar as novas versões do mesmo modelo. Então, usamos esse período para coletar alguns dados e ver se precisamos fazer mudanças. Ao mesmo tempo, mesmo antes de lançar o modelo, nos esforçamos bastante para garantir que ele funcione bem com o Kiro. Então, o harness e o modelo, em geral,

40:12 precisam funcionar juntos. Nesse caso, no Kiro, descobrimos se realmente precisamos fazer alterações nos prompts ou mudar a forma como as ferramentas aparecem para aquele modelo específico, para manter a qualidade. Isso se baseia nos nossos próprios benchmarks e no que sabemos de experiências anteriores, o que ajuda. Mas obter dados dos usuários reais e do uso que fazem não tem substituto, obviamente, e é para isso que usamos a fase

40:44 experimental. >> Sim. E acho que, quando falamos do ciclo de vida dos modelos, também temos que pensar no fim da vida útil. Tentamos manter o modelo enquanto ele for compatível, principalmente pelos provedores de modelos. Recentemente, acho que descontinuamos o Sonnet 4. Acredito que ele chegou ao fim da vida útil do ponto de vista do suporte da Anthropic. Mas tentamos mantê-lo por bastante tempo, porque nem todo mundo quer ficar mudando seus fluxos de trabalho ou suas automações por causa disso. Queremos oferecer suporte pelo máximo de tempo possível. Mas, ao mesmo tempo, à medida que as cargas de trabalho e outras coisas migram, queremos garantir que também estejamos usando nossa capacidade e outros recursos da maneira mais eficaz.

41:14 >> Sim. Sim, acabei de ver o anúncio de fim da vida útil do Sonnet 4. Acho que esse foi o primeiro? >> Acho que sim. Pelo menos, até onde sei, foi o primeiro pelo qual passamos, mas não sei se houve algo antes disso. >> Sim. E imagino que isso vai continuar acontecendo, certo? O Kiro está no ar há talvez uns 15 meses desde a disponibilidade geral, então já temos um histórico e estamos começando a chegar ao ponto em que esses modelos começam a sair pelo outro

41:44 lado. Vai parecer como qualquer outro serviço, em que diferentes frameworks e diferentes ambientes de execução começam a chegar ao fim da vida útil. Vamos começar a pensar nos modelos dessa forma, como algo com um ciclo de vida completo, que precisa ser retirado. Neste caso, duvido muito que alguém ainda estivesse usando muito o Sonnet 4. Sinto que o próximo foi o 4.5, e foi aí que vimos aquele grande salto. Depois, quando vieram os dois seguintes,

42:14 foi aquele ponto de inflexão em que as coisas realmente começaram a decolar e parecia mesmo que estavam mudando. Então, pode haver algumas pessoas que continuem usando os próximos modelos, mas duvido que alguém tenha continuado usando o Sonnet 4. Legal. Então, vocês dois fazem parte dessa equipe, e estamos falando um pouco sobre o lançamento de novos modelos. Gostaria de saber: como é o dia em que um dos grandes provedores de modelos lança algo novo? Imagino que vocês não saibam disso de antemão ou, se souberem,

42:45 …um ponto de inflexão, quando as coisas realmente começaram a decolar e parecia mesmo que estavam mudando. Então, talvez haja algumas pessoas que ainda se apeguem aos próximos modelos, mas duvido que alguém ainda estivesse usando Sonnet 4. Legal. Então, vocês dois fazem parte dessa equipe, e estamos falando um pouco sobre o lançamento de novos modelos. Gostaria de saber: como é esse dia quando um dos grandes provedores de modelos lança algo novo? Estou supondo que vocês não ficam sabendo com antecedência ou, se ficam,

43:16 saber, talvez algumas horas antes do resto do mercado, que isso está prestes a acontecer. Você provavelmente está no meio de uma corrida para cumprir um prazo, como sempre estamos, e de repente é tipo: “Nossa, parem tudo. Acabou de ser lançado um novo modelo. Temos que entrar nessa.” Como é isso nos bastidores para você? >> Sim, para ser bem sincero, há muita imprevisibilidade nisso, e todos nós gostaríamos de receber um aviso com um pouco mais de antecedência, mas esse é um caso em que o mercado em geral está avançando muito rápido, e nós também tentamos acompanhar esse ritmo. Mas acho que o que fizemos foi…

43:48 fazer muitas melhorias nessa área, implementando bastante automação nas avaliações: como avaliamos o benchmark, como fazemos o planejamento de capacidade, como testamos a correção nas validações de recursos e coisas do tipo. Então, acho que houve muito trabalho — um trabalho quase artesanal, eu diria — da equipe para melhorar todo esse processo. Mas, dito isso, nem tudo é totalmente compatível com versões anteriores. Há peculiaridades e outras coisas que descobrimos no próprio dia do lançamento, certo? Então, há um pouco de imprevisibilidade ou caos nisso tudo…

44:20 para garantir que funcione. E esse também é o motivo de termos o modo experimental, em que podemos fazer ajustes continuamente. Talvez não fique 100%, mas algumas dessas correções — como as de interfaces e outras coisas — levam mais tempo, certo? Então, sim, também estamos definindo uma sequência: o que é P0, o que é mais crítico e o que podemos ajustar com um pouco mais de calma, de forma iterativa. Estamos fazendo o melhor possível para automatizar isso de maneira previsível, mas, para ser sincero, ainda há muita imprevisibilidade. Com diferentes famílias de modelos que nós…

44:50 oferecemos suporte, cada uma traz suas próprias particularidades, e talvez nem todo harness que temos dê suporte a elas, certo? Alguns dão suporte apenas a uma classe específica de coisas. Nós oferecemos suporte a uma classe mais ampla. Então, precisamos garantir que funcione com todas essas coisas. >> Sim, imagino que, comparando com o desenvolvimento de software tradicional, temos esse enorme conjunto de testes unitários. Tenho certeza de que são mais complicados do que um teste unitário, provavelmente prompts com resultados esperados e coisas assim, contra os quais vamos testar. E isso é ótimo, mas o modo experimental é um período realmente importante, quando vocês estão, na prática, em beta…

45:21 com um grupo de novos clientes usando o produto em situações reais e dando feedback de verdade. Esses testes prontos que vocês tentam prever só vão até certo ponto. Então, é necessário passar por um período em que vemos como as pessoas estão se adaptando. Então, sim, acho que interrompi você e sei que tirei sua tela, mas, sabe, parecia que estávamos só conversando. Posso colocá-la de volta quando você estiver pronto. >> Não, tudo bem. Acho que só queria acrescentar uma coisa: pelo menos a equipe se concentrou bastante em garantir que removêssemos qualquer atraso ou…

45:53 qualquer coisa que esteja do nosso lado, tanto quanto possível. É claro que há imprevisibilidade nos modelos ou no que vem dos provedores. Então, passamos bastante tempo otimizando esse pipeline para que, assim que soubermos que um modelo estará disponível, possamos disponibilizá-lo aos clientes em questão de horas, talvez, certo? E acho que, como em qualquer pipeline de deploy de software, temos etapas. Tentamos garantir que possamos testá-lo nós mesmos e também testar usando os benchmarks que Akil mencionou.

46:26 Mas a meta é reduzir ao mínimo o tempo necessário para tudo o que podemos controlar. Aí, esperamos que o que reste seja apenas o que vier de forma imprevisível do próprio modelo ou dos provedores. Então, sim, acho que ainda estamos trabalhando nisso, mas é muito importante para os clientes, porque é muito empolgante usar um modelo que acabou de ser lançado…

46:58 com novos recursos. E isso é algo que nós mesmos queremos fazer como desenvolvedores. >> Mas também quero acrescentar uma coisa. Acho que sempre ouço algumas pessoas perguntarem: por que não consigo usar o modelo quase imediatamente? Tentamos manter um padrão mínimo. Não queremos disponibilizar as coisas quando não temos confiança nelas. Não abrimos mão disso e, às vezes, seguramos o lançamento. Dizemos: não, isto ainda não está pronto nem para ser disponibilizado no modo experimental…

47:29 e precisamos de um pouco mais de tempo antes de fazer isso. Acho que somos um pouco mais flexíveis nesse aspecto, mas mantemos o padrão mínimo de qualidade que acreditamos ser necessário antes de disponibilizar algo aos clientes. >> Sim. Mas, a propósito, acho que você não está dando crédito suficiente a si mesmo. A grande maioria dos modelos que me empolgam e sobre os quais leio fica disponível em um dia. >> Isso. >> Ou, muitas vezes, estou testando [risos] na mesma noite em que leio sobre o lançamento pela manhã, e já tenho acesso a eles. Então, de forma alguma acho que vocês não estejam entregando…

48:01 sabe? Sim, sempre há alguns casos atípicos, como você disse, em que as coisas demoram um pouco mais, mas, em geral, isso acontece muito rápido. Então, parabéns a vocês dois e ao restante da equipe por tudo o que fazem nos bastidores. Só posso imaginar — não tanto a pressão, mas a surpresa de receber uma notícia dessas. Tipo: “Nossa, lá vamos nós de novo, né?” E parece que isso deve acontecer a cada uma ou duas semanas. >> Bem, acho que agora vemos vários modelos por semana. Então, acho que é mais do que… >> [risos] >> Loucura. >> Tipo, é realmente… sim, é. >> Isso.

48:32 Excelente. Então, peço desculpas. Tirei sua tela porque parecia que estávamos só conversando, mas vou colocá-la de volta, e acho que podemos concluir. Isso já estava pronto há bastante tempo, para quem estiver acompanhando o relógio. Esta execução terminou faz um bom tempo. >> Exatamente. Então, acho que, se você olhar aqui, estou tentando… dá para ver a sessão. Sim, se você olhar, ela concluiu todas as etapas enquanto conversávamos, certo? Não precisei dar nenhum prompt, certo? E…

49:03 também dá para ver quanto tempo foi gasto em cada etapa. O modelo maior, Opus, obviamente levou mais tempo para planejar, mas a alteração no código em si foi bem pequena. Então, tanto em termos de tokens quanto de tempo consumido aqui, Sonnet 5 5.5 se saiu muito bem. Ele conseguiu fazer a alteração bem rápido. Depois, é claro, o revisor levou algum tempo para montar o contexto e entender se a alteração estava correta. E Haiku quase não levou tempo para criar…

49:33 a simples alteração na documentação de que precisávamos. Então, isso dá uma ideia do que você pode fazer. Obviamente, este é um exemplo relativamente simples, mas acho que mesmo aqui dá para ver como usar workflows, em especial, e também o Kiro em geral. Se você tiver preferência por determinados modelos, há diferentes maneiras de expressá-la. Com workflows, em especial, eles cuidam de boa parte da orquestração para você, respeitando essas preferências e oferecendo os benefícios em termos de uso de créditos e de tempo

50:05 também. >> Excelente. Legal. Então você terminou falando um pouco sobre o uso de créditos. Talvez, para quem não conhece bem, possamos falar por um minuto sobre esses multiplicadores de crédito e como eles correspondem ao que você está gastando, certo? Porque, obviamente, os modelos com multiplicadores de crédito mais altos custam mais. Como o multiplicador de crédito se relaciona com o custo? >> Sim, no fim das contas, isso depende de quanto

50:36 trabalho o modelo está fazendo e de quantos tokens está gerando. Então, com base nisso e também na forma como a Kiro considera o custo de tarefas típicas, de acordo com o que a Kiro observou nos nossos benchmarks, tentamos encontrar o equilíbrio certo para que os usuários não precisem ficar pensando: “Quanto trabalho este modelo está realmente fazendo? E quantos tokens está consumindo?” O multiplicador de crédito é uma forma de expressar

51:08 isso em termos que também facilitam a comparação entre modelos. Então, ele mostra tanto o quanto um modelo talvez seja caro quanto o quanto é poderoso, certo? Acho que esse é o equilíbrio que tentamos alcançar: queremos poder oferecer modelos de diferentes provedores, que podem ter características diferentes de geração de tokens, mas também queremos oferecer aos usuários da Kiro uma forma simples

51:38 de traduzir isso em quanto vai custar para eles. >> Ótimo. Com certeza. Acabei de abrir rapidamente a página da documentação para quem não tem acesso à Kiro e não está vendo isso. Todos os modelos estão listados aqui. Acho que, no fim da página, dá para ver os multiplicadores de crédito. Talvez não estejam nesta página, mas em outra. Aqui também estão todas as informações que discutimos sobre o ciclo de vida dos modelos. Mas, se você tiver interesse e quiser

52:09 saber o que está disponível, pode ver aqui os diferentes modelos e ler um pouco mais sobre o que é compatível com a Kiro. Outra coisa que eu queria mencionar rapidamente é que sei que provavelmente a maioria dos nossos espectadores são desenvolvedores individuais e não está pensando na experiência de administração, certo? Provavelmente, eles não são responsáveis por administrar isso e disponibilizá-lo para toda a organização. Mas vi uma pergunta antes

52:39 sobre: “Quando este modelo vai estar disponível?” E isso me fez pensar que talvez o modelo já esteja disponível, mas a sua organização, se você for desenvolvedor em uma empresa maior, ainda não o tenha disponibilizado. Então, neste console de gerenciamento — que só se aplica se você estiver usando uma conta empresarial, não uma conta individual —, seus administradores controlam quais modelos estão disponíveis para você. Então, quando um novo modelo

53:11 é lançado, como o Sonic 5.5, que é relativamente recente, eu ainda não me lembrei de entrar aqui e ativá-lo. Então, este ainda não foi habilitado. Sou o único desenvolvedor na minha organização bem simples, mas, numa organização de verdade, se o administrador não entrar aqui e habilitar o modelo, ele não será disponibilizado para a equipe, mesmo que esteja disponível na ferramenta. Portanto, se você é desenvolvedor individual e não está vendo algo de que estamos falando aqui, provavelmente precisa entrar em contato com quem gerencia a equipe responsável pela experiência de desenvolvimento na sua organização e pedir que habilite isso

53:42 para você. Para quem está do lado da administração, quero destacar que esse recurso existe, certo? O fato de estarmos lançando modelos não significa necessariamente que a sua organização esteja pronta para aceitá-los e disponibilizá-los aos desenvolvedores. Você tem controle sobre isso e pode decidir quando e como disponibilizá-los. Certo. Vamos conferir rapidamente o tempo. Acho que estamos quase sem tempo. Há algo de que não falamos e que você gostaria de mencionar? Esquecemos alguma coisa? >> Talvez eu mencionasse uma coisa: falamos sobre o Auto. Quando você está em um plano pago, ele escolhe um modelo de classe aberta, dependendo do seu plano. Com base também nos nossos benchmarks e no que aprendemos, ele escolhe o nível de raciocínio certo para você. O terceiro aspecto, que mencionamos brevemente, é que, dependendo da capacidade ou da confiabilidade do modelo específico, ele também pode

54:15 Esqueci alguma coisa? >> Talvez eu mencione mais uma coisa: acho que, em termos do modo automático, falamos que ele escolhe um modelo de classe aberta. Se você está em um plano pago, a escolha depende do plano que você tem. Ele também, com base em nossos benchmarks e no que aprendemos, escolhe o nível de raciocínio certo para você. O terceiro aspecto é que acho que mencionamos isso brevemente, mas ele também pode, dependendo da capacidade disponível ou da confiabilidade do modelo específico…

54:47 automaticamente tentar novamente sua solicitação ou recorrer a outro modelo, para que você não tenha de lidar com as falhas por conta própria. Esses são os três aspectos que consideramos no Auto: queremos oferecer aos clientes uma boa experiência, sem que precisem pensar em nenhum deles, certo? Não precisam se preocupar com qual é o modelo certo, nem com qual nível de raciocínio ou quais parâmetros escolher. E, se houver alguma instabilidade temporária, pelo menos não precisam parar; não vão ficar

55:18 travados. >> Ótimo. Acho que, se fosse resumir tudo isso para quem tem interesse, diria que há uma enorme possibilidade de configuração, com vários provedores de modelos, tanto laboratórios de ponta quanto as alternativas de pesos abertos disponíveis. Você pode escolher entre todos eles e configurar workflows realmente detalhados e complexos, que usam todos esses modelos e os aplicam na hora certa. Por outro lado,

55:49 porém, como o Sujay está dizendo, se você não quiser lidar com tudo isso e só quiser escrever código, é aí que entra o Auto. Acho que há um bom exemplo aqui. Um usuário do LinkedIn. O LinkedIn não nos diz quem é a pessoa; não mostra o nome. Mas alguém no LinkedIn está falando sobre isso e sobre como costuma usar o Auto. É a opção que escolhe sempre. Muito conveniente. E essa pessoa destaca o plano para estudantes. Se você não sabia, existe um plano estudantil completo para a Kiro, com acesso a créditos da Kiro para estudantes. Confira no site kiro.dev.

56:20 Mas, para um estudante, provavelmente não é isso que ele está tentando fazer, certo? Não está interessado em construir uma fábrica de software complexa. Está apenas experimentando e aprendendo uma nova tecnologia, tentando adquirir uma nova skill. Então, simplesmente ativar o Auto provavelmente é a melhor opção para alguém assim. E a Kiro oferece as duas coisas, certo? Se você quiser se aprofundar e descobrir exatamente como funciona, pode fazer isso. Se não se importar com esses detalhes e só quiser seguir em frente, ative o modo Auto e nós cuidamos disso também. Excelente.

56:51 Akhil, alguma consideração final? >> Não, acho que você cobriu muito bem. Queremos que este seja o melhor produto para qualquer desenvolvedor, e estamos sempre abertos a feedbacks sobre como podemos melhorá-lo. Obrigado a todos vocês que estão compartilhando suas opiniões, porque estamos tentando incorporá-las e descobrir como oferecer a melhor experiência para todos. >> Excelente. Ótimo. Vou mostrar mais uma citação. Não acho que conseguiria dizer melhor. “A Kiro é incrível.” Então, vou deixar outra pessoa dizer isso por mim. Mas agradeço muito a vocês dois por passarem uma hora conosco. Agradeço muito pelo tempo de vocês. Espero que nós

57:22 podem voltar. E, como você disse, há um modelo novo toda semana, se não vários. Então, vamos fazer isso com mais frequência e conversar sobre todas as coisas que estão acontecendo e todos os modelos que estamos adicionando. >> Sim, estamos preparando muita coisa, então adoraríamos voltar aqui e compartilhar algumas dessas coisas. Mas obrigado. Obrigado por nos receber. >> Excelente. Obrigado. Estou mesmo ansioso pela próxima. >> Sim. Muito obrigado. Certo. >> Tchau, pessoal.

Transcrição original

[00:16] [music] >> All right. Hi everyone and welcome back to the Kiro live stream. I’m your host Brian Beach and it’s been a couple of weeks since I’ve been on. So, glad to be

[00:48] back and hosting another one of these sessions. This week we’re going to talk a little bit about the the different models that are available in Kiro and a bit about how to how to make decisions around when to use what model. How do we all decide what model is right for the right job? And so, I have a couple of guests. We have Sujay and Akil, both from the Kiro team. They’re they’re both working on the Kiro product and so, let’s do some quick introductions. Um I

[01:19] guess I’ll kick off. I’m not on this often enough that everybody knows me, but again, my name is Brian Beach and I am based out of North Carolina. Been a developer for more years than I care to count, but super excited about everything that’s happening with Kiro and I’ve been a Kiro user since the the launch just over a year ago. Um Sujay, do you want to jump in next? >> Yeah, sure. My name is Sujay. I’m a senior SD on the Kiro team. I mostly work on the Kiro back end. So, the topic for today about the AI model selection

[01:52] with Kiro is is something that I I daily on. And yeah, really happy to be on the show. Thanks, man. >> Excellent. Uh okay. >> Hey, first of all, thanks Brian for inviting us to the show. Uh I’m an engineering leader with the Kyro team. Uh I’m based out of Seattle. Uh I’ve been with Amazon for quite long, maybe more than 15 years. Uh so, again, currently working with the Kyro team just to see like again how we can generally improve the Kyro backend and generally about like the model resiliency, model availability, and other things. So, really really glad to

[02:23] share some of the things that you’re working with all of you. >> Excellent. I I didn’t quite catch that. How long have you been here? >> I’ve been more than 15 years with Amazon. >> 15 years, okay. Wow, wow, that’s a that’s a long run. I’m I’m just coming up on 12 any any day now. I’ve lost track. Maybe it is 12. But if if it is, it’s by a day or two. So, I’m just coming up on on my 12 years. I thought I was here a long time. 15 years crazy. I That’s what I thought I heard, but then I thought I might have heard it wrong. >> [laughter] >> So, cool, great great. Well, uh so so glad to have you here. Um I let’s let’s

[02:57] kick off a little bit. We want to talk a lot about models today. And And I think this is one of the really important things that that Kyro brings is just uh a really broad selection of models. You’re not limited to models from any one vendor, right? We’ve got all the models from Anthropic and things from OpenAI. We’ve got a bunch of open weight models. Um what are you using? And And I’d love to hear from anyone listening to or watching, I should say. Uh feel free to throw it into chat. I’d love to hear what’s sort of your daily driver?

[03:27] What what model do you spend most of your time in while you’re working? >> Yeah, uh I can go first, I think. Uh so, uh the short answer is probably Auto. I think Auto is sort of my favorite because uh it’s it’s the one that you would want to really have to think about, and it works in almost all the cases that you want to use. And uh though some it I do uh as you know Kiro has multiple tools now. We have the CLI, we have the IDE, we have Kiro Crew, we have Kiro Web. So, I

[03:59] do find that sometimes on some of these platforms I have a slight little different preference based on how I am using that tool. For Kiro Crew for example, I use it for a lot of coordination task that and maybe a computer use. So, so maybe I wanted to pick a specific model there. But, but apart from that, yeah, like if I’m just chatting or like general conversations, Auto works really great. >> And I mean, that’s really the value of Auto, right? Is that I’m not spending all my time trying to figure out what

[04:31] what model should I pick here? It’s like I’ll turn on I’ll turn on Auto and get get the best model for what I’m trying to accomplish. Akil, what are you what are you doing most of the time? You also have are you on Auto most of the time? >> I think it depends upon my task, but most of my crew runs on Auto. But, I think like when I’m using some of my IDE for some of my research task, I think Opus 5.5 have become a bit more of my favorite. I like maybe it doing a bit more of a explicit work for me. But, for the regular task and other things, I just mostly fall back to Auto.

[05:03] And then, I also like again some of the GPT ones out there. I sometimes use it for like again an extra review and other things. So, I get Opus to maybe do my initial research and maybe like get GPT to maybe like review and other and say like again like what is its verdict on about the things. >> Sure. Sure. And there um I’m curious, are there times where you tend to switch models and and I’m going to throw one out there and and I don’t I don’t have any data to back up what I’m about to say. So, this is just

[05:33] entirely my preference, but I spend most of my time with the Anthropic models when I’m writing code. But, I like the documentation that I get from the GPT models. So, if I’m switching to writing docs or if I’m writing a blog post about something that we did, then I tend to go the open AI route with the GPT models and prefer I just prefer the writing style. And I think that’s >> Yeah. >> There again, there’s not a lot of data to back that up. That’s just my personal preference. I like the I like the way it

[06:04] writes prose. >> And I’m also like again, I have a feeling so lately getting GPT writing over maybe like it. But but I think Open 5.5 has gone a long way. I think I started liking it a bit more. I also like recently started playing a bit more with the open weight models. I think we have an Okami on uh Kiro. So, again, I started trying it out. It’s too early for me to share like again like where I will like devote some tasks to it, but I think I have been also trying it out a bit more in my free time. >> Yeah. Yeah. >> Yeah. >> Yeah, and I think that’s sort of the awesome thing with Kiro is uh hey, you

[06:36] we have I I think a lot of these your preferences are up to you like you subjective and you like what the model does. And yeah, and you have the freedom to choose. So, so yeah, I think that’s the fun part. >> Yeah. Um I also think and I think we’re going to talk a little bit about about sort of using different models at different points in the flow, but there’s a lot of times where I can just go to a less expensive model. I don’t always need the very best model to accomplish what I’m doing. And and I’ll give you I I use I talk about this way

[07:07] too much, but but my kind of side hobby is genealogy and family tree stuff. And so, I’ve got sort of a flow set up that I’ve been using for months where um I use I use the the LLMs in in Kiro as even just my OCR and things like that. So, I’ve got an old document, right? An old birth certificate or census record or something. I’ll put that into into one of the lesser models, right? I’ll throw that into like Haiku and let it go through and say, “Hey, do the do the translation of this for me.” I don’t need to a big heavyweight model bring to bear to just go and read a

[07:37] document. But then I’ll take the output of that and push it into maybe Opus and say, “All right, now I want you to make sense of this and fit it into the story of these people’s lives that that we’ve been building over the last few months. That’s kind of a non-developer example, but there are plenty of dev examples where we can follow those same threads and say all right, for you know, I want maybe the Fable to be doing the planning and the architecture of this and then I’ll hand off to some other model to to do some of the the testing and and those kinds of things.

[08:07] So, um it’s awesome that that you just have all of this choice. And I think that’s really what what we want to start by talking about is is that developer pain of of kind of trying to make those decisions. Um we’ve talked a lot this year, if you’ve been you know, if you’ve been on social media or you’ve been out on Reddit, you’ve probably read all of these threads about the you know, what’s the latest model and what model is everyone using and everyone’s moving from this model to this model. Um but let’s talk

[08:38] about it a little bit like like where does Where does Miro fit in and and how do you think about all of kind of juggling all of this model choice? What’s What’s driving What’s driving that conversation out there and and how are we helping to address it? >> Yeah, I think like one thing which at least like again maybe I’ll take a lead on this thing. I think like one thing at least we are observing is like there is a plethora of models out there and the frequency in which newer and newer models coming out and it’s very hard for somebody to even choose like what is right model to use and across like different families,

[09:09] right? And I think like that’s one thing where I think as a Miro product which we are trying to This could be like a good catalog of all the models out there and then we so that people can try it out and lot of these benchmarks and other things like I think I think it’s really hard to maybe choose or like again say like this is the right model for this task because it’s really hard just from a simple benchmark to say like okay, everything will will be best with one class of models and some also goes to I think what we talked a bit earlier about there are personal preferences, personal styles and some things which we like better than maybe

[09:40] something else. So, I think as a Kiro product, we wanted to give that offering like so people can choose, people can try it out in one place, and then also like again shift some of their workflows and other things more to their preferences rather than like needing to move across different products to like try it out. We try our best to like I think bring the all the latest models on Kiro. And also like again, we are trying with our auto systems which I was mentioning earlier where sometimes you don’t really need to bother about any of these things, right? I really want to focus on my business logic or what I’m building, and I wanted to like offload that overload of like

[10:13] which model to pick and other things, and then let let Kiro decide that for me both in terms of availability or resiliency because that’s another thing we are seeing right now as GPU capacity and other things as case. I I So, I again, I personally feel like auto does a good job because it takes care of some fallbacks, other things and all for me, and I just like maybe like leave it to auto to take a lot of those decisions for me. >> Yeah, man. And I’m seeing confirmation of a lot of that. I’m going to assume this is Nirmal Patel if I’m finding the right split in in that username, but

[10:43] talking a little bit about how auto is is sort of the the default router and and and the impact on credit saving saving a lot often. Especially over some of the the newer models can be quite a bit more than than auto mode. So, I think if if I reflect on what I’ve seen in the past year and the discord out there, it started at the beginning of the year very much with all of this stuff about model choice, and and there was every week it was about, “Hey, this model’s outperforming this model.” And and you saw these big shifts

[11:14] in market even even across full vendors, right? People going from from Anthropic and switching over into OpenAI, and then moving back depending on the model. Then as we got to the second half of of this year, a lot of the conversation has really shifted to cost and looking more at not just what is the best model right now, but like where where do I actually want to land in that capability cost curve? Are you seeing the same thing and thinking about the same things as you’re building this?

[11:44] >> Totally. I think like again when we talk to customers, I think I think like that’s one of the common ask which we are generally saying right like how can I control my cost or how can I make sure that things are within the budget so that it’s not just the free token thrown out there. How do we make sure that like we get the right value or like the right output for any of these usage. So I think like again you rightly mentioned like auto does a good job in making sure we we again like cost it like in the in the best case other than like again speaking or choosing the individual models out there and that’s a feedback

[12:16] at least we are getting from many of our customers that like we speak auto because we can trust in terms of the cost and the reliability out there. >> Yeah, absolutely. And are you still often thinking about sort of are you framing this yourselves as like I just want to be on the best model regardless of the cost or or are you also internally starting to think a little bit about those trade-offs and and finding the right one? >> We we are internally thinking a lot about those trade-offs because things are becoming more and more constrained or I think everybody are looking at like what’s the real value value for the money there. So I think in general as an

[12:47] organization we have been thinking about like what how can we really like make sure we get the best value out there and what how do we pick the right models and other things for it. Yeah. [snorts] Earlier in the year I think as you rightly mentioned it was more about try everything out, see like again like what is the magic out there right? But right now I think I think it has shifted a more towards like how can we basically get the best value out there and all. >> Yeah and I think along with cost there is also this an aspect of like speed like how fast you want the model to respond and you in some task like

[13:17] for example I think you have have an example about genealogy. Sometimes I questions pop into your head for like random things like something about geography and all. You don’t want a model to really spend time reasoning and it’s a quick question and answer. So, so there are models that you can use to have that really good back and forth conversation and you can that’s also usually come with a lower cost. So, I think so there is definitely as you rightly said like there’s a lot more nuance now in how we want to think about these and also what what your

[13:49] preferences are in how the model responds. >> Absolutely. Yeah, and there’s there’s also so many knobs and levers these days, right? It’s not just which model do I want to pick, but you’re also thinking about hey, do I want to be you know, how how much thinking do I want it to do before it executes? Do I want it to think for a long time? Um, and and there are times where I’m even I can be frustrated with it and say hey, like like this is not that hard a question. Why are you still thinking? Why are you know, this one should have been easy. At least that’s the way I perceive it. So, um, it is it’s getting

[14:20] it’s getting harder and harder to find that that right balance which again, I think comes back to sort of auto mode and and why that’s really valuable. I don’t want to be spending my time thinking about all of this. I want I want Kiro to take care of that for me. >> Yeah, and I but I think we also see like I think different personas of customers. Some really wants to really get all the knobs, right? They really like want to be in control of all those things. So, we want to explicitly give that option for whoever likes it, but some again like now I don’t want to really think or take care of those things. I really want Kiro to take care of it for me and like

[14:50] maybe they have they can just like fall back to auto and then get Kiro to take care of all those things for them. >> Mhm. Yep, yep. Excellent. So, I think um, maybe it would make sense. We’re talking a lot about this in the abstract. We want to jump in and and look at it in Kiro? >> Yeah, sure. We can do that. >> Excellent. Let me uh, let me share your screen for you here. Yep. Mhm. Excellent. >> Yeah, so this is a typical

[15:20] Kiro Uh is the Kiro ID, so this is what you would typically see. And uh as you can see here, this is a completely new session. So, uh this is what we are talking about. Uh Kiro provides uh um like a bunch of these models listed across different providers. We see both Anthropic and uh OpenAI models here, and also uh we can see other open-source models as well. And then uh the the and uh it gives you a visibility

[15:52] into like what the cost would be in terms of credits for you. And I think we talked about uh uh Let me try Yeah, so we talked about uh effort, right? Like so, if you choose uh specific model, then you can also choose what kind of effort you want uh the model to reason with. And then uh that impacts both how deep the model goes into a particular area before it responds. Uh and also it uh impacts uh

[16:22] how much time it takes, and also how much token it consumes. So, uh so this is uh what we want Kiro to provide is the choice is, “Hey, if you are if you if you are if you really knew your use case well, and you really prefer a certain type of behavior, and you know that this is a deep task that uh you want the model to really think about before responding, you can choose a model that is appropriate to the task. Plus, you can also uh tweak the effort level, uh and make the trade-off yourself between

[16:52] what the uh Yeah, how how deep the model will go.” So, uh And uh Yeah, and but if you, for example, yeah, the I think we’ll talk about auto a little bit later, as well. But yeah, if you if you do not if that’s not something that uh is going to make a difference for you, then you can simply choose auto here. >> Excellent. Yeah, and there’s um Um, I mean, maybe just scroll through the list there. There’s There’s a lot here. >> Yeah, there are a lot of models available here.

[17:24] Yeah, including Kimiko 3 that we made available earlier this I think this month. Yeah, so that’s pretty fresh. >> Yeah. Excellent. And so, essentially what’s happening when I pick one of these is is I’m setting the the model for that conversation on that tab. >> Correct. So, that’s right. So, if you select a particular model, then that’s a more conversation you’ll have in this one. Uh let’s say

[17:54] this project. So, this is a project that we are going to look at a little bit later as well. But, you can at the same time have parallel conversations which might be doing more deeper things and or maybe more easier things and then based on that you can actually have a different model selection as well. So, you can have threads in parallel with different models and all of them are custom to whatever workflow you’re running currently. >> Excellent.

[18:25] And I think this is probably evident, but I know I’ve heard some confusion around this that maybe this isn’t true of of all the tools out there in the world, but I can change models halfway through a conversation, right? I can be kind of cranking along in one model having a conversation and then decide that maybe I you know, I’m coming into something where I don’t need this much power or I need a little more smarts or I want to switch over to you know, in my case say to an open AI model because I’m going to work on the documentation now and I prefer the

[18:56] output of of the GPT model. I’m not necessarily bound to that for the entire conversation. >> Exactly. So, you have the complete freedom to switch between models in between your conversation. So, yeah, if I at this point I want to switch to a different model I can do that and it will happily check along and same thing for the effort. >> Excellent. Awesome. So we we maybe touched on this a little bit

[19:28] but let’s talk a little bit about you know, how do I make those decisions around what is the right thing for the right job? Is is do you have any guidance to users out there about either what to pick or or maybe how to profile that decision and get to a good outcome? >> Yeah, so I think it it’s the right tool for the right task, right? So I think that’s how at least I think of it and what I find is that there’s a general pattern where I want

[19:58] maybe one of the more advanced models to plan out things for me that hey, I give it a give it a very general maybe even vague task and it can I can have a conversation with it to drill down to the actual requirements. And then and the Opus for example is actually really good at that. And then if you once I have a good plan and the actual coding implementation can actually be also handed off to a smaller model as long as they’re in the right in the

[20:29] right chunks. So so and of course there are other tasks that you can even do with small models like writing documentation for example, you can also maybe switch to something like a high cooler there. This is one of the things that uh we at least works for me and I think this is one of the things that at Kiro we are also making it easy right now for users to do and that leads us into maybe like I can demonstrate maybe the next part of

[21:00] it what how is a good way to package it which is through a feature that we launched again quite recently which is workflows, right? So with workflows just to give a brief overview of workflows, workflows are recipes that you can configure and you can share with your team and the they are basically the recipes basically contain steps that you can ask your agent to execute and it’s actually super interesting and deep topic in

[21:32] itself in how you can how you can parallelize workflow steps and stuff like that but I think for our purposes we can pick a simple workflow here that is simple but frankly it is very close to a dev workflow that I would actually run. So here we can see >> By the way, we have not done workflows on on the live stream yet. So this is good. Like you know, feel feel free to spend some time here and and dig a little deeper than maybe you would just to talk about the the model aspect of it because this is the first introduction

[22:02] to anyone who’s been watching. >> Correct. So So generally what you want that you as a developer, right? Like you have this very natural workflow where you as I was saying you maybe plan ahead on what the change is, maybe help the agent to formalize or remove ambiguities from the overall requirement and then you go and actually implement the code and then obviously you want to

[22:33] review the code before you commit or to ship it and then you want to update documentation. So this is a very standard flow, right? And in generally how most people would do it or I would at least do is that I am the one who’s orchestrating that workflow, right? Like as a I am asking the model to ask to talk about planning and then once it I am satisfied I’m asking it to go ahead and implement it and then once it is done to review it. But with workflows you can

[23:03] actually automate a lot of this orchestration within Kiro itself. So that the agent will it will actually orchestrate and it will only come to you for permissions or for any specific issues that it runs into. And this can actually as I was saying become be is very powerful because you can maybe run multiple steps in parallel, you can have loops so that you actually if you want to go deeper into an issue or like you know want you wanted to find

[23:34] issues and then come back and fix them. You can all plan all that in a workflow. So so it’s a very powerful tool I mean it’s a tool. >> And it will it will show us this in sort of a preview mode, right? I know you’re kind of looking at the source code behind it, but I also have a >> Correct. >> Yeah. >> Yeah. >> Um I probably you know for someone new who’s first seeing it this is this is maybe a little easier to digest. Um >> Totally. >> So most of us can just translate JSON in our head at this point into a picture, >> [laughter] >> but >> Yeah. Yeah, JSON and markdown. But yeah, so

[24:06] that’s where we live right now. But I think yeah, we have a you you actually can see exactly what the steps are and what goes into as prompts for each steps and what what what the expected outcome would be from from the those steps and yeah, what what are the next steps in the flow. So >> And and then you you’re sort of I I think you implied this earlier, but I understand that there are some you know control flow constructs in here, things like looping constructs and

[24:36] branching constructs and things like that that I can build into these workflows. I know you you want to get to the part about models, but >> Right. >> Maybe maybe let’s fill in some of those gaps for everybody so they understand it. >> Correct. So you with workflows you can actually introduce uh you can I think usually what you want for a flow again for a flow is this is a simplified version is that you implement, you review, the review will find issues, you will go back and have the implementation agent uh actually

[25:08] look at the comments and fix it. So, that’s something that is uh you can do I guess you can set up a workflow to do that and you can set up uh hey, I want you to run the review maybe at most uh three times. You don’t maybe you don’t want to uh it to keep uh it to get stuck in the loop. So, you can also like base have uh those uh short uh circuit breakers essentially and uh you can also have parallel flows. So, uh again, so it’s a very it’s a it’s a new set of tool uh that we are actually

[25:40] providing with Kiro now and I’m really excited to see how people will uh how folks will build on top of that. So, uh yeah, I think at least for me it has been a uh it has been a game changer on how I can actually think about orchestration uh and yeah, basically taking myself out of the orchestration and giving that also more to the agent. >> Yeah. It It seems like nearly everyone’s kind of talking about software factories these days and uh you know, this is maybe a an overly simplified version of that that we’re looking at today. But,

[26:11] this is how you’d put that together, right? I I want to go through these series of steps to get from an idea all the way to um production or or maybe you just take it to a PR and and then you have a human get involved depending on your risk tolerance. Maybe you take it all the way out production. Um but, these this is how you would then go and map that out uh so that Kiro could orchestrate it end-to-end for you. >> Absolutely. Yeah, I think uh that’s that’s yeah, this is getting us much closer to that now. >> Yeah. Excellent. Um so, sorry. I know I I kind

[26:42] of took you down I I forced you down this path of of giving us a bit of an overview on workflows. Let Let’s take it back and connect the dots, right? The The point of this being, hey, now that I have this workflow with multiple agents defined in it, I can start to map the right agent to each of these phases and decide what to use where. >> Exactly. So, this is what this is what I was talking about earlier is, hey, I generally I find that that I I

[27:13] need the bigger models to actually help me plan and, you know, look ahead and because they are the and also maybe reason more about what I’m asking before actually implementing. So, so this is so workflows are a really good fit for that. So, this is where it going back to the JSON helps is you can define steps where you say, hey, this is a plan step where I only want you to do read-only planning and I want you to investigate

[27:44] the code base and actually understand what happened. So, one thing about the workflows I didn’t mention is you also and I’ll I’ll demo this right after this is that when you you also give a prompt a prompt when you start the workflow. So, you can tell it, hey, what should be the action or task that wants to investigate and then it will take that task and it will run the steps in context of that task. So, but the sort of the

[28:14] relevant thing for this discussion is that you can then specify a model for each of those steps and these could be different models. So, generally my preference here is that I’ll use an Opus for the actual planning and then I’ll switch to something like Sonnet, especially 5.5 is like a really good I find that it’s really good at coding and if you give it a contained task, it it’s actually also really fast at coming back with code. So,

[28:44] that’s what I prefer like generally Opus 5 can obviously do the same thing, but I’ll be spending more uh credits, but at the same time it’s also going to take more time for it to get ready versus with Sonnet, maybe I can run more iterations in the same time with with Sonnet as it finishes the actual coding task faster. >> [snorts] >> Then I think we want we have a reviewer task. So for this one I generally if I sometimes I also use GPT models for

[29:16] coding. I do find again subjectively for some tasks that like maybe for configuration changes and stuff like that. I find the their the conciseness from those models a little bit more appealing, but that’s just my personal preference, but I think it really helps to switch the it helps to switch the provider so that you have a completely model trained on different things that are just looking at your code and all of these start with fresh context. So they are actually

[29:48] looking at the pure code as if like a reviewer is looking at your code with with only the context that they see in there. >> And I’m glad you said that too cuz this is a really important part particularly for a reviewer. You want that reviewer to have a fresh context. Otherwise it ends up being tainted by the decisions that were made earlier. It’s like when I write code and I review it, it’s really hard to do your own code review. >> Exactly. >> Cuz you you’ve made all these decisions. You you know, you’re you’re committed to them. You’re not seeing the things that are wrong. Where I hand it off to

[30:19] another person, a second person to come and do that code review, they see things that I wouldn’t. Even if you’re not changing models, I think it’s always best practice to say, I want to start with a clean fresh context window when I go and do that that review portion. And then layering in a different model not just you don’t know anything about what the decisions that I made, but also you’re a completely different model, a completely, you know, different person, if you will, doing this review is really valuable. Um right there I think the first example is

[30:50] and I do this myself all the time like when I write whenever I’m writing I can’t see my errors. I have to come back I have to give it like a day and I read it the next day and I’m like, oh, look at all these errors that I didn’t see yesterday because I’ve sort of, you know, I’ve lost some of that context that was stuck in my head. But handing it off to another person as you’re doing here is is super important. >> Yeah. And but then just one thing to add I think what I found really effective is like doing the front planning of like not asking to implement right but do the front work and switching into smaller task. I found it really effective right because if you ask the same model to do

[31:21] everything but at least like again giving everybody a small concise task and especially like Sonar and others right which you can go and really execute on it. I found it really effective in some of my my workflows and my job sites at least I used to do. >> Yeah. Yep. Absolutely. Um >> Yeah. Yeah, so this is I agree with I think both the points there is for reviewer definitely helps to have a second sort of independent opinion that’s what you do in a normal PR flow as well.

[31:52] So this is this is a good way to mimic that kind of flow and with using a heavier model for model for planning you can actually break down the task before you get into the coding bits. Um Yeah, so getting this flow so ultimately I think once the task is done we want to update the change log for this uh package >> Sure. >> and that’s a very simple task of just reading the diffs and coming up with uh with this as nicely worded change log so Hayku is especially 4.5 is more than

[32:25] capable of doing that and with and and it it actually is really fast and again like cheap to in terms of credit that it consumes. So so this is what the workflow Yeah, this is what the work the workflow would look like, a simple form. So, and we can see it execute here. Let’s say So, this uh project, just to give you some context, is a

[32:55] is is is a let’s say a mock control plane. Uh this is kind of like what I work on day-to-day with the Kiro’s back end. Uh so, this is a fairly typical task that you would ask an agent to do. Uh maybe on the simpler side here, but uh we can we can see how uh workflows would handle that. So, with workflows, uh you can see uh both the runs as well on the it actually implementing, and then uh it will walk

[33:25] through, rather it will run through each of these steps, and then uh you can also dig into what it is doing. And uh so, we in the plan step right now, if you see, it is just reading through the files, trying to get the context built, and then uh it will hand off to the next tool, uh next uh step once it is done. So, we’ll let it let it run in the background. >> And this this particular workflow is is a series of sequential thing. This is sequential versus multiple parallel, but we could also now the the other thing

[33:56] I’d be doing is workflow is fanning out. >> Exactly. >> Maybe this is a terrible example, but if you wanted to add a bunch of fields, you might launch a different worker to do each of them. Don’t do that. That’s like you’re you’re touching the same code base, and you probably shouldn’t You wouldn’t ask five humans to go add five different fields to a form. But, you know, conceptually, I think you get the idea, right? We could fan out and have things running. >> Exactly. So, you can fan out, you can uh you can break down the task, and then you can also have loops uh so that it if you if you find something is broken,

[34:27] it can can come back and maybe even re-plan uh from the start if if some of the assumptions are incorrect. >> Yeah. And and while you’re doing that, that that chat session that you’ve got going on the right, um, right, that’s all background. So, I can continue talking to to Kim as well. That’s all as well. >> Exactly. So, you we have you can have independent sessions that are running here that uh, can actually uh, yeah, you you can again choose a different model for these sessions and

[34:57] it’s completely independent of what the workflows are themselves running uh, in parallel. >> And I think probably everybody has come to understand this at this point, but the other nice thing about running all this as background tasks is I’m not filling up that the the context window on that primary conversation that I’m having. So, coming back to my example of running OCR on a on a census record or something, that is something that uh, would typically blow up the context quite a bit with data that I only care about three people on that form. I don’t

[35:28] care about everybody else that was living on that street at the time. Um, but if I can push that into a background task and I just get back the list of names that are important to me, well, I’m not putting anywhere near as much overhead into that context. >> Exactly. And as you can see here, like I think you could basically be doing another task, but in parallel in the background it has finished planning and it’s then moving on to implementation and yeah, that’s completely independent in an independent context window. >> Yeah.

[35:58] Cool. Excellent. >> Mhm. >> Um, >> We’ll let it run in the background. >> Yeah, yeah, we can just keep chatting while this is happening. If if you’re good on this, I’d like to talk a little bit about sort of how how you as the dev team on this are thinking about models and and kind of model life cycle. When when are we bringing new models in? I don’t know that we’re going to be able to answer this question out of chat, but there is sort of a chat here about like when is Kimmy K3, which we do support,

[36:30] going to be available in India. Um I I don’t know what the I don’t know any of the uniquenesses of uh if there’s any limitations of India specifically. But let’s talk a little bit generally about about kind of the model flow. Uh what I’ve seen is at least for for the Anthropic and now GPT models is as soon as we add support or as soon as AWS has added support, then um there’s usually a really fast follow, often same day and if not within a day or two after

[37:03] it becoming available. >> Yeah, I I I think we try our best to like get the models as soon as possible to on Kiro. And I think again we see a lot of excitement where uh people want to try it out. People And people also see like they again every model comes with like a good amount of promises, either better efficiency or other things. So we really want to make sure that uh people can use it within the tool. Uh but at the same time we also want to be careful that it works along with our feature sets, because I think like again uh in general like we uh support like steering other ends. Like we want to make sure features like hooks and all

[37:35] those things work because we don’t want to get a bug out. So we do a lot of automations to make sure that we validate, we make sure that the quality is there. Um and lot of times like what we are doing now is like uh we get the model as soon as possible out in experimental mode. Uh we we uh for that at least like again people can try it out. Um as soon as at least to to a reasonable amount of confidence we have, right? While we kind of like maybe tune further on the end in terms of quality and other things. Uh and once we are really fully confident, we then move it back into like a a GA

[38:07] mode, right? So people can really use it in their regular workloads. Uh so that’s at least like what we try to do. So uh we try to move as fast as we can, but at the same time we want to also be careful that it it works and then we are not like again like pushing out anything out there. >> I I think generally too >> just to to maybe dive deep into this a little bit, when a new model first launches is and is in that experimental mode, A, you’re putting it through its paces, right? Making sure that it is performing the way the way you want it

[38:38] to, probably making some tweaks I assume to some prompts along the way. Um, but then I know there there are also some other things that we’ll call out in the documentation about um, the the I’ll say Chris here, right? And then explain what that means, which is uh, when a model has has made it to kind of non-experimental status, when it’s gotten out of experimental, we make some guarantees around the locality. So, for example, right? If if you’re running in the US, um, all of that inference will

[39:09] happen across the the US regions. So, it doesn’t necessarily always happen in in US East, it’ll fan out because we need capacity often. Uh, same thing happens in the European regions, it fans out across a few regions within the EU. Um, when we’re in experimental mode, often we’ll be in global mode and just saying, “Hey, we can use inference anywhere while we’re building out the the capacity.” Because we’d rather be in experimental mode for a little while than than you as a customer getting a lot of errors saying that we don’t have the model capacity for this one right now. Um, and it takes a while, right?

[39:41] You don’t you don’t know when you first throw something out into the world, how how quickly are people going to move to it? If I put 5.5 out there, are people going to stay on five? Or is everyone going to immediately move to 5.5? And you’ve got to kind of think through some of that balancing. So, that’s another part of that experimental mode that you’ll see for a little while, and then it’ll we’ll take the experimental tag off once everything’s settled down and we get a sense of where it is. >> [snorts] >> Yeah, I think exactly. So, we want to see real-world usage. So, so in terms of the life cycle, we do try to predict what capacity we need up

[40:12] front based on past data. But again, each model is different and and users find different ways to innovative ways to use the same the new versions of the model. So, we use that time to collect some data on on if if we have to make changes. At the same time, even before we launch the model, we we we spend a lot of effort in making sure that it it works well with Kiro. So, we the harness and the model generally

[40:44] have to work together. So, in this case, Kiro we figure out if we actually have to make changes to the prompts or we have to change how the how tool looks tooling looks for the particular model so that we can maintain the quality. This is based on sort of our own benchmarks and what we know from past and that helps, but also like just getting data from actual users and their usage is is obviously can’t replace them and that’s what we use the experimental

[41:14] phase for. >> Yeah. And I think when we talk about model life cycle, we also have to think about end of the life as well. We try to keep the model as long as I think it’s mostly supported by the model providers. I think we recently went ahead and deprecated Sonnet 4 I think that was like end of life from from an Anthropic support perspective. But I think I think like we try to keep it as long because not everybody wants to keep changing their workflows or their automations around it. We want to support like as long as we can. But at the same time like again like as workload and other things move off, we

[41:44] want to make sure that we are also using our capacities and other things in the most effective way. >> Yeah. Yeah, I just saw the Sonnet 4 end of life announcement. I I think is that the first? >> I I think so. At least to my knowledge, it is the first we went through, but I don’t know whether there was something before that. Yeah. >> Yeah. And I assume I mean that’s going to keep happening now, right? We’re you know, Kiro’s been Kiro’s been out now for maybe 15-ish months post GA that that we’ve got a runway and so we’re starting to get to the point where these models are coming coming off the other

[42:14] side. It’s going to feel like like any other service where things are different frameworks, different run times are starting to reach end of life. We’re going to start thinking of models that way as as having a full life cycle and needing to to move them off. Um I think in this case I really doubt that anyone was still using uh Sonnet 4 heavily in any way. The I I feel like the next one I I think it was 4.5 was sort of like you saw that big jump, and then it was you know, as as we got those next couple were that

[42:45] inflection point as things were really taking off and things really felt like they were changing. So, some of the next ones there might be a few people hanging on to, but I doubt anyone was hanging on to to Sonnet 4. Um Cool. So, you’re both on this team, and we’re talking a little bit about this launching new models. I’d love to hear from you, like what is that day look like when when one of the big model providers launches something new. I’m I’m assuming that you don’t have any foreknowledge of it, or if you do, you

[43:16] know maybe a few hours before the rest of the market does that this is about to happen. You are probably in the middle of trying to get to a deadline as we always are, and suddenly it’s like, “Oh wow, drop everything. New model just launched. We’ve got to get on this.” What what does that look like behind the scenes for you? >> Yeah, to be very honest, this is one thing that’s a lot of unpredictability out there, and all of us likes to get a bit more of a heads-up these but this is one thing where the market in general is moving really fast, and we also really try to get along that line. But I think like

[43:48] what we have done is like we have done a lot of improvements in this area by doing a lot of automations in terms of like the evaluations, how do we evaluate the benchmark, how do we do the capacity planning, how do we test the correctness in terms of feature validations and those things and all. So, there’s a lot of like I think art or like again work I think the team has done to like improve this whole process. But, that said, still uh not everything is completely backward compatible. Uh there are there will be like quirks and other things which we figure out as we they again like on the day of launch, right? So, there’s some on the unpredictability or like chaos out there

[44:20] to make sure that it works. And that’s also the reason why we have the experimental mode out there where we can continuously tune it like might not be 100% but still because some of these corrections is sort of uh UIs and other things takes longer time, right? So, yeah, we’re also sequencing the way of like in a P0 or like what’s the most critical thing versus what we can done do in a bit more of a I try to tuning and other things. So, um we’re doing our best in terms of automation with a predictable way but there’s also a lot of unpredictability out there to be honest. Uh with different model families that we

[44:50] support, uh it comes with its own nuances which may be like not every harness that we have, right? There is they only support maybe a specific class of things. We support a broader class of things. So, we need to make sure that it works with various of these things. >> Yeah, I mean I I imagine to to compare that to traditional software development, we’ve got this huge battery of unit tests. I’m sure they’re more complicated than a unit test, probably prompts with with expected outcomes and things like that that we’re going to run against. Um and that’s great but experimental mode is is a really important time when you’re kind of in beta

[45:21] effectively with a set of new customers running real things against it and getting real feedback. The the those those canned tests that you’re trying to plan for, they only ever go so far. So, it’s it’s it’s a necessary period of time where we see how people are are adapting to it. So, yeah, I think I I cut you off and I know I took your screen off but you know, it felt like we were chatting but I can throw it back up when you’re ready. >> Uh no, that’s okay. I think the just one thing I wanted to add is I think uh the at least the team we have focused a lot on making sure that we remove any delay or

[45:53] anything that from our side as much as we can. Uh there’s obviously be unpredictableness in terms of the models or what comes from the providers. So, we have spent a lot of time optimizing that pipeline so that as soon as we know a model is going to be available, we are able to get it to customers maybe in in a matter of hours, right? And I think like with any software deployment pipeline, we have stages. We try to make sure that we can test it ourselves and we can test against these the benchmarks that Akil talked about.

[46:26] But the goal is that whatever we can control uh get it down to the minimal time uh required and then uh hopefully what remains is just what what unpredictably comes from the predictability comes from the model itself or from from the providers. So, uh so yeah, I think it it’s still I guess something that we are working on, but again, I think it’s really important to customers because it’s it’s really exciting to use a model that has recently really been launched

[46:58] with new capabilities and uh that’s something that we uh want to do ourselves as developers, but uh but we can it’s what we want to do ourselves. >> But but I also want to add one thing. I think like one thing I I kind of always hear maybe from the some people asking, right? Why not I get it almost immediately? I think we try to keep a minimum bar. Like we don’t really want to like really get things out when we are not confident about uh that thing. So, that’s one thing we really don’t compromise on and we sometimes hold back, right? No, this is not ready to like even expose in an experimental mode

[47:29] and we need a bit more time before we do that. And I think I think we are a bit more again lenient on that side. Again, the minimum quality bar which we think should be there before we expose to our customers. >> Yeah. But by the way, I I don’t think you’re giving yourself enough credit there. Um the overwhelming majority of of the models that I’m excited about and reading about are are available within a day. >> Yep. >> Or or often I’m playing with [laughter] them that night after I after I read about the launch that morning and I’ve got access to them. So, by by no means do I think that that you are not delivering here,

[48:01] you know. Yeah, there’s always a couple odd ones, as you said, where where things take a little longer, but generally this goes really quick. So, well, kudo kudos to both of you. And the rest of your team for everything you’re doing behind the scenes. I can only imagine the not not so much the pressure so much as just the surprise of being hit with that. Like, “Oh, wow. Here we go again, right?” And and it feels like that must happen every week or two. >> Well, I think we are seeing multiple models a week now. So, I think it is more than >> [laughter] >> Crazy. >> Like really thing like yes, yeah. >> Yep.

[48:32] Excellent. So, um So, yeah, I apologize. I took your screen down because we felt like we were just chatting, but I’ll throw it back up and I know we can we can kind of wrap up. I I that’s been done for a long time for anyone that’s that’s trying to watch the clock on this. This one finished quite a while ago. >> Uh exactly. So, I think if you see here, uh I’m trying to try and uh you see the session. Yeah, so if you see it based on it completed all the steps and as we were talking, right? I did not have to prompt it in any way, right? And

[49:03] and you can also see in terms of the timing where it like spend time on. So, the larger model obviously for planning Opus took longer, but that code change itself was pretty small. So, uh the so both in terms of tokens and the time that was consumed here, Sonnet 5 5.5 did really well. Like it could make the change like really quickly. And then of course the reviewer took some time to build up context and understand if the change is correct. And then Haiku took almost no time at all to come up with

[49:33] the simple documentation change that we needed. So, this gives you an idea of what you can do. Obviously, this is a fairly simple example, but even here I think you can you can see using you with workflows, especially, but in general also with Kiro, you if you have preferences for certain models, you can there are different ways to express them and then uh with workflows especially uh it it will take away a lot of the orchestration for you while uh adhering to those preferences and giving you these benefits of credit usage and time

[50:05] as well. >> Excellent. Cool. Um so so you kind of ended there talking a little bit about credit usage. Um maybe for for those who don’t know it well, let’s let’s talk for a minute about those credit multipliers and and how those correspond to what you’re spending, right? Cuz obviously the the higher credit ones are costing you more. How does How does the the credit multiplier relate to what it’s costing? >> Yeah, so uh it ultimately comes down to how much

[50:36] work the model is doing and how uh how many tokens it is generating. So uh based on uh that and I think from uh how from how Kiro also thinks about our our Kiro has seen with our benchmarks on what typical task would cost, uh we try to uh find the right balance where uh the users don’t really have to think about, “Hey, how much work is this actual model doing?” Uh and how much tokens is it consuming? And so the credit multiplier is a way to express

[51:08] that in terms of the which is is easy to also compare models in with the credit multiplier. So it actually tells you uh uh both in terms of how expensive maybe a model is, but also how powerful it is, right? So I think uh that’s a balance we try to strike is uh we want to be able to uh again provide uh these models from different providers who might have different token uh generation characteristics, but there’s a uh simple way for Kiro users

[51:38] to translate that into how much it would cost them. >> Awesome. Absolutely. Uh so I I just brought up quick the the documentation page for for those who, you know, don’t have access to Kira and aren’t looking at it. They are all um listed here. And uh you can at the bottom of it, I think, see the credit multipliers. Maybe they’re not on this page, they’re on a different one. Um also this is those laying out all the stuff that we talked around around the model life cycle. But if you’re interested in and want to

[52:09] get a sense of what’s available, you can see all the different models here and and read a little bit more about what’s supported in Kira. Um And then the the other thing that that I wanted to know quick is I know probably most of our our viewers are individual developers and aren’t thinking about that that uh admin experience, right? Likely they’re not the ones who are governing this and rolling it out to their entire organization. But I did see the question earlier

[52:39] about, “Hey, when is this model going to be available?” And it made me think part of what that what that might actually be is not that the model isn’t available, but that your organization, if you’re a developer within a larger enterprise, hasn’t rolled that out yet. And so in the in the management console here, and this is only if you’re running under an enterprise account, not an individual account, but you your your admins have control over what models are available to you. And so when a new one

[53:11] comes out, like like Sonic 5.5 is fairly recent, and I haven’t actually remembered to come in here and turn it on. So this one hasn’t been enabled yet, and um I’m the only developer in my very simple org, but in a real-world organization, if the admin didn’t come in here and enable it, it’s not going to get rolled out to their team, even though it is available in the tool. But um so so as an individual developer, if you’re not seeing something that we’re talking about here, probably you need to reach out to whoever’s running the the developer experience team within your organization and ask them to turn that

[53:42] on. Um for those who are on the admin side, I do want to call out that this exists, right? That that just because we’re rolling models out doesn’t necessarily mean that your organization is prepared to accept them and roll them out to your developers. And you have control over that and can make decisions about when and how to roll it out. So. Cool. Um quick quick time check. I think we are pretty close to running out of time here. Anything that we didn’t talk about that you want to?

[54:15] Miss anything? >> Uh maybe one thing I would mention is I think in terms of auto we talked about uh that a it picks uh if you’re on a paid depending on the plan you are it picks a open class model. It also uh again based on our benchmarking and learning it picks the right reasoning level uh for you. Uh the third aspect of it is that I think we touched upon it briefly but it also uh it depending on the capacity picture or depending on the reliability picture of the particular model it also can

[54:47] automatically fall back or retry your request so that you don’t have to deal with the failures yourself. So that’s those are the three axes that we think of in for auto is that we want to provide uh good experience to customers where they don’t have to think on any of these axes, right? Like they don’t have to worry about uh which is the right model, they don’t have to worry about like what reasoning level or some of these parameters to pick. And also if there is uh some unreliability temporarily at least that uh they don’t have to they they will not stop and they don’t get

[55:18] stuck. >> Great. I I so I I think if I could summarize all of this for for those who want it there is tremendous configurability here across multiple model providers across um both frontier labs as well as the open weight alternatives that are out there. You you can pick amongst all of those and you can set up really granular, really complex workflows that use all of those and bring those to bear at the right time. On the other side of that

[55:49] though, as as Sujay is saying, if you don’t want to deal with all of that, if you just want to go write code, um that’s when you bring Auto in. Right now, I think there’s a there’s a good one in here. LinkedIn user. LinkedIn doesn’t give us who’s who. It doesn’t give you the names of the people. But someone out on on LinkedIn is talking about this and and how um they tend to use Auto. That’s their go-to. Super convenient. And they’re calling out the student plan. If anyone’s not aware, there is a whole student plan for Kyra that you can get access to Kyra credits as a student. Um check that out on on the kyra.dev

[56:20] website. But as a student, that’s probably not what they’re trying to do, right? They’re not they’re not interested in building out this complex um software factory. They’re just they’re they’re playing and learning a new technology and trying to pick up a new skill. And so, just turning on Auto is likely the the best option for someone like that. And And Kyra’s giving you both of those, right? If you if you want to get really in the weeds and figure out exactly how it works, we can do that. If you don’t care and you just want to go, turn on Auto mode and we’ll do that as well. Excellent. Um

[56:51] Akhil, any any parting thoughts here? >> No, I I think you covered it pretty well. I think I think again, we want this to be the best product for any developers out there and we are always welcome to feedbacks and then how we can make it better. And thanks for all of you guys who are sharing because we are trying to incorporate and see like how we can like offer the best experience for all of you. >> Excellent. Great. Um I’ll throw up one more quote. Um I don’t think I could say it better. Kyra’s amazing. So, I’ll let someone else say it for me. But thank you both very much for for spending an hour with us. I really appreciate your time. Uh hopefully we

[57:22] can have you back. And as you said, there’s there’s a new model every week, if not multiple. So, let’s let’s do this more often and talk about all the with that are happening and all the models that we’re adding. >> Yeah, there’s a lot we are cooking, so we would definitely love to come over here and share some of those things. But thank you. Thank you for having us. >> Excellent. Thank you. Really looking forward to the next one. >> Yeah. Thank you so much. All right. >> Bye everyone.