API, SDK ou Harness completo: quando e por que escolher cada um?

Author: Cortes do Rafael Quintanilha · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: API, SDK ou Harness completo: quando e por que escolher cada um? · Channel: Cortes do Rafael Quintanilha · 08:44 · Watch on YouTube

Topics: AI agents, Software engineering with AI, AI infrastructure and hardware, Markets and economy

Summary

A conversa apresenta três níveis de controle para usar serviços de IA: fazer chamadas à API, usar um SDK com um harness para gerenciar o loop ou terceirizar o harness inteiro. A escolha depende da maturidade do projeto, da velocidade necessária para validar a ideia e do quanto a equipe aceita depender de um fornecedor. Começar com uma solução pronta pode acelerar a validação, especialmente para equipes pequenas, enquanto desacoplar a infraestrutura pode ajudar a reduzir custos conforme o negócio cresce. Os participantes também destacam que evitar lock-in a qualquer custo pode fazer uma startup perder oportunidades de avançar mais rápido.

Key points

A API oferece o nível mais baixo de abstração: o sistema solicita uma inferência e recebe uma resposta.
Com um SDK, o fornecedor pode ajudar a controlar o loop e a integração com ferramentas.
Um harness completo hospedado pelo fornecedor também pode incluir sandbox e scheduler gerenciados por ele.
A escolha entre os níveis depende do projeto, da maturidade da solução e da rapidez necessária para validá-la.
Uma solução pronta pode custar mais, mas poupar tempo e trabalho de implementação.
Depois de validar o produto e observar seu crescimento, a equipe pode reduzir a dependência e desacoplar a infraestrutura.
Para uma equipe pequena, delegar a gestão da infraestrutura pode liberar tempo para produto, distribuição e validação.
O receio de lock-in não deve impedir o uso de ferramentas que ajudam a colocar um produto no mercado mais rapidamente.
Programas de créditos e ecossistemas para startups podem atrair desenvolvedores e empresas para uma plataforma por longo prazo.

Chapters

Start	Chapter	Summary
00:00	Infraestrutura e lançamentos da Anthropic	Os participantes comentam o foco empresarial da Anthropic, seus lançamentos recentes e a preocupação com dependência de um ecossistema.
02:00	Três níveis de controle	A conversa distingue o uso direto da API, o uso de um SDK com controle do loop e a terceirização do harness completo.
03:35	Como escolher o nível de abstração	Vini relaciona a escolha à maturidade do projeto e à rapidez necessária para validar um produto.
06:09	Validar primeiro e desacoplar depois	Os participantes defendem começar com soluções prontas quando isso acelera a validação e considerar o desacoplamento conforme o negócio cresce.
07:41	Ecossistemas e aquisição de startups	A conversa aborda como plataformas e programas de créditos atraem startups e podem criar vínculos duradouros com seus ecossistemas.

Quotes

Você basicamente só pede uma inferência. — 02:00

O terceiro degrau é você terceirizar todo o harness. — 02:32

O fator de decisão vai vir junto com o quão rápido eu preciso disso versus o quão rápido eu quero validar. — 05:07

Você precisa validar rápido o produto e, quando validou, aí sim vai pensar em como desacoplar e reduzir o custo. — 07:41

Eu ganhei créditos da AWS pra rodar coisa lá, rodei lá, nunca mais saí de lá. — 08:12

Concepts and entities

API, SDK, Harness, lock-in, Anthropic, OpenAI, Vercel, AWS, GCP, Codex

Full transcript (original language)

00:00 Esse é um corte do podcast limite semanal que acontece toda segunda-feira às 7:00 da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. Você chegou, Vini, a testar eh parte dessa infra deles aqui, seja o Manager Day, seja SDK, né? O que que você tá pensando, como você está

00:30 pensando em gastar esses créditos que você acabou de adquirir? >> Maravilha, maravilha. Cara, essa parte da infra deles eu tô estudando ainda, porque ele é o que que tá acontecendo, né? Eu vi que você já trouxe boa parte disso, mas a Antropic ela tá muito focada no ecossistema mais para Enterprise, que é o forte dela. A gente vê Open AI, até Space X AI brigando muito pela frente do B2C, do cliente convencional. A Antropic que resolveu que não vai fazer o botezinho dela, que vai focar em criar produto para empresa. E aí dentro disso, ah, eles lançaram

01:00 recentemente agora na semana, essa semana, né? Fizeram uma sequência de lançamentos ali. E uma um dos lançamentos que eu achei interessante é o API do Dynamic Workflows. Porque dá para montar isso no no sistema de agentes, dá para montar. Mas o fato de você ter plugin play ali, uma facilidade de simplesmente spawnar múltiplos agentes efêmeros ali, eu acho interessante. Não cheguei a testar tão a fundo. Eu tenho um pouco de pé atrás com me amarrar muito no ecossistema assim de empresa. >> Certo. >> O mesmo pé atrás que eu tenho, né? A

01:30 gente fez o comparativo com a Será que a Antropic quer virar a AWS? Eu tenho o pé atrás da com a AWS também, de me amarrar muito lá dentro. Mas a gente sabe que tem empresas que eventualmente eh optam por isso sabendo, né? Ah, eu vou usar a AWS sabendo que ali vai ser um problema ou uma solução também, mas por escolha. E mas faz muito sentido esse esse caminho, viu, Rafa? Porque agora tem a própria certificação de Cloud. Então os caras estão de fato desenhando ali uma uma esteirinha de produto para trazer um

02:00 mercado para dentro mesmo. >> Pois é, e é importante também e é interessante, né? Porque você vê que que eles oferecem o nível de controle desde ali do nível mais baixo, não só na Tropic, que a Open AI faz isso também. Então você consegue se conectar via API, que seria o nível mais baixo, né? Então você basicamente só só pede uma inferência. >> Exato. >> Você solicita uma inferência, ele retorna para você. Ponto. É o nível mais básico, digamos assim, da requisição. Daí você pode utilizar SDK, né? A SDK,

02:32 você vai ter aquele harness ali de alguma forma, ele eles vão controlar, por exemplo, também o loop, né? Olha, tem essas ferramentas, então não só você está controlando só a inferência, mas também todo o loop. Beleza? >> Perfeito. Perfeito. >> Então essa é a segunda é o segundo degrau. E aí o terceiro degrau é você terceirizar, então, todo o harness. Então, em vez de você ter não só inferência e não só loop, mas você também tem isso rodando nos próprios servidores dele, com os próprios sandbox dele, com os próprios schedulers dele, etc, etc. Então você vai evoluindo ali

03:04 na escadinha. E aí a minha pergunta para você, Vin, que hoje hoje eu vou ser o host e você vai ser o >> Tô fechou. Vamos nessa. Você você tá você mandando aí para caramba, cara. Foi >> Então hoje, já que eu já que eu estou fazendo esse papel aqui, a minha eu vou fazer as perguntas para você hoje. >> Bora lá, então. >> E a minha pergunta para você é o seguinte: dado esses três níveis de controle que você pode ter, quando que você escolheria cada um deles? Assim, você você falou do você falou, pô, eu tenho medo talvez de ficar preso ali,

03:35 né? Não é com o sistema dos caras. Então que que passa pela sua cabeça na para o pessoal que está aqui na nos assistindo, a audiência, preciso escolher qual que eu vou usar, né? Em qual grau de liberdade eu vou dar e por quê? >> Tá bom, eu vou eu vou aproveitar e vou fazer um gancho com o comentário do Codex aqui. Que eu sei que a turma tá te ajudando desde desde o começo aqui, então a stileira do Vinte Tipo tá para para lançar o keynote de startup, só falta lançar um “Hi everyone, today we are glad to present Semanal Vinte Tipo Startup”. So, hi everyone, brincando. Cara, eh,

04:06 vamos lá. Que que eu enxergo? Não é muito diferente, não é nada de novo em relação ao que a gente já tá acostumado com o mercado de software, Rafa. Eh, se a gente fizer um comparativo, um depara, hoje a gente tem, por exemplo, a Vercel, que, pô, querendo ou não, ela é um wrapper de um GCP, de uma uma AWS, mas que ela facilita. Ela entrega ali, você vai pagar um pouco mais caro, você vai ter um lock-in mais forte, mas ela facilita a entrada. Então, eu vejo que o a esses degraus de eh níveis de de de como os outros de lock-in que a gente vai colocando com a

04:36 empresa, ou seja, eu pagar só pela inferência, eu pagar pela inferência mais usar um SDK e eu simplesmente terceirizar todo o harness harness com eles, vai depender, ao meu ver, do nível do projeto que eu tô construindo e da maturidade do projeto. Deixa eu trazer um exemplo. Se eu já tenho um sistema de agentes, ou eh se eu não tenho um sistema de agentes e eu quero validar um produto, o que que é mais rápido para eu fazer? Eu usar uma um harness já pronto, que tem todos os schedules tudo funcionando, que eu vou pagar um pouco mais caro pelo custo, mas

05:07 que eu vou conseguir validar aquela ideia rápida, ou criar uma coisa do zero, de pensar, entender toda a lógica de montar isso por trás? Eh, tá, por mais que agora é é mais rápido com IA, mas ainda assim, eu acho que o fator de decisão vai vir junto com isso, de o quão rápido eu preciso disso versus o quão rápido eu quero validar. E aí depois que eu validei, aí a gente vai diminuindo o nível de eh dependência. E esse nível de dependência, ele vem junto com a redução de custos no questão na questão operacional, enquanto o sistema escala, que ao mesmo tempo exige mais

05:38 gente trabalhando nisso. Ou seja, se eu sou uma empresa de uma pessoa só, talvez pegar ali a estrutura toda pronta, não ter que gerenciar tudo isso e focar em distribuição, produto e tudo mais, na minha visão faz sentido. Poxa, validei o negócio, o modelo tá crescendo, vamos avançar, vamos começar a desacoplar a nossa infra desses caras, que é o que startups fazem hoje. Pô, comecei na Vercel, começo a desacoplar um pouco, vou pro GCP, vou pra AWS. E aí, pô, aí chega no nível dos caras gigantescos e compram um data center. Aí pode até ir por aí. Mas eu chego assim,

06:09 Rafa, você você vê alguma coisa diferente? Ou você tá mutado? Ou eu que tô surdo? >> Eu tava mutado. Tava tentando botar Tava tentando botar o banner aqui, mas eu não sei fazer. Eu tava aprendendo aqui ao vivo, mas não deu certo. >> [risadas] >> Eh Cara, eu acho que você falou bem, né, cara? Não tem nada de novo sobre o sol aqui, né? A gente já tá acostumado a trabalhar com com MVP. Você sabe, ah, cara, talvez eu quero colocar uma coisa no ar, quero validar, pego o maior nível de dependência possível, mas pra eu conseguir validar. E aí, com o tempo, à medida que eu

06:40 validei a minha ideia, eu já vou pensando em ter uma infraestrutura mais robusta e coisas do tipo, né? Então, acho que isso é é é bem por aí mesmo. Né? E eu repito o que eu falei no episódio passado, semana passada ou retrasada, né, que um grande arrependimento que eu tenho na minha vida foi fazer pouco caso de de empresas satélites da AWS, ah, sei lá, 10, 15 anos atrás, quando comecei a trabalhar. Eu falava: “Ah, cara, eu não quero me não quero me me >> Travar aqui se eu posso fazer >> É, eu não vou criar tudo Aquela ideia,

07:11 né? Eu não não quero construir a minha casa no terreno do do meu >> É alugado, né? >> do meu sogro, é, exatamente, né? Então, você às vezes fica com fica nessa, fica nessa e deixa passar o cavalo selado, né? Então, a gente tem que tem que entender também que quem tem grande chance de co de ganhar a corrida é e a Cloud tá na frente, né? >> Pô, Rafa, mas quer ver o isso, o maior exemplo de tá acontecendo nesses tempos agora, a quantidade de SaaS feito em low-code, que os caras estão conseguindo colocar no mercado e ter revenue, ter lucro em cima, é absurdo. Enquanto isso tem Tem galera que fala: “Não, pô, eu não vou usar o low-code, pô, eu vou

07:41 fazer um negócio cloud code, não é pra pra infra, nanana”. Porque assim, o segredo de startup, né, tem as tem as métricas, né, isso antes de A, 95% delas quebram, mas você o negócio é que você precisa validar rápido o produto e quando você validou, encontrou o o product market fit, aí sim você vai pensar em tá, como é que eu desacoplo, como é que eu reduzo o custo e tudo mais. Então, eu vejo que entra muito nessa pegada e aí o que que é interessante, fazendo a conexão com o programa de startup do cloud, ele vem nisso também, porque eu vou pegar na mão

08:12 do cara que tá começando, trago o cara pro meu ecossistema, entrego um ecossistema fácil do cara plugar e construir a estrutura dele em cima desse ecossistema, que é a mesma coisa que a AWS faz, mesma coisa que o Google for startups faz também. E aí o cara vai construindo ali em cima. >> Eu ia falar isso. Eu comecei na AWS porque eu ganhei, eu lembro na época do Quant Brasil, eu ganhei um um AWS credits pra rodar coisa lá, rodei lá, nunca mais saí de lá, cara. Comecei lá e fiquei lá. Tudo bem que a AWS é a grande vencedora, é difícil sair de lá mesmo, mas assim, ela eles me me capturaram certamente, o ROI pra eles foi positivo.

08:44 >> Claro, claro.