Harness Arena (testado na prática): este novo benchmark comparou vários agent harnesses — qual é o melhor?

Autoria: AICodeKing · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Harness Arena (Fully Tested): This NEW Benchmark TESTED Every AGENT HARNESS (which is the best?) · Canal: AICodeKing · 05:54 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Ferramentas de desenvolvimento com IA

Resumo

O vídeo apresenta a Harness Arena, uma plataforma para comparar agent harnesses com base no trabalho que produzem usando a mesma tarefa e configuração de modelo. O apresentador demonstra como consultar execuções registradas, avaliar resultados anonimamente e interpretar o leaderboard, ressaltando a importância de seguir a rubrica e verificar se o aplicativo continua funcionando. Também mostra como configurar uma comparação própria com tarefas, harnesses e modelos escolhidos pelo usuário. Como há poucos votos em algumas avaliações, ele recomenda cautela ao interpretar as classificações.

Pontos-chave

A Harness Arena executa a mesma tarefa e configuração de modelo em workspaces separados para cada harness.
O battle log permite consultar execuções e filtrar por status, categoria ou resultado.
A avaliação exige analisar os resultados anonimamente e atribuir uma nota de 1 a 10 a cada saída com base na rubrica.
Além de verificar se a alteração solicitada foi feita, é importante confirmar que recursos não relacionados continuam funcionando.
O leaderboard apresenta avaliações, taxa de vitórias, votos, vitórias e derrotas e tempo mediano de conclusão.
Classificações com poucos votos podem não ser representativas; rapidez, por si só, não garante um bom resultado.
É possível criar uma comparação própria com tarefas, harnesses e um modelo selecionados pelo usuário.
Tarefas concluídas podem ser avaliadas antes de todo o conjunto de dados terminar de ser executado.
O leaderboard público e o battle log podem ser acessados sem conta, mas outras funções exigem login.

Capítulos

Início	Capítulo	Resumo
00:02	Apresentação da Harness Arena	O vídeo explica como a plataforma compara harnesses usando tarefas e configurações iguais e apresenta o battle log.
01:37	Como avaliar os resultados	O apresentador descreve a avaliação anônima com notas de 1 a 10 e recomenda conferir os requisitos e o funcionamento do aplicativo.
02:41	Leaderboard e cautela com as classificações	A demonstração mostra as métricas do ranking e alerta que poucas avaliações tornam as diferenças pouco conclusivas.
03:48	Configuração de uma comparação própria	O vídeo percorre a seleção de tarefas, harnesses e modelos para criar e acompanhar uma comparação.
05:23	Avaliação das execuções e encerramento	O apresentador explica como avaliar tarefas concluídas e menciona o acesso público e a disponibilidade do backend no GitHub.

Citações

Uma plataforma para comparar agent harnesses usando o trabalho que eles realmente produzem. — 00:02

A remoção da sobreposição certa só é útil se o restante do aplicativo continuar funcionando como esperado. — 02:09

Uma execução rápida que deixa código quebrado ainda precisa de trabalho; só a velocidade não decidiria minha escolha. — 03:15

Você escolhe as tarefas, os harnesses que quer testar e o modelo que eles vão usar. — 03:48

Conceitos e entidades

Harness Arena (ferramenta): Plataforma que compara agent harnesses por meio de tarefas, execuções e avaliações.
Harness (conceito): Software ao redor do modelo que inclui instruções, ferramentas e ambiente de execução.
On Demand (empresa): Patrocinadora da plataforma e responsável por um harness que participa da arena.
Codex (ferramenta): Um dos harnesses listados na comparação demonstrada.
Hermes (ferramenta): Um dos harnesses listados na comparação demonstrada.
Claude Code (ferramenta): Um dos harnesses apresentados para comparação na plataforma.
Qwen3.8 (modelo): Modelo indicado na configuração da rodada de comparação mostrada.
GitHub (ferramenta): Plataforma onde, segundo o vídeo, está disponível o backend da Harness Arena sob licença MIT.

Tradução completa (pt-BR)

00:02 [música] >> Oi. Bem-vindos a mais um vídeo. Hoje vamos testar o Harness Arena, uma plataforma para comparar harnesses de agentes de IA com base no trabalho que eles realmente produzem. Você pode inspecionar execuções gravadas, avaliar resultados sem ver qual agente os produziu e comparar os resultados em um placar. Esta é uma apresentação patrocinada do Harness Arena. A plataforma é patrocinada pela On Demand, que também tem um harness competindo na arena. Um harness é o software que envolve o modelo, incluindo suas instruções, ferramentas e ambiente de execução. O método de comparação do Harness Arena fornece a vários harnesses a mesma

00:35 tarefa e configuração de modelo, com espaços de trabalho separados para cada um. Por exemplo, um agente precisa ler o código relevante, fazer uma alteração e verificar se ela funcionou. A maneira como o harness lida com essas etapas pode afetar o resultado, mesmo quando o modelo é o mesmo. É isso que torna essa comparação interessante. Então, vamos abrir harness-arena.ai. Vou começar pelo registro de batalhas na barra lateral. Ele mostra execuções gravadas, e você pode filtrá-las por status, categoria ou resultado. O menu de status inclui execuções na fila, em andamento ou aguardando avaliação. Se quiser avaliar algo, procure uma rodada aguardando avaliação. Isso dá a você um ponto de partida

01:07 sem precisar iniciar um novo benchmark por conta própria. Neste passo a passo, vou abrir a categoria e selecionar programação e criação de software. A tarefa listada aqui se chama Aplicativo de globo 3D, remoção de sobreposição específica. É uma tarefa de aplicativo web. E esta rodada gravada lista Codex, On Demand, Hermes, Open Code, Open Claw e Claude Code. Agora, clique na seta à direita para mostrar a comparação. Isso expande uma tabela com uma coluna para cada harness. A linha do modelo mostra a configuração do Qwen 3.8 usada nesta rodada. Você também pode ver as linhas da sua pontuação, das avaliações da comunidade e dos entregáveis. Nesta

01:37 rodada específica, a avaliação da comunidade informa que ainda não há votos, e as contagens de entregáveis ficam ocultas até que a rodada seja avaliada. Então, ainda não dá para apontar um vencedor. Este é um lugar útil para verificar quais ferramentas foram executadas juntas e qual configuração usaram. Em seguida, clique no título da tarefa para abrir a avaliação. Esta etapa exige uma conta. Se você estiver desconectado, verá uma janela de login; portanto, entre antes de começar a análise. A página de metodologia do site explica a sequência de avaliação. Leia a tarefa e os critérios de avaliação, inspecione os resultados anônimos e atribua uma nota de 1 a 10 a cada resultado exigido. Os

02:09 nomes dos harnesses são revelados depois que você envia todas as notas. Para esta tarefa do globo, eu primeiro verificaria o requisito exato de remoção da sobreposição no prompt e, em seguida, compararia os aplicativos enviados com esse requisito. A sobreposição solicitada desapareceu? E o globo continua funcionando? Esses são os tipos de verificação a fazer antes de escolher uma nota. Eu também verificaria se o agente alterou algo que não tinha relação com a tarefa. Se a rotação ou o zoom fizerem parte do aplicativo original, eu testaria esses controles depois da edição. Remover a sobreposição certa só é útil se o restante do aplicativo continuar funcionando como esperado. O importante é inspecionar os arquivos e o comportamento solicitados pela tarefa.

02:41 Faça as mesmas verificações em cada resultado. Depois, envie sua avaliação quando tiver analisado todos eles. Eu manteria uma lista curta de verificação baseada nos critérios enquanto faço isso. Assim, fica mais fácil atribuir notas de forma consistente ao analisar vários resultados, especialmente se um parecer mais refinado, mas não atender a algum requisito. Agora, vamos abrir o placar na barra lateral e clicar em programação. Isso muda o ranking para tarefas de programação. A tabela mostra a classificação, a taxa de vitórias, os votos, as vitórias e derrotas e o tempo mediano de conclusão. Você pode mudar para operações de pesquisa ou outro grupo, dependendo do uso que faz dos agentes. A classificação resume as avaliações, enquanto o tempo de conclusão informa quanto tempo

03:15 as execuções levaram. Eu consideraria os dois. Uma execução rápida que deixa você com código quebrado ainda exige trabalho, então a velocidade, por si só, não determinaria minha escolha. Na visualização de programação que estou analisando, vários harnesses têm a mesma classificação exibida e cada um tem apenas um voto listado. Portanto, considere esse ranking inicial com cautela. Confira a quantidade de avaliações por trás de uma pontuação antes de tratar uma pequena diferença como significativa. Se quiser enviar uma tarefa, há uma opção de novo benchmark na barra lateral. Isso também exige que você entre na conta. Depois de entrar, é aqui que você pode configurar sua própria

03:48 comparação. Você escolhe as tarefas, os harnesses que quer testar e o modelo que eles vão usar. No topo, há um link para Artificial Analysis para criar um conjunto de dados. Você também pode baixar o modelo do Excel, colocar uma tarefa em cada linha e enviar seu próprio conjunto de dados. Então, se você tem tarefas específicas de programação nas quais trabalha regularmente, pode incluí-las na comparação. Também já há tarefas carregadas aqui, o que facilita começar. Agora, em escolher harnesses, selecione as ferramentas que quer comparar. Você poderia escolher Claude Code, Codex CLI

04:20 e OpenCode, por exemplo. Você precisa de pelo menos dois harnesses para executar uma comparação. Se quiser incluir On Demand, precisará adicionar sua chave de API da On Demand e fazer a configuração primeiro. A seção de skills também exige essa chave. Mais abaixo, você pode filtrar as tarefas por categoria. Digamos que estamos interessados em programação. Clique em programação e depois use ver tarefa para ler as instruções antes de selecionar uma tarefa. Para o exemplo do globo que vimos antes, isso abre o prompt completo, explicando o que precisa ser removido e o que deve permanecer inalterado. Confira também todos os arquivos de referência necessários para a tarefa. Depois, em modelo para este benchmark, escolha o modelo para a comparação.

04:53 No momento, vejo Kimmy K3, GLM 5.3 Flash e Quen 3.8. Essas opções de modelo estão marcadas como gratuitas na interface. Mas, antes de enviar, confira o contador que mostra quantas tarefas e harnesses você selecionou. Eu, pessoalmente, começaria com uma tarefa e dois harnesses, para que seja fácil comparar os resultados. Quando tudo estiver pronto, clique em enviar para avaliação. Depois, você pode usar ver progresso para acompanhar a execução. Cada tarefa concluída fica disponível para avaliação por meio de avaliar ou do registro de batalhas. Assim, você pode começar a analisar

05:23 as tarefas concluídas sem esperar que todo o conjunto de dados termine. Em seguida, confira os resultados e atribua notas usando o processo que vimos antes. A seção de configuração é onde o site reúne os perfis de modelo e as definições dos harnesses. O placar público e o registro de batalhas podem ser acessados sem uma conta. O backend está disponível no GitHub sob a licença MIT, e executá-lo por conta própria ainda pode envolver custos de modelo e hospedagem. No geral, é bem legal. Enfim, [música] conte o que você achou nos comentários. Se gostou deste vídeo, considere fazer uma doação pela opção Super Thanks ou tornar-se membro [música] clicando no botão de inscrição. Além disso, curta este vídeo

05:54 e inscreva-se no meu canal. Até a próxima. Até lá, tchau. >> [música] [música e sino]

Transcrição original

[00:02] [music] >> Hi. Welcome to another video. So, today we’re trying Harness Arena, a platform for comparing AI agent harnesses using the work they actually produce. You can inspect recorded runs, judge outputs without seeing which agent made them, and compare the results on a leaderboard. This is a sponsored look at Harness Arena. The platform is sponsored by On Demand, which also has a harness competing in the arena. A harness is the software around the model, including its instructions, tools, and execution environment. Harness Arena’s comparison method gives multiple harnesses the same

[00:35] task and model configuration with separate workspaces for each one. For example, an agent needs to read the relevant code, make an edit, and check whether it worked. How the harness handles those steps can affect the result even when the model is the same. That’s what makes this comparison interesting. So, let’s open harness-arena.ai. I’m starting with battle log in the sidebar. This shows recorded runs, and you can filter them by status, category, or outcome. The status menu includes runs that are queued, in progress, or awaiting judgment. If you want something to evaluate, look for a round awaiting judgment. That gives you a starting

[01:07] point without having to launch a new benchmark yourself. For this walkthrough, I’m opening category and selecting coding and software build. The task listed here is called 3D globe application, targeted overlay removal. It’s a web app task. And this recorded round lists Codex, On Demand, Hermes, Open Code, Open Claw, and Claude Code. Now, click the arrow on the right to show the comparison. This expands a table with one column for each harness. The model row shows the Qwen 3.8 configuration used for this round. You can also see rows for your score, community ratings, and deliverables. In

[01:37] this particular round, the community rating says no votes yet, and the deliverable counts are hidden until judged. So, there’s no winner to call here yet. This is a useful place to check which tools ran together and what configuration they used. Next, click the task title to open the evaluation. This step requires an account. If you’re signed out, you’ll get a sign-in dialogue, so sign in before you start reviewing. The site’s methodology page explains the judging sequence. Read the task and its rubric, inspect the anonymous outputs, and score every required output from 1 to 10. The

[02:09] harness names are revealed after you submit all the scores. For this globe task, I would first check the exact overlay removal requirement in the prompt, then compare the submitted apps against it. Does the requested overlay disappear and does the globe still work? Those are the kinds of checks to make before choosing a score. I would also check whether the agent changed anything unrelated. If rotation or zoom is part of the original app, I would try those controls after the edit. Removing the right overlay is only useful if the rest of the application still behaves as expected. The key is to inspect the files and behavior the task asks for.

[02:41] Give each output the same checks. Then submit your evaluation when you’ve reviewed all of them. I’d keep a short checklist based on the rubric while doing this. It makes it easier to score consistently when you’re reviewing several outputs, especially if one looks more polished but misses a requirement. Now, let’s open leaderboard from the sidebar and click code. That switches the ranking to coding tasks. The table shows the rating, win rate, votes, wins and losses, and median completion time. You can switch to research operations or another group depending on what you use agents for. The rating summarizes the judgments, while completion time tells you how long

[03:15] the runs took. I would look at both. A fast run that leaves you with broken code still needs work, so speed alone wouldn’t decide my choice. On the coding view I’m looking at, several harnesses have the same displayed rating and each has only one vote listed. So, take this early ranking with a grain of salt. Check the amount of judging behind a score before treating a small difference as meaningful. If you want to submit a task yourself, there’s a new benchmark option in the sidebar. That also requires signing in. So, once you’re signed in, this is where you can set up your own

[03:48] comparison. You choose the tasks, the harnesses you want to test, and the model they’ll use. At the top, there’s a link to artificial analysis for creating a data set. You can also download the Excel template, put one task on each row, and upload your own data set. So, if you have specific coding tasks you regularly work on, you can bring those into the comparison. There are already tasks loaded here as well, which makes it easier to get started. Now, under choose harnesses, select the tools you want to compare. You could pick Claude Code, Codex CLI,

[04:20] and OpenCode, for example. You need at least two harnesses to run a comparison. If you want to include on-demand, you’ll need to add your on-demand API key and set up first. The skills section also requires that key. Further down, you can filter the tasks by category. Let’s say we’re interested in coding. Click code, then use view task to read the instructions before selecting a task. For the globe example we looked at earlier, this opens the full prompt explaining what needs to be removed and what must stay unchanged. Check any reference files the task needs as well. Then, under model for this benchmark, choose the model for the comparison.

[04:53] Right now, I can see Kimmy K3, GLM 5.3 Flash, and Quen 3.8. Those model options are currently marked free in the interface. But, before submitting, check the counter showing how many tasks and harnesses you’ve selected. Personally, I’d start with one task and two harnesses, so the outputs are easy to compare. Once everything is ready, click submit for evaluation. You can then use view progress to follow the run. Each finished task becomes available for judging through evaluate or the battle log. So, you can start reviewing

[05:23] completed tasks without waiting for the entire data set to finish. Then, check the outputs and score them using the process we covered earlier. Setup is where the site puts model profiles and harness settings. The public leaderboard and battle log are accessible without an account. The back end is available on GitHub under the MIT license, and running it yourself can still involve model and hosting costs. Overall, it’s pretty cool. Anyway, [music] let me know your thoughts in the comments. If you like this video, consider donating through the Super Thanks option or becoming a member [music] by clicking the join button. Also, give this video a thumbs

[05:54] up and subscribe to my channel. I’ll see you in the next one. Until then, bye. >> [music] [music and bell]