A IA quer concordar com você. Líderes precisam contestá-la.
Autoria: Harvard Business Review · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: AI Wants to Agree with You. Leaders Need to Push Back. · Canal: Harvard Business Review · 00:31 · Assistir no YouTube
Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Segurança de IA
Os modelos são fortemente orientados a objetivos e, por padrão, tentam agradar quem faz a pergunta. Isso pode levá-los a recomendar algo que não seja objetivamente bom, mas que pareça adequado ao usuário. O narrador ajusta os system prompts para pedir debate e críticas, buscando um parceiro de pensamento que o ajude a tomar decisões melhores.
Pontos-chave
Seção intitulada “Pontos-chave”- Os modelos são reforçados para perseguir objetivos e, por padrão, agradar quem pergunta.
- A tendência de agradar pode produzir recomendações que não são objetivamente boas.
- É possível orientar o comportamento dos modelos por meio dos system prompts.
- Pedir debate e críticas ajuda a transformar a interação em um exame mais rigoroso das ideias.
- O objetivo é usar a IA como parceira de pensamento para melhorar decisões e trabalho.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | A tendência dos modelos a agradar | O narrador explica que os modelos tentam agradar quem pergunta, o que pode resultar em recomendações ruins. |
| 00:31 | Orientar a IA a debater e criticar | O narrador descreve como ajusta os system prompts para obter uma parceira de pensamento que o ajude a tomar decisões melhores. |
Citações
Seção intitulada “Citações”Por padrão, eles tentam agradar a pessoa que faz a pergunta. — 00:00
Podem recomendar algo que, na verdade, não seja objetivamente bom. — 00:00
Quero que você debata comigo e me critique. — 00:31
Quero que isso me ajude a tomar decisões melhores. — 00:31
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- goal-seeking (conceito): Tendência dos modelos a perseguir objetivos, reforçada durante seu treinamento.
- system prompt (conceito): Instrução usada para orientar o comportamento do modelo, que pode pedir debate e críticas.
- sycophancy (conceito): Tendência de um modelo a agradar o usuário ou dizer o que acredita que ele quer ouvir.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Os modelos estão todos orientados a objetivos, muito orientados a objetivos. É assim que são reforçados. E, como resultado, por padrão, tentam agradar à pessoa que faz a pergunta. Então, de muitas maneiras, tentam meio que dizer o que você quer ouvir. E isso cria vários desafios bem difíceis, porque talvez recomendem algo que, na verdade, não seja uma recomendação objetivamente boa. É apenas algo que eles meio que acham que seria bom para você. Dá para ajustar isso ou, pelo menos, orientar o modelo. Por exemplo, alterei os system prompts de todos os modelos e
00:31 das coisas que uso para dizer: “Olha, quero que você debata comigo, me critique. É isso que espero de você. Quero isso porque quero que você realmente me ajude a tomar decisões melhores.” E, ao fazer isso, estou meio que tentando dizer: “Na verdade, seu objetivo é este, e o que eu quero é esse parceiro de pensamento realmente exigente, que vai me tornar melhor no trabalho que estou tentando fazer.”
Transcrição original
[00:00] Models are all goal-seeking, like heavily goal-seeking. That’s how they get reinforced. And as a result, they’re trying to please the person asking the question by default. And so, in a lot of ways are they are trying to kind of tell you what you want to hear. And so, that creates like a bunch of really tough challenges because it might recommend something that actually isn’t like an objectively good recommendation. It’s just the thing it kind of thinks is like a good thing for you. You can adjust this or at least like guide it. So, for example, I’ve I’ve changed the system prompts on all of the models and
[00:31] things that I use to say, “Yo, I want you to like debate with me, critique me. Like that’s what I want out of you. I want that out of it because I I want it to actually help me make better decisions.” And in doing so, I’m kind of trying to say, “Your goal is actually this and what I want is this like really tough thought partner that he’s going to make me me better at, you know, the work I’m trying to do.”