O que é RLCD na Jev AI?

Autoria: Data Science in your pocket · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: What is RLCD in Jev AI ? · Canal: Data Science in your pocket · 09:31 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Segurança de IA

Resumo

O vídeo explica RLCD, abordagem de treinamento da Jev voltada a produzir decisões calibradas, cujas probabilidades correspondam às frequências observadas. Apresenta calibração, diagramas de confiabilidade e a perda de Brier como ferramentas para entender e avaliar previsões, sem afirmar que elas revelem o algoritmo interno da Jev. Também descreve os tipos de pergunta choice, now e score, além da diferença entre probabilidade e confiança. Por fim, mostra como combinar probabilidades com custos para decidir quando automatizar uma ação ou solicitar revisão humana.

Pontos-chave

Calibração significa que, entre previsões semelhantes de 80%, o evento deve ocorrer aproximadamente 80% das vezes — não que cada previsão individual esteja correta.
Um diagrama de confiabilidade compara a probabilidade média prevista com a frequência observada; é importante considerar o tamanho das amostras e a incerteza.
A perda de Brier ilustra por que previsões que correspondem à taxa real do evento podem ter menor perda esperada, mas não especifica o algoritmo da Jev.
A Jev oferece perguntas dos tipos choice, now e score, cujos significados são definidos pela aplicação.
Probabilidade e confiança não são intercambiáveis; a documentação citada não especifica a fórmula da confiança.
A melhor ação depende dos custos e consequências, não apenas da classe mais provável.
Calibração, por si só, não garante que o modelo diferencie casos individuais nem que suas previsões permaneçam úteis diante de mudanças nos dados.
É necessário avaliar casos retidos e subgrupos, registrar resultados e monitorar mudanças na distribuição.

Capítulos

Início	Capítulo	Resumo
00:01	RLCD e o significado de calibração	O vídeo apresenta RLCD e explica que previsões calibradas correspondem às frequências observadas em grupos de casos semelhantes.
02:42	Perda de Brier e previsões honestas	Uma ilustração matemática mostra como a perda esperada favorece previsões próximas à taxa real, sem revelar o algoritmo da Jev.
05:19	Tipos de pergunta e confiança	O vídeo explica choice, now e score, e alerta que confiança não equivale à probabilidade de uma previsão estar correta.
07:26	Probabilidades, custos e monitoramento	Um exemplo de fraude mostra como comparar custos esperados para escolher uma ação, seguido de recomendações de avaliação e monitoramento.

Citações

Pense na probabilidade como uma previsão que pode ser comparada com os resultados, não como uma promessa de que esta resposta específica está correta. — 01:34

A perda mínima ocorre quando P é igual a Q: relato verdadeiro. — 04:17

As probabilidades descrevem a incerteza. Os custos determinam a ação. — 07:58

Uma resposta válida não significa que seja verdadeira. — 08:28

Conceitos e entidades

RLCD (conceito): Abordagem de treinamento descrita como aprendizado por reforço voltado a decisões calibradas.
Jev (empresa): Organização apresentada como produtora de decisões tipadas acompanhadas de probabilidades.
TypeSafe AI (empresa): Empresa citada como fonte da descrição do objetivo de RLCD e de exemplos de tipos de pergunta.
calibration (conceito): Propriedade segundo a qual previsões com determinada probabilidade correspondem a uma frequência observada semelhante em casos comparáveis.
reliability diagram (conceito): Gráfico que compara, por grupos de previsões, a probabilidade média prevista com a frequência observada do evento.
Brier loss (conceito): Regra de pontuação que, no caso binário apresentado, calcula o erro quadrático entre a probabilidade prevista e o resultado.
choice (conceito): Tipo de pergunta que distribui probabilidades entre alternativas fornecidas.
now (conceito): Tipo de pergunta que avalia uma proposição binária.
score (conceito): Tipo de pergunta que atribui probabilidades a níveis ordenados e permite calcular um índice esperado.

Tradução completa (pt-BR)

00:01 Uma IA encaminha uma solicitação de reembolso para devoluções. O software deve agir ou perguntar a uma pessoa? Só a resposta não permite saber. Jev, da Type Safe AI, produz decisões tipadas com probabilidades. Sua abordagem de treinamento é chamada RLCD, aprendizagem por reforço para decisões calibradas. Vamos destrinchar a ideia visualmente, percorrer a matemática e transformar a incerteza em uma decisão concreta de negócios.

00:32 Recompensas diferentes incentivam comportamentos diferentes. O feedback humano pode recompensar respostas que as pessoas preferem. Recompensas verificáveis podem recompensar respostas que passam por uma verificação de correção. A Type Safe descreve RLCD como uma abordagem voltada a decisões calibradas: previsões cujas probabilidades refletem honestamente a frequência com que os resultados ocorrem. Essas ênfases se sobrepõem. Respostas preferidas, respostas corretas e probabilidades confiáveis são objetivos distintos, mas não mutuamente exclusivos

01:03 — superpoderes. Aqui estão 10 casos ilustrativos com previsões de 80%. O evento acontece oito vezes e não acontece duas. A calibração pergunta se essa concordância se mantém em previsões semelhantes. Entre as previsões de 80%, o evento ocorre aproximadamente 80% das vezes. Nem todo grupo de 10 contém oito resultados positivos. As amostras oscilam, e a calibração não permite identificar qual caso individual

01:34 será a exceção. Pense na probabilidade como uma previsão que pode ser comparada com os resultados, não como uma promessa de que esta resposta específica está correta. Y é 1 quando o evento acontece e 0 caso contrário. P com acento circunflexo é a probabilidade prevista. A letra p minúscula representa um valor previsto. A calibração perfeita diz que, dada uma previsão P, a probabilidade do evento é igual a P. Previsões de 80% devem se aproximar de uma frequência de 80% em casos comparáveis.

02:09 Agrupe as previsões mantidas fora do conjunto de treinamento. Um diagrama de confiabilidade representa, no eixo horizontal, a probabilidade prevista média de cada grupo e, no eixo vertical, a frequência observada do evento. A diagonal indica concordância. Abaixo dela, a probabilidade foi superestimada. Verifique as contagens e a incerteza. Esta ilustração não é um benchmark do Jev. A Type Safe diz que a calibração é o objetivo do RLCD, mas as fontes consultadas não divulgam sua recompensa, função de perda ou algoritmo de atualização exatos.

02:42 Esta é uma ilustração didática, não a implementação do Jev. O contexto entra em um modelo, uma probabilidade sai e um resultado observado fornece feedback. A aprendizagem por reforço busca aumentar a recompensa esperada. Se a recompensa for a perda negativa, maximizar a recompensa esperada equivale a minimizar a perda esperada. Recompensar apenas a classe vencedora não nos diz se 60% foi mais honesto do que 99%. Avalie a própria probabilidade.

03:14 Uma regra de pontuação própria ilustra como isso funciona. Essa ideia matemática geral não especifica, por si só, um algoritmo de aprendizagem por reforço. A perda de Brier binária é P menos Y ao quadrado: a probabilidade informada menos o resultado, que é zero ou um. Quanto menor, melhor. Usamos a convenção do erro quadrático binário único. Preveja 80%. Se o evento acontecer, a perda será 0,04. Se não acontecer, 0,64.

03:45 Previsões confiantes, mas erradas, recebem penalidades maiores. Um único resultado não basta. Seja Q a taxa real do evento. Os eventos têm probabilidade Q; os não eventos, 1 menos Q. Tire a média das duas perdas: Q vezes o quadrado de 1 menos P, mais 1 menos Q vezes P ao quadrado. Desenvolvendo, obtemos P ao quadrado menos 2 PQ mais Q. Completando o quadrado, temos P menos Q, tudo ao quadrado, mais Q vezes 1 menos Q. Só

04:17 a distância ao quadrado da probabilidade real depende da sua previsão. A perda mínima ocorre quando P é igual a Q: um relato fiel. Isso não identifica o algoritmo do Jev nem garante calibração após um treinamento finito. Na nossa população hipotética, a taxa real Q é 0,8. O termo irredutível é 0,8 vezes 0,2, ou seja, 0,16.

04:48 Uma previsão honesta de 80% não acrescenta nenhuma penalidade de distância ao quadrado. Sua perda de Brier esperada permanece em 0,16. Uma previsão de 95% acrescenta 0,15 ao quadrado, resultando em perda esperada de 0,1825. Uma previsão de 50% acrescenta 0,3 ao quadrado, resultando em 0,25. Os mesmos resultados, previsões diferentes. Em expectativa, 80% é melhor por corresponder à taxa real. Esses são cálculos, não

05:19 resultados medidos do Jev. Os tipos de pergunta reais do Jev são choice, now e score. Sua aplicação define as perguntas e o significado das respostas. Choice seleciona entre as alternativas fornecidas: devoluções, cobrança, envio. As probabilidades somam um; vence a maior, o que não significa necessariamente a ação de negócios mais barata. Now avalia uma proposição binária. O cliente está pedindo para falar com uma pessoa? Em 0,5,

05:50 nenhuma resposta é favorecida. Isso não representa intensidade. Não há um campo separado de confiança. Score usa níveis ordenados: zero, cosmético; um, quebrado, mas com uma solução alternativa; dois, impeditivo. O exemplo da Type Safe atribui probabilidades de 0, 0,7 e 0,3. Multiplique os índices pelas probabilidades. 0 × 0 + 1 × 0,7 + 2 × 0,3 resulta em 1,3. Esse é um índice esperado, não uma

06:21 porcentagem nem uma medida física. O exemplo documentado de score informa confiança de 0,54. O que significa esse campo separado? Probabilidade e confiança não são intercambiáveis. A distribuição documentada de choice atribui 60% a devoluções, 38% a cobrança e 2% a envio. Devoluções vence, mas a confiança é 0,39, não 0,6. Ela resume o formato da distribuição.

06:54 A documentação descreve a concentração sem especificar a fórmula. Não invente uma nem interprete confiança como a probabilidade de estar correto. Concentração não garante correção. Use probabilidades para regras de decisão e valide o encaminhamento baseado em confiança com seus dados. Um workflow de fraude aprova transações ou solicita análise. Aqui, aprovar uma transação fraudulenta custa US$ 100. Aprovar transações legítimas não custa

07:26 nada. A análise custa US$ 5, evita todas as perdas por fraude e não tem outras consequências. Na realidade, a análise é imperfeita. Meça os custos e a eficácia. O custo esperado da aprovação é 100p. A análise custa cinco. A análise é a melhor opção quando 100p é maior que cinco. Ou seja, quando P é maior que 0,05. Com uma probabilidade de fraude de 2%, a aprovação custa US$ 2 em expectativa, menos do que os US$ 5 da análise. Aprovar é mais barato sob nossas

07:58 premissas. Com 12%, o custo esperado da aprovação é US$ 12. A análise custa cinco, gerando uma economia esperada de US$ 7. Exatamente em 5%, as opções empatam. Mesma classe vencedora, ações ideais diferentes. As probabilidades descrevem a incerteza. Os custos determinam a ação. Não existe um limite universal para a automação. Calibração não é tudo. Com 50%

08:28 de resultados positivos, prever sempre 50% pode ser calibrado, mas não distinguir os casos individuais. Grupos igualmente grandes e calibrados de 20% e 80% distinguem melhor os resultados e podem reduzir a perda de Brier esperada. A referência constante não estava mal calibrada. A segurança de tipos impede respostas que não seguem o esquema, mas não impede escolhas válidas incorretas. Entradas ambíguas e informações ausentes continuam sendo um problema. Válido não significa verdadeiro.

08:59 Avalie casos mantidos fora do conjunto de treinamento e subgrupos. Registre os resultados, confira o tamanho das amostras e monitore mudanças na distribuição. A calibração de ontem pode não se manter amanhã. Comece com um contexto não estruturado e uma pergunta definida. Jev retorna decisões tipadas com probabilidades que o software pode usar. O código compara custos esperados, age ou solicita análise. Separe as previsões das regras de decisão para deixar explícitas as compensações de negócios.

09:31 Compare as previsões com os resultados posteriores para verificar se são úteis no seu contexto. O monitoramento deve fazer parte do sistema. RLCD tem como objetivo a calibração. A pontuação de Brier ilustrou os incentivos, não a receita do Jev. Fontes, documentação de segurança de tipos e referências estatísticas. Pergunte o que as probabilidades significam, teste-as contra a realidade e conecte-as às consequências de agir.

Transcrição original

[00:01] An AI roots a refund request to returns. Should software act or ask a person? The answer alone cannot tell you. Jev from Type Safe AI produces type decisions with probabilities. Its training approach is called RLCD, reinforcement learning for calibrated decisions. Let’s unpack the idea visually, work through the mathematics, and turn uncertainty into a concrete business decision.

[00:32] Different rewards encourage different behavior. Human feedback can reward answers that people prefer. Verifiable rewards can reward answers that pass a correctness check. Type Safe describes RLCD as targeting calibrated decisions, predictions whose probabilities honestly reflect how often outcomes occur. These emphases overlap. Preferred answers, correct answers, and trustworthy probabilities are distinct goals, not mutually exclusive

[01:03] superpowers. Here are 10 illustrative cases with 80% forecasts. The event happens eight times and does not happen twice. Calibration asks whether agreement persists across similar forecasts. Among 80% predictions, the event occurs roughly 80% of the time. Not every batch of 10 contains eight positives. Samples fluctuate, and calibration cannot identify which individual case

[01:34] will be the exception. Think of the probability as a forecast that can be checked against outcomes, not a promise that this one answer is correct. Y is 1 when the event happens, 0 otherwise. P hat is the predicted probability. Lowercase P names a forecast value. Perfect calibration says, given a prediction P, the event’s probability equals P 80% forecasts should approach 80% frequency across comparable cases.

[02:09] Bin held out predictions. A reliability diagram plots each bin’s mean predicted probability horizontally and observed event frequency vertically. The diagonal means agreement. Below it means overstated probability. Check counts and uncertainty. This illustration is not a Jev benchmark. Type safe names are LCD’s goal, but reviewed sources do not disclose its exact reward, loss, or update algorithm.

[02:42] This is a teaching illustration, not Jev’s implementation. Context enters a model, a probability comes out, and an observed outcome supplies feedback. Reinforcement learning aims to increase expected reward. If reward is negative loss, maximizing expected reward means minimizing expected loss. Rewarding only the winning class cannot tell us whether 60% was more honest than 99%. Evaluate the probability itself.

[03:14] A proper scoring rule illustrates how. This general mathematical idea does not by itself specify a reinforcement learning algorithm. Binary Brier loss is P minus Y squared, reported probability minus zero or one outcome. Smaller is better. We use the single binary squared error convention. Predict 80%. An event gives loss 0.04. No event, 0.64.

[03:45] Confidently wrong forecasts incur larger penalties. One outcome isn’t enough. Let Q be the true event rate. Events have probability Q, non-events 1 minus Q. Average both losses. Q times the square of 1 minus P plus 1 minus Q times P squared. Expanding gives P squared minus 2 PQ plus Q. Complete the square. P minus Q all squared plus Q times 1 minus Q only

[04:17] squared distance from the true probability depends on your forecast. Minimum loss is at P equals Q, truthful reporting. This neither identifies Jev’s algorithm nor guarantees calibration after finite training. Our toy population’s true rate Q is 0.8. The irreducible term is 0.8 times 0.2, 0.16.

[04:48] An honest forecast of 80% adds no square distance penalty. Its expected Brier loss stays at 0.16. 95% adds 0.15 squared giving expected loss 0.1825. 50% adds 0.3 squared giving 0.25. Same outcomes, different forecasts. 80% wins in expectation by matching the true rate. These are calculations, not

[05:19] measured Jev results. Jev’s actual question types are choice, now, and score. Your application defines questions and answer meanings. Choice selects among supplied alternatives, returns, billing, shipping. Probabilities sum to one, the largest wins, not necessarily the cheapest business action. Now evaluates a binary proposition. Does the customer request a person? At 0.5,

[05:50] neither answer is favored. That’s not intensity. There’s no separate confidence field. Score uses ordered levels. Zero, cosmetic. One, broken with a workaround. Two, blocking. Type safe’s example assigns probability 0, 0.7, 0.3. Multiply indices by probabilities. 0 * 0 + 1 * 0.7 + 2 * 0.3 gives 1.3. That’s an expected index, not a

[06:21] percentage or physical measurement. The documented score example reports confidence 0.54. What does that separate field mean? Probability and confidence aren’t interchangeable. The documented choice distribution gives returns 60% billing, 38% shipping 2%. Returns wins, but confidence is 0.39, not 0.6. It summarizes distribution shape.

[06:54] Documentation describes concentration without specifying the formula. Don’t invent one or interpret confidence as the probability of correctness. Concentration doesn’t guarantee correctness. Use probabilities for decision rules and validate confidence based routing on your data. A fraud workflow approves transactions or requests review. Here, approving fraud costs $100. Approving legitimate transactions costs

[07:26] nothing. Review costs $5, prevents all fraud loss, and has no other consequences. Real review is imperfect. Measure costs and effectiveness. Approvals expected cost is 100 p. Review costs five. Review wins when 100p exceeds five. P above 0.05. At 2% fraud probability, approval costs $2 in expectation, below the $5 review cost. Approval is cheaper under our

[07:58] assumptions. At 12% expected approval cost is $12. Review costs five, saving $7 in expectation. At exactly 5%, the options tie. Same winning class, different best actions. Probabilities describe uncertainty. Costs determine action. No universal automation threshold exists. Calibration isn’t everything. With 50%

[08:28] positives, always predicting 50% can be calibrated, yet fail to distinguish individual cases. Equally sized, calibrated 20% and 80% groups distinguish outcomes better and can lower expected Brier loss. The constant baseline wasn’t miscalibrated. Type safety prevents invalid schema answers, not wrong valid choices. Ambiguous inputs and missing information remain. Valid doesn’t mean true.

[08:59] Evaluate held out cases and subgroups. Log outcomes, check sample sizes, and monitor distribution shift. Yesterday’s calibration may not survive tomorrow. Start with unstructured context and a defined question. Jev returns type decisions with probabilities software can use. Code compares expected costs, acts, or requests review. Separate prediction from decision rules to expose business tradeoffs.

[09:31] Compare forecasts with eventual outcomes to check usefulness in your setting. Monitoring belongs in the system. RLCD targets calibration. Brier illustrated incentives, not Jev’s recipe. Sources, type-safe documentation, and statistical references. Ask what probabilities mean, test them against reality, and connect them to the consequences of acting.