Você consegue identificar a IA jurídica de US$ 0,15? (Teste do GLM-Legal)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Can You Spot the $0.15 Legal AI? (GLM-Legal Test) · Canal: Prompt Engineer 48 · 11:16 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Avaliação e benchmarks de IA, Modelos de IA, Privacidade e proteção de dados

Resumo

O vídeo compara às cegas GLM Legal, GLM 5.3 Flash e Claude em tarefas jurídicas e verifica algumas das citações legais apresentadas. Nos exemplos publicados pela z.ai, GLM Legal tende a oferecer respostas mais específicas, mas o apresentador não consegue confirmar todos os argumentos sem acesso aos documentos. Em um benchmark independente, o modelo resolve integralmente cerca de uma tarefa em cinco, a US$ 0,15 por teste, embora tenha limitações de velocidade e desempenho. A conclusão é que pode ajudar a preparar um primeiro rascunho, mas exige revisão de um advogado e não deve ser tratado como aconselhamento jurídico.

Pontos-chave

GLM Legal é apresentado como um modelo baseado em GLM 5.3 Flash, com treinamento jurídico adicional e reinforcement learning.
O apresentador não consegue testar o modelo diretamente, pois o acesso à API está em beta e depende de solicitação.
Nos dois primeiros testes, GLM Legal oferece respostas mais específicas, mas os documentos usados não estão disponíveis para verificação independente.
No teste de privacidade em Singapura, Malásia e Indonésia, Claude teve mais citações do que GLM Legal; isso não significa que sua resposta seja mais correta.
As regras de transferência internacional citadas para Singapura e Malásia e o artigo 56 da lei indonésia foram confirmados pelo apresentador; outros pontos ficaram sem verificação.
No benchmark jurídico da Harvey, GLM Legal ficou em sétimo lugar entre 79 modelos, com 19,17% de tarefas integralmente resolvidas e custo de US$ 0,15 por teste.
O apresentador estima cerca de US$ 0,78 por tarefa totalmente resolvida, mas ressalva que é preciso um advogado para determinar se a tarefa foi de fato resolvida.
O modelo pode ser útil para rascunhos iniciais ou para comparação com uma checklist, mas todo resultado precisa de revisão jurídica.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e limites do teste	O apresentador introduz GLM Legal, compara respostas com o modelo-base e explica que não tem acesso direto ao modelo.
02:41	Testes às cegas com exemplos jurídicos	Os primeiros testes comparam respostas sobre uma disputa de software e um plano de conformidade de privacidade.
04:50	Citações e verificação das leis	O apresentador contabiliza as referências nas respostas e confere algumas regras de transferência internacional em fontes públicas.
06:58	Benchmarks, desempenho e custo	O vídeo examina a posição de GLM Legal em benchmarks, seu custo por teste e as limitações da comparação de preços.
09:39	Limitações e conclusão	O apresentador resume o que conseguiu verificar e recomenda usar o modelo apenas com revisão jurídica.

Citações

O modelo-base aponta para os documentos certos. O modelo jurídico os conecta em um argumento. — 03:14

Mais citações não significam mais correção. — 05:22

O que não foi verificado continua não verificado, e eu não sou advogado. — 06:24

Eu não protocolaria nada do que ele escreve e não confiaria a ele um caso de cliente sem revisão. — 10:45

Conceitos e entidades

GLM Legal (modelo): Modelo jurídico da z.ai avaliado em testes às cegas e em benchmarks independentes.
GLM-5.3-Flash (modelo): Modelo-base usado como comparação com GLM Legal nos testes apresentados.
Claude (modelo): Modelo comparado com GLM Legal e GLM 5.3 Flash no teste de conformidade de privacidade.
z.ai (empresa): Empresa que anunciou GLM Legal e publicou exemplos e resultados sobre o modelo.
Harvey legal agent benchmark (benchmark): Benchmark jurídico citado no vídeo, que considera uma tarefa resolvida apenas quando todos os critérios são atendidos.
PDPA (conceito): Lei de proteção de dados mencionada no vídeo em relação às regras de transferência internacional de Singapura e da Malásia.
PDP law (conceito): Lei de proteção de dados da Indonésia citada na análise das transferências internacionais.

Tradução completa (pt-BR)

00:00 Aqui estão duas respostas para a mesma pergunta sobre um contrato. Um cliente está trocando de fornecedor de software, e a tarefa é corrigir os termos de rescisão e transição. Uma resposta veio do GLM legal, o novo modelo jurídico da z.ai. A outra veio do GLM 5.3 flash, o modelo em que ele foi baseado. Você tem 5 segundos para escolher qual é o modelo jurídico. Guarde sua escolha. Vou contar a resposta em alguns minutos e, depois, vou tornar o teste bem mais difícil. Sou engenheiro de prompts e, neste

00:32 vídeo, faremos um teste cego do GLM legal e verificaremos os fatos do que ele diz. Certo, o GLM legal foi lançado em 12 de outubro de 2026, e este é o anúncio no blog da z.ai. Ele foi baseado no GLM 5.3 flash, com treinamento jurídico adicional no meio da execução do treinamento e, depois, aprendizado por reforço em dezenas de milhares de ambientes de tarefas jurídicas. Agora, aqui está o que determina o que posso fazer neste vídeo. No fim da página, diz para participar da versão beta do GLM legal e solicitar acesso à API. A plataforma de agentes para desktop diz que em breve você poderá usá-lo

01:05 Então, não posso executar o GLM legal por conta própria hoje. A página do Vals o lista como um modelo de pesos abertos e há um botão de download, mas, quando acabei de abrir z org / GLM legal no hugging face, recebi um erro 404. Portanto, não posso afirmar que os pesos são públicos. O que posso fazer são três coisas. Primeiro, a z.ai publicou três exemplos reais em que o GLM legal e seu modelo-base respondem à mesma tarefa, e vamos fazer um teste cego de cada um deles. Segundo, vou conferir as citações jurídicas que ele fornece em fontes públicas. E, terceiro, vou ler o

01:36 benchmark independente no Vals. E atenção: na terceira rodada, vou incluir um terceiro concorrente. É o Claude, com a mesma tarefa, uma sessão nova, uma tentativa e sem ferramentas. Certo, primeira rodada: aquela do começo. A resposta A diz para considerar encurtar o prazo de aviso prévio e devolver os dados do cliente. Também diz para reduzir o aviso de 60 para 30 dias, remover o período de correção para violações de propriedade intelectual, confidencialidade ou segurança de dados e oferecer até 90 dias de ajuda na transição. A resposta do modelo jurídico era a B. Se você escolheu B, provavelmente foi pelo mesmo

02:10 motivo que eu. A diz para considerar encurtar o prazo de aviso prévio; B diz para reduzi-lo de 60 para 30 dias. Veja mais um detalhe. A limita a devolução aos materiais entregáveis pelos quais o cliente pagou. B diz que isso vale tenham sido pagos ou não e aponta para a seção quatro, que já atribui ao cliente o produto do trabalho. Não posso verificar isso porque o blog não inclui o contrato. Então, B é mais específica e mais favorável ao cliente, mas estar certa depende de um documento que não consigo abrir. Anote isso, porque vai voltar na terceira rodada. Segunda rodada:

02:41 a tarefa é ler 40 documentos de uma disputa sobre um projeto de software e encontrar contradições nos relatórios de progresso do fornecedor. A resposta A cita um relatório de 30 de setembro que diz que o projeto está no cronograma, 60% concluído, e o contrapõe a um alerta de 8 de setembro e a um registro interno de cerca de 41%. Depois, acrescenta a instrução do CEO para ocultar o risco e continuar faturando, além dos termos do contrato, segundo os quais o pagamento não implica renúncia de direitos. Ela chama isso de uma tese de ocultação e diz que os demais elementos da alegação precisam ser verificados antes de chegar a uma conclusão final. A resposta B encontra os mesmos dois relatórios, mas diz que esses documentos podem

03:14 respaldar a posição do cliente e que é preciso investigar mais. Escolha uma; você tem 5 segundos. A resposta do modelo jurídico era A. Então, nas duas rodadas, o indício é o mesmo: os números, as referências a documentos e as referências a seções. O modelo-base aponta para os documentos certos. O modelo jurídico os conecta em um argumento. E, mais uma vez, não posso verificar nada disso, porque esses 40 documentos não são públicos. Portanto, as rodadas um e dois nos mostram como ele escreve; não nos dizem se está

03:45 certo. Na terceira rodada, a tarefa não exige documentos privados, então pude executá-la por conta própria. Planejar a conformidade com as leis de privacidade para um site que será lançado em Singapura, na Malásia e na Indonésia, com rastreamento, marketing por e-mail e armazenamento em nuvem no exterior. Três respostas. Uma é do GLM 5.3 flash, outra é do GLM legal, e a terceira é do Claude, em uma sessão nova, com a mesma tarefa, sem ferramentas e uma tentativa. Uma observação rápida: minha primeira execução do Claude voltou como uma lista numerada de 141 palavras, o que o teria denunciado. Então, executei de novo e pedi um

04:15 parágrafo de cerca de 85 palavras, no mesmo formato dos exemplos do blog. Esta é a segunda execução. A resposta A começa com o mapeamento dos fluxos de dados e a nomeação de um responsável pela proteção de dados. Depois, inclui um banner de consentimento, e-mails com adesão explícita e verificações de listas de bloqueio de chamadas, contratos com fornecedores que mencionam transferências e resposta a violações. A resposta B diz para publicar um aviso de privacidade, revisar o consentimento para cookies e ferramentas de análise e verificar as leis aplicáveis nos três países. A resposta C identifica seu primeiro bloco como P0 — recomendado antes do lançamento — e inclui avisos em inglês e indonésio, adesão explícita para ferramentas de análise não essenciais, uma lista de supressão para quem cancelar a inscrição e um mapa de fornecedores

04:50 com referências a seções para cada país. Você tem 10 segundos. Aqui está a revelação. A era Claude, B era GLM 5.3 flash e C era GLM legal. Se você acertou as três, me conte nos comentários. Quero saber se o indício de específica versus genérica ainda funcionou quando duas das três respostas eram específicas. Vou contar o que diferencia essas respostas. Contei citações, ou seja,

05:22 referências a documentos e referências a seções ou artigos; contei um intervalo como os artigos 55 a 56 como uma só. Na primeira rodada, o modelo-base tem zero, e o modelo jurídico tem uma. Na segunda rodada, quatro contra seis. Na terceira, é aí que a cauda se destaca. O modelo-base tem zero. O GLM legal tem três. O Claude tem sete. Então, se você escolheu A como o modelo jurídico porque tinha o maior número de citações, essa era a armadilha. A era o Claude. Mais citações não significam mais acertos. Significam mais coisas para um advogado verificar, e essa é a próxima tarefa. Agora, a parte

05:53 que importa para um modelo jurídico. A resposta C cita três leis sobre transferências internacionais. Seção 26 da PDPA de Singapura, seção 129 da PDPA da Malásia e artigos 55 e 56 da lei PDP da Indonésia. A resposta do Claude cita as mesmas três regras de transferência, incluindo o artigo 56 da Indonésia. Conferi tudo em fontes públicas. A seção 26 de Singapura trata da obrigação de limitação de transferência, e as diretrizes da PDPC dizem que a seção 129 da Malásia é a regra sobre transferências internacionais. Além disso, a alteração de 2024

06:24 removeu a antiga lista branca, com uma diretriz publicada em 29 de abril de 2025. O artigo 56 da Indonésia é a disposição sobre transferências internacionais. Não consegui confirmar o artigo 55 com base no que encontrei, então esse continua sem verificação. Portanto, as seções 26 e 129 e o artigo 56 correspondem às regras sobre transferências internacionais. Não vou afirmar mais do que isso. Não verifiquei as outras citações, como as relativas ao responsável pela proteção de dados e a violações, na resposta do Claude; estou tratando-as da mesma forma. Não verificado significa não verificado, e não sou advogado. Agora, o benchmark. Este é o benchmark de agent jurídico da Harvey

06:58 executado pelo Vales, atualizado em 12 de outubro. O GLM Legal está em sétimo lugar entre 79, com 19,17%. Isso dá cerca de uma tarefa em cinco. À primeira vista, parece pouco, mas veja a taxa de aprovação dos critérios, que é de 92,5%. A Harvey só considera uma tarefa resolvida se todos os critérios forem atendidos. Então, ele cumpre a maior parte da lista de verificação e, ainda assim, falha na tarefa na maioria das vezes. Agora, veja o gráfico no próprio blog da z.ai sobre a Harvey. Ele mostra o GLM Legal com 19,2, o Kimmy K3 com 12,9, o Claude Fable

07:30 5 com 11,3 e o GPT-6 Astra com 5,4. Esses números correspondem aos do Vales, mas o gráfico tem cinco barras. A tabela completa do Vales tem seis modelos acima do GLM Legal. No Legal Bench, o blog diz que há paridade, e o gráfico mostra o GLM Legal com 86,2, contra 88,6 do Claude Fable 5 e 87,1 do GPT-6 Astra. Então, a diferença é pequena, de cerca de 2 e 2,5 pontos, mas ele não está à frente. Agora, o custo. O GLM Legal custa 15 centavos por teste. O líder, Mu Spark

08:02 1.2, marca 25,42% a US$ 2,09 por teste. O Gemini 4 Argon fica em 19,58% por US$ 10,55, e o Claude Fable 5 fica em 11,25% por US$ 19,23. E o Vals observa que, em quatro tarefas, houve retorno ao Claude Opus 4.8. Compare isso com o modelo-base GLM 5.3 Flash, com 6,67%. O blog diz que a diferença é de 12,5 pontos, e a conta confere. Aqui vai um número que é fácil não perceber. Se

08:33 Você divide o custo por teste pela proporção de tarefas resolvidas e obtém o custo por tarefa totalmente resolvida. Para GLM Legal, são cerca de 78 centavos. Para Mu Spark 1.2, cerca de 8,20 dólares. Para Gemini 4 Argon, cerca de 54 dólares. E para Claude Fable 5, cerca de 171 dólares. Essa é uma divisão simples, mas há uma ressalva. Ela pressupõe que você consegue identificar qual execução resolveu a tarefa, e isso exige um advogado. Portanto, considere isso uma forma de comparar preços, não uma promessa. E, para ter uma ideia da escala, pelos preços anunciados, 100 páginas de contrato, com cerca de 50.000

09:06 tokens de entrada e 5.000 de saída custam cerca de meio centavo. A contagem de tokens é uma estimativa minha. Os preços são da Val. Os 15 centavos do benchmark são mais altos porque é um agent trabalhando por mais de uma hora em uma tarefa. Agora, os pontos negativos, sem disfarces. As posições cinco, seis e sete estão separadas por menos do que as margens de erro, que são de aproximadamente mais ou menos três pontos. Aqui, levou 1 hora e 12 minutos por tarefa, enquanto os três primeiros levaram cerca de 15 a 25 minutos. E, na bancada de pesquisa jurídica da Val, ocupa a posição 24 entre 78, com 41,83%

09:39 então é barato e razoável, mas não é o melhor. O blog da Z.ai lista quatro perguntas que advogados fazem sobre uma resposta. Todas as questões críticas e os casos extremos foram abordados? Os argumentos estão bem fundamentados? As citações são juridicamente sólidas? A resposta segue o resumo do caso e a equipe pode usá-la sem retrabalho? Veja o que meu teste pôde e não pôde avaliar. Quanto às questões críticas e aos casos extremos, não posso julgar isso porque não tenho os contratos dos 40 documentos. Quanto às citações, conferi as três regras de transferência, e elas apontam para as leis corretas. Quanto a seguir o resumo, os três exemplos permaneceram no tema, mas eu

10:12 só tenho os trechos da Z.ai. Quanto à possibilidade de usar o material sem retrabalho, o blog diz que o agent de desktop vai inserir as edições no Word com alterações controladas, mas ainda não posso executar isso. Então, o que concluo? Nos três exemplos da Z.ai, o modelo jurídico apresenta números e cita documentos, enquanto o modelo-base dá conselhos gerais. As citações que consegui conferir apontavam para as leis corretas. No benchmark independente, ele passa em cerca de uma tarefa completa a cada cinco, por 15 centavos. Eu o usaria para preparar um primeiro rascunho, que depois seria revisado por um advogado, ou para comparar com sua própria

10:45 lista de verificação. Eu não protocolaria nada que ele escrevesse e não confiaria a ele um caso de cliente sem revisão, porque quatro em cada cinco tarefas completas ainda falham. Além disso, você não pode usá-lo hoje de qualquer forma, porque está em beta e exige o preenchimento de um formulário de inscrição. Este é um teste de como um modelo escreve, não é aconselhamento jurídico. Se você está procurando GPUs baratas e confiáveis, eu uso RunPod, e o link está na descrição. Então, neste vídeo, vimos como o GLM Legal se sai em um teste cego e no benchmark. Nos comentários, me diga qual opção você escolheu na terceira rodada: A, B ou C, e eu vou publicar

11:16 a contagem no próximo vídeo. Vejo você em outro.

Transcrição original

[00:00] Here are two answers to the same contract question. A client is switching software providers and the task is to fix the termination and handover terms. One answer came from GLM legal, the new legal model from z.ai. The other came from GLM 5.3 flash, the model it was built on. You get 5 seconds to pick which one is the legal model. Keep that pick in your head. I’ll tell you the answer in a couple of minutes and then I’m going to make the test a lot harder. I’m prompt engineer and in

[00:32] this video we blind test GLM legal and fact check what it says. All right, GLM legal came out on October 12th, 2026 and this is the announcement on the z.ai blog. It’s built on GLM 5.3 flash with extra legal training in the middle of the training run and then reinforcement learning across tens of thousands of legal task environments. Now here’s the part that decides what I can do in this video. At the bottom of the page it says join the GLM legal beta and you apply for API access. The desktop agent platform says you’ll soon be able to use

[01:05] it. So I can’t run GLM legal on my own today. The Vals page listed as an open weight model and there’s a download button, but when I opened z org / GLM legal on hugging face just now, I got a 404 so I can’t tell you the weights are public. What I can do is three things. One, z.ai published three real examples where GLM legal and its base model answer the same task and we’re going to blind test those one by one. Two, I’ll check the legal citations it gives against public sources. And three, I’ll read the

[01:36] independent benchmark on Vals. And mind you, in round three I’m adding a third contestant. That’s Claude, same task, fresh session, one shot, no tools. Okay, round one, the one from the start. Answer A says consider shortening the notice period and return client data and says reduce the notice from 60 to 30 days, remove the cure period for breaches of IP, confidentiality, or data security, and give up to 90 days of transition help. The legal model was B, and if you picked B, you probably picked it for the same

[02:10] reason I did. A says consider shortening the notice period, B says from 60 to 30 days. Look at one more detail here. A limits the return to deliverables the client has paid for. B says whether or not paid for and points to section four, which already assigns the work product to the client. Now, I can’t check that because the blog doesn’t include the contract. So, B is more specific and more aggressive for the client and whether it’s right depends on a document I can’t open. Write that down because it comes back in round three. Round two,

[02:41] the task is to read 40 documents from a software project dispute and find contradictions in the provider’s progress reports. Answer A sites a September 30th report that says on track, 60% complete, and sets it next to a September 8th warning and an internal snapshot of about 41%. Then it adds the CEO’s instruction to suppress the risk and keep invoicing, and the contract terms saying payment doesn’t waive rights. It calls that a concealment theory and says to test the remaining claim elements before drawing a final conclusion. Answer B finds the same two reports but says these documents may

[03:14] support the client’s position and that you should review further. Pick one, you’ve got 5 seconds. The legal model was A. So, in both rounds, the tell is the same figures, document references, and section references. The base model points at the right documents. The legal model connects them into an argument. And again, I can’t check any of this because those 40 documents aren’t public. So, rounds one and two tell us what it writes like they don’t tell us if it’s

[03:45] correct. Round three, this task needs no private documents, so I could run it myself. Plan privacy compliance for a website launching in Singapore, Malaysia, and Indonesia with tracking, email marketing, and overseas cloud storage. Three answers. One is GLM 5.3 flash, one is GLM legal, and one is Claude in a fresh session with the same task, no tools, and one try. Quick disclosure, my first run of Claude came back as a numbered list at 141 words, which would have given it away. So, I ran it once more and asked for one

[04:15] paragraph of about 85 words, the same shape as the blogs. This is the second run. Answer A starts with mapping data flows and appointing a data protection officer, then a consent banner, opt-in email with do not call checks, vendor contracts with transfer references, and breach response. Answer B says to publish a privacy notice, review consent for cookies and analytics, and check the applicable laws in the three countries. Answer C labels its first block P0 recommended before launch with English and Indonesian notices, opt-in for non-essential analytics, a suppression list for unsubscribes, and a vendor map

[04:50] with section references for each country. You get 10 seconds. Here’s the reveal. A was Claude, B was GLM 5.3 flash, C was GLM legal. If you got all three, tell me in the comments. I want to know if the specific versus generic tell still worked when two of the three answers were specific. Let me count what separates these answers. I counted citations, meaning

[05:22] document references in section or article references, and I counted a range like articles 55 to 56 as one. Round one, the base model has zero and the legal model has one. Round two, four against six. Round three is where the tail breaks. The base model has zero. GLM legal has three. Claude has seven. So, if you picked A as the legal model because it had the most citations, that was the trap. A was Claude. More citations doesn’t mean more correct. It means more things for a lawyer to check, and that’s the next job. Now, the part

[05:53] that matters for a legal model. Answer C sites three laws for overseas transfers. Singapore PDPA section 26, Malaysia PDPA section 129, and Indonesia’s PDP law articles 55 and 56. Claude’s answer sites the same three transfer rules with article 56 for Indonesia. I checked them against public sources. Singapore section 26 says the transfer limitation obligation, and the PDPC guidelines say that Malaysia section 129 is the cross-border transfer rule, and the 2024

[06:24] amendment removed the old white list with a guideline published on April 29th, 2025. Indonesia article 56 is the cross-border transfer provision. Article 55 I could not confirm from what I found, so that one stays unchecked. So, section 26, section 129, and article 56 all check out as the overseas transfer rules. I’m not going to claim more than that. I did not verify the other citations like the data protection officer and breach ones in Claude’s answer, and I’m treating those the same way. Unverified means unverified, and I’m not a lawyer. Now, the benchmark. This is Harvey’s legal agent benchmark

[06:58] run by Vales, updated October 12th. GLM Legal is number seven of 79 at 19.17%. That’s about one task in five. At first, that sounds low, but look at the criteria pass rate, which is 92.5%. Harvey counts a task as resolved only if every single criterion passes. So, it satisfies most of the checklist and still fails the task most of the time. Now, look at the chart in z.ai’s own blog on Harvey. It shows GLM Legal at 19.2 with Kimmy K3 at 12.9, Claude Fable

[07:30] 5 at 11.3, and GPT-6 Astra at 5.4. Those numbers match Vales, but that chart has five bars. Vales’ full leaderboard has six models above GLM Legal. On Legal Bench, the blog says parity, and its chart has GLM Legal at 86.2 against Claude Fable 5 at 88.6, and GPT-6 Astra at 87.1. So, that’s close within about 2 and 1/2 points, but it’s not ahead. Here’s the cost. GLM Legal costs 15 cents per test. The leader, Mu Spark

[08:02] 1.2, scores 25.42% at $2.09 a test. Gemini 4 Argon is at 19.58% for $10.55, and Claude Fable 5 is at 11.25% for $19.23. And Val’s notes it fell back to Claude Opus 4.8 on four tasks. Compare that with the base model GLM 5.3 Flash at 6.67%. The blog says plus 12.5 points, and the math checks out. Here’s a number that’s easy to miss. If

[08:33] you divide the cost per test by the share of tasks resolved, you get the cost per fully solved task. For GLM Legal, that’s about 78 cents. For Mu Spark 1.2, it’s about $8.20. For Gemini 4 Argon, it’s about $54. And for Claude Fable 5, it’s about $171. Now, that’s simple division, and it has a catch. It assumes you can tell which run solved the task, and that takes a lawyer. So, treat it as a way to compare prices, not a promise. And for scale, at listed prices, 100 pages of contract at roughly 50,000

[09:06] tokens in and 5,000 out costs about half a cent. The token count is my rough assumption. The prices are Val’s. The benchmark’s 15 cents is higher because it’s an agent working for over an hour on one task. Now, the honest negatives. Rank five, six, and seven are separated by less than the error bars, which are plus or minus about three points. It took 1 hour 12 minutes per task here, where the top three took around 15 to 25 minutes. And on Val’s legal research bench, it’s number 24 of 78 at 41.83%

[09:39] so it’s cheap and decent and it isn’t the best. Z.ai’s blog lists four questions that lawyers ask about an output. Are all critical issues and edge cases addressed? Are the arguments well substantiated? And are the citations legally sound? Does it follow the matter brief and can the team use it without rework? Here’s what my test could and couldn’t cover. Critical issues and edge cases, I can’t judge that because I don’t have the contracts of the 40 documents. Citations, I checked the three transfer rules and they point at the right laws. Following the brief, all three examples stayed on the task but I

[10:12] only have Z.ai’s excerpts. Usable without rework, the blog says the desktop agent will put edits into Word with tracked changes and I can’t run that yet. So what do I make of it? In Z.ai’s three examples, the legal model gives numbers and sites documents and the base model gives general advice. The citations I could check pointed at the right laws. On the independent benchmark, it passes about one full task in five at 15 cents. I’d use it to draft a first pass that a lawyer then reviews or to compare against your own

[10:45] checklist. I would not file anything it writes and I would not hand it a client matter without review because four out of five full tasks still fail and you can’t use it today anyway because it’s a beta with an application form. This is a test of how a model writes, not legal advice. If you’re looking for cheap and reliable GPUs, I use RunPod and the link is in the description. So in this video we saw how GLM legal does in a blind test and on the benchmark in the comments, tell me what you picked in round three, A, B, or C and I’ll post

[11:16] the tally in the next video. I’ll see you in another one.