Open Comments: S4 Ep.2 — Controles vs. velocidade: IA nas empresas com Ben Lingwood

Autoria: The Open Group · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Open Comments: S4 Ep.2 - Controls vs Speed: AI in the Enterprise with Ben Lingwood · Canal: The Open Group · 20:46 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Engenharia de software com IA, Governança e regulação de IA, Modelos de IA

Resumo

Ben Lingwood, co-lead partner e CTO da Tech Catalyst na PWC, explica como equilibrar controles e velocidade na adoção de IA em empresas. Ele destaca testes contínuos, monitoramento, segurança, qualidade dos dados e mecanismos de proteção desde o início do desenvolvimento. Também descreve como a Tech Catalyst experimenta novas tecnologias em ambientes isolados antes de levá-las à produção. Por fim, aborda mudanças nos papéis de quem desenvolve soluções, a aprendizagem contínua e a necessidade de fazer os controles evoluírem junto com os sistemas de IA.

Pontos-chave

O equilíbrio entre controle e velocidade depende do perfil de risco de cada organização e do setor em que atua.
A adoção de IA exige controles desde a seleção do modelo até o monitoramento das respostas em produção.
Testes de segurança, viés e qualidade devem ser contínuos e integrados ao desenvolvimento.
Laboratórios seguros e isolados permitem testar tecnologias emergentes sem expor dados ou operações sensíveis.
A Tech Catalyst parte de problemas de negócio para escolher tecnologias, em vez de procurar um problema para uma tecnologia.
A convergência entre IA, cloud e DevOps permite prototipagem rápida e novas aplicações em áreas como drones e robótica.
Profissionais que desenvolvem soluções precisam combinar habilidades técnicas, comerciais e interpessoais.
Aprender continuamente e combinar conhecimentos generalistas com especialidades tornou-se essencial.
À medida que os sistemas de IA ficam mais capazes, os mecanismos de controle e observabilidade também precisam avançar.

Capítulos

Início	Capítulo	Resumo
00:00	O papel de Ben Lingwood e o equilíbrio entre controle e velocidade	Ben apresenta suas responsabilidades na Tech Catalyst e explica os riscos de avançar rápido demais ou devagar demais.
04:08	Controles e testes contínuos para IA	A conversa aborda seleção de modelos, custos, segurança, vieses, dados confiáveis e monitoramento contínuo.
07:15	Como a Tech Catalyst experimenta com segurança	Ben explica a estrutura da equipe, sua orientação a problemas de negócio e o uso de laboratórios isolados antes da produção.
11:27	Convergência entre IA, cloud e tecnologias emergentes	A entrevista explora desenvolvimento acelerado, drones, robótica e possíveis avanços relacionados à computação quântica.
14:02	Testes em operação e cultura de builders	Ben fala sobre supervisão contínua de respostas e sobre a mudança nos papéis de profissionais que desenvolvem soluções junto aos clientes.
17:08	Aprendizagem contínua e o futuro dos controles	A conversa trata de aprendizagem diária, especialização e da necessidade de evoluir os controles junto com os sistemas de IA.

Citações

É sempre um equilíbrio entre mover-se devagar demais e ver o negócio e a concorrência passarem à frente, ou mover-se rápido demais e fazer pequenas escolhas gerarem consequências grandes e irreversíveis. — 02:36

Estamos incorporando observabilidade e mecanismos de interrupção às respostas da IA. — 03:07

Estamos levando a tecnologia aos problemas de negócio, e não fazendo o caminho inverso. — 08:19

Aprender não é algo que você faz uma vez e deixa para trás; é uma atividade diária. — 17:39

Onde quer que desenvolvamos uma nova solução, também precisamos ampliar nossa camada de observabilidade. — 20:14

Conceitos e entidades

Ben Lingwood (pessoa): Co-lead partner e CTO da unidade de tecnologia Tech Catalyst da PWC no Reino Unido.
Ash (pessoa): Apresentador de Open Comments que entrevista Ben Lingwood.
PWC (empresa): Organização em que Ben Lingwood lidera a unidade de tecnologia Tech Catalyst no Reino Unido.
Tech Catalyst (conceito): Equipe de inovação técnica da PWC criada para desenvolver e aplicar tecnologias emergentes a problemas de negócio.
The Open Group (empresa): Organização responsável pelo canal e pela conferência mencionados na entrevista.
observabilidade (conceito): Acompanhamento contínuo do comportamento e das respostas de sistemas de IA para identificar problemas e orientar intervenções.
circuit breaker (conceito): Mecanismos que interrompem ou redirecionam respostas de IA potencialmente inadequadas para alternativas controladas.
forward deploy engineer (conceito): Perfil de engenharia que trabalha próximo ao cliente para testar e desenvolver soluções em contexto real.
T-shaped people (conceito): Profissionais com conhecimentos amplos em várias áreas e especialização profunda em uma delas.
human-in-the-loop (conceito): Abordagem em que pessoas participam da revisão ou supervisão de operações e respostas de sistemas de IA.

Tradução completa (pt-BR)

00:00 Olá e sejam bem-vindos de volta ao Open Comments, comigo, Ash. Hoje estamos com Ben Lingwood, que falou na conferência de profissionais de EA do Open Group, em fevereiro, sobre controle versus velocidade: IA nas empresas. Ben é co-sócio-líder e CTO da unidade de negócios de tecnologia da PWC no Reino Unido, dentro da Tech Catalyst. Ben trabalha com tecnologias emergentes voltadas aos clientes. Sua trajetória é diversa, com cargos técnicos de liderança em organizações da FTSC 100 e a função de chefe de engenharia de nuvem na SAP. Ele também comandou uma

00:31 startup nativa da nuvem, focada em transformar grandes organizações e operar com tecnologias de nuvem. Obrigado por se juntar a nós hoje no Open Comments, Ben. >> É um prazer, Ash. Que bom estar aqui. Obrigado. >> Para começar, como é seu dia a dia na função de co-sócio-líder e CTO da Tech Catalyst? >> Obrigado, Ash. Na verdade, é uma função bem diversa. Vamos começar pela lista. Em primeiro lugar, temos uma equipe grande. São cerca de mil profissionais técnicos na equipe. Então, parte do meu trabalho é garantir que essas pessoas tenham um trabalho envolvente e interessante.

01:02 Elas trabalham com novas tecnologias. Têm oportunidades de carreira, incluindo trajetórias profissionais em tecnologia. Aprendem novas certificações e novas habilidades, mantêm-se atualizadas e aspiram a trabalhar na PWC no futuro. Então, essa é a parte mais importante do meu trabalho: construir uma comunidade para que construtores e pessoas possam prosperar. Isso é o mais importante para mim. A segunda metade do meu trabalho, como você disse antes, é analisar tecnologias emergentes. Trabalhamos muito de perto com os hyperscalers e com os provedores de modelos de linguagem, entendendo as tendências futuras,

01:33 o que está por vir e o que está surgindo. Também temos acesso a alguns modelos e atualizações em pré-lançamento, para avaliar onde podem ser usados. Acho que o terceiro elemento do meu trabalho é realmente fazer uma tradução: pegar tudo o que aprendemos sobre tecnologia, tudo o que entendemos, e levar isso para os setores da economia. Ou seja, ouvir sobre problemas e questões de negócios, seja transformação, modernização de processos de negócios ou análise de onde, por exemplo, a IA ou outras tecnologias podem ser usadas para otimizar a maneira como as empresas operam e

02:05 funcionam, e então levar a tecnologia até o problema, nunca o contrário. Eu diria que essas são as três principais partes do meu trabalho diário. >> Obrigado. Na conferência de profissionais de EA do Open Group, você falou sobre controle versus velocidade. Qual é a tensão central nesse tema? >> Ah, é sempre um equilíbrio, não é? E acho que isso fica especialmente claro quando pensamos na PWC. Somos uma empresa de auditoria regulada. Trabalhamos com impostos. Atuamos em áreas de negócios muito seguras e regulamentadas, com muitas exigências de controle.

02:36 Então, isso não favorece assumir riscos e agir com rapidez e agilidade. A questão do controle versus velocidade envolve sempre o risco de avançar devagar demais, enquanto os negócios e a concorrência passam à sua frente, ou de avançar rápido demais, quando pequenas decisões podem gerar grandes consequências irreversíveis. É sempre esse equilíbrio entre as duas coisas. Quando analisamos a adoção de novas tecnologias, para mim, estamos sempre pensando em como avaliar e analisar com segurança as novas tecnologias que surgem. Então,

03:07 fazemos testes em laboratório. Realizamos prévias. Fazemos testes extensivos. Garantimos que haja proteções e procedimentos operacionais em torno dessas novas tecnologias. No mundo da IA, analisamos a observabilidade, seja ela técnica ou relacionada a vieses, e incorporamos disjuntores nas respostas da IA. Assim, se ela começar a fazer algo um pouco suspeito, um pouco fora do script, há mecanismos que podem ser acionados e podemos voltar a respostas padrão predefinidas ou a perguntas frequentes. Um exemplo real disso é uma ferramenta de análise de reclamações que desenvolvemos.

03:37 E também analisamos o roadmap dessas soluções. Como todos sabem, parece que novos modelos surgem toda semana, neste momento. Novos modelos trazem novos riscos. Por isso, essas proteções precisam evoluir e ser reavaliadas continuamente. A observabilidade também é uma parte essencial do nosso trabalho com soluções técnicas. Então, é sempre esse equilíbrio. E eu só acrescentaria que também é uma questão muito pessoal. Obviamente, uma startup pequena pode assumir muito mais riscos do que uma grande empresa, e isso também depende do setor em que você atua. Então, se fosse

04:08 um grande banco regulado, em que as decisões podem ter um grande impacto, sua tolerância ao risco poderia ser muito diferente da de uma pequena startup de software. Portanto, é uma questão muito pessoal quando se trata de controle versus velocidade, e cada um precisa definir seu próprio perfil de risco. >> Ótimo. Na sua opinião, como é um bom controle em uma organização que usa IA? >> Um bom controle, acho que vale para tudo, não é? Para mim, o bom controle começa no momento em que alguém abre a tampa do

04:39 laptop. Isso inclui escolher o modelo de linguagem certo. Acho que todos viram as manchetes recentes sobre as últimas mudanças nos preços por token, que temos observado em todo o setor. Isso deixou de ser dinheiro de brincadeira e virou dinheiro de verdade muito rapidamente, não é? Escolher o modelo certo para a tarefa certa não afeta apenas os custos: também afeta, é claro, o risco comercial para a empresa. Tenho certeza de que todos já viram histórias assustadoras de custos de IA saindo do controle, com pessoas escolhendo modelos de ponta para tarefas básicas ou escolhendo o modelo errado. E nós

05:09 sabemos, com base nos nossos próprios testes, que modelos diferentes são bons em coisas diferentes. Então, é muito importante escolher o modelo certo para a tarefa que você precisa realizar. Depois, enquanto o desenvolvedor cria a solução, precisa ficar de olho na economia disso, bem como em coisas como testes de segurança, de viés e das saídas. Isso não é algo que, como se fazia tradicionalmente no mundo do software, você deixa para o fim do ciclo de desenvolvimento. Na verdade, isso faz parte de como você programa e desenvolve a solução. Faz parte do processo. Começa desde o início. E é preciso garantir que também haja frameworks de testes contínuos,

05:41 porque, ao contrário do software tradicional, em que você chega a um ciclo de testes, recebe uma saída e sabe que aquela é a saída gerada, que passa ou falha, há várias maneiras diferentes de fazer uma pergunta a uma solução de IA. Por isso, ela pode dar várias respostas diferentes. Então, como testar isso? As proteções são muito importantes, assim como mencionei antes, o monitoramento contínuo e os disjuntores, caso você comece a detectar algo fora do esperado. Se também houver possíveis ataques maliciosos, a IA oferece uma superfície de ataque extremamente ampla para

06:13 hackers. E, mais uma vez, tenho certeza de que você viu todas as manchetes sobre isso, desde prompts envenenados a prompts de cavalo de Troia e todas as outras coisas divertidas que podem ser feitas com um modelo de IA do ponto de vista da segurança. Esse é outro elemento. E, indo ainda mais longe, nossos próprios testes e soluções mostraram que os modelos de IA só são tão bons quanto os dados que recebem, não é? Então, é preciso garantir que a fonte de dados recebida seja confiável e limpa, e também garantir que a solução de IA ou os agents não estejam produzindo saídas enviesadas à medida que

06:44 sobem. Então, a resposta demorou, mas eu diria que os pontos principais são: a) é contínuo; b) começa na fase de design; e c) está sempre mudando. Portanto, os testes fazem parte das operações do dia a dia. Cada prompt precisa ser analisado quando é enviado a um usuário final. Agora… >> Hum-hum. E, passando à Tech Catalyst: ela é descrita como o centro de inovação técnica da PWC. O que a diferencia de uma função tradicional de tecnologia empresarial? >> Acho que é porque começamos isso apenas

07:15 há mais de um ano. Na verdade, acabou de completar seu primeiro aniversário. Foi uma coincidência de timing. Eu adoraria dizer que foi planejado, mas realmente não foi. Estávamos sendo abertos. Isso estava se formando quando a curva de alta euforia em torno da IA estava começando. Então tivemos a oportunidade de construir uma organização que prioriza a IA, o que foi ótimo. Assim, eu não tinha muitos desenvolvedores de sistemas legados, centros de desenvolvimento offshore e desenvolvedores de software de sistemas legados para retreinar. Pude construir isso como uma equipe de inovação habilitada por IA

07:47 desde a raiz. Então isso foi um pouco de sorte, para ser sincero, mas também torna a equipe um pouco diferente: ela foi criada, projetada e é operada com esse propósito. Eu diria que esse é o primeiro ponto. O segundo é que acho que a equipe se concentra em questões de negócios. A equipe nunca vai diretamente ao mercado. Nunca nos posicionamos, fazemos apresentações ou nos reunimos com clientes sem passar por uma de nossas linhas de serviço. Então, passamos pelas equipes de consultoria, tributos, auditoria e negócios. Portanto, nossas

08:19 conversas sempre começam depois que um dos arquitetos corporativos de uma de nossas linhas de serviço entra em cena, assim como especialistas no assunto, e conversa sobre um problema real, um problema concreto, uma oportunidade real. Então, tudo começa com um problema de negócios ou uma oportunidade de otimização, em vez de entrar mostrando um monte de tecnologia de IA reluzente e tentando encontrar uma solução de negócios na qual ela possa ser integrada. Para mim, a tecnologia foi concebida para fazer isso do jeito certo. Estamos levando a tecnologia aos problemas de negócios, e não o contrário

08:51 . Acho que isso é um pouco diferente no setor, quando se considera de onde talvez vieram as GSIs ou os participantes especializados que tinham esse legado e precisaram se requalificar, se adaptar, se reestruturar e se reorganizar. Nós não tivemos isso. Então, o que fazemos é um pouco diferente e também significa que a velocidade com que a equipe consegue se adaptar, evoluir, avançar e aprender está no ponto certo para ser compatível com a IA. >> E como vocês equilibram a experimentação

09:22 com a necessidade de confiabilidade de nível de produção? >> A resposta honesta é: com muita cautela. É importante termos rapidez e acesso à inovação. Como mencionei antes, temos acesso antecipado a muitos modelos e novas tecnologias. Então, podemos testá-los. O que criamos — e todos estão mais ou menos familiarizados com o conceito de uma equipe de engenharia totalmente implantada — também implantamos na PWC. Tenho laboratórios seguros. Podemos trazer novas tecnologias e novas

09:53 soluções para laboratórios seguros e testá-las com cenários da vida real assim que são lançadas — e, muitas vezes, fazemos isso antes do lançamento oficial. Isso nos permite experimentar com segurança, porque estamos em um ambiente de laboratório isolado. Se algo explodir e fizer alguma coisa ruim, não importa. Está em uma área controlada. O raio de impacto não vai atingir nada que afete os negócios. Não está conectado a nenhum dado confidencial. Isso nos permite fazer a integração e nos atualizar muito mais rápido e, obviamente, dar feedback aos provedores dos modelos, aos hyperscalers

10:24 ou a quem quer que estejamos trabalhando. E vamos submeter essa tecnologia a um ciclo rigoroso de testes antes de começar a aplicá-la aos clientes. Acho que ter essa abordagem bimodal — a fase experimental, aprender coisas, receber feedback, falhar rápido e fazer tudo isso em uma área segura e isolada antes de aplicar em qualquer solução de nível de produção — é mais ou menos o segredo que tivemos de descobrir para tornar a equipe eficaz. E, voltando exatamente à sua pergunta,

10:54 depois que a solução entra em operação, e talvez tenhamos um contrato com um SLA e precisemos ter certeza de que os resultados estão em nível de produção, colocamos uma camada de observabilidade por cima, monitorando os resultados e aprendendo com eles. Isso também inclui respostas rápidas. Se detectarmos que algo deu errado — talvez haja uma resposta incorreta ou algum problema com a geração —, garantimos que temos as operações certas. Pode ser uma pessoa no ciclo, disjuntores ou adaptar a ferramenta para usar outro modelo e fazer um retreinamento rápido. Essa é a resposta longa, mas espero que explique a evolução da nossa abordagem à inovação. Obrigado.

11:27 E mudando de assunto para IA, nuvem e tecnologias emergentes. Com IA, plataformas de nuvem e DevOps convergindo, o que mais empolga você nos três neste momento? >> Nossa! Você tem toda a razão. Eles estão convergindo a uma velocidade assustadora. Eu diria que, nos últimos dois anos, o mundo em que cresci — o do desenvolvimento de software tradicional — virou completamente de cabeça para baixo. Sabe, a forma como podemos desenvolver

11:58 agora com equipes menores, a forma como podemos fazer prototipagem rápida, muitas vezes no mesmo dia. O mundo do DevOps clássico teve de evoluir para acompanhar isso, especialmente com os ambientes modernos de desenvolvimento habilitados por IA e as IDEs realmente amadurecendo agora. E, como eu disse antes, ter agentes de monitoramento de segurança atuando ao mesmo tempo que escrevemos código, e agentes observando e ajudando outros agentes, é algo que já existe, certo? Isso é radical. Uma das áreas que realmente me empolgam ao olharmos para o futuro — e

12:30 isso talvez seja um pouco mais uma questão de horizonte um e horizonte dois — é a seguinte. O horizonte um é observar a convergência dessas tecnologias. Vimos isso com a IA multimodal: vimos voz, vimos vídeo, e isso agora está se integrando ao setor. Até mesmo na minha equipe, temos uma equipe de drones, certo? Vimos essa convergência começar a entrar no mundo da vigilância e da robótica. Por exemplo, a equipe de drones faz de tudo, desde acompanhar o andamento de obras até monitorar saúde e segurança. Há todo tipo de coisa no mundo dos drones comerciais. Vimos isso

13:01 ganhar vida nos últimos meses. Isso é com IA visual. Agora estamos vendo o avanço para a robótica. Então, se combinarmos modelos de linguagem com robótica e pudermos literalmente dar braços e pernas à IA para começar a realizar tarefas, isso é incrivelmente empolgante. Estamos vendo isso avançar rapidamente. E eu diria que, no horizonte dois, enquanto todos olhamos para o futuro, vimos grandes avanços no mundo da computação quântica. Acho que, enquanto todos prendemos a respiração e nos perguntamos onde — e quando — chegará o momento em que teremos

13:31 inteligência geral, a computação quântica será um dos pontos-chave em que a capacidade da IA de realizar tarefas realmente complexas — pesquisas aprofundadas em áreas que hoje não conseguimos sequer imaginar, seja síntese de proteínas, genômica, aerodinâmica, termodinâmica — poderá se concretizar. São erros computacionais enormes. A computação quântica combinada com modelos de raciocínio de IA vai acrescentar um nível totalmente novo de avanços nesse sentido. Estou realmente ansioso para ver como isso vai progredir.

14:02 É uma mistura de estar apavorado e empolgado ao mesmo tempo, porque, obviamente, as barreiras de proteção e as salvaguardas de que vamos precisar para esse nível de inteligência são algo que ainda não acho que tenhamos conseguido resolver, mas precisamos resolver. >> Você acha que, com isso também, há muitos testes? Tipo, também envolve muita tentativa e erro? >> Sim. Acho que veremos um aumento na quantidade de testes. Obviamente, vamos ter de fazer isso. Mas, voltando ao que eu disse antes, os testes não são algo que você faz em uma onda ou em uma fase. São algo que

14:33 um processo de BA. Ele está sempre em execução. Acho que teremos agents de controle observando os agents ativos, observando os agents de raciocínio. Então, acho que haverá uma equipe de comando e controle analisando onde as saídas são monitoradas e avaliadas em tempo real. Hoje, por exemplo, fazemos isso com soluções de IA em algumas das nossas soluções bancárias e de seguros. Antes que o prompt seja exibido de volta na tela do usuário, ou que a saída seja exibida de volta na tela do usuário, ela já passou por uma barreira de proteção, na qual se verifica [música] qual foi a citação daquela fonte. Onde estava o documento que embasou aquela decisão? Isso é confiável? A saída está correta? Ela detectou algum viés?

15:04 Isso está acontecendo hoje. Só vejo essa abordagem se expandindo cada vez mais à medida que a inteligência aumenta. >> E agora, mudando para inovação, cultura e comunidades de builders: como vocês promovem uma cultura de builders dentro de uma grande organização como a PWC? [música] >> Sim. E, veja, acho que, como eu disse antes, estamos vendo os papéis mudarem e se transformarem. Então, onde

15:35 tradicionalmente as organizações precisavam ter equipes de desenvolvedores de software e ciclos de sprints, isso está mudando muito a metodologia, a arquitetura e o design. O que estou vendo agora é o surgimento do engenheiro de implantação avançada e do engenheiro de produto, que estão realmente ganhando espaço. Então, como eu disse antes, é possível fazer [música] testes rápidos e desenvolvimento rápido ao vivo com o cliente. Em vez de usar um quadro branco, muitas vezes vamos até lá e simplesmente criamos a solução e a desenvolvemos junto com o responsável pela área de negócios

16:05 na organização específica com a qual estamos trabalhando ao vivo. Isso mudou radicalmente o perfil de função de que precisamos. Não precisamos tanto de pessoas isoladas, codificando por dias a fio. Agora precisamos de pessoas que tenham essa trindade de habilidades de desenvolvimento, sejam capazes de conduzir ferramentas de IDE com IA e saibam usá-las corretamente. Precisamos de pessoas com habilidades comerciais para projetar isso da maneira certa. Então, voltamos aos modelos de linguagem, às plataformas e aos custos envolvidos.

16:36 Quando você usa modelos de IA, eles são caros, certo? Isso faz uma grande diferença na hora de determinar se usar IA é realmente mais barato ou se estou apenas acrescentando mais custos. Então, é sempre preciso manter o caso de negócio em mente. E o terceiro aspecto é >> [música] >> as habilidades humanas, certo? Você precisa conseguir conversar com as unidades de negócio, desenvolver essas ideias e fazer as perguntas certas sobre as tarefas. E, muitas vezes, como tudo isso está avançando tão rápido, você precisa ajudar a educar as pessoas com quem está trabalhando enquanto elas tentam criar uma solução. Então, estamos vendo a função do desenvolvedor passar a exigir muito mais dessas novas habilidades.

17:08 Então, pessoas com perfil em T, acho que essa seria minha resposta resumida. Pessoas com uma base ampla. >> Aham. E, passando para o aprendizado ao longo da vida: como é o aprendizado ao longo da vida para você? >> Ah, é um assunto muito querido para mim, na verdade. Estou fazendo alguns exames neste momento. Acho que também vimos uma grande mudança nisso nos últimos dois anos. Sabe, antes fazíamos uma prova e pronto. Agora, com a velocidade com que as coisas estão avançando, eu diria — falando por mim, certo? — que não há um dia

17:39 em que eu não acabe dedicando algum tempo à leitura. Na verdade, reservo um espaço na minha agenda todas as manhãs e todas as noites para sentar, me atualizar e ler. [música] Isso é muito importante para mim. Aprender não é algo que você faz uma vez e deixa para lá, nem algo que você resolve com uma certificação válida por 48 meses, porque, como todos sabemos, ela costuma ficar obsoleta em seis meses, dado o ritmo das mudanças. Então, é uma atividade diária. Especialmente no nosso setor, as pessoas precisam entender que isso é algo que simplesmente têm de fazer todos os dias. O campo também é amplo demais

18:10 para que você saiba tudo. Então, voltando à minha ideia de perfil em T, acho que você precisa ser um generalista muito bom. Quer eu esteja falando de plataformas de nuvem, computação, criação de scripts, modelos, desenvolvimento de IA ou seleção de modelos de linguagem, preciso saber um pouco de tudo, com uma profundidade razoável. Mas também preciso ter uma especialidade mais profunda. Certo? É a área em que talvez você tenha se especializado ao longo do tempo, na qual tenha entrado ou pela qual tenha um interesse específico. E, olhando para a minha própria equipe, temos pessoas especializadas em interface do usuário, robótica, red teaming de modelos de linguagem,

18:42 além de desenvolvedores e gestores especialistas que conduzem ciclos específicos de sprint e de desenvolvimento. Então, você precisa da sua especialidade. Acho que é por isso que precisamos reunir equipes de especialistas para [música] começarmos a criar essas soluções também. E talvez uma resposta curiosa sobre isso seja que, hoje, nem todas as pessoas nos projetos são humanas. Sabe, muitas vezes trabalhamos lado a lado com colegas agentic, que também fazem parte desses trabalhos. Então, todos precisamos aprender uns com os

19:12 outros, além de incorporar o aprendizado a cada parte do nosso trabalho diário. >> Obrigado. E, para encerrarmos este episódio: olhando para os próximos três a cinco anos, como você vê a evolução do equilíbrio entre [música] controle e velocidade? Ah, essa é uma pergunta de bola de cristal, Ash. É difícil responder. Acho que eles precisam avançar lado a lado. Essa é a resposta. Quanto mais inteligência é incorporada aos modelos de raciocínio, mais esses modelos evoluem. Isso vale tanto para um modelo de linguagem grande quanto para

19:43 o foco cada vez maior em modelos de linguagem menores, altamente especializados em áreas específicas. E estamos vendo surgir modelos de comando e controle e de enxame, nos quais vários agents especializados se agrupam em torno de um problema de negócio ou de um prompt específico. Vimos isso com algumas das tecnologias OpenClaw e Claw Trail que estão amadurecendo agora, e com o Co-work chegando aos desktops, nas soluções Co-work para desktop da Microsoft ou da Anthropic. Estamos vendo todas essas tecnologias começarem a operar juntas em enxame. E precisamos, igualmente, de uma estrutura de controle correspondente

20:14 para acompanhar isso. Então, eu diria que precisam avançar em sincronia. Sempre que identificamos algo e orientamos um colega de IA a realizar uma tarefa específica, ou criamos uma solução de IA, também existe uma espécie de versão antípoda: um plano de controle com um agent que observa e evolui no mesmo ritmo. Então, agora, dentro da empresa, sempre que desenvolvemos uma solução nova, também precisamos ampliar nossa camada de observabilidade para garantir que essas duas coisas avancem na mesma velocidade. Obrigado por participar hoje, Ben,

20:46 do Open Comments. Foi ótimo conhecer melhor você e também saber mais sobre sua apresentação na Open Group EA Practitioners Conference, em fevereiro, sobre controles versus velocidade, [música] IA nas empresas e IA de forma mais ampla. Esperamos que nossos ouvintes tenham gostado deste episódio tanto quanto nós e esperamos trazer em breve mais temas como este para vocês. Obrigado, Ben, e obrigado aos nossos ouvintes. Fiquem em segurança e boas audições.

Transcrição original

[00:00] Hello and welcome back to open comments with me Ash. Today we are joined by Ben Lingwood who [music] spoke at the Open Group EA practitioners conference back in February on control versus speed [music] AI in the enterprise. Ben is the co-lead partner and CTO for PWC’s UK technology business [music] unit within tech catalyst. Ben focuses on client-f facing emerging technology. His background is diverse, spanning lead technical [music] positions in FTSC 100 organizations, head of cloud engineering [music] at SAP. He has also ran a

[00:31] cloudnative startup focused on transforming and operating large organizations into [music] cloud technologies. Thank you, Ben, for joining us today on Open Comments. >> My pleasure Ash, good to be here. Thank you. >> To start, what does your role as co-lead partner and CTO of Tech Catalyst [music] look like dayto-day? >> Thanks Ash. It’s pretty diverse role actually. Um let’s let’s start going through the list. So number one, it’s a large team. We’ve got about a thousand technicians in the team. Um so part of my job is making sure that those people [music] have an engaging interesting

[01:02] job. They’re working with the new technology. Uh they’ve got career opportunities. So tech career paths. Uh they’re learning new certifications, new skills, keeping up to date and [music] you know aspiring to to work in PWC in the future. So that’s firstly the most important part of my job is is building a a community for builders and people to flourish. Uh most important thing for me. Second half of my job is as you said earlier sort of looking at emerging technologies. So we work very closely with the hyperscalers with the language model providers understanding future

[01:33] trends what’s coming out what’s emerging. Uh we get access to some of the early early release models and updates as well just to assess where they can be used. Uh and I think the then the third element of my job is really a translation one is taking everything that we’ve learned from technology everything that we understand and taking that into into industry right so hearing about business problems and business issues whether that’s transformation modernizing business process looking at where for example AI or other technologies can be used to optimize the way businesses run and

[02:05] operate and then bringing the technology to the problem never the other way round so I’d say [music] they’re my my three main parts of the day job. >> Thank you. And at the open group EA [music] practitioners conference, you spoke about controls versus speed. What is the core tension there? >> Ah, it’s always always a balancing act, right? And I think especially if you if you think of PWC, right? Um, we’re we’re a regulated auditor. We work with tax. We work in in very very sort of secure business areas, a lot of controls,

[02:36] liabilities to sit over the top. Um, so that is not the friend to taking risks and fast agility. So the control versus speed is always the risk of move too slowly and the business and the competition roots around you or move too quickly and small decisions can create large irreversible consequences. So it’s always this this balancing act between the two. So when we look at uh adopting new technology for me we’re always looking at how do we safely assess review new technology that comes in. So

[03:07] we’re running that in labs. We’re doing previews. We’re doing extensive testing. Making sure that then we’ve got the guard rails and operating procedures around those new technologies. So in the world of AI, looking at observability. So whether that’s technical observability or bias or building in circuit breakers into the AI responses. So if it starts doing something a little dodgy, a little off script, um it’s got some trips that can go in and we can revert back to standard scripted responses or FAQs. That’s actually a live example of one we did to things like a a complaints analysis tool.

[03:37] [music] Uh and then all the way through to looking at the roadmap of those solutions as well. As I’m sure everyone knows, you know, new models are coming out what feels like weekly at the moment. Uh new models introduce new risks. So those those guardrails continuously need to be evolved and modeled as well. So observability is a key part of what we do as well with technical solutions. So always that balancing act and I would just sort of sneak in. It’s a really personal area as well. Um obviously a small startup can take far more risks [music] than a large corporate and it depends which industry you’re in as well. So you know if it was

[04:08] a a large regulated bank where [music] decisions can have large impact again your appetite for risk could be very different from maybe a you know a small software startup house. So very personal question when you look at control versus speed and something everyone has to form their own risk profile on >> that’s great and what does good control look like in an AI enabled organization according to you >> good control um I think it’s across the board right so for me good control starts the minute someone opens their

[04:39] laptop lid right so selecting the right language model and I think everyone’s seen the headlines recently with the the latest changes on token price thing that we’ve seen kind of across the industry. Uh it’s gone from monopoly money to very real money very quickly, right? Um so selecting the right model to do the right job that’s not only got a cost impact that of course impacts the the risk to the company commercially and I’m sure you’ve all seen horror stories with AI costs spiraling, people selecting flagship models to do basic tasks or selecting the wrong model. Uh and we

[05:09] know from our own testing different models are good at different things. So selecting the right model for the right job that you need to do is dead important. Then as the developer is creating the solution, having one eye on the economics of that uh and sort of things like security testing, bias testing, output testing is not something that you traditionally do now like it used to in in sort of the software world at the the end of a development cycle. It’s [music] built actually into how you code and develop the solution. So it’s actually part of the process. It starts way at the beginning. Making sure then you’ve got continual testing frameworks

[05:41] as well because unlike traditional software where you would get to a testing cycle and it spits out an output and you know that’s the output it gives and it passes or fails. There’s multiple different ways of asking AI solution a question. So they can give multiple different answers. So how do you test for that? So guardrails are very important that you have as I mentioned earlier the continuous monitoring the circuit breakers in there if you start detected there’s something rogue. Um, if you’ve got potentially malicious attacks going on there as well, AI provides a a fantastically broad uh attack plane for

[06:13] for hackers. And again, I’m sure you’ve seen all the headlines on that as well, from poison prompts to Trojan horse prompts and all the other other fun things that uh can be done with an AI model from a security perspective. So that’s the other element. And then even going more broadly as well, and we’ve seen from our own test and our own solutions, AI models are only as good as the data that they ingress, right? So making sure that you’ve got a trusted clean data source as as that goes in and then making sure that your uh your AI solution or your agents are not then [music] providing biased outputs as they

[06:44] go up. So long-waited answer but I would say look key things will be a it’s continuous b it starts at design time and c it keeps changing. [music] So testing is something that is you do as part of BAU. Every single prompt needs to be reviewed as it comes out going to an end user. Now >> Mhm. And moving on to Tech Catalyst. Tech Catalyst is described as a home of technical innovation at PWC. What makes it different from a traditional enterprise tech function? >> I think because we started this just

[07:15] over a year ago. It’s just had its first birthday actually. Um it was kind of kind of fortuitous timing. um wasn’t I’d love to it was planned but it it really wasn’t being open. Um this was being formed as the AI sort of upward hype curve was starting. So we had an opportunity to build an AI first organization which was great. So I didn’t have lots of legacy developers and you know offshore development centers uh and legacy software developers to retrain. I could build this as an AI enabled innovation team

[07:47] from from the root. So that that was a that was a bit of luck to be honest but that does make it a little bit different that it is purposebuilt and designed and operated for that reason. So I’d say that’s the first one. The second one um is I think that the team focuses around business issues. So sort of the the team never goes to market directly. We never go and position or present or or meet customers unless we’re going through one of our lines of service. So we go through our consulting team, our tax, our audit, uh our deals teams. So our

[08:19] conversations always start after one of our line of service uh enterprise architects has gone in, subject matter experts has gone in and is having a conversation around a real problem, a real painoint, a real opportunity. So everything starts around a business painoint or an optimization versus going in showing lots of shiny AI tech uh trying to find a business solution uh that it [music] could potentially be glued into. So for me, tech is designed to do this the right way around. We’re bringing technology into business problems rather than going the other way

[08:51] round. So that’s something that’s a little bit different, I think, in the industry when you look at where maybe gsis have come from or maybe sort of niche players who had that that heritage that they needed to retrain, readapt, re-engineer, reorganize. Uh we didn’t have that. Um so that that makes what we do a little bit different and also means the speed at which the team can adapt, evolve, move and learn uh is in the right place to be AI compatible. >> And how do you balance experimentation

[09:22] with the need for production grade reliability? >> Uh the honest answer is with great caution. Um so it’s important that we have speed to and access to innovation. As I said earlier, we get we get early access to a lot of models and new technology. So, we’ve got the ability to test that. So, what what we’ve created um and then everyone’s sort of familiar with the full deployed engineering team concept. So, that’s something we’ve also deployed in PWC. So, I have safe labs. So, we can bring in new technology, new

[09:53] solution into secure labs and test that out with real life scenarios uh as soon [music] as soon as it’s released and quite often we do it before it’s formally released. So that allows us to experiment safely because it’s in a clean lab room. If that explodes and does something nasty, doesn’t matter. Uh it’s in a contained area. The blast radius is not going to touch anything that would would affect businesses. It’s not connected to any sensitive data. So that that allows us to do the onboarding and get up to speed far quicker and obviously give give feedback then to either model providers or hyperscalers

[10:24] or whoever we’re working with [music] and let’s take that technology through a rigorous testing cycle before we start applying it in into customers. So I think having that that biodal approach so the experimental phase learning things getting feedback failing fast [music] doing that in a secure isolated area before that’s then applied in any production grade solution is kind of a the secret that we’ve had to crack to make the team effective and then importantly exactly to your question

[10:54] there once that solution is live and maybe say we’ve got a contract on that with an SLA and we’ve got to be sure that the the outputs are are production grade We’ve got our observability layer on the top of that then watching the outputs and learning. Uh and that also includes sort of rapid responses. So if we detect something has gone wrong, maybe there’s a road answer or something’s going wrong with the generation. Um then we’re making sure we’ve got the right operations. So whether that’s human in the loop, whether that’s circuit breakers [music] or or whether that’s uh adapting the tool to maybe use a a different model and doing rapid retraining. So long

[11:27] answer, but hopefully that explains the the evolution of how we approach new innovation. Thank [music] you. And switching gears to AI, cloud, and emerging tech. With AI, cloud platforms, and DevOps all converging, what excites you most about all three right now? >> Oh, criy. Um, you’re absolutely right. They are converging at a a frightening speed. I mean, I would say in the last two years, the world I grew up, which is sort of traditional software development, has radically spun on its head. you know, the way we can develop

[11:58] now with smaller teams, the way we can do rapid prototyping often in the same day. Um, the world of sort of classical DevOps has sort of had to had to level up into that space, especially with modern AI enabled development environments, idees, uh, really coming of age now. And I said earlier, having those security monitoring agents happening at the same time that we’re we’re cutting code and agents watching agents, helping agents is is a is a thing now, right? So, that that’s radical. One of the areas that sort of really excites me as we look forward and this

[12:30] is probably a little bit more horizon one horizon 2 thing. So Horizon one is looking at the convergence of those technologies. So we’ve seen that with multimodal with AI, we’ve seen voice, we’ve seen video that that’s now blending its way into industry. Um even within my team, we have a drones team, right? Uh we’ve seen that convergence with starting to come into sort of the world of surveillance and robotics coming in. So, for example, the the drones team doing everything from looking at building site progression to health and safety monitoring. Um, all sorts of things in the world of commercial drones. We’ve seen that we’ve

[13:01] seen that come to life in the last few [music] months. Uh, that’s with visual AI. Uh, we’re seeing now the move into robotics. So, if you’re now mixing language models with robotics and you’re able to uh literally give an AI arms and legs to start performing tasks, um, [music] that is incredibly exciting. We’re seeing that move at pace. And then I’d say Horizon 2 as we’re all looking forward uh we’ve seen great advancements in the world of of quantum uh and I think you know as we all sort of hold our breath and wonder where wonder when the point is going to happen where we’ve

[13:31] got general intelligence uh takes place I think quantum is going to be one of those key points where the ability then for AI to perform really complex tasks um you know deep research areas to the point we couldn’t think about today whether that’s protein synthesis or genomics or aerodynamics next thermodynamics, you know, huge computational errors. Um, quantum processing mixed with AI reasoning models is going to add a a whole new level of breakthrough from that perspective. So, I’m I’m really looking forward to see how that one progresses.

[14:02] It’s kind of equal measures of uh petrified and excited at the same time because obviously the the guard rails and the safeguards that we’re going to need around that level of intelligence is something I don’t think we’ve quite cracked yet but need to. >> Do you think with that as well it goes through a lot of testing? like there’s a lot of trial and error involved in that as well. >> Yeah. So, I think we’ll see increases in the amount of testing. We’re obviously going to have to do that. But I think back to my earlier point, testing isn’t something that you will do as a as a wave or a phase. It’s something that is

[14:33] a BA process. It is always running. I think we will have control agents watching live agents, watching reasoning agents. So I think there’ll be a command and command and control team going through where outputs are being monitored and assessed live. So we we do that today for example with AI solutions in some of our banking insurance solutions before the prompt is echoed back to the user screen or the output is echoed back to the user screen. It’s already gone through a guardrail where it’s checked [music] what was the citation for that source. Where was the document that made that decision? Is

[15:04] that trusted? Is the is the output correct? Is it has it detected any biases? that is happening today. I just see that approach scaling more and more as the intelligence gets higher. >> And now to pivot to innovation, culture and builder communities. [music] How do you foster a culture of builders within a large organization like PWC? [music] >> Yeah. And I look I I think as I said earlier, we’re seeing the the the roles shifting and changing. So where where

[15:35] traditionally organizations have had to have sort of teams of software developers and sprints of those going through uh that’s changing methodology, architecture and design hugely. So what what I’m seeing now is the the emergence of the the forward deploy engineer and and the product engineer really coming to life. Um so the ability as I said earlier to do [music] the rapid testing and rapid development live with the customer. So you rather than using a whiteboard now, we’re often going in and just creating the solution and noodling that through with with a business owner

[16:05] in in in the particular organization that we’re working with live. So that that’s radically changed the role of the profile that we need. So we we don’t so much need people squirreled away coding for days and days on end. We now need people that have got sort of the the trinity of development skills and able to drive IDE AI enabled tools and know how to use those correctly. We need people that have the commercial skills to be able to design that correctly. So back to language models, back to platform, back to the the cost for that.

[16:36] So when you’re using I models, these are expensive things, right? So that makes a huge difference to actually is it cheaper to do with AI or am I just adding more cost over the top? So there’s always a business case eye on that. And then the third one is >> [music] >> um the the human skills, right? You’ve got to be able to to talk through business units and noodle those things and ask the task questions. And quite often because this is moving so fast help educate people that you’re working with at the same time they’re trying to create a solution. So we’re really seeing the role of the the developer now moving much more into needing those uh

[17:08] reskills. So T-shaped people I think would be my my summary answer. People with a a broad tea. >> Mhm. And moving on to lifelong learning. What does lifelong learning look like [music] for yourself? >> Oh near and dear topic actually. I’m sitting some exams at the moment. So I I think we’ve we’ve we’ve seen a big change in this over the last couple of years as well. You know, we used to sit in exam and and do something. The speed things are moving now. Um I’d say there’s not and I’m speaking personally on this, right? There’s not a day that

[17:39] goes by where I don’t end up spending some time for reading. I actually block a bit of my calendar every morning and every evening to to sit down and catch up on things and read. [music] So that’s that’s really important for me. So learning isn’t something you just do once and move on or sit a certification that lasts 48 months to move on because as we all know that’s typically redundant within six months the way the pace is moving. So it’s a daily activity. So people need to certainly in our industry now need to move into that is something that you just have to do every single day. It’s also too broad

[18:10] that you can’t know it all. So back to my T-shaped thing, I think you need to be a really good generalist. So whether I’m talking cloud platform or compute or you know scripting models or AI development or language model selection, I need to know a little bit about everything to a reasonable depth. But then I need my specialtity underneath. Right? So it’s the deep area that maybe you’ve specialized with historical or you’ve come into or there’s particular interest for you. And if I look at my own team, we’ve got people that specialize in UI through to robotics through to red teaming on language

[18:42] models through to obviously developers um through to sort of specialist managers that that run particular sprint cycles on on development cycles. So you need your specialtity. So I think that’s where we need specialist teams curling together to to [music] start forming these solutions as well. And maybe what strange answer on this as well is not all of the people on the projects now are human. You know, we’re we’re often now working with agentic colleagues side by side who do some of these jobs as well. So we all have to learn from each

[19:12] other as well as uh building learning into every part of our day job. >> Thank you. And as we wrap up this episode, looking ahead 3 to 5 years time, how do you see the balance between [music] control and speed evolving? Oh, that’s a real crystal ball question, Ash. That’s a that’s a tough one. I I think they have to go in lock step is the answer. So, the more intelligence that is built into reasoning models, uh the more these models evolving. So, whether that’s a large language model or

[19:43] increasingly now focusing on smaller language models that are deep deep specialists in one areas. And we do like a a command and control and swarm models coming in now where there’s multiple specialist agents swarming around um a particular business problem or a prompt. We we’ve seen that with some of the the the open claw claw trail technologies coming of age now co-work coming in on on desktops now with the Microsoft or the anthropic desktop co-work solutions. So we’re seeing this emergence of all this technologies swarming together. We equally need the same control framework

[20:14] to sit alongside that. So I would say in log spec. So wherever we’re identifying something, we’re driving an AI co-worker to to do a particular task or building an AI solution, there is equally a a sort of a an antimatter version, a a control control plane that has an agent that is watching and evolving at the same level. So we’re trying to now within the company wherever we develop a new solution, we’re also having to upscale our observability layer to make sure that those two are moving at equal speeds. Thank you, Ben, for joining us

[20:46] today on Open Comments. It’s been really great learning more about you and also about your presentation at the Open Group EA Practitioners Conference back in February on controls versus speed, [music] AI in the enterprise, and also AI at large. We hope our listeners enjoyed this episode as much as we have, and we look forward to bringing more topics into the fold just like this one to you very soon. Thank you, Ben, and thank you to our listeners. Stay safe and happy listening.