O que construir os chips do piloto automático da Tesla ensinou ao presidente da Cognition sobre IA
Autoria: LangChain · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: What building Tesla’s autopilot chips taught Cognition’s President about AI · Canal: LangChain · 01:06 · Assistir no YouTube
Tópicos: Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos de IA
O presidente da Cognition explica como a maior padronização das arquiteturas de transformers pode permitir chips de inference mais especializados. Ele relembra o trabalho na Tesla, onde chips próprios foram criados para o piloto automático, e como limites térmicos influenciaram as decisões de projeto. Um debate sobre a necessidade de divisão mostrou que, nas redes neurais convolucionais usadas na época, essa operação podia ser eliminada ao combinar os parâmetros da batch normalization com os pesos das convoluções. Com o crescimento da demanda por inference, ele prevê avanços expressivos de desempenho graças à especialização.
Pontos-chave
Seção intitulada “Pontos-chave”- Arquiteturas de transformers mais padronizadas tornam os requisitos para projetar chips mais previsíveis.
- A Tesla desenvolveu chips próprios para inference no piloto automático.
- O calor é um dos principais gargalos no projeto de chips, pois limita o throughput que podem sustentar.
- A equipe avaliou quais recursos poderiam ser removidos do chip para maximizar o throughput nas operações relevantes.
- Nas redes neurais convolucionais usadas na época, as camadas não precisavam de divisão durante inference.
- A etapa de divisão da batch normalization podia ser eliminada ao incorporar seus pesos e vieses aos pesos convolucionais.
- O aumento da demanda por inference pode estimular chips altamente especializados e ganhos de desempenho.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Chips especializados para inference | O entrevistado relaciona a padronização das arquiteturas de transformers à possibilidade de obter ganhos técnicos com chips especializados. |
| 00:32 | O exemplo dos chips da Tesla | Ele descreve como limites térmicos e a remoção de operações desnecessárias orientaram o projeto de chips para o piloto automático. |
| 01:06 | Mais demanda, mais especialização | O entrevistado prevê que o crescimento da demanda por inference permitirá níveis maiores de especialização e desempenho. |
Citações
Seção intitulada “Citações”As arquiteturas que usamos para transformers ficaram um pouco mais padronizadas e previsíveis. — 00:00
O gargalo no projeto de chips, na verdade, são as questões térmicas. — 00:32
Quais coisas não precisamos de fato neste chip e podemos remover? — 00:32
Vamos ter níveis extraordinários de especialização, porque haverá muita demanda por inference. — 01:06
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Cognition (empresa): Empresa cujo presidente compartilha as lições sobre chips e IA apresentadas no vídeo.
- Tesla (empresa): Empresa onde o entrevistado trabalhou no desenvolvimento de chips próprios para inference no piloto automático.
- Transformers (conceito): Arquiteturas de redes neurais que, segundo o entrevistado, estão se tornando mais padronizadas e previsíveis.
- inference (conceito): Etapa de execução de modelos que orientava o projeto dos chips mencionados.
- convolutional neural networks (conceito): Arquitetura de redes neurais usada na época do exemplo, cujas camadas não precisavam de divisão durante inference.
- batch normalization (conceito): Método de normalização cuja operação de divisão podia ser incorporada aos pesos e vieses das convoluções.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Estou muito animado com as próximas gerações de inferência muito, muito especializadas. As arquiteturas que usamos para transformers se tornaram um pouco mais padronizadas e previsíveis. Sabe, quem projeta chips pode fazer suposições muito mais específicas, que possibilitam avanços técnicos realmente grandes e significativos. Vou dar um exemplo engraçado de quando eu trabalhava na Tesla. A Tesla projetava e fabricava seus próprios chips internamente para a inferência do Autopilot. E isso foi uma parte importante do motivo pelo qual o Autopilot conseguia ter o desempenho que tinha. Eu era pesquisador de deep learning. Uma das minhas funções era trabalhar junto com a equipe de projeto de silício para garantir que as próximas gerações
00:32 de silício atendessem às nossas necessidades. Grande parte do gargalo no projeto de chips está, na verdade, relacionado à temperatura. É como perguntar: até que temperatura dá para operar sem derreter o chip? Queríamos ser muito eficientes: quais são as coisas de que não precisamos de fato nesse chip e que podemos remover, para que pudéssemos operar na capacidade máxima com aquilo que nos importava? Um dia, tivemos um grande debate sobre se o chip realmente precisava oferecer suporte à divisão. Naquela época, usávamos redes neurais convolucionais. Nas camadas de uma rede neural convolucional, durante a inferência, nenhuma delas precisava de fato de divisão. Para a normalização, usávamos normalização em lote, que inclui uma etapa de divisão. Mas, na verdade, era possível fundir os pesos e os vieses da normalização em lote com os pesos da convolução.
01:06 Acho que vamos ter níveis absurdos de especialização, porque haverá uma demanda enorme por inferência. E isso vai possibilitar níveis de desempenho simplesmente empolgantes.
Transcrição original
[00:00] I’m really excited about continued generations of very, very specialized inference. The architectures that we use for transformers have gotten a little bit more standardized, more predictable. You know, people designing chips, you can make a lot more specific assumptions that enable really big, really big meaningful technical gains. I’ll give you one funny example from when I was at Tesla. So Tesla, we built our own chips in-house for inference on autopilot. And it was a big part of why autopilot could work as performantly as it did. I was like a deep learning researcher. One of my jobs was interfacing with the silicon design team to make sure that the next generations
[00:32] of silicon supported our needs. A lot of the bottleneck in chip design, it’s actually thermals. It’s like, how hot can you run without melting the chip? We’re trying to be really efficient of, okay, what are the things that we don’t actually need on this chip that we can take away so we could really run at max throughput for the stuff we did care about? We had a big debate one day on whether the chip actually needed to support division. If you look at that time, it was convolutional neural networks. The layers in a convolutional neural network, at inference time, none of them actually needed division. For normalization, we were using batch normalization, which has a division step. But you could actually fuse the batch norm weights and biases into the conv weights.
[01:06] So I think we’re gonna have crazy levels of specialization because there’s gonna be so much inference demand. And that’s gonna unlock just like super exciting levels of performance.