throughput
Quantidade de tokens gerados por unidade de tempo, usada como medida de vazão da inferência.
Mencionado em
Seção intitulada “Mencionado em”- Vale a pena usar speculative decoding? Análise de desempenho do vLLM em NVIDIA Blackwell — Akamai
- As 3 coisas que Clay mede em todo agente de IA
Relacionados
Seção intitulada “Relacionados”vLLM, NVIDIA Blackwell, RAG, speculative decoding, Akamai, KV cache, Clay, LLM as a judge, LangSmith, Agent