FP8

Ver no idioma original →

Formato de menor precisão que pode reduzir o tamanho dos pesos e acelerar a inferência, sujeito a avaliação.

Mencionado em

• Agentes que controlam a própria inferência — Du’an Lightfoot e Khaja Omer, Akamai Technologies
• Fish Audio Drama 3: Dá para executar por conta própria?

Relacionados

Grafana, vLLM, decode, speculative decoding, Kubernetes, llama.cpp, continuous batching, prefill, Langfuse, Prometheus, KV cache, Fish Audio