Hugging Face coloca um servidor vLLM no ar em um comando, e isso muda a ergonomia da inferência
A Hugging Face mostrou como subir um endpoint vLLM compatível com OpenAI em um comando. O ganho real está na velocidade para testar, avaliar e gerar em lote.