[ Stack tecnológico ]
vLLM
El motor de inferencia de código abierto para servir LLM con alto rendimiento en sus GPU.
vLLM es un motor de inferencia y de servicio para grandes modelos de lenguaje: PagedAttention gestiona la caché KV por páginas, como una memoria virtual, y el continuous batching mantiene la GPU ocupada en todo momento, lo que multiplica el rendimiento frente a un bucle de generación simple. Expone una API compatible con OpenAI, carga modelos de Hugging Face y admite cuantización (FP8, AWQ, GPTQ), paralelismo tensorial, prefix caching y multi-LoRA. Es nuestra elección cuando un modelo de pesos abiertos debe servirse en producción, en infraestructura propia y con costes controlados.
[ Por qué vLLM en Dexon ]
Lo que esta tecnología hace bien y por qué la utilizamos.
Uso típico: Servicio de LLM de pesos abiertos en producción, inferencia soberana on-premise, procesamiento por lotes de documentos.
- 01
PagedAttention: caché KV paginada, memoria GPU aprovechada sin fragmentación.
- 02
Continuous batching: rendimiento máximo bajo carga, latencia estable por petición.
- 03
API compatible con OpenAI: los clientes existentes migran sin reescribir código.
- 04
Cuantización, paralelismo multi-GPU, prefix caching, decodificación especulativa y multi-LoRA.
[ Tecnologías complementarias ]
Las piezas que solemos utilizar en paralelo.
Un stack rara vez existe por sí solo. Estas son las tecnologías que Dexon asocia con más frecuencia a esta, por hábitos de pipeline, similitud de uso o dominio interno. Haga clic en una pieza para ver su alcance.
[ Confianza ]
- 0+
- proyectos a medida entregados
- 30
- ingenieros, diseñadores, jefes de proyecto
- 80 %
- formados en las mejores escuelas francesas
- 24 h
- tiempo medio de respuesta
[ Confían en nosotros ]
Más de 100 empresas francesas y europeas confían en nosotros.
[ Prensa ]
Hablan de nosotros.
Cobertura en la prensa nacional francesa: BFM Business, Le Figaro, Challenges, La Tribune y CNews. Una mirada externa a nuestro trabajo y a nuestras innovaciones.
