[ Stack tecnológico ]
NVIDIA TensorRT
El compilador de inferencia de NVIDIA que exprime al máximo una GPU en producción.
TensorRT compila una red, normalmente importada desde ONNX, en un motor optimizado para una GPU NVIDIA concreta: fusión de capas y tensores, selección automática de los kernels más rápidos para la arquitectura de destino, precisión reducida FP16, INT8 con calibración o FP8. El motor se ejecuta en el servidor mediante Triton o en sistemas embebidos con Jetson, y TensorRT-LLM aplica el mismo enfoque a los grandes modelos de lenguaje con in-flight batching y caché KV paginada. Es nuestra elección cuando el destino es una GPU NVIDIA determinada y cada milisegundo de latencia cuenta.
[ Por qué NVIDIA TensorRT en Dexon ]
Lo que esta tecnología hace bien y por qué la utilizamos.
Uso típico: Detección en vídeo con alta tasa de fotogramas, serving de LLM de alto rendimiento, inferencia embebida en Jetson.
- 01
Fusión de capas y kernels autoajustados para la arquitectura GPU de destino.
- 02
Precisión FP16, INT8 con calibración y FP8: menor latencia y menor consumo de memoria.
- 03
TensorRT-LLM: in-flight batching, caché KV paginada y cuantización para servir LLM.
- 04
Mismo conjunto de herramientas del centro de datos a Jetson: integrado en Triton, DeepStream y Torch-TensorRT.
[ Tecnologías complementarias ]
Las piezas que solemos utilizar en paralelo.
Un stack rara vez existe por sí solo. Estas son las tecnologías que Dexon asocia con más frecuencia a esta, por hábitos de pipeline, similitud de uso o dominio interno. Haga clic en una pieza para ver su alcance.
[ Confianza ]
- 0+
- proyectos a medida entregados
- 30
- ingenieros, diseñadores, jefes de proyecto
- 80 %
- formados en las mejores escuelas francesas
- 24 h
- tiempo medio de respuesta
[ Confían en nosotros ]
Más de 100 empresas francesas y europeas confían en nosotros.
[ Prensa ]
Hablan de nosotros.
Cobertura en la prensa nacional francesa: BFM Business, Le Figaro, Challenges, La Tribune y CNews. Una mirada externa a nuestro trabajo y a nuestras innovaciones.
