[{"data":1,"prerenderedAt":12},["ShallowReactive",2],{"stack-tr-es-tensorrt":3},{"tagline":4,"description":5,"strengths":6,"useCase":11},"El compilador de inferencia de NVIDIA que exprime al máximo una GPU en producción.","TensorRT compila una red, normalmente importada desde ONNX, en un motor optimizado para una GPU NVIDIA concreta: fusión de capas y tensores, selección automática de los kernels más rápidos para la arquitectura de destino, precisión reducida FP16, INT8 con calibración o FP8. El motor se ejecuta en el servidor mediante Triton o en sistemas embebidos con Jetson, y TensorRT-LLM aplica el mismo enfoque a los grandes modelos de lenguaje con in-flight batching y caché KV paginada. Es nuestra elección cuando el destino es una GPU NVIDIA determinada y cada milisegundo de latencia cuenta.",[7,8,9,10],"Fusión de capas y kernels autoajustados para la arquitectura GPU de destino.","Precisión FP16, INT8 con calibración y FP8: menor latencia y menor consumo de memoria.","TensorRT-LLM: in-flight batching, caché KV paginada y cuantización para servir LLM.","Mismo conjunto de herramientas del centro de datos a Jetson: integrado en Triton, DeepStream y Torch-TensorRT.","Detección en vídeo con alta tasa de fotogramas, serving de LLM de alto rendimiento, inferencia embebida en Jetson.",1792592364595]