[ Stack technique ]
KServe
Le standard de serving de modèles sur Kubernetes, avec autoscaling et scale-to-zero.
KServe expose un modèle comme une ressource Kubernetes InferenceService : nous déclarons le format (scikit-learn, XGBoost, PyTorch, TensorFlow, ONNX, Hugging Face, ou un conteneur custom) et l'emplacement des poids, et il provisionne le serveur, l'endpoint HTTP/gRPC et l'autoscaling, jusqu'au scale-to-zero via Knative. Il gère le déploiement canary avec répartition du trafic, les transformers de pré/post-traitement, l'explicabilité et le serving de LLM avec vLLM. C'est notre choix pour servir des modèles en production sur un cluster Kubernetes existant sans dépendre d'un cloud.
[ Pourquoi KServe chez Dexon ]
Ce que cette techno fait bien, et pourquoi nous la mobilisons.
Usage typique : Serving de modèles ML et LLM en production, inférence multi-modèles, plateforme MLOps interne.
- 01
InferenceService : un CRD déclaratif, du fichier de poids à l'endpoint.
- 02
Autoscaling sur le trafic et scale-to-zero, GPU libéré hors charge.
- 03
Canary et répartition du trafic entre versions, rollback immédiat.
- 04
Runtimes prêts : scikit-learn, XGBoost, PyTorch, ONNX, Triton, vLLM pour les LLM.
[ Technologies complémentaires ]
Les briques que nous mobilisons souvent en parallèle.
Une stack existe rarement seule. Voici les technologies que Dexon associe le plus souvent à celle-ci, par habitude de pipeline, similarité d'usage ou maîtrise interne. Cliquez sur une brique pour voir son périmètre.
[ Réassurance ]
- 0+
- projets livrés sur mesure
- 30
- ingénieurs, designers, chefs de projet
- 80 %
- issus des meilleures écoles FR
- 24 h
- délai moyen de réponse
[ Ils nous font confiance ]
Plus de 100 entreprises françaises et européennes nous accordent leur confiance.
[ Presse ]
Ils parlent de nous.
Couverture nationale par BFM Business, Le Figaro, Challenges, La Tribune et CNews. Une lecture extérieure de notre travail et de nos innovations.
