ODINO · MOTEUR D'INFÉRENCE NATIVE · JETSON THOR
Construit parce que les alternatives ne correspondait pas à la mission.
Odino est un moteur d'inférence spécialement conçu pour NVIDIA Jetson AGX Thor, conçu pour héberger le cœur de raisonnement du cluster cognitif Tin Man dans l'enveloppe de mémoire intégrée. Exécution native FP8. Mappage de mémoire sans copie. Démarrage à froid en moins de deux secondes. Conçu pour que les cœurs Vision, Audio et Temps réel du cluster disposent de la mémoire unifiée dont ils ont besoin pour fonctionner.
LA CONTRAINTE
Mémoire unifiée de 128 Go. Douze cœurs veulent entrer.
Jetson AGX Thor 5000 fournit 128 Go de mémoire unifiée LPDDR5x – ce qui est substantiel pour un nœud périphérique, limité pour un cluster cognitif à 12 cœurs. La première itération de Tin Man utilisait vLLM comme moteur de service LLM pour Chat Core. vLLM est excellent dans son environnement natif (data center, GPU dédié par processus). Sur Thor, avec une mémoire unifiée partagée, le cache KV pré-alloué et l'empreinte mémoire d'inactivité de vLLM ont consommé environ 67 Gio. Le Vision Core s'est écrasé sous la pression de la mémoire ; la gigue accumulée par la boucle en temps réel due aux défauts de page ; l'Audio Core n'a pas pu être activé de manière fiable en parallèle.
Odino a été conçu pour résoudre un problème spécifique : fournir la même capacité de raisonnement dans environ 15 Gio de mémoire et démarrer en moins de deux secondes, afin que les autres cœurs du cluster disposent de la marge dont ils ont besoin pour fonctionner.
PHASE 1 · PERFORMANCES VALIDÉES
Les chiffres qui ont justifié la construction.
Le tableau ci-dessous compare la phase 1 de Odino à la configuration vLLM précédente sur le même matériel Jetson AGX Thor 5000, exécutant le même modèle de conversation quantifié FP8. Validé le 06/12/2025.
| Métrique | vLLM (antérieur) | Odino Phase 1 (validé) | Δ contre vLLM | Odino Sprint 3 en streaming |
|---|---|---|---|---|
| Occupation de la mémoire (inactif) | ~67 Gio | 381 Mo | −99.4% | ~ 381 Mio (inchangé) |
| Occupation de la mémoire (chargée) | ~70 Gio (saturé) | ~15 Gio | −78% | ~15 Gio (inchangé) |
| Temps de démarrage à froid | 30 à 60 s | < 2 s | −96% | < 2 s moteur + premier échauffement |
| Diffusion TTFT | s/o | s/o | s/o | état d'équilibre chaud dans la bande inférieure à 200 ms |
| Assistance interactive | s/o | synchrone uniquement | s/o | SSE jeton par jeton |
La mémoire récupérée – environ 50 Gio libérés par la comparaison de l’état chargé – est ce qui permet au cluster Tin Man d’exploiter les cœurs Vision (RADIO ViT-H/16), Audio (Conformateur Parakeet) et de perception en temps réel aux côtés du cœur de raisonnement sur un seul nœud Jetson Thor.
PRINCIPES D'INGÉNIERIE
Compilation native. Mémoire directe. Pas de cadre intermédiaire.
Trois décisions architecturales, appliquées uniformément :
- Compilation native FP8 Compilation statique TensorRT vers un plan de moteur binaire unique, ciblant les noyaux Tensor Core Blackwell sm_110a. Aucune couche de réinterprétation du framework d’exécution.
- Mappage de mémoire sans copie Le fichier de plan moteur (~ 15 Gio) est mappé directement dans l'espace d'adressage du processus. L'architecture de mémoire unifiée de Thor permet au GPU d'accéder aux pages sauvegardées par le périphérique NVMe, avec une pagination gérée par le système d'exploitation. Aucune phase de charge.
- Envoi d'exécution directe Les noyaux GPU sont lancés à partir de pointeurs nus vers les tampons de périphérique. Aucune abstraction du tenseur de framework dans le hot path.
Chaque décision troque la portabilité contre les performances – acceptée, car Odino est spécialement conçu pour Chat Core de Tin Man sur ce matériel spécifique, et non pour un cadre d'inférence à usage général.
DETERMINISM
Même entrée. Même sortie. Vérifiable.
Au-delà du débit brut, la compilation statique et l'exécution sans système d'exploitation de Odino produisent une propriété importante sur le plan architectural : une sortie déterministe. Pour une entrée donnée et une valeur aléatoire fixe, Odino produit la même sortie à chaque fois, contrairement aux services d'inférence cloud qui introduisent une variance non déterministe liée à l'équilibrage de charge, aux tentatives et aux échanges de modèles A/B silencieux.
Ce déterminisme est ce qui permet au Shield Brain Guardian Core d'appliquer des barrières de sécurité strictes - y compris les règles de conformité à la loi sur l'IA - sur la sortie de raisonnement, sachant qu'une entrée donnée a une caractérisation reproductible plutôt qu'une distribution statistique par inférence.
INTEGRATION
Un composant, pas un produit.
Odino n'est pas livré en tant que produit autonome. Il s'agit du Chat Core du cluster cognitif Tin Man – la couche de raisonnement qui interprète les entrées en mode texte et produit l'assemblage d'invites multimodales consommé par les cœurs en aval. Sa valeur est réalisée grâce à l'intégration des cœurs Vision, Audio, Brainstem, Memory et Realtime sous l'architecture de contrôle Shield Brain.
La phase 1 de Odino est une exécution sans état à jeton unique (recalcul complet par jeton, choisi pour valider de bout en bout le pipeline natif FP8). La phase 2 (gestion du cache KV, efficacité des conversations multi-tours) et la phase 3 (multimoteur échangeable à chaud, commutation du backbone d'exécution) sont prévues pour les prochains sprints - le séquençage est régi par la feuille de route du cluster plutôt que publié de manière isolée.
AMÉLIORATION DU SPRINT 3 · MAI 2026
Livraison en streaming jeton par jeton.
En mai 2026, le runtime Odino a été étendu avec la prise en charge du streaming côté serveur, permettant au cluster Tin Man de canaliser la génération de jetons de modèle de langage avec des couches de synthèse en aval (texte en parole) et de réduire la latence de la boucle vocale de bout en bout bien en dessous de 1 seconde.
La compatibilité ascendante avec le point de terminaison synchrone de phase 1 est préservée. Le streaming est implémenté via des événements envoyés par le serveur compatibles OpenAI, fournissant une sortie incrémentielle par jeton.
Performances empiriques :
- Temps d'obtention du premier jeton en régime permanent chaud : bien dans la bande cible inférieure à 200 ms
- Réponse cohérente sur le corpus de commande de drones à un niveau interactif
Le plan moteur Golden Master de la phase 1 est conservé inchangé ; le comportement de streaming est obtenu grâce à un faisceau de serveurs variantes qui lie le même plan de moteur au moment de l'exécution – un modèle de provenance conçu pour maintenir la stabilité des actifs validés lors des améliorations itératives.
ENGAGE
Des plongées approfondies en matière d'ingénierie sont publiées dans le cadre d'un partenariat.
Le rapport technique complet Odino, les notes d'intégration pour le cluster Tin Man, l'architecture de mise en cache de phase 2 et le parcours d'ingénierie de l'IA intégrée sont publiés dans le cadre d'un accord de non-divulgation. Engagez-vous pour démarrer une conversation.
Directement : engage@reinventy-solutions.ca