ODINO · ネイティブ推論エンジン · JETSON THOR
代替手段があるために構築された ミッションに適合しませんでした。
Odino は、NVIDIA Jetson AGX Thor 専用の推論エンジンで、組み込みメモリ エンベロープ内で Tin Man コグニティブ クラスターの推論コアをホストするように設計されています。 FP8 ネイティブ実行。ゼロコピーメモリマッピング。 2 秒未満のコールド スタート。クラスターのビジョン、オーディオ、およびリアルタイム コアが機能するために必要な統合メモリを備えているように構築されています。
制約
128 GiB ユニファイド メモリ。 12 個のコアが必要です。
Jetson AGX Thor 5000 は、128 GiB の LPDDR5x ユニファイド メモリを提供します。これはエッジ ノードとしては十分ですが、12 コア コグニティブ クラスタにとっては限界です。 Tin Man の最初のイテレーションでは、Chat Core の LLM サービス エンジンとして vLLM を使用しました。 vLLM は、ネイティブ環境 (データ センター、プロセスごとの専用 GPU) で優れた性能を発揮します。 Thor では、共有ユニファイド メモリを使用すると、vLLM の事前割り当て KV キャッシュとアイドル時のメモリ フットプリントが約 67 GiB を消費しました。 Vision Core はメモリ不足によりクラッシュしました。リアルタイム ループにはページ フォールトから蓄積されたジッターが発生します。 Audio Core を同時に確実にアクティブ化できませんでした。
Odino は、特定の問題を解決するために構築されました。つまり、同じ推論機能を約 15 GiB のメモリ内で提供し、2 秒以内に起動して、クラスターの他のコアが動作に必要なヘッドルームを確保できるようにします。
フェーズ 1 · 検証されたパフォーマンス
ビルドを正当化する数字。
以下の表は、Odino フェーズ 1 を、同じ Jetson AGX Thor 5000 ハードウェア上で同じ FP8 量子化チャット モデルを実行した以前の vLLM 構成と比較しています。 2025 年 12 月 6 日に検証されました。
| メトリック | vLLM (以前) | Odino フェーズ 1 (検証済み) | Δ vs vLLM | Odino スプリント 3 ストリーミング |
|---|---|---|---|---|
| メモリ占有 (アイドル) | ~67 GiB | 381 MiB | −99.4% | ~381 MiB (変更なし) |
| メモリ占有（ロード済み） | ~70 GiB (飽和) | ～15 GiB | −78% | ~15 GiB (変更なし) |
| コールドスタート時間 | 30～60秒 | < 2 秒 | −96% | < 2 秒のエンジン + 最初のコールのウォームアップ |
| ストリーミングTTFT | 該当なし | 該当なし | 該当なし | 200 ms 未満の帯域内の暖かい定常状態 |
| インタラクティブなサポート | 該当なし | 同期のみ | 該当なし | トークンごとの SSE |
回復されたメモリ (ロード状態の比較によって解放された約 50 GiB) により、Tin Man クラスターは、単一の Jetson Thor ノード上で推論コアと並行して、ビジョン (RADIO ViT-H/16)、オーディオ (Parakeet Conformer)、およびリアルタイム認識コアを動作できるようになります。
エンジニアリングの原則
ネイティブコンピレーション。直接記憶。中間フレームワークはありません。
3 つのアーキテクチャ上の決定が均一に適用されます。
- FP8 ネイティブ コンパイル Blackwell sm_110a Tensor コア カーネルをターゲットとした、単一バイナリ エンジン プランへの TensorRT 静的コンパイル。ランタイム フレームワークの再解釈レイヤーはありません。
- ゼロコピーメモリマッピング エンジン プラン ファイル (約 15 GiB) はプロセス アドレス空間に直接 mmap されます。 Thor のユニファイド メモリ アーキテクチャにより、GPU は NVMe デバイスによってサポートされるページにアクセスでき、ページングは OS によって管理されます。負荷フェーズはありません。
- 直接実行ディスパッチ GPU カーネルは、ベアメタル ポインターからデバイス バッファーへ起動されます。ホット パスにはフレームワーク テンソル抽象化はありません。
Odino は汎用推論フレームワークではなく、この特定のハードウェア上の Tin Man のChat Core専用に構築されているため、各決定は移植性とパフォーマンスを引き換えにします。
DETERMINISM
同じ入力です。同じ出力です。監査可能。
生のスループットを超えて、Odino の静的コンパイルとベアメタル実行は、アーキテクチャ的に重要なプロパティ、つまり確定的な出力を生成します。指定された入力と固定ランダム シードで、Odino は毎回同じ出力を生成します。これは、ロード バランシング、再試行、サイレント A/B モデル スワップによる非決定的な差異を導入するクラウド推論サービスとは異なります。
この決定論により、Shield Brain Guardian Coreは、特定の入力が推論ごとの統計的分布ではなく再現可能な特徴を持つことを認識して、推論出力に AI 法の遵守ルールを含む厳格なセーフティ ゲートを適用することができます。
INTEGRATION
製品ではなくコンポーネントです。
Odino は、スタンドアロン製品としては提供されません。これは、Tin Man コグニティブ クラスターのChat Coreです。テキスト モード入力を解釈し、下流のコアが使用するマルチモーダル プロンプト アセンブリを生成する推論層です。その価値は、Shield Brain 制御アーキテクチャの下で、Vision、Audio、Brainstem、Memory、および Realtime コアとの統合を通じて実現されます。
Odino のフェーズ 1 は、単一トークンのステートレス実行です (FP8 ネイティブ パイプラインをエンドツーエンドで検証するために選択された、トークンごとのフル アテンション再計算)。次のスプリントでは、フェーズ 2 (KV キャッシュ管理、マルチターン会話効率) とフェーズ 3 (ホットスワップ マルチエンジン、ランタイム バックボーン スイッチング) が計画されています。シーケンスは個別に公開されるのではなく、クラスター ロードマップによって管理されます。
スプリント 3 の強化 · 2026 年 5 月
トークンごとのストリーミング配信。
2026 年 5 月に、Odino ランタイムがサーバー側ストリーミング サポートで拡張され、Tin Man クラスターが言語モデル トークン生成をダウンストリーム合成レイヤー (テキスト読み上げ) とパイプライン処理して、エンドツーエンドの音声ループ遅延を 1 秒未満に短縮できるようになりました。
フェーズ 1 同期エンドポイントとの下位互換性は維持されます。ストリーミングは OpenAI 互換の Server-Sent Events 経由で実装され、トークンごとの増分出力を提供します。
経験的なパフォーマンス:
- ウォーム定常状態の最初のトークンまでの時間: 200 ミリ秒未満のターゲット帯域内に十分収まります
- インタラクティブグレードでのドローンコマンドコーパスに対する一貫した応答
フェーズ 1 のゴールデン マスター エンジン計画は変更されずに維持されます。ストリーミング動作は、実行時に同じエンジン プランをバインドするバリアント サーバー ハーネスを通じて実現されます。これは、検証されたアセットを繰り返しの機能強化を通じて安定に保つように設計された来歴パターンです。
ENGAGE
エンジニアリングの詳細はパートナーシップの下でリリースされます。
完全な Odino テクニカル レポート、Tin Man クラスターの統合ノート、フェーズ 2 キャッシュ アーキテクチャ、および組み込み AI エンジニアリング パスウェイは、機密保持契約に基づいてリリースされています。会話を始めましょう。