ODINO 3.11 · NEMOTRON 3.5 LIGHTNING · PRODUCTION LIVE
Thirty-billion-parameter capacity.Sustained at the sovereign edge.
Odino 3.11 promotes NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 to production on a single NVIDIA Jetson AGX Thor. The 30B Mixture-of-Experts model activates approximately 3B parameters per token: 7.5× the total capacity of the former Nano-4B model, with 72.623 tok/s sustained production throughput and 68.072 ms median time to first content.
制約
More capability, inside the same sovereign machine.
Jetson AGX Thor 5000 provides 128 GiB of unified memory — substantial for an edge node, finite for a complete multimodal cognitive system. Odino began as the answer to that hard resource boundary. Its current production engine now holds a 30B MoE model at 19,102 MiB GPU UMA residency while Nemotron Omni, Riva speech and the governed service fleet remain live.
The advance is not a like-for-like model swap. Nemotron 3.5 Lightning brings 7.5× greater total parameter capacity than Nano-4B while activating about 3B parameters per token. This preserves a relatively contained active-compute footprint and materially expands the system's scientific reasoning capacity.
Q19 · PRODUCTION PERFORMANCE · 23 AUGUST 2026
+28% sustained. +36% qualified. Up to +63% native.
The headline uses the last sustained, comparable Odino Nano result as its baseline. All measurements run on the same Jetson AGX Thor; qualified HTTP and native results use the fixed Q18 workload, while the production figure is the mean of five HTTP runs.
72.623
TOK/S · PRODUCTION
77.104
TOK/S · HTTP QUALIFIED
92.8
TOK/S · NATIVE PEAK
68.072 ms
MEDIAN FIRST CONTENT
| ワークロード | Comparable Nano baseline | Odino 3.11 | Improvement |
|---|---|---|---|
| Sustained production · five-run HTTP | 56.895 tok/s | 72.623 tok/s | +27.6% |
| Qualified HTTP · fixed Q18 workload | 56.895 tok/s | 77.104 tok/s | +35.5% |
| Native engine · fixed Q18 workload | 56.895 tok/s | 92.8 tok/s | +63.1% |
| Time to first content · production median | — | 68.072 ms | CURRENT |
Method boundary: an older Q1 run recorded 97.651 tok/s on a short, mixed workload. It is not used as a direct comparator because prompt, model, runtime and methodology differ.
SYSTEM OUTCOME · SAME Q9 SCIENTIFIC MANIFEST
The larger result is capability and scientific reliability.
On the fixed bilingual scientific and adversarial benchmark, Odino now closes every measured case. Deterministic Direct Evidence handles exact graph, process and numeric questions with provenance gates and zero LLM calls.
| メトリック | Q9 baseline | Current system | 変更 |
|---|---|---|---|
| Scientific accuracy · fixed Q9 manifest | 63.33% | 100% | +36.67 points · +57.9% relative |
| Direct Evidence latency · p50 | 3,556.867 ms | 31.370 ms | −99.1% · 113.38× faster |
| Grounded catalogue request | HTTP 413 | HTTP 200 · 5.73 s | Real tool trace · 236 rows |
Knowledge Graph, claim-level provenance, evidence assessment, local UQ/OOD, grounded tools and specialist read-only consumers now form a single governed evidence path. The production graph contains 259 nodes and 246 edges.
These capabilities were added without enabling mutation, export, ingest or autonomous experiment execution. Workbench and vector-store invariants, Guardian policy, kill switch and human-authority boundaries remain intact.
HISTORICAL FOUNDATION · PHASE 1
ビルドを正当化する数字。
以下の表は、Odino フェーズ 1 を、同じ Jetson AGX Thor 5000 ハードウェア上で同じ FP8 量子化チャット モデルを実行した以前の vLLM 構成と比較しています。 2025 年 12 月 6 日に検証されました。
| メトリック | vLLM (以前) | Odino フェーズ 1 (検証済み) | Δ vs vLLM | Odino スプリント 3 ストリーミング |
|---|---|---|---|---|
| メモリ占有 (アイドル) | ~67 GiB | 381 MiB | −99.4% | ~381 MiB (変更なし) |
| メモリ占有（ロード済み） | ~70 GiB (飽和) | ～15 GiB | −78% | ~15 GiB (変更なし) |
| コールドスタート時間 | 30～60秒 | < 2 秒 | −96% | < 2 秒のエンジン + 最初のコールのウォームアップ |
| ストリーミングTTFT | 該当なし | 該当なし | 該当なし | 200 ms 未満の帯域内の暖かい定常状態 |
| インタラクティブなサポート | 該当なし | 同期のみ | 該当なし | トークンごとの SSE |
回復されたメモリ (ロード状態の比較によって解放された約 50 GiB) により、Tin Man クラスターは、単一の Jetson Thor ノード上で推論コアと並行して、ビジョン (RADIO ViT-H/16)、オーディオ (Parakeet Conformer)、およびリアルタイム認識コアを動作できるようになります。
エンジニアリングの原則
Native compilation. Bounded residency. Governed operation.
3 つのアーキテクチャ上の決定が均一に適用されます。
- Thor-native compilationA TensorRT Edge-LLM 0.10.0 engine compiled for Jetson AGX Thor runs Nemotron 3.5 Lightning in NVFP4, without a general-purpose serving framework in the inference path.
- Bounded residencyThe production engine holds full residency at 19,102 MiB of GPU unified memory while the wider multimodal stack remains operational.
- Governed production pathThe canonical model endpoint is fixed, the former Nano engine is inactive, mutating tools remain disabled, and supervised readiness is tested across the complete stack.
Each decision reflects Odino's role as a purpose-built reasoning runtime for Tin Man on this specific hardware, rather than a general-purpose inference framework.
DETERMINISM
Evidence paths before generative paths.
Beyond raw throughput, Odino routes exact graph, numeric and process questions through a deterministic Direct Evidence path. Those answers carry bounded local evidence and provenance, bypass generation, and require zero LLM calls. Ambiguous reasoning remains on the governed model path rather than being misrepresented as deterministic evidence.
The architecture keeps the distinction visible: evidence-backed facts, model reasoning and tool results retain separate provenance. Shield Brain and the human-authority boundary apply across every route, while mutating tools and autonomous experiment execution stay disabled.
INTEGRATION
製品ではなくコンポーネントです。
Odino は、スタンドアロン製品としては提供されません。これは、Tin Man コグニティブ クラスターのChat Coreです。テキスト モード入力を解釈し、下流のコアが使用するマルチモーダル プロンプト アセンブリを生成する推論層です。その価値は、Shield Brain 制御アーキテクチャの下で、Vision、Audio、Brainstem、Memory、および Realtime コアとの統合を通じて実現されます。
The 3.11 production line exposes one canonical Nemotron 3.5 endpoint with no automatic model fallback. Its read-only scientific consumers, grounded tools and deterministic evidence routes share the same Guardian and human-authority boundary; mutating operations remain disabled.
スプリント 3 の強化 · 2026 年 5 月
トークンごとのストリーミング配信。
2026 年 5 月に、Odino ランタイムがサーバー側ストリーミング サポートで拡張され、Tin Man クラスターが言語モデル トークン生成をダウンストリーム合成レイヤー (テキスト読み上げ) とパイプライン処理して、エンドツーエンドの音声ループ遅延を 1 秒未満に短縮できるようになりました。
フェーズ 1 同期エンドポイントとの下位互換性は維持されます。ストリーミングは OpenAI 互換の Server-Sent Events 経由で実装され、トークンごとの増分出力を提供します。
経験的なパフォーマンス:
- ウォーム定常状態の最初のトークンまでの時間: 200 ミリ秒未満のターゲット帯域内に十分収まります
- インタラクティブグレードでのドローンコマンドコーパスに対する一貫した応答
フェーズ 1 のゴールデン マスター エンジン計画は変更されずに維持されます。ストリーミング動作は、実行時に同じエンジン プランをバインドするバリアント サーバー ハーネスを通じて実現されます。これは、検証されたアセットを繰り返しの機能強化を通じて安定に保つように設計された来歴パターンです。
ENGAGE
エンジニアリングの詳細はパートナーシップの下でリリースされます。
The full Odino technical report, benchmark manifests, integration notes for the Tin Man cluster, engine-build evidence, and the embedded-AI engineering pathway are released under non-disclosure agreement. Engage to begin a conversation.