Gebaut, weil die Alternativen passte nicht zur Mission.

Jetson AGX Thor 5000 bietet 128 GiB LPDDR5x Unified Memory – beträchtlich für einen Edge-Knoten, begrenzt für einen kognitiven Cluster mit 12 Kernen. Die erste Iteration von Tin Man verwendete vLLM als LLM-Serving-Engine für den Chat Core. vLLM eignet sich hervorragend in seiner nativen Umgebung (Rechenzentrum, dedizierte GPU pro Prozess). Auf Thor mit gemeinsam genutztem einheitlichem Speicher verbrauchten der vorab zugewiesene KV-Cache und der Leerlaufzeit-Speicherbedarf von vLLM etwa 67 GiB. Der Vision Core stürzte unter Speicherdruck ab; der in der Echtzeitschleife akkumulierte Jitter aufgrund von Seitenfehlern; Der Audio Core konnte nebenbei nicht zuverlässig aktiviert werden.

Odino wurde entwickelt, um ein bestimmtes Problem zu lösen: die gleiche Argumentationsfähigkeit innerhalb von etwa 15 GiB Speicher bereitzustellen und in weniger als zwei Sekunden zu starten, sodass die anderen Kerne des Clusters über den Spielraum verfügen, den sie zum Betrieb benötigen.

Über den reinen Durchsatz hinaus erzeugen die statische Kompilierung und Bare-Metal-Ausführung von Odino eine Eigenschaft, die architektonisch wichtig ist: deterministische Ausgabe. Bei einer gegebenen Eingabe und einem festen Zufallsstartwert erzeugt Odino jedes Mal die gleiche Ausgabe – im Gegensatz zu Cloud-Inferenzdiensten, die nicht deterministische Varianz durch Lastausgleich, Wiederholungsversuche und stille A/B-Modellwechsel einführen.

Dieser Determinismus ermöglicht es dem Shield Brain Guardian Core, strenge Sicherheitsgrenzen – einschließlich der Einhaltungsregeln des AI Act – für die Argumentationsausgabe durchzusetzen, da er weiß, dass eine bestimmte Eingabe eine reproduzierbare Charakterisierung und keine statistische Verteilung pro Schlussfolgerung aufweist.