Costruito perché le alternative non si adattava alla missione.

Jetson AGX Thor 5000 offre 128 GiB di memoria unificata LPDDR5x: sostanziale per un nodo edge, limitato per un cluster cognitivo a 12 core. La prima iterazione di Tin Man utilizzava vLLM come motore di servizio LLM per Chat Core. vLLM è eccellente nel suo ambiente nativo (data center, GPU dedicata per processo). Su Thor, con la memoria unificata condivisa, la cache KV preallocata di vLLM e l'impronta della memoria inattiva consumavano circa 67 GiB. Il Vision Core si è schiantato sotto pressione della memoria; il loop in tempo reale ha accumulato jitter dovuto agli errori di pagina; non è stato possibile attivare in modo affidabile l'Audio Core insieme.

Odino è stato creato per risolvere un problema specifico: fornire la stessa capacità di ragionamento all'interno di circa 15 GiB di memoria e avviarsi in meno di due secondi, in modo che gli altri core del cluster abbiano lo spazio necessario per funzionare.

Al di là del throughput grezzo, la compilazione statica e l'esecuzione bare metal di Odino producono una proprietà che contava dal punto di vista architettonico: l'output deterministico. Con un dato input e un seed casuale fisso, Odino produce ogni volta lo stesso output, a differenza dei servizi di inferenza cloud che introducono una varianza non deterministica dal bilanciamento del carico, dai nuovi tentativi e dagli scambi silenziosi di modelli A/B.

Questo determinismo è ciò che consente al Guardian Core Shield Brain di applicare rigorosi gate di sicurezza - comprese le regole di conformità all'AI Act - sull'output del ragionamento, sapendo che un dato input ha una caratterizzazione riproducibile piuttosto che una distribuzione statistica per inferenza.