L’architettura mixture‑of‑transformers introduce un nuovo paradigma per la modellazione fisica artificiale. Il sistema combina ragionamento visivo, generazione di mondi e previsione delle azioni in un unico flusso, superando la frammentazione tipica degli stack di simulazione. La capacità di interpretare relazioni spazio‑temporali e movimenti prima di produrre video o traiettorie operative riduce i tempi di addestramento e valutazione del physical AI da mesi a giorni.
Architettura e funzionamento del modello fisico
Il modello affronta un limite ricorrente nel physical AI: generalizzare nel mondo reale a partire da dati di addestramento ridotti e piattaforme di simulazione disomogenee. L’architettura mixture‑of‑transformers affianca un transformer di ragionamento a un expert generation transformer. Questa configurazione consente di leggere il contesto fisico, generare stati futuri e anticipare le azioni in un’unica struttura, anziché mantenere funzioni separate.
Il risultato è un modello che unisce comprensione multimodale (testo, immagini, video, suono ambientale, azioni) con accuratezza fisica. La previsione delle interazioni tra oggetti e la simulazione di scenari futuri diventano parte integrante del sistema, non moduli aggiuntivi.
Modalità di utilizzo per sviluppatori
Sono previste tre modalità operative principali. La prima è quella di vision language model: il sistema ragiona su input eterogenei, integrando testo, immagini, video, suono e azioni. La seconda è la modalità world model o video foundation model: il modello simula ambienti fisici e prevede stati futuri, supportando attività di addestramento e valutazione. La terza modalità riguarda l’impiego come backbone per world action models, cioè modelli destinati all’addestramento di robot per compiti specifici.
Queste modalità non richiedono stack separati: lo stesso modello può essere utilizzato in contesti diversi a seconda delle necessità applicative.
Collaborazione per lo sviluppo aperto
Una coalizione globale di sviluppatori di world model, sviluppatori AI e operatori del physical AI è stata costituita per avanzare i modelli aperti. La coalizione, denominata Cosmos Coalition, riunisce costruttori di modelli, sviluppatori e attori del physical AI con l’obiettivo di mantenere una base collaborativa e aperta. I membri fondatori includono operatori di robotica, generazione visiva e intelligenza artificiale applicata.
La coalizione intende favorire la condivisione di modelli in grado di rappresentare ambienti fisici, generare scenari e supportare attività di addestramento e valutazione in diversi settori.
Set di dati e competenze per l’addestramento
La piattaforma che alimenta lo stack di physical AI include nuovi dataset dedicati a robotica, fisica, movimento umano, guida autonoma, sicurezza in magazzino e ragionamento spaziale. Sono disponibili anche nuove skill per agent di physical AI, come ricostruzione neurale di scene, generazione di immagini di difetti e video augmentation.
Questi strumenti ampliano le possibilità di preparazione di dati e scenari per addestramento, valutazione e generazione di contenuti sintetici.
Disponibilità e accesso per gli sviluppatori
Le versioni del modello denominate Super e Nano sono già disponibili. Una versione Edge, destinata all’inferenza in tempo reale, sarà rilasciata successivamente. La distribuzione differenziata consente un accesso immediato alle versioni Super e Nano, mentre Edge è pensato per esecuzioni in tempo reale.
Gli sviluppatori possono provare il modello su una piattaforma online, scaricare i modelli aperti da repository pubblici, personalizzarli e generare dati sintetici con strumenti di terze parti. Il percorso operativo prevede test iniziali, download e personalizzazione, fino alla distribuzione tramite microservizi dedicati.
Un sistema di questo tipo, applicato al settore delle costruzioni, potrebbe supportare simulazioni di cantieri, verifiche di sicurezza e training di robot per assemblaggio o ispezione, riducendo la dipendenza da dati reali e accelerando la validazione di progetti complessi.
Lascia un commento