Un modello di intelligenza artificiale per il mondo fisico è stato rilasciato con l’obiettivo di integrare ragionamento, generazione di scenari e previsione delle azioni in un unico sistema. L’architettura si basa su una combinazione di trasformatori, progettata per superare i limiti dei dati di addestramento ridotti e degli stack di simulazione frammentati. Il sistema si presenta come un modello aperto, capace di elaborare e produrre testo, immagini, video, suono ambientale e azioni, rispettando la plausibilità fisica.
Architettura mista per la generalizzazione nel mondo reale
Il problema tecnico affrontato riguarda la capacità di robot, veicoli autonomi e sistemi di visione artificiale di operare in contesti reali generalizzando da dati limitati. La soluzione proposta adotta un’architettura mixture-of-transformers, che accoppia un trasformatore dedicato al ragionamento con un trasformatore esperto nella generazione. Questa configurazione permette al modello di analizzare interazioni tra oggetti, movimenti e relazioni spazio-temporali prima di generare video e traiettorie d’azione. Il risultato è un sistema unico che unisce la lettura del contesto fisico, la generazione di stati futuri e la previsione delle azioni, senza separare queste funzioni in componenti indipendenti.
Tre modalità di impiego per sviluppatori
Il modello può essere utilizzato in tre modalità distinte. La prima è quella di modello linguistico visivo, in cui il sistema comprende e ragiona attraverso diverse modalità, integrando testo, immagini, video, suono ambientale e azioni. La seconda modalità è quella di modello del mondo, o modello video di base, che simula ambienti fisici e prevede stati futuri, supportando attività di addestramento e valutazione. La terza modalità prevede l’uso come backbone per modelli di azione nel mondo, cioè modelli che aiutano ad addestrare robot nello svolgimento di compiti specifici.
- Modello linguistico visivo: comprensione e ragionamento tra modalità diverse.
- Modello del mondo o modello video di base: simulazione di ambienti fisici e previsione di stati futuri.
- Backbone per modelli di azione nel mondo: supporto all’addestramento di robot per compiti specifici.
Collaborazione aperta per lo sviluppo di modelli del mondo
È stata avviata una coalizione globale che riunisce sviluppatori di modelli del mondo, sviluppatori di intelligenza artificiale e leader del physical AI. L’obiettivo dichiarato è far progredire i modelli del mondo aperti in diversi settori, mantenendo una base collaborativa tra costruttori di modelli, sviluppatori e attori del physical AI. Tra i membri fondatori figurano aziende attive nella robotica, nella generazione di immagini e video, e nello sviluppo di modelli generalisti. La presenza di questi nomi definisce un perimetro operativo orientato allo sviluppo aperto di modelli capaci di rappresentare ambienti fisici, generare scenari e supportare attività di addestramento e valutazione.
Dataset e skill per lo stack del physical AI
La piattaforma che ospita il modello alimenta lo stack di physical AI e mira ad accelerare i workflow di addestramento e valutazione in diversi settori. Oltre ai modelli, sono stati resi disponibili nuovi dataset dedicati a robotica, fisica, movimento umano, guida autonoma, sicurezza in magazzino e ragionamento spaziale. Sono incluse anche nuove skill per agenti di physical AI, tra cui ricostruzione neurale di scene, generazione di immagini di difetti e video augmentation. Queste funzioni ampliano l’uso della piattaforma nella preparazione di dati e scenari per addestramento, valutazione e generazione di contenuti sintetici.
Disponibilità e strumenti per gli sviluppatori
Due versioni del modello sono già disponibili: una versione Super e una versione Nano. Una terza versione, destinata all’inferenza in tempo reale, è prevista a breve. La disponibilità differenziata consente agli sviluppatori di accedere subito alle versioni Super e Nano, lasciando alla versione Edge il ruolo di modello per esecuzione real-time. Gli sviluppatori possono provare il modello su una piattaforma di sviluppo online, scaricare i modelli aperti da un repository, personalizzarli e generare dati sintetici utilizzando strumenti disponibili su repository di codice. I modelli possono essere distribuiti come microservizi. Il percorso operativo parte dalla prova online, prosegue con il download e la personalizzazione, e arriva alla distribuzione tramite microservizi. Le versioni Super e Nano sono già accessibili, mentre la versione Edge è in arrivo per l’inferenza in tempo reale.
Lascia un commento