
Lyra 2.0 di NVIDIA trasforma una singola immagine in un mondo 3D esplorabile, con ambienti persistenti e rendering in tempo reale. Si tratta, per la precisione, un framework basato sull’intelligenza artificiale in grado di trasformare una singola fotografia in un ambiente 3D esplorabile , consentendo agli utenti di navigare oltre l’immagine originale mantenendo un mondo virtuale coerente. Sviluppata dal Spatial Intelligence Lab (SIL) di NVIDIA, combina la generazione di video tramite intelligenza artificiale con la ricostruzione 3D. Questo permette di aprire potenzialmente nuove possibilità per lo sviluppo di videogiochi, la realtà virtuale e la simulazione robotica. La ricerca è stata originariamente pubblicata nell’aprile del 2026 e NVIDIA ora sta mettendo in evidenza la tecnologia in vista del SIGGRAPH Asia 2026.

Scopriamo Lyra 2.0
Diversamente dai generatori di immagini in video convenzionali, che producono sequenze predeterminate, Lyra 2.0 consente agli utenti di controllare la traiettoria della telecamera. Questo permette di generare progressivamente nuove inquadrature di un ambiente mentre si muovono al suo interno. Il progresso più interessante di questa tecnologia, tuttavia, risiede nella sua capacità di affrontare due persistenti carenze dell’intelligenza artificiale generativa: la dimenticanza spaziale e la deriva temporale.
La dimenticanza spaziale si verifica quando un modello di intelligenza artificiale perde traccia delle posizioni generate in precedenza, producendo potenzialmente strutture incoerenti quando gli utenti le rivisitano. La deriva temporale, invece, descrive l’ accumulo graduale di errori visivi e geometrici durante una generazione prolungata.
Per ovviare a questi problemi, i ricercatori di NVIDIA hanno sviluppato un sistema di memoria spaziale che recupera fotogrammi storici rilevanti utilizzando informazioni geometriche 3D. Il modello viene inoltre addestrato sui propri output imperfetti, imparando di fatto a correggere gli errori visivi accumulati anziché amplificarli continuamente.

Come funziona?
Le sequenze video risultanti possono essere successivamente ricostruite in Gaussian Splat 3D e mesh poligonali , consentendo il rendering in tempo reale e permettendo l’esportazione degli ambienti generati in applicazioni come NVIDIA Isaac Sim.
Anche i miglioramenti prestazionali sono degni di nota. NVIDIA ha sviluppato un modello semplificato che riduce il processo di generazione video da 35 fasi di riduzione del rumore a sole quattro , ottenendo una riduzione del tempo di generazione di circa 13 volte.
Secondo lo studio, la generazione di un segmento di 80 fotogrammi richiede circa 15 secondi su una singola GPU NVIDIA GB200, rispetto ai 194 secondi necessari con il modello completo. Questo dato, tuttavia, non va confuso con la generazione del mondo in tempo reale, poiché quest’ultima rimane computazionalmente impegnativa. La tecnologia rimane inoltre limitata ad ambienti prevalentemente statici, con la generazione dinamica di scene e le occasionali incongruenze visive che rappresentano delle sfide.

Lyra 2.0 verrà utilizzata per i videogiochi?
Le implicazioni per il settore dei videogiochi sono intriganti. Un po’ come per il Project Genie di Google, un altro sistema sperimentale di intelligenza artificiale in grado di generare mondi virtuali esplorabili. Lyra 2.0 adotta un approccio leggermente diverso, ricostruendo il contenuto generato in una geometria 3D esplicita che può essere renderizzata e utilizzata in ambienti di simulazione.
Sebbene siamo ancora lontani dal generare videogiochi perfettamente funzionanti a partire da una singola immagine. Questi sviluppi suggeriscono che la creazione di ambienti assistita dall’intelligenza artificiale potrebbe in futuro diventare uno strumento sempre più utile per gli sviluppatori.
NVIDIA ha reso disponibile l’implementazione di Lyra 2.0 su GitHub, insieme ai pesi del modello su Hugging Face. Sebbene questi ultimi siano soggetti alle restrizioni di licenza per uso di ricerca di NVIDIA.
Chi può utilizzare Lyra 2.0?
Ricercatori di modelli del mondo 3D: studia la generazione a lungo orizzonte controllata dalla telecamera, la memoria spaziale, la correzione della deriva e la ricostruzione generativa. Simulazione e prototipi robotici: esplora i flussi di lavoro di ricerca che trasformano i percorsi della telecamera generati in scene adatte al rendering in tempo reale e alla navigazione simulata.
Esperimenti di Gaussian Splatting: genera una sequenza di viste e ricostruiscila come una nuvola di punti gaussiana per successive ricerche sul rendering. Poi ci sono i Team dotati di infrastrutture GPU di fascia alta. Puoi eseguire o ottimizzare l’intera pipeline quando hai già a disposizione Linux, CUDA, GPU NVIDIA con ampia memoria e supporto per l’ingegneria dell’apprendimento automatico.
LE IDEE CHE CAMBIANO IL MONDO



