DRAWER: skapar interaktiva digitala miljöer från...

  • DRAWER konverterar videor av statiska inomhusscener till interaktiva digitala miljöer utan att kräva interaktion med objekten under inspelningen.
  • Den rekonstruerade miljön kan köras i realtid (~100fps) och är kompatibel med både spelmotorer som Unreal Engine och robotsimuleringsplattformar.
  •  DRAWER kan skapa interaktiva spel med funktioner som att öppna skåp och lådor samt skjuta på segmenterade objekt i miljön.

Forskare vid Cornell University har utvecklat en AI-driven process som automatiskt omvandlar en kort video av ett rum till en interaktiv 3D-miljö. Genom att använda en teknik som möjliggör skapandet av en digital representation av verkliga utrymmen, kan användare nu navigera och interagera med dessa rum på ett helt nytt sätt.

DRAWER är ett banbrytande ramverk som automatiskt konverterar videor av statiska inomhusmiljöer till fotorealistiska och interaktiva digitala miljöer genom att kombinera avancerad 3D-rekonstruktion med fysisk simulering.

Denna metod gör det möjligt att enkelt skapa 3D-modeller från traditionella videoformat, vilket kan ha en betydande inverkan på design, utbildning, och olika applikationer inom virtuell verklighet. Genom att analysera videoinnehållet kan systemet identifiera objekt och deras placeringar i rummet och sedan konstruera en realistisk, manipulativ 3D-upplevelse.

Denna teknik har potential att revolutionera hur vi upplever och interagerar med våra omgivningar, vilket öppnar upp för nya möjligheter inom många områden, inklusive spel, arkitektur och utbildning. Det kan också underlätta processen av att skapa virtuella turer eller simuleringar för olika scenarier som tidigare skulle ha krävt omfattande manuell modellering och renderingsarbete.

Mer info:

https://xiahongchi.github.io/DRAWER