I ricercatori del MIT presentano un nuovo sistema di visione artificiale che trasforma qualsiasi oggetto luccicante in una sorta di telecamera: consentendo all’osservatore di vedere dietro gli angoli o dietro gli ostacoli.

Informazioni preziose e spesso nascoste sulle immediate vicinanze di una persona possono essere ottenute dal riflesso dell’oggetto. Riutilizzandoli come macchine fotografiche, si possono compiere imprese prima inimmaginabili, come guardare attraverso i muri o verso il cielo. Questo è impegnativo perché molti fattori influenzano i riflessi, tra cui la geometria dell’oggetto, le proprietà del materiale, l’ambiente 3D e il punto di vista dell’osservatore. Decostruendo la geometria di un oggetto e illuminandolo internamente dalla radiazione speculare che si riflette su di esso, gli esseri umani possono ricavare indizi e deduzioni profonde sulle parti avvolte dell’ambiente circostante.

I ricercatori di visione artificiale del MIT e della Rice hanno sviluppato un modo per utilizzare i riflessi per produrre immagini dell’ambiente reale. Usando i riflessi, trasformano oggetti luccicanti in “macchine fotografiche”, dando l’impressione che l’utente stia guardando il mondo attraverso le “lenti” di oggetti comuni come una tazza di caffè in ceramica o un fermacarte di metallo.

Il metodo utilizzato dai ricercatori prevede la trasformazione di oggetti luminosi di geometria indefinita in telecamere a campo di radiazione. L’idea principale è quella di utilizzare la superficie dell’oggetto come un sensore digitale per registrare la luce riflessa dall’ambiente circostante in due dimensioni.

I ricercatori spiegano che la nuova vista sintetizza, presentando nuove prospettive direttamente visibili solo all’oggetto luminoso nella scena ma non all’osservatore, grazie al ripristino dei campi di radiazione dell’ambiente. Inoltre, possiamo immaginare agglodrati generati da oggetti vicini nella scena utilizzando il campo di radiazione. Il metodo sviluppato dai ricercatori viene insegnato end-to-end utilizzando diverse fotografie dell’oggetto per stimare simultaneamente la sua geometria, la radiazione diffusa e il campo di radiazione del suo ambiente 5D.

La ricerca mira a separare l’oggetto dal suo riflesso in modo che l’oggetto “veda” il mondo come se fosse una macchina fotografica e registri ciò che lo circonda. La visione artificiale ha lottato per qualche tempo con i riflessi perché sono una rappresentazione 2D distorta di una scena 3D di forma sconosciuta.

I ricercatori modellano la superficie dell’oggetto come un sensore virtuale e raccolgono la proiezione bidimensionale del campo di radiazione ambientale 5D attorno all’oggetto per creare una rappresentazione tridimensionale del mondo visto dall’oggetto. La maggior parte del campo di radiazione dell’ambiente è bloccato tranne che dai riflessi dell’oggetto. Al di là del campo visivo, sintetizzare la visualizzazione del romanzo, o presentare nuove prospettive direttamente visibili solo all’oggetto luminoso della scena ma non all’osservatore, è reso possibile attraverso l’uso dei campi di radiazione dell’ambiente, che consentono anche per la stima della profondità e della luminosità dall’oggetto all’ambiente circostante.

In breve, il team ha fatto quanto segue:

• Mostrano come le superfici tacite possono essere trasformate in sensori virtuali con la capacità di acquisire immagini 3D dei loro ambienti utilizzando solo coni virtuali.
• Insieme, calcolano il campo di radiazione circostante 5D dell’oggetto e stimano la sua radiazione diffusa.
• Mostrano come utilizzare il campo luminoso dell’ambiente circostante per generare nuove prospettive invisibili all’occhio umano.

Questo progetto mira a ricostruire il campo di radiazione a cinque dimensioni dell’oceano da molte fotografie di un elemento luminoso di forma e albedo sconosciuti. Il bagliore delle superfici riflettenti rivela elementi di una scena al di fuori del campo visivo. Nello specifico, le regole della superficie e la curvatura dell’oggetto luminoso determinano il modo in cui le immagini dell’osservatore vengono mappate nel mondo reale.

I ricercatori potrebbero aver bisogno di informazioni più accurate sulla forma dell’oggetto riflesso o della realtà, che contribuisce alla distorsione. È anche possibile che il colore e la trama di un oggetto lucido si fondano con i riflessi. Inoltre, non è facile discernere la profondità nelle scene riflesse perché i riflessi sono proiezioni bidimensionali di un ambiente tridimensionale.

Il team di ricercatori ha superato questi ostacoli. Iniziano fotografando l’oggetto lucido da diverse angolazioni, catturando una varietà di riflessi. Orca (Objects Like Radiance-Field Cameras) è l’acronimo del loro processo in tre fasi.

Orca è in grado di registrare i riflessi multi-vista visualizzando l’oggetto da diverse angolazioni, che vengono quindi utilizzate per stimare la profondità tra l’oggetto luminoso e altri oggetti nella scena e la forma dell’oggetto luminoso stesso. Ulteriori informazioni sulla forza e la direzione dei raggi di luce provenienti da e che colpiscono ogni punto dell’immagine vengono acquisite dal modello del campo di radiazione 5D di ORCa. Orca può effettuare stime di profondità più accurate grazie ai dati in questo campo di radiazioni 5D. Poiché la scena viene renderizzata come un campo di radiazione 5D anziché come un’immagine 2D, l’utente può vedere i dettagli che sarebbero oscurati da angoli o altri ostacoli. I ricercatori spiegano che una volta che ORCa ha raccolto il campo di radiazione 5D, l’utente può posizionare una telecamera virtuale ovunque nell’area e creare l’immagine sintetica che la telecamera produrrà. L’utente può anche modificare l’aspetto di un oggetto, ad esempio da ceramica a metallo, o incorporare oggetti virtuali nella scena.

Estendendo la definizione del campo di radiazione oltre il tradizionale campo di radiazione della linea di vista, i ricercatori possono aprire nuove strade per studiare l’ambiente e gli oggetti al suo interno. Utilizzando larghezze e profondità virtuali proiettate, il lavoro può aprire possibilità nell’inserimento di oggetti virtuali e nella percezione 3D, come l’estrapolazione di informazioni dall’esterno del campo visivo della telecamera.

scansiona il carta E Pagina del progetto. Non dimenticare di iscriverti 22k+ML Sub RedditE canale discordiaE E Notiziario via e-mail, dove condividiamo le ultime notizie sulla ricerca sull’IA, fantastici progetti di intelligenza artificiale e altro ancora. In caso di domande sull’articolo di cui sopra o se ci siamo persi qualcosa, non esitare a inviarci un’e-mail all’indirizzo Asif@marktechpost.com

🚀 Dai un’occhiata a 100’s AI Tools nell’AI Tools Club