Iš objekto atspindžio galima gauti vertingos ir dažnai paslėptos informacijos apie artimiausią žmogaus aplinką. Panaudojus jas kaip kameras, galima atlikti anksčiau neįsivaizduojamus žygdarbius, pavyzdžiui, žiūrėti pro sienas ar į dangų. Tai sudėtinga, nes atspindžiui įtakos turi daug veiksnių, įskaitant objekto geometriją, medžiagos savybes, 3D aplinką ir stebėtojo požiūrį. Dekonstruodami objekto geometriją ir iš vidaus pašviesindami jį nuo jį atspindinčios veidrodinės spinduliuotės, žmonės gali gauti gilių užuominų ir išvadų apie apgaubtas supančios aplinkos dalis.

Kompiuterinės vizijos tyrėjai iš MIT ir Rice sukūrė būdą, kaip panaudoti atspindžius realios aplinkos vaizdams kurti. Naudodami atspindžius jie paverčia blizgančius objektus „kameromis“, todėl susidaro įspūdis, kad vartotojas žiūri į pasaulį per įprastų daiktų, tokių kaip keraminis kavos puodelis ar metalinis svarmenukas, „lęšius“.

Tyrėjų naudojamas metodas apima šviesių neapibrėžtos geometrijos objektų pavertimą spinduliuotės lauko kameromis. Pagrindinė idėja – panaudoti objekto paviršių kaip skaitmeninį jutiklį, leidžiantį dviem matmenimis fiksuoti nuo supančios aplinkos atsispindinčią šviesą.

Tyrėjai aiškina, kad naujojo vaizdo sintezė, pateikdama naujas perspektyvas, kurios matomos tik tiesiai šviesiam scenos objektui, bet ne stebėtojui, nes atkuriami aplinkos spinduliavimo laukai. Be to, galime įsivaizduoti aglodratus, kuriuos sukuria netoliese esantys objektai, naudojant radiacijos lauką. Mokslininkų sukurtas metodas yra mokomas nuo galo iki galo naudojant kelias objekto nuotraukas, kad vienu metu būtų galima įvertinti jo geometriją, difuzinę spinduliuotę ir 5D aplinkos spinduliavimo lauką.

Tyrimu siekiama objektą atskirti nuo atspindžio, kad objektas „matytų“ pasaulį tarsi fotoaparatą ir fiksuotų aplinką. Kompiuterinė vizija kurį laiką kovojo su atspindžiais, nes jie yra iškreiptas 2D nežinomos formos 3D scenos vaizdas.

Tyrėjai modeliuoja objekto paviršių kaip virtualų jutiklį ir renka dvimatę 5D aplinkos spinduliavimo lauko projekciją aplink objektą, kad sukurtų trimatį pasaulio vaizdą, kurį mato objektas. Didžioji dalis aplinkos spinduliuotės lauko yra užblokuota, išskyrus objekto atspindžius. Be regėjimo lauko, romano rodymo sintezė arba naujų perspektyvų pateikimas, tiesiogiai matomas tik ryškiam scenos objektui, bet ne stebėtojui, yra įmanomas naudojant aplinkos spinduliavimo laukus, kurie taip pat leidžia gyliui ir šviesumui nuo objekto iki jo aplinkos įvertinti.

Trumpai tariant, komanda padarė taip:

• Jie parodo, kaip tylius paviršius galima paversti virtualiais jutikliais su galimybe nufotografuoti savo aplinkos 3D vaizdus naudojant tik virtualius kūgius.
• Kartu jie apskaičiuoja objektą supantį 5D spinduliuotės lauką ir įvertina jo išsklaidytą spinduliuotę.
• Jie parodo, kaip panaudoti supančios aplinkos šviesos lauką kuriant naujas žmogaus akiai nematomas perspektyvas.

Šiuo projektu siekiama atkurti penkių matmenų vandenyno spinduliuotės lauką iš daugybės nuotraukų, kuriose užfiksuotas ryškus nežinomos formos ir albedo elementas. Atspindinčių paviršių blizgesys atskleidžia scenos elementus už regėjimo lauko ribų. Konkrečiai, ryškaus objekto paviršiaus taisyklės ir kreivumas lemia, kaip stebėtojo vaizdai yra susieti su realiu pasauliu.

Mokslininkams gali prireikti tikslesnės informacijos apie atspindėto objekto formą arba tikrovę, o tai prisideda prie iškraipymo. Taip pat gali būti, kad blizgančio objekto spalva ir tekstūra susilies su atspindžiais. Be to, atspindėtose scenose nėra lengva įžvelgti gylį, nes atspindžiai yra dvimatės trimatės aplinkos projekcijos.

Tyrėjų komanda šias kliūtis įveikė. Jie pradeda fotografuoti blizgantį objektą iš skirtingų kampų, fiksuojant įvairius atspindžius. Orca (Objects Like Radiance-Field Cameras) yra jų trijų etapų proceso akronimas.

„Orca“ gali įrašyti kelių vaizdų atspindžius, vaizduodama objektą skirtingais kampais, kurie vėliau naudojami norint įvertinti gylį tarp šviesaus objekto ir kitų scenoje esančių objektų bei paties šviesaus objekto formą. Daugiau informacijos apie šviesos spindulių, sklindančių ir patenkančių į kiekvieną vaizdo tašką, stiprumą ir kryptį fiksuoja ORCa 5D spinduliuotės lauko modelis. Dėl šio 5D spinduliuotės lauko duomenų Orca gali atlikti tikslesnius gylio įvertinimus. Kadangi scena atvaizduojama kaip 5D spinduliuotės laukas, o ne kaip 2D vaizdas, vartotojas gali matyti detales, kurias uždengtų kampai ar kitos kliūtys. Tyrėjai aiškina, kad kai ORCa surinks 5D spinduliuotės lauką, vartotojas gali pastatyti virtualią kamerą bet kurioje srityje ir sukurti sintetinį vaizdą, kurį fotoaparatas sukurs. Naudotojas taip pat gali pakeisti daikto išvaizdą, pavyzdžiui, iš keramikos į metalinį, arba į sceną įtraukti virtualių objektų.

Išplėsdami spinduliuotės lauko apibrėžimą už tradicinio matymo linijos spinduliuotės lauko, mokslininkai gali atverti naujas galimybes tirti aplinką ir joje esančius objektus. Naudojant projektuojamus virtualius pločius ir gylius, darbas gali atverti virtualių objektų įterpimo ir 3D suvokimo galimybes, pavyzdžiui, ekstrapoliuoti informaciją iš už fotoaparato matymo lauko ribų.

nuskaityti popierius Ir Projekto puslapis. Nepamirškite prisijungti 22k+ML Sub RedditIr nesantaikos kanalasIr Ir Naujienlaiškis el. paštu, kuriame dalijamės naujausiomis AI tyrimų naujienomis, šauniais AI projektais ir kt. Jei turite klausimų dėl aukščiau pateikto straipsnio arba ką nors praleidome, nedvejodami rašykite mums el [email protected]

🚀 Peržiūrėkite 100-ųjų AI įrankius AI įrankių klube