Microsoft HoloLens je prvo samostalno holografsko računalo na svijetu. Zanimljivo je, u istraživačkom načinu, dostupnom u najnovijem izdanju sustava Windows 10 za HoloLens, također je moćan uređaj za istraživanje računala. Aplikacijski kod ne može samo pristupiti video i audio streamovima, već istodobno može iskoristiti rezultate ugrađenih algoritama računalnih vida kao što je SLAM (simultano lociranje i mapiranje) za dobivanje gibanja uređaja, kao i prostorno mapiranje algoritama za dobivanje 3D mreža okoliša. Ove mogućnosti omogućavaju nekoliko ugrađenih senzora slike koji nadopunjuju video kameru u boji koja je inače dostupna aplikacijama.
Naime, HoloLens posjeduje četiri kamere za praćenje okoline u sivoj skali i dubinsku kameru koja će osjetiti njegovu okolinu i uhvatiti geste korisnika. Kao što je prikazano na slici 1, dvije sive kamere su konfigurirane kao stereo pretinci koji hvataju područje ispred uređaja tako da se apsolutna dubina praćenih vizualnih značajki može odrediti trokutiranjem. U međuvremenu, dvije dodatne sive kamere pružaju širi vidni polo za praćenje značajki. Ovi sinkronizirani fotoaparati s globalnom zatvaračem znatno su više osjetljivi na svjetlost od kamere u boji i mogu se koristiti za snimanje slika brzinom do 30 sličica u sekundi (FPS).
Fotoaparat dubine koristi aktivno infracrveno (IR) osvjetljenje za određivanje dubine kroz vrijeme leta. Fotoaparat može raditi u dva načina rada. Prvi način omogućuje visoku frekvenciju (30 FPS) u blizini dubinskog senzora, obično se koristi za praćenje ruku, a drugi se koristi za niže frekvencije (1-5 FPS) daleko duboko senzora, koji se trenutačno koristi prostornim mapiranje. Uz dubinu, ova kamera također pruža aktivno osvijetljene IR slike koje mogu biti vrijedne u vlastitom pravu, jer su osvijetljene iz HoloLens-a i koje nisu u stanju utjecati na ambijentalno svjetlo.
S najnovijim izdanjem sustava Windows 10 za HoloLens, istraživači sada imaju mogućnost omogućiti istraživački način na svojim HoloLens uređajima kako bi dobili pristup svim tim neobrađenim senzorima, kao što je prikazano na slici. Istraživači još uvijek mogu koristiti rezultate ugrađenog algoritama računalnih vida, ali sada mogu odabrati i upotrebu podataka sirovog senzora za vlastite algoritme. Senzorske struje mogu se obraditi na uređaju ili bežično prenijeti na drugo računalo ili na oblak za više računalno zahtjevnih zadataka. To otvara širok raspon novih aplikacija za računalnu viziju za HoloLens. U egocentričnom vidu, HoloLens se može koristiti za analizu svijeta iz perspektive korisnika koji nosi uređaj. Za ove aplikacije HoloLens sposobnost vizualizacije rezultata algoritama u 3D svijetu ispred korisnika može biti ključna prednost. HoloLensove senzorske sposobnosti također mogu biti vrlo vrijedne za robotiku, gdje to može, primjerice, omogućiti robotu kretanje po okolišu.
Te nove HoloLens sposobnosti bit će prikazane na tutorialu na IEEE / CVF Međunarodnoj konferenciji o računalnom vidu i prepoznavanju uzoraka (CVPR) u Salt Lake Cityju. Sljedeće generacije HoloLensovih dubinskih senzorskih sposobnosti, koje će također biti dostupne kroz Project Kinect za Azure, također će biti prikazane na ovom vodiču.
Izvor: Microsoft