Okulary NTT Docomo z kamerami do wideorozmów

Wynalazek o nazwie Google Glass zdążył już zrobić niemałą karierę, nie tylko w świecie IT, a nawet na pokazach mody. Te okulary połączone z systemem rzeczywistości rozszerzonej mogą pełnić rolę wygodnego interfejsu smartfona, który do minimalizuje potrzebę angażowania dłoni podczas sterowania urządzeniem.

Jednakże za pomocą Google Glass nie wykonamy jednej czynności, charakterystycznej dla smartfonów. Nie przeprowadzimy wideorozmowy, gdyż to urządzenie nie potrafi pokazać obrazu całej twarzy. Smartfon w trakcie wideorozmowy trzymamy przed sobą, tak by przednia kamerka widziała naszą twarz. Co zrobić, gdy chcemy mieć ręce wolne podczas rozmowy.

Można oczywiście oprzeć smartfon o jakiś przedmiot, ale to tylko półśrodek. Można zamontować kamerę na wysięgniku przymocowanym do hełmu zakładanego na głowę, ale takie śmiesznie wyglądające rozwiązania sprawdzają się tylko w filmach s-f.

Można także uciec się do pomocy modelowania twarzy z obrazu generowanego przez kilka kamer umieszczonych w okularach. Na taki pomysł wpadli inżynierowie NTT Docomo. Stworzyli oni coś, co przypomina wizualnie nagłowny wyświetlacz Lumus.

Wideofon niewymagający użycia dłoni podczas rozmowy wykorzystuje sześć kamer o rozdzielczości 720p i 180 stopniowym polu widzenia każda. Połowa kamer widzi lewą część twarzy, a druga połowa prawą część. Następnie na podstawie tych obrazów tworzony jest wizerunek całej twarzy.

Na razie rozdzielczość całego systemu jest zbyt mała, aby uzyskać dobrej jakości obraz wideo, dlatego naukowcy posiłkują się modelami 3D twarzy rozmówcy. Obraz z kamer po wyeliminowaniu zniekształceń charakterystycznych dla szerokokątnych obiektywów jest łączony z modelem 3D. Aktualnie największym priorytetem jest zachowanie realizmu obszaru wokół oczu, gdyż mimika tej części twarzy jest bardzo istotna podczas rozmowy. Rezultaty zdaniem inżynierów są znacznie lepsze niż w przypadku stosowania wyłącznie grafiki komputerowej.

Pozostałe części twarzy, a w zasadzie jej trójwymiarowego modelu, który przesyłany jest do rozmówcy, animowane są na podstawie danych z sześcioosiowych sensorów położenia. Ruch ust jest symulowany dzięki analizie mowy zarejestrowanej przez mikrofon.

W przyszłości, gdy rozdzielczość kamer zostanie zwiększona do poziomu odpowiadającego wideo 4K lub 8K, możliwe będzie generowanie obrazu twarzy prawie wyłącznie na podstawie danych wizualnych. Ostatecznie możliwe będzie wyprodukowanie, (pokazywane urządzenie to jedynie nieporęczny prototyp) smartfona ze wszystkimi funkcjami, również wideorozmowami, wbudowanymi w okulary.

Źródło: diginfo.tv, foto: EETimes