Analiza wibracji pozwoli wydobyć dźwięk z niemego filmu

Choć to może brzmieć jak gadżet żywcem wyciągnięty ze szpiegowskiego filmu, w rzeczywistości jest to autentyczny wynalazek. Wyobraź sobie sytuację, że masz film, bez dźwięku, na którym facet skierowany plecami do kamery opowiada o swoich planach. Nie masz więc ani audio, ani widoku ust, z których ruchu mógłbyś wyczytać co takiego ma do powiedzenia ten mężczyzna. W pokoju jednak znajdowała się także roślinka – popatrz na nią i już wszystko wiesz. Możesz uratować świat przed zagładą.

No dobra, to niezupełnie tak działa, ale też nie mijamy się całkowicie z prawdą. Okazuje się bowiem, że grupa naukowców z instytutu MIT oraz firm Microsoft i Adobe pracuje nad algorytmami, które dzięki samej obserwacji drgań obiektu (które nie są widoczne gołym okiem) są w stanie przeanalizować ten „sygnał wizualny” i odtworzyć dźwięk, który pierwotnie te wibracje spowodował. Jakby tego było mało – badacze są na dobrej drodze, by swój cel osiągnąć.

Większość z nas wie, że dźwięk i wibracje są ściśle powiązane. Wszystkie odgłosy – muzyka, ludzki głos itd. – wprawiają więc obiekty w drgania. Wibracje te są tak malutkie, że nasze oko nie jest w stanie ich zauważyć. To, że czegoś nie widać nie znaczy jednak, że tego nie ma. Naukowcy postanowili więc wyposażyć się w kamery do szybkich ujęć, aby poprawnie rejestrować drgania i następnie właściwie je analizować. Próbowano też testów ze standardowymi kamerami. Okazało się, że choć wyniki są gorsze, to jednak w ostateczności takie urządzenia również mogłyby zdać egzamin. 

Największy problem to dopasowanie odpowiedniego algorytmu – każdy obiekt drga bowiem inaczej. To właśnie na rozwiązaniu tego skupiać będą się teraz autorzy projektu. I choć do osiągnięcia zadowalającego rezultatu pozostało jeszcze sporo czasu (i badań), pierwsze testy przebiegają naprawdę pomyślnie. Poniżej możecie zobaczyć wideo pokazujące działanie tej technologii w praktyce.

Źródło: SlashGear, MIT