Gwiazdy filmowe przemówią we wszystkich językach świata. Będzie rewolucja w dubbingu?

O dubbingu można powiedzieć wiele. Jedni go kochają, inni nienawidzą. Niezależnie od naszych preferencji, filmy z dubbingiem mają wielu zagorzałych zwolenników. A niebawem mogą być jeszcze lepsze z pomocą sztucznej inteligencji, która zmodyfikuje ruch ust aktorów. Dzięki takiemu zabiegowi, wypowiadane kwestie będą bardziej naturalne.

Sztuczna inteligencja uwiarygodni dubbing

Sztuczna inteligencja mimo swojej niedoskonałości wielokrotnie przewyższała umiejętności człowieka. Opracowała silny antybiotyk, poprawiła diagnostykę raka, ale też lepiej rozumie ludzką mowę od nas samych. Teraz nauczy się mimiki oraz specyficznych cech głosu gwiazd filmowych, tworząc wyjątkowy model trójwymiarowy każdego aktora. W efekcie głosy i wyrazy twarzy aktorów będzie można modyfikować, dostosowując je do różnych języków. A to pomoże uwiarygodnić dubbing filmowy.

Takie możliwości oferuje londyński startup Flawless AI, który oprócz zatrudnienia doświadczonych specjalistów od efektów wizualnych, nawiązał współpracę z naukowcami z niemieckiego Instytutu Informatyki im. Maxa Plancka.

Pomysł narodził się podczas rozmowy Nicka Lynesa z jednym z hollywoodzkich reżyserów filmowych, Scottem Mannem. Wspólnie zastanawiali się nad możliwościami wykorzystania sztucznej inteligencji w produkcjach filmowych i telewizyjnych w celu obniżenia kosztów niektórych efektów wizualnych. Ostatecznie wspólnie założyli Flawless AI.

Więcej niż deepfake

Efekt pracy Flawless AI widoczny jest na filmie demonstracyjnym. Można zobaczyć jak Tom Cruise i Jack Nicholson biegle rozmawiają po francusku w filmie „Ludzie honoru”, Rober DeNiro mówi po niemiecku w filmie „Człowiek mafii” i przekonać się jak Forrest Gump mówi po niemiecku, hiszpańsku i japońsku.

Obejrzyj w

W powyższej prezentacji są jeszcze drobne niedoskonałości. Momentami mimika aktorów jest widocznie nienaturalna, co niektórym widzom mogłoby przeszkadzać. Jednak spokojnie można założyć, że wraz z rozwojem projektu doczekamy się licznych poprawek. Efekt już w obecnej formie jest świetny, a wielu internautów nie może się doczekać swoich ulubionych filmów z ulepszonym dubbingiem. Kto wie, może osoby nienawidzące dubbingu przekonają się do niego w nowej formie?

Trwają prace nad komercjalizacją tej technologii. Nie wiadomo kiedy będzie można cieszyć się zmodyfikowanymi produkcjami, ale zdecydowanie warto na nie poczekać.

Źródła: Flawless, IEEE Spectrum, reddit