ChatGPT nauczył się nowej sztuczki. Machasz telefonem i dzieje się magia
Interakcja z ChatGPT wchodzi na nowy poziom. Możesz z nim rozmawiać na temat tego, co widzisz.
Nowa funkcja jest rozszerzeniem zaawansowanego trybu głosowego, który trafił do Polski w październiku. O ile w podstawowej wersji komunikacja z asystentem odbywa się wyłącznie głosowo, o tyle teraz dochodzi do tego rozpoznawanie obrazu na żywo.
ChatGPT połączy się z aparatem w twoim smartfonie. Nowa funkcja robi wrażenie
Po włączeniu zaawansowanego trybu głosowego możliwe jest włączenie aparatu. Wówczas ChatGPT potrafi odpowiadać na pytania związane z tym, co znajduje się w jego obiektywie. I to po polsku.
Obraz nie jest analizowany w 100 proc. w czasie rzeczywistym. Gdy odpaliłem aplikację i skierowałem telefon w stronę monitora, ChatGPT odpowiedział, że widzi na nim butelkę z wodą, mimo że w chwili zadania pytania nie znajdował się on już w kadrze. Prawdopodobnie bazował na zdjęciu, które wykonał chwilę wcześniej, gdy ruszałem smartfonem.
Nie jest jednak tak, że ChatGPT potrafi wykonywać polecenia wyłącznie związane z ostatnio zrobionym zdjęciem. W ramach testu wziąłem do ręki puszkę z zupą, powoli obróciłem ją w dłoni, a następnie zapytałem o jej skład, kaloryczność czy instrukcję przygotowania. Sztuczna inteligencja odpowiedziała na wszystkie pytania bezbłędnie, choć dane te nie znajdowały się już w oku kamery.
Zaawansowany tryb głosowy zapewnia wyjątkowo naturalną konwersację, więc całość naprawdę robi wrażenie. Wirtualny pomocnik, który jest nafaszerowany wiedzą, a przy tym słyszy i widzi, może być bardzo przydatny na co dzień.
Teoretycznie ChatGPT ma możliwość przechwycenia obrazu z kamery lub zawartości ekranu smartfonu. W praktyce przechwytywania pulpitu nie udało mi się jednak uruchomić ani na Androidzie, ani na iPhonie. System informuje co prawda o rejestrowaniu zawartości ekranu, ale ChatGPT uparcie twierdzi, że niczego nie widzi. Może wkrótce zostanie to naprawione.
ChatGPT - jak skorzystać zaawansowanego trybu głosowego z rozpoznawaniem obrazu w Polsce?
Z uwagi na regionalne ograniczenia, z nowej funkcji w Polsce mogą póki co korzystać wyłącznie użytkownicy planu ChatGPT Team. Przy czym aktywacja u wszystkich osób ma zająć kilka dni.
Jeśli chodzi o plany ChatGPT Plus oraz Pro, zaawansowany tryb głosowy z rozpoznawaniem obrazu ma się pojawić w Unii Europejskiej “tak szybko, jak to możliwe”. Chodzi o konieczność upewnienia się, że jest ona zgodna z lokalnymi przepisami.
Do planów ChatGPT Enterprise oraz Edu funkcja ma trafić na początku 2025 roku. Na razie nie wiadomo kiedy (i czy w ogóle) pojawi się w planie darmowym.
