Przełomowy patent firmy Sony obejmuje wbudowany w grę tłumacz języka migowego, który zwiększa dostępność gry dla niesłyszących graczy. Ta innowacyjna technologia, opisana szczegółowo w patencie zatytułowanym „TŁUMACZENIE JĘZYKA MIGOWEGO W ŚRODOWISKU WIRTUALNYM”, koncentruje się na tłumaczeniu w czasie rzeczywistym między różnymi językami migowymi, takimi jak amerykański język migowy (ASL) i japoński język migowy (JSL).
System przewiduje wieloetapowy proces: początkowo przechwytywanie gestów języka migowego, konwertowanie ich na tekst, tłumaczenie tekstu na język docelowy, a na koniec renderowanie przetłumaczonego tekstu z powrotem na odpowiednie gesty języka migowego dla odbiorcy. Odpowiada to na krytyczną potrzebę międzyjęzycznej komunikacji w języku migowym, biorąc pod uwagę różnice geograficzne w językach migowych.
Sony sugeruje kilka metod wdrożenia. Jedna z nich polega na użyciu zestawów słuchawkowych VR lub wyświetlaczy nagłownych (HMD) podłączonych do komputera osobistego, konsoli do gier lub innego urządzenia komputerowego. Te HMD zapewnią użytkownikowi wciągające środowisko wirtualne. Ponadto w patencie zaproponowano system sieciowy, potencjalnie wykorzystujący platformę gier w chmurze, w którym urządzenia użytkownika synchronizują się z serwerem gier, aby ułatwić interakcję i tłumaczenie w czasie rzeczywistym we wspólnym środowisku gier. Serwer ten miałby zarządzać stanem gry i zajmować się procesem tłumaczenia, zapewniając płynną komunikację pomiędzy graczami posługującymi się różnymi językami migowymi. Patent podkreśla potencjał tej technologii w zakresie zrewolucjonizowania dostępności gier online, wspierania integracji i przełamywania barier komunikacyjnych dla niesłyszących graczy.