Het baanbrekende patent van Sony stelt een in-game gebarentaalvertaler voor om de toegankelijkheid voor dove gamers te verbeteren. Deze innovatieve technologie, gedetailleerd in een patent met de titel "VERTALING VAN GEBARENTAAL IN EEN VIRTUELE OMGEVING", richt zich op realtime vertaling tussen verschillende gebarentalen, zoals Amerikaanse gebarentaal (ASL) en Japanse gebarentaal (JSL).
Het systeem voorziet een proces dat uit meerdere stappen bestaat: in eerste instantie het vastleggen van gebarentaalgebaren, het omzetten ervan in tekst, het vertalen van de tekst naar de doeltaal en uiteindelijk het teruggeven van de vertaalde tekst in de overeenkomstige gebarentaalgebaren voor de ontvanger. Dit komt tegemoet aan de cruciale behoefte aan communicatie in gebarentaal in meerdere talen, gezien de geografische variaties in gebarentalen.
Sony stelt verschillende implementatiemethoden voor. Eén daarvan betreft het gebruik van VR-headsets of op het hoofd gemonteerde displays (HMD's) die zijn aangesloten op een personal computer, gameconsole of ander computerapparaat. Deze HMD's zouden de gebruiker een meeslepende virtuele omgeving bieden. Bovendien stelt het patent een netwerksysteem voor, dat mogelijk gebruik maakt van een cloud-gamingplatform, waarbij gebruikersapparaten synchroniseren met een spelserver om real-time interactie en vertaling binnen de gedeelde spelomgeving te vergemakkelijken. Deze server zou de staat van het spel beheren en het vertaalproces afhandelen, waardoor een naadloze communicatie tussen spelers met behulp van verschillende gebarentalen werd gegarandeerd. Het patent benadrukt het potentieel van deze technologie om de toegankelijkheid van online gaming radicaal te veranderen, inclusiviteit te bevorderen en communicatiebarrières voor dove gamers te slechten.