Zal een gebarentaal-vertaalapp ooit een realiteit worden?

Stel je een wereld voor waar de barrières tussen de doven en het gehoor verdwenen zijn. Een wereld waar gesprekken vloeiend stromen onder degenen die geluid horen, en degenen die dat niet doen. Zou die wereld in de nabije toekomst echt kunnen worden??

In juni ontwikkelde een groep marketingstudenten van Berghs School of Communication een conceptvideo voor een fictief product met de naam Google Gesture. Het product omvatte een draagbare polsband en een mobiele app die elektromyografie gebruikte om de spierbewegingen te lezen van een dove persoon die gebarentaal gebruikt. Het systeem gaf vervolgens die signalen door aan de app, die deze signalen naar een gedigitaliseerde stem vertaalde en voor de persoon zou spreken.

Het was behoorlijk spannend om naar de nepmarketingvideo te kijken. Zo spannend dat zelfs grote technische sites zoals Mashable, Slashgear en anderen het product oorspronkelijk als echt hebben aangekondigd en later de claim opnieuw moeten vertellen en hun excuses aanbieden voor hun fout. Het was een vreemde fout, gezien het feit dat er echt is een Google-product met de naam Google Gesture Search [niet langer beschikbaar], waarmee je gebaren kunt tekenen op je mobiele scherm om te zoeken naar contactpersonen, bladwijzers en meer.

Hoe dan ook, het Berghs-studentenconcept presenteerde een opmerkelijk idee, wat leidde tot de vraag: zou het mogelijk zijn om zo'n app echt te maken??

Is het vertalen van gebarentaal mogelijk?

Het ontleden van het marketingconcept op een technisch niveau onthult dat de technologie die elektromyografie (EMG) gebruikt om “zin” gebarentaal is helemaal niet zo vergezocht. Al in 2009 konden onderzoekers van de Universiteit van Washington meerdere EMG-sensoren gebruiken om spierbewegingen te decoderen en ze om te zetten in echte arm- en handgebaren.

De onderzoekers hebben een complete gebouwd “bibliotheek voor gebarenherkenning”, het identificeren van welke spiersignalen welk gebaar vertegenwoordigden. Het onderzoek bewijst dat dit soort technologie beschikbaar en klaar om te implementeren is in het soort toepassing dat de studenten van Berghs voor ogen hadden.

Dus heeft iemand dit al bereikt? Zo niet, waarom doet niemand dat dan, en biedt het doven en slechthorenden de mogelijkheid om met iemand in de wereld te communiceren via gebarentaal?

De toekomst van realtime vertaaltechnologie

De waarheid is dat iemand in feite aan dergelijke real-time gebarentaal-vertaaltechnologie werkt.

Er is een bedrijf met de naam SpeechTrans, dat de grenzen van de vertaaltechnologieën heeft verlegd. 3 Beste vertaalhulpmiddelen op basis van Google Vertalen 3 Beste vertaalhulpmiddelen op basis van Google Vertalen Meer lezen in de afgelopen jaren. SpeechTrans werkt samen met technologiepartners om een ​​aantal van de meest opmerkelijke real-time vertaalafdelingen op de markt te produceren. Dit zijn diensten die tekstchat vertalen naar tekstchat, spraak naar tekst en zelfs real-time spraak-naar-spraak vertaling van talen via mobiele telefoon en desktopapplicaties.

Om te onderzoeken of een gebarentaaltechnologie in de nabije toekomst een realiteit kan worden, heeft MakeUseOf plaats ingeruimd voor SpeechTrans CEO John Frei en COO Yan Auerbach om deze baanbrekende nieuwe vertaaltechnologie te bespreken. Begrijp elke taal met deze 5 taalvertalingen Websites begrijpen elke taal met deze 5 Taalvertalingswebsites Technologie heeft de wereld een kleinere plaats gemaakt. Mensen uit alle delen van deze planeet gebruiken veel van dezelfde tools, bezoeken een aantal van dezelfde websites en mengen online verschillende chatrooms. De ... Lees meer en hoe ver weg de toekomst zou kunnen zijn.

Het ontwikkelen van een app voor het vertalen van gebarentaal

MUO: Is het mogelijk om het soort gebarentaal te gebruiken voor spraakvertaling dat de Berghs-studenten hebben afgeschilderd in deze Google Gesture-conceptvideo?

John: Ik zou zeggen dat de technologie beschikbaar is om dat te ontwikkelen. Op dit moment werken we samen met Microsoft en Intel aan het verkennen van enkele van de technologieën waarmee ze uitkomen, op het gebied van hardware en software. We zien het vermogen in om die technologie te gebruiken om gebarentaal te herkennen en die vervolgens om te zetten in spraak- en audio-uitvoer.

MUO: U werkt momenteel actief aan de ontwikkeling van die technologie?

Yan: Er was dus een klant die onze software gebruikte en het zou geweldig zijn als we deze konden aanpassen zodat mensen met een gehoorbeperking deze kunnen gebruiken om telefoongesprekken te voeren vanuit onze app, om te communiceren zonder dat er teken nodig is taal wanneer ze in persoon zijn, of zonder een TTY-type service voor telefoongesprekken. We hebben dat product ontwikkeld en met financiering van Microsoft en Intel lanceerden we SpeechTrans voor slechthorenden op Windows 8.1, waardoor er geen gebarentaal meer nodig was.

MUO: Hoe doet de “persoonlijk” app werk?

Yan: Er is een luistermodus en er is een invoermodus. Dus wanneer iemand tegen je praat, zet je de luistermodus aan en typ je alles wat ze in tekst op het scherm zeggen. Als je vervolgens antwoordt, typt u het in en vervolgens spreekt het hardop uit wat u typt. Met de telefoon belt u gewoon het telefoonnummer van een persoon en wanneer deze de telefoon opneemt, wordt deze een instant-bericht. Wat ze ook zeggen, je krijgt als een IM. Vervolgens wordt alles wat u typt hardop via de telefoon uitgesproken. Dat is de eerste fase.

Near Future Sign Language Translation

MUO: Welke technologieën kunnen mensen verwachten in de nabije toekomst te zien? Wat is de volgende fase?

John: We denken - voor iemand die alleen de mogelijkheid heeft om gebarentaal te gebruiken - dat te kunnen doen voor een apparaat zoals een telefoon, pc of laptop. Intel heeft een nieuw camerasysteem en Microsoft doet het net zo goed met de Kinect, die gebarenherkenning geeft.

MUO: Hoe is dit beter dan het armbandconcept van de Berghs-studenten?

Yan: Kortom, de onze gaat zo werken dat je niets aan je arm hoeft te doen. Het herkent 64 punten op je hand. We gebruiken de bètaversie van Intel's RealSense-camera. We kunnen dus niet alleen alle gebarentaal en meerdere verschillende dialecten van gebarentaal herkennen, maar we kunnen ook emoties, gezichtsuitdrukkingen en andere kleine nuances herkennen en die vervolgens ook in gesproken woorden omzetten.

Dat betekent niet dat je handschoenen of iets anders moet dragen. We richten ons specifiek op die markt omdat we mensen graag in het algemeen helpen. We willen niet alleen mensen helpen die in veel verschillende talen willen spreken, maar we willen ook mensen helpen die niet in een andere taal kunnen spreken. De technologie bestaat, en er is geen reden waarom hun kwaliteit van leven anders zou moeten zijn dan die van ons.

John: Het is een haalbaar concept. Het is gewoon een andere invoer en uitvoer. Sommige van de gesprekken die we met Microsoft hebben gehad over enkele van de toekomstige technologieën, is waar iemand daadwerkelijk een microchip in hun nek kan implanteren, en het leest direct hun hersengolfpatronen. Dus als u mensen helpt die niet kunnen communiceren, zien we zoiets als fase drie.

Vorig jaar was er een groep studenten met een werkend prototype van een handschoen die op een computer was aangesloten. De gebaren die u met de handschoen maakte, worden dan herkend en omgezet in gebarentaal. Dus ze hebben al de mogelijkheid met de huidige technologie.

Onze visie is dat we niet echt de accessoires willen maken zoals de armbanden die je moet aantrekken. Het moet natuurlijk en vrij stromend zijn voor hen [mensen die gebarentaal gebruiken] om het voor hun videocamera te doen. 90% van wat mensen zeggen in communicatie is eigenlijk in hun lichaamstaal. Omdat we toegang hebben tot gezichtsherkenning, gebaren en emoties, kunnen we die gegevens ook gebruiken om ervoor te zorgen dat de vertaling en wat ze proberen over te brengen, in de juiste vorm wordt uitgedrukt.

MUO: Is Intel binnen het 5-jarig bereik van het hebben van die gebarentaalherkenningstechnologie?

John: Intel heeft zeker veel bronnen beschikbaar. Hun technologie en hun software komen in een tempo waarin we dit vrij snel kunnen laten gebeuren.

MUO: Heeft u een tijdschema voor wanneer u hoopt deze technologie op de markt te krijgen??

John: Voor de gebarentaal is het ongeveer 12 tot 18 maanden.

MUO: Heeft iemand anders nog iets anders als dit voor het vertalen van gebarentaal?

John: Ik zag een YouTube-filmpje waarin IBM een prototype deed waarbij iemand gebarentaal aan het doen was, maar het was een proof of concept en het had maar drie of vier woorden die het herkende. We hebben meer dan vijfhonderdduizend woorden waarmee we het gaan uitrollen, dus het gaat het op een heel ander niveau brengen.

Conclusie

Hoewel de visie die de studenten bij Berghs verzonnen misschien niet de gebarentaal-vertaalapp van de toekomst worden, betekent dat niet dat een dergelijk concept niet zal plaatsvinden. Wat het werk van SpeechTran, Intel en Microsoft bewijst, is dat gebarentaalvertaling binnen enkele jaren vrijwel zeker een echte technologie zal worden. Het zal hoogstwaarschijnlijk geen omslachtige armbanden bevatten, maar in plaats daarvan niets meer dan een speciale videocamera en een mobiele app.

Door de magie van gebaar en gezichtsherkenning, belooft deze vertaaltoepassing voor gebarentaal een volledige ommekeer in de interpersoonlijke communicatie voor honderdduizenden slechthorende 5 beste bronnen voor Mac- en Apple-apparaatgebruikers met een handicap 5 Beste bronnen voor Mac- en Apple-apparaatgebruikers met een handicap Lees meer of slechthorenden over de hele wereld.

Ontdek meer over: Bionic Technology.