Googles algoritm för handspårning i realtid använder smartphone för att förbättra teckenspråkigenkänning

Teckenspråk används av miljontals människor runt om i världen. Forskare har arbetat med att bygga tekniker som kan förstå gesterna och automatiskt konvertera dem till mänskligt förståeligt språk. Sådana projekt har dock inte vunnit stora framgångar när det gäller noggrannhet.

Google har nyligen utvecklat en algoritm som kan användas för handspårning i realtid. Det intelligenta systemet utnyttjar maskininlärning för att skapa en handkarta. Kartan skapas med hjälp av en kamera eller en smartphone. Vi kan inte förneka det faktum att de flesta systemen misslyckas med att fånga snabba handrörelser exakt. Google har specifikt tagit upp detta problem i denna forskning. Intressant nog har de begränsat mängden data som tidigare bearbetats av algoritmerna.

Hur fungerar handspårning i realtid?

De flesta av de befintliga projekten översätter teckenspråket genom att upptäcka storleken och placeringen av hela handen. Med denna forskning. forskarna har eliminerat behovet av att hantera rektangulära former i olika storlekar. Googles system känner bara igen handflatan som är fyrkantig i form. För det andra görs en separat analysprocess för fingrarna.

Forskarna använde cirka 30 000 handbilder för att träna maskininlärningsalgoritmen. Dessa bilder fångades under olika ljusförhållanden och pose. Systemet upptäcker sedan gesten genom att göra en jämförelse mellan handpositionen och en lista över kända enheter som en boll eller lycka. Google beskriver gestigenkänning i ett blogginlägg.

Den slutliga algoritmen för handspårning ger toppmoderna resultat när det gäller hastighet och noggrannhet. Algoritmen använder MediaPipe-ramverk för att köra. Denna teknik verkar som ett stort framsteg inom teckenspråkdomänen. Även om det fortfarande finns mycket utrymme för förbättringar. för att skapa en bättre förståelse för teckenspråket. Vem som helst kan utöka detta arbete för att använda ansiktsuttryck och båda händerna för att uppnå bättre resultat.

Även om det inte finns något ord från Google, finns det en möjlighet att Google kan förbättra denna handspårningsteknik i realtid för att använda den i sina produkter. Under tiden, om du vill leka med koden, är den offentligt tillgänglig på GitHub.