Tre nya ANVÄNDNING flerspråkiga moduler kommer till TensorFlow

Google är en av pionjärerna inom AI-forskning och en mängd av deras projekt har fortsatt att vända huvudet. AlphaZero från Googles DeepMind teamet var ett genombrott inom AI-forskning på grund av programmets förmåga att lära sig komplicerade spel i sig (utan mänsklig utbildning och intervention). Google har också gjort ett utmärkt arbete i Program för bearbetning av naturliga språk (NLP), vilket är en av anledningarna till Google Assistents effektivitet när det gäller att förstå och bearbeta mänskligt tal.

Google tillkännagav nyligen lanseringen av tre nya ANVÄND flerspråkiga moduler och tillhandahålla fler flerspråkiga modeller för att hämta semantiskt liknande text.

Språkbehandling i system har kommit långt, från grundläggande syntax-tolkning till stora vektorassociationsmodeller. Att förstå sammanhang i text är ett av de största problemen i NLP-fältet och Universal Sentence Encoder löser detta genom att konvertera text till högdimensionella vektorer, vilket gör textrankning och beteckning enklare.

Enligt Google, “De tre nya modulerna bygger alla på semantisk hämtningsarkitektur, som vanligtvis delar upp kodningen av frågor och svar i separata neurala nätverk, vilket gör det möjligt att söka bland miljarder potentiella svar inom millisekunder.”Med andra ord hjälper detta till bättre indexering av data.

“Alla tre flerspråkiga moduler utbildas med hjälp av en multi-task dual-encoder-ramverk, som liknar den ursprungliga USE-modellen för engelska, samtidigt som vi använder tekniker som vi utvecklat för att förbättra dual-encoder med addmargin softmax-strategi. De är utformade inte bara för att upprätthålla bra överföringsinlärningsprestanda, utan för att utföra väl somantiska hämtningsuppgifter. ” Softmax-funktionen används ofta för att spara beräkningskraft genom att exponentiera vektorer och sedan dela varje element med summan av det exponentiella.

Semantisk hämtningsarkitektur

”De tre nya modulerna är alla byggda på semantiska hämtningsarkitekturer, som vanligtvis delar upp kodningen av frågor och svar i separata neurala nätverk, vilket gör det möjligt att söka bland miljarder potentiella svar inom millisekunder. Nyckeln till att använda dubbla kodare för effektiv semantisk hämtning är att förkoda alla kandidatsvar till förväntade inmatningsfrågor och lagra dem i en vektordatabas som är optimerad för att lösa närmaste grannproblem, vilket gör att ett stort antal kandidater kan sökas snabbt med god precision och återkallelse. ”

Du kan ladda ner dessa moduler från TensorFlow Hub. Mer information finns i GoogleAI: s fullständiga blogginlägg.