NVIDIA AR SDK debuterar i populära OBS-plugin StreamFX som möjliggör ansiktsavkänning via standardwebbkamera

NVIDIA har officiellt lanserat sitt efterlängtade Augmented Reality (AR) Software Development Kit (SDK) optimerat för livestreaming, spel samt videokonferensplattformar. Tekniken har debuterat i StreamFX, ett mycket populärt OBS-plugin. Tekniken lovar några fantastiska funktioner, inklusive att upptäcka och låsa på ansikten och skapa ett 3D-nät i ett ansikte, allt med en vanlig webbkamera.

NVIDIA har nu introducerat AR SDK för Live Streaming, vilket ger artificiell intelligens (AI) möjligheter till de alltmer populära och allmänt använda fjärrverktyg för webbkonferenser, kommunikation och samarbete. Tekniken påstås också hjälpa spelare. Överraskande nog kan användare dra nytta av tillägget av AI med en vanlig webbkamera, hävdar NVIDIA.

Hur fungerar NVIDIA AI AR SDK för livestreaming?

Som förväntat använder NVIDIA AR SDK, även känt som NVIDIA RTX Broadcast Engine, de kraftfulla och mångsidiga Tensor Cores på NVIDIA RTX GPU: er. SDK kan möjliggöra snabb och enligt uppgift högkvalitativ spårning genom ett exklusivt backend, molnbaserat AI-nätverk som lanserades förra året. NVIDIA hävdar att tekniken och nätverket kan leverera korrekt ansiktsspårning. ansikte landmärke spårning av ansiktsform, läppar, ögon, ögonbryn och näsa med 3 graders frihet; och ett avancerat ansiktsnät (en 3D-rekonstruktion av ett mänskligt ansikte och huvud) med 6 frihetsgrader.

NVIDIA AI AR SDK för livestreaming har debuterat via StreamFX, ett populärt plugin för OBS (Open Broadcaster Software). AR SDK är nu tillgänglig på GitHub. Intresserade utvecklare kan använda samma genom att ladda ner det från NVIDIAs webbplats också.

Den nya versionen av StreamFX använder SDK för att skapa en smart kamera som automatiskt beskärs och zoomar in på användaren och håller dem centrerade i ramen när de rör sig. På tal om den spännande nya utvecklingen sa Michael Fabian 'Xaymar' Dirks, StreamFX Author,

”Det nya ansiktsspårningsfiltret i StreamFX krävde komplex matematik och maskininlärning som skulle ha tagit månader om inte år att ställa in för att köras på många maskiner. Men tack vare NVIDIAs AR SDK gjordes det på nolltid alls och körs på någon NVIDIA RTX-hårdvara som blir allt vanligare tack vare NVENC H.264-kodaren på den. Detta har drastiskt minskat den nödvändiga utvecklingstiden från år till bara två veckor, och utan extra kostnad också. ”

Vad Fabian tydligt antydde var att utvecklare nu har en kraftfull SDK som NVIDIA har infört för att väsentligt öka funktionerna och funktionerna hos flera plattformar med AI-baserad AR. Det behöver inte läggas till att spelutvecklare, live-konferenser och live-streaming-plattformar kommer att vinna enormt på NVIDIA-plattformen. Enkelt för att sammanfatta, NVIDIA AR SDK, som ger kraften i AI till livestreaming, utökar följande funktioner via en vanlig webbkamera:

• Spåra ansikten på kameran för att identifiera ett eller flera motiv på en bild,
• Överlagring av tillgångar på en person för att sätta kostymer eller effekter på människor,
• Styr en animerad eller spelfigur med dina ansikts- och huvudrörelser.

Det är viktigt att notera att NVIDIA har erbjudit sin AR SDK som en öppen beta-plattform. Detta betyder helt klart att utvecklare borde förvänta sig några buggar och uppmuntras att rapportera detsamma till NVIDIA för ytterligare finjustering av plattformen.