Nvidia kondigt augmented-reality filters voor live-streaming aan

Nvidia heeft de Nvidia RTX Broadcast Engine aangekondigd. Dit is een verzameling nieuwe SDK’s voor speciale greenscreen-, augmented reality- en style-filters die op basis van kunstmatige intelligentie worden berekend. Voor de verspreiding van de technologie werkt Nvidia samen met streaming app-ontwikkelaars die de technieken in hun software en plug-ins integreren.

De nieuwe SDK’s bestaan uit de RTX Greenscreen, waarmee de achtergrond in een webcamfeed in real-time kan worden verwijderd. In de livestream is dan alleen het gezicht en lichaam van de spreker zichtbaar terwijl de achtergrond door een ander beeld wordt vervangen. Het RTX Greenscreen AI-model analyseert zelfstandig het beeld en begrijpt welk deel van het beeld de mens is en welk deel de achtergrond. Greenscreen is een begrip uit de filmindustrie, waarbij bijvoorbeeld acteurs een scène voor een groen doek spelen, waar achteraf een andere achtergrond op kan worden geprojecteerd. Gamers kunnen op deze manier een greenscreen gebruiken, zonder er daadwerkelijk een te hoeven hebben.

Een andere nieuwe SDK is de RTX AR. Deze kan gezichten detecteren en de ogen en mond volgen, waardoor er met een standaard webcam in realtime augmented reality-effecten, zoals een avatar, op het beeld toegepast kunnen worden.

Daarnaast zijn er nog de RTX-stijlfilters. Deze gebruiken een AI-techniek die Nvidia Style Transfer noemt. Daarmee kan het uiterlijk van een webcamfeed worden getransformeerd op basis van een ander beeld. Je kunt dan een videofeed vormgeven op basis van een afbeelding, schilderij of game-art.

Nvidia doet de aankondiging op de vooravond van TwitchCon 2019, de jaarlijkse conventie voor het livestreaming videoplatform in San Diego.