Chinees team onthult tekst-naar-video AI-model vergelijkbaar met Sora.
Het Chinese technologiebedrijf ShengShu-AI en Tsinghua University hebben zaterdag het tekst-naar-video kunstmatige intelligentie (AI)-model Vidu onthuld, waarvan wordt gezegd dat het de eerste in China is die op één lijn staat met Sora, in een andere manifestatie van de snelle ontwikkeling van China in de opkomend kritisch AI-veld.
Vidu, gelanceerd op het lopende Zhongguancun Forum in Beijing, kan met één klik een 16 seconden durende 1080P-videoclip genereren. Het is gebouwd op een zelfontwikkelde visuele transformatiemodelarchitectuur genaamd Universal Vision Transformer (U-ViT), waarin twee tekst-naar-video AI-modellen van de Diffusion en de Transformer zijn geïntegreerd, aldus de ontwikkelaars.
Het AI-tekst-naar-video-model kwam slechts ongeveer twee maanden nadat Sora, ontwikkeld door de in de VS gevestigde ontwikkelaar OpenAI, wereldwijd met veel tamtam werd uitgebracht.
“Na de release van Sora ontdekten we dat het nauw aansluit bij onze technische routekaart, wat ons verder motiveerde om ons onderzoek vastberaden voort te zetten”, zegt Zhu Jun, vice-decaan van het Instituut voor Kunstmatige Intelligentie aan de Tsinghua Universiteit en hoofdwetenschapper van ShengShu. AI, zei op het forum.
De kerntechnologie van U-ViT werd voor het eerst voorgesteld door Vidu’s onderzoeksteam in september 2022, vóór Sora’s modelarchitectuur van DiT – Diversity in Transformation, ’s werelds eerste visuele transformatiemodelarchitectuur die de voordelen van de Diffusion en de Transformer combineert, volgens naar mediaberichten.
Tijdens een live demonstratie op zaterdag kan Vidu de echte fysieke wereld nabootsen en scènes genereren met complexe details in lijn met echte fysieke wetten, zoals redelijke licht- en schaduweffecten en delicate gezichtsuitdrukkingen. Het kan ook complexe dynamische opnamen genereren in plaats van vaste opnamen.
Bovendien heeft Vidu, ontwikkeld in China, een groot inzicht in Chinese factoren en kan volgens berichten in de media afbeeldingen genereren van unieke Chinese karakters zoals panda en loong.
Bronnen: Global Times & ShengShu-AI (Chinese site)
