Google DeepMind ha presentato una nuova intelligenza artificiale in grado di generare musica per un film. La divisione dedicata all’intelligenza artificiale ha mostrato i suoi progressi nel settore video-audio (V2A).una tecnologia che produce suoni da un file video e da un input di testo.. Il modello è in grado di generare una traccia audio in base agli elementi del video e di sincronizzarla.
DeepMind sottolinea che V2A può generare spunti, effetti sonori realistici o dialoghi che si adattano ai personaggi.. L’utente deve solo fornire un file video e un prompt in linguaggio naturale che servirà da supporto. Le voci di testo possono includere il tipo di suono, il genere musicale o il tempo, oltre a frasi che descrivono l’ambiente.
Gli ingegneri affermano che la tecnologia V2A è in grado di produrre un numero illimitato di colonne sonore. per qualsiasi video. Il sistema può essere combinato con altri modelli di generazione video, come ad esempio Veo, e permette di di una regolazione fine tramite un prompt positivo o negativo, che offre un maggiore controllo sul file di output.
Secondo Google, V2A utilizza un approccio basato sul broadcast per generare e sincronizzare l’audio. Il sistema codifica l’input video in una rappresentazione compressa e lo fa passare iterativamente attraverso il modello di trasmissione. Genera quindi l’audio compresso, che viene decodificato in una forma d’onda audio.
È importante notare che istruzioni in linguaggio naturale (prompt) fungono da guida per il modello per generare suoni specifici. DeepMind indica che V2A è in grado di comprendere i pixel grezzi, quindi le istruzioni testuali sono facoltative. Tuttavia, se utilizzate insieme, l’intelligenza artificiale è in grado di associare eventi audio specifici a una rappresentazione visiva.
L’intelligenza artificiale di Google può generare effetti, musica e persino voci.
L’azienda tecnologica ha mostrato diversi video di V2A in azione con i suoi rispettivi pronta. I primi risultati sono sorprendenti e dimostrano la potenza dell’intelligenza artificiale nel sincronizzare gli effetti sonori con i video. Gli ingegneri hanno aggiunto che il sistema non necessita di un allineamento manualequindi non dobbiamo preoccuparci di regolare il tempo e altri valori.
Come tutti i modelli di intelligenza artificiale, il sistema V2A non è perfetto. Google afferma che la qualità del suono generato dipenderà dalla qualità del video.Quindi, se si immette una traccia compressa o di scarsa qualità, è possibile che non si ottengano i risultati desiderati. Allo stesso modo, la generazione della voce per i video che prevedono un dialogo necessita di aggiustamentipoiché non esegue una sincronizzazione labiale accurata.
Il V2A rappresenta un grande passo avanti nel campo dell’IA. Per evitare un uso improprio di questa tecnologia, Google implementa il watermarking su tutti i contenuti e li sottoporrà a vari test di sicurezza. Allo stesso tempo, gli ingegneri di DeepMind si affideranno a esperti di altri settori, soprattutto della comunità creativa (registi, creatori, ecc.) per dare forma al loro sistema.
Per ora non c’è una data di uscita certa per questa tecnologia.