L'IA imite désormais des artistes de façon crédible

[GBo]

Hier la toile a été affolée par un hit (éphémère car retiré des plateformes) réunissant un faux Drake (IA) et un faux The Weeknd (IA):

https://www.liberation.fr/culture/mu...FF2YVC432YSGI/
https://variety.com/2023/music/news/...ve-1235585451/

J'ai réécouté du Drake pour me le remettre dans l'oreille, c'est effectivement très ressemblant (même si Drake utilise de l'auto-tune à outrance comme effet, ce qui fait que sa voix produite est déjà assez synthétique, ce qui doit faciliter les choses).

Du vrai Drake:
https://youtu.be/ntp9_iznQ-0?t=37

Le faux Drake (court extrait du fake):
https://www.youtube.com/watch?v=1Q5iNBABiLw&t=234s

Bien sûr il y a un vrai parolier et producteur derrière ce morceau, l'IA n'a fait que remplacer le timbre sa voix par celle des artistes connus en question, mais quand même...

cdlt,
GBo
-----

[pm42]

C'est tout sauf une nouvelle : on fait ça depuis plus de 25 ans

https://www.nytimes.com/1997/11/11/s...-wrote-it.html

Et avec les IAs actuelles depuis quelques années aussi :

https://www.theverge.com/2016/12/23/...h-deepbach-csl

[GBo]

Bonjour,

C'est tout sauf une nouvelle : on fait ça depuis plus de 25 ans
https://www.nytimes.com/1997/11/11/s...-wrote-it.html

L'article que tu cites "Undiscovered Bach? No, a Computer Wrote It" parle de composition musicale dans le style de Bach.

Dr. Larson was hurt when the audience concluded that his piece -- a simple, engaging form called a two-part invention -- was written by the computer. But he felt somewhat mollified when the listeners went on to decide that the invention composed by EMI (pronounced ''Emmy'') was genuine Bach.
''Bach is absolutely one of my favorite composers,'' Dr. Larson said. ''My admiration for his music is deep and cosmic. That people could be duped by a computer program was very disconcerting.

-> cela n'a aucun rapport avec mon post et ce qui a défrayé la chronique avant-hier, qui est l'imitation quasi-parfaite de la VOIX d'un chanteur/rappeur connu par le truchement d'une IA, c'est ça qui est récent, et c'est la première fois, avant-hier, qu'un morceau se faisant passer pour un original s'est retrouvé sur presque toutes les plateformes de streaming à être écouté par des millions de gens, au grand dam de la maison de disque qui signe ces deux artistes ainsi imités.

Et avec les IAs actuelles depuis quelques années aussi :
https://www.theverge.com/2016/12/23/...h-deepbach-csl

Ton article s'intitule: "Can you tell the difference between Bach and RoboBach?"
-> même chose, tu n'es pas le sujet du fil, la news qui a fait le tour du monde le 18 Avril 2023 concerne la voix chantée/rappée.

Je pourrai donner des détails du procédé si ça intéresse du monde et si c'est permis par la charte.

[pm42]

En effet. Erreur de ma part.

[A voir en vidéo sur Futura]

[GBo]

Ca arrive au meilleur, no soucy

[Deedee81]

Salut,

D'une manière générale, les plagiat (volontaires ou juste pour s'amuser) dû aux I.A., ça commence à faire le buzz.

Même dimanche j'ai vu un dessin humoristique de Pierre Kroll qui s'en moquait.

Mais au moins là, il n'y as de réel problème dans la mesure où les lois existent déjà (on ne peut pas plagier sauf .... circonstances particulières : autorisations, paiement de droits d'auteurs, parodies).
Et donc s'il y a des abus, les personnes lésées peuvent porter plainte.

[Flyingbike]

@GBo, tu te limites à la musique ? ("artistes")

Niveau peinture, je ne suis pas un spécialiste, mais Dall.e peut être sacrément impressionant

[Deedee81]

EDIT pas assez rapide, Flyingbike s'est intercalé Ci-dessous je m'adresse à GBo bien entendu !

Mais..... en dehors de "c'est une IA qui l'a fait", où est le sujet scientifique ?????

Rappelons qu'on est sur Futura Science et pas sur Futura parlons des IA ou sur Futura Actualités.

Par contre les détails du procédé, ça c'est intéressant, scientifique (enfin, j'espère ) et en charte. Donc n'hésite pas, ça donnera un coté légitime à cette discussion
(de plus je suis sûr que les techniques en question doivent en intéresser plus d'un)

[Baal149]

Bonjour,

Mais au moins là, il n'y as de réel problème dans la mesure où les lois existent déjà (on ne peut pas plagier sauf .... circonstances particulières : autorisations, paiement de droits d'auteurs, parodies).
Et donc s'il y a des abus, les personnes lésées peuvent porter plainte.

A ma connaissance le plagiat en chanson se base sur la copie de textes et/ou d'accords ; et non sur la ressemblance de la voix.

Question : si une IA reproduit la voix, produits des rythmiques similaires (sans qu'il y ait pour autant d'accords identiques), écrit des textes sur les mêmes thèmes (sans pour autant copier des passages) ; est-ce que c'est du plagiat ?
Je suis pas sûr que la réponse (et donc le problème que peu poser ces IA) soit si facile à résoudre.

[Archi3]

Ton article s'intitule: "Can you tell the difference between Bach and RoboBach?"
-> même chose, tu n'es pas le sujet du fil, la news qui a fait le tour du monde le 18 Avril 2023 concerne la voix chantée/rappée.

Je pourrai donner des détails du procédé si ça intéresse du monde et si c'est permis par la charte.

l'aspect imitation "technique" a des aspects scientifiques et technologiques, mais pour ce qui est de l'humain, le côté "artistique" met en jeu bien d'autres choses que la technique. Je me souviens d'avoir eu une discussion intéressante avec un critique d'art moderne où je lui exprimais mon scepticisme devant le côté "professionnel" de faire des monochromes , que n'importe quel enfant pouvait faire, et il m'expliquait que l'invention était aussi de faire ça à un certain moment, dans un certain contexte, et dans un certain milieu. De la même façon qu'un tableau peut perdre énormément de valeur quand on découvre qu'il a été peint par un faussaire, alors que ses qualités artistiques intrinsèques n'ont pas bougé. Il y a donc des choses intrinsèquement non scientifiques et objectives quand on parle d'art.

[GBo]

@GBo, tu te limites à la musique ? ("artistes")
Niveau peinture, je ne suis pas un spécialiste, mais Dall.e peut être sacrément impressionant

Oui tu as raison, et même en fausse photographie, cf. cette news toute récente où le "promptographe" derrière DALL-E 2 a gagné le prix du concours photo de façon indue:
https://news.artnet.com/art-world/bo...dall-e-2286622
(pourtant on constate des doigts monstrueux et un problème de profondeur de champ dont l'étroitesse est incompatible avec la netteté sur les deux visages à la fois, vu qu'ils ne sont pas sur le même plan).

Le titre du fil est trop large, je voulais me limiter à l'imitation de la voix chantée ou parlée en rythme car il y a une percée récente en qualité et facilité d'obtention / passage à l'échelle dans ce domaine, avec des modèles pré-entrainés (ou à entrainer soi-même avec des stems*) pour imiter des artistes et célébrités. Facilité toute relative car pour imiter par exemple un rappeur synchronisé sur un beat, il faut rapper avec sa voix mais avec le "flow" du rappeur connu, l'IA ne fait qu'appliquer le timbre (en suivant les inflexions de la source) pour compléter l'imitation de façon quasi parfaite.

Ici une imitation de Kendrick Lamar par un gars qui une voix très différente à la base mais qui a bien saisi la prosodie et les placements rythmiques particuliers de Kendrick:
https://youtu.be/KCBJF5dDklk

Sur la méthode, et ceci répond à Deedee81, il y a des tutos sur Youtube, par ex : "Tutorial: So Vits SVC (vocal audio ai convertor) - PPP 2023", avec les liens vers GitHub. L'imitation de Drake a été faite avec so-vits-svc version 4, abrégé de "SoftVC VITS Singing Voice Conversion". Il faut s'y connaitre un peu (en Python) pour l'utiliser, plus le talent de chanter/rapper.

Par contre je ne suis pas encore assez calé pour expliquer le background scientifique, sorry. Mais ça reste une avancée scientifique pour moi puisque qu'une étape a été franchie (le fait que des connaisseurs se trompent) et je voulais vous en faire part.

[GBo]

Ici une imitation de Kendrick Lamar par un gars qui une voix très différente à la base mais qui a bien saisi la prosodie et les placements rythmiques particuliers de Kendrick:
https://youtu.be/KCBJF5dDklk

Erratum c'est un fake, décodé ici (c'est bien une IA qui sort la voix de Kendrick Lamar, mais c'est du text-to-voice, et non du voice-to-voice):
https://youtu.be/DF8B2NlOb_0

[ArchoZaure]

Si je comprends bien.
En fait on n'imite pas une voix complètement mais on transforme une voix (une succession de sons qui présente un certain nombre de caractéristiques) pour que son timbre, sa tonalité, ressemble à cette autre voix.
Il faut quand même produire "manuellement" une première voix présentant un rythme de phrasé avec des montées et descentes de tonalité qui se rapproche de la voix à imiter.
Puis ensuite on fait passer la moulinette IA pour ajuster le timbre et la tonalité.

Pour le dire autrement, il ne suffit pas d'écrire un texte pour que ça sorte la voix ciblée (même avec des symboles supplémentaires, c'est pas suffisant).
Et d'ailleurs, même les outils (très développés de nos jours) qui peuvent produire des voix à la demande à partir d'un texte ne peuvent pas produire exactement la voix qu'on voudrait.
Dans la voix il y a l'expression de l'émotion, et cette expression c'est celui qui parle qui la définie au moment où il parle.

Et d'ailleurs c'est assez logique puisque nous n'avons pas une seule voix, mais plein de variantes en fonction des contextes.
Dire, on va limiter "une" voix d'un individu, Ok, mais laquelle ? Celle de la colère, de la joie ou de la fatigue ou de, ou de etc.

Maintenant si le gars il chante toujours pareil comme un robot et que sa voix est de base déformée par des effets spéciaux dans ses "chansons" (ou qu'il parle avec des intonations, chanter c'est plutôt à l'opéra ), c'est plus facile.

EDIT :

Voilà, tout s'explique.

Erratum c'est un fake, décodé ici (c'est bien une IA qui sort la voix de Kendrick Lamar, mais c'est du text-to-voice, et non du voice-to-voice):
https://youtu.be/DF8B2NlOb_0

[Deedee81]

Bonjour,

Mieux vaut tard que jamais, j'ai cru que le fil a été oublié et là pouf pleins de messages avec des informations assez techniques.

Merci à tous.

Et donc pour essayer de rester plus carré, thématique et comme on est clairement dans l'algorithmique (que ce soit avec IA ou pas d'ailleurs) je déplace en .... algorithmique.

[umfred]

Guetta a fait le buzz en utilisant la voix de Eminem lors d'un show https://www.francetvinfo.fr/replay-r...e_5636963.html
En 2017/2018, Taryn Southern (artiste Youtube) a sortie un album composé par AI
https://www.bbc.co.uk/music/articles...5-62175d33d557
https://www.forbes.com/sites/danscha...h=5e5d5c17f31d
https://tarynsouthern.com/album/

[GBo]

Oui, là c'est du text-to-voice, Guetta a utilisé l'appli Uberduck:

https://app.uberduck.ai/speak#mode=t...e=eminem-arpa2

Après avoir créé un compte (gratuit), je viens de recréer le passage, dont voici le texte:

This is the future rave sound
I’m getting awesome and underground.

NB: bien mettre le point après underground sinon la prononciation est bizarre.

[GBo]

Avec "Kanye West (rapping) (by zwf)", c'est plus riche techniquement car on a accès à la courbe des inflexions, ici par exemple je l'ai modifiée pour que la hauteur de la voix (le pitch) remonte à la fin de la phrase: