L'IA créatrice

[Liet Kynes]

Bonjour,

Un travail interessant

https://news-mit-edu.translate.goog/..._x_tr_pto=wapp

https://www.nature.com/articles/s41467-026-75667-5
-----

[GBo]

Je n'ai pas bien compris : si on supprime tous les tableaux de Van Gogh de la base d'entrainement, l'IA générative peut toujours sortir des images "à la" Van Gogh ? Gros doute.

[Liet Kynes]

Oui c'est bien cela et cela rebat les cartes pour la polémique sur les droits d'auteurs

[GBo]

Sauf que la preuve rigoureuse que mon exemple est vrai ou seulement plausible n'a pas été apportée : le coût de réentrainer une IA comme Mid Journey en enlevant toutes les références à Vincent Van Gogh (puis Egon Schiele, puis Edward Hopper, puis Keith Haring etc... pour être sûr de son coup avec d'autres artistes singuliers reconnaissables) est prohibitif, largement inaccessible pour une université. Les chercheurs ont donc été contraints de "tricher", et risquent de se rendre coupables d'extrapolation quant aux résultats sur des IA grandeur nature. Je n'ai pas encore lu l'article (je vais le faire), mais le ver est sûrement dans la méthodologie.
Le principe de Sagan s'applique ici : « des affirmations extraordinaires nécessitent des preuves extraordinaires ».
Note que ce n'est pas le problème du droit d'auteur qui m'intéresse ici (et que l'on devrait discuter), mais la vérité prétenduement scientifique de certaines affirmations.

[A voir en vidéo sur Futura]

[Liet Kynes]

Ils ont trouvés une méthode !

[Cyrano]

quand on entraine une IA sur un grand ensemble d'oeuvres (peintures, musiques, livres etc ..) est ce qu'on lui donne l'information sur l'auteur? je suppose que oui sinon on ne pourrait pas lui demander de générer des oeuvres " à la manière de"; Mais dans ce cas les oeuvres générées explicitement "à la manière de" sont forcément influencées par et attribuables aux oeuvres originales...

[Liet Kynes]

quand on entraine une IA sur un grand ensemble d'oeuvres (peintures, musiques, livres etc ..) est ce qu'on lui donne l'information sur l'auteur? je suppose que oui sinon on ne pourrait pas lui demander de générer des oeuvres " à la manière de"; Mais dans ce cas les oeuvres générées explicitement "à la manière de" sont forcément influencées par et attribuables aux oeuvres originales...

Merci de ton éclairage expert que tu devrais partager avec les chercheurs du MIT qui semblent ne pas bien avoir compris comment cela fonctionne.

[Cyrano]

Merci de ton éclairage expert que tu devrais partager avec les chercheurs du MIT qui semblent ne pas bien avoir compris comment cela fonctionne.

en quoi ce que j'ai dit est contradictoire avec le travail des chercheurs du MIT ?

[Liet Kynes]

C'est justement ce qu'ils ont développés : "l'attribution decay"

"Les scientifiques ont identifié un phénomène qu'ils appellent la dégradation de l'attribution : plus un modèle génératif est entraîné sur un grand nombre de données, moins chaque exemple d'entraînement a d'importance pour un résultat particulier. Cela peut paraître contre-intuitif, mais à grande échelle, ils constatent qu'on peut souvent supprimer une image des données d'entraînement, ou toutes les images d'un artiste donné, ou encore toutes les photographies d'une personne donnée, sans que l'échantillon généré ne soit modifié."

[mh34]

ils constatent qu'on peut souvent supprimer une image des données d'entraînement, ou toutes les images d'un artiste donné, ou encore toutes les photographies d'une personne donnée, sans que l'échantillon généré ne soit modifié.

Citation de l'article.
Je n'ai pas lu celui de Nature, mais j'ai une question ; comment peuvent-ils être absolument certains qu'il ne reste aucune trace des données qu'ils ont supprimées?
Peuvent-ils en apporter la preuve?

Un peu plus loin ;

Y répondre honnêtement impliquait de réentraîner le modèle à partir de zéro sans cette image, puis de répéter l’opération pour chaque image

Mais apparemment c'est beaucoup trop cher...

La suite :

Leur solution de contournement repose sur une architecture qu'ils ont eux-mêmes conçue, appelée « ensemble de diffusion ». Au lieu d'un modèle monolithique, elle est composée de nombreux composants plus petits, chacun entraîné sur une portion différente des données. Vous voulez savoir comment le modèle se comporterait sans une image particulière ? Il suffit de désactiver les parties qui l'ont utilisée. Aucun réentraînement, aucune approximation. On obtient ainsi un véritable modèle contrefactuel, et non une simple estimation.

Pour ce que j'ai souligné en gras : ils entendent quoi par là?

[Liet Kynes]

ils entendent quoi par là?

La soustraction des oeuvres de la base est totale. Cela veut dire que l'IA n'as jamais vu un VAN GOGH mais peu faire du VAN GOGH quand même

[Liet Kynes]

le t de mon clavier est fainéant ce matin et le s trop actif

[mh34]

La soustraction des oeuvres de la base est totale. Cela veut dire que l'IA n'as jamais vu un VAN GOGH mais peu faire du VAN GOGH quand même

Comment peuvent-ils être absolument certains qu'il ne reste aucune trace?

[Liet Kynes]

La méthode est complexe, perso je me contente de la vulgarisation mais vu les enjeux cette méthode risque d'être vue et revue sous toutes les coutures par pas mal d'équipes.
https://www.nature.com/articles/s414...67-5/figures/2

[mh34]

La méthode est complexe, perso je me contente de la vulgarisation mais vu les enjeux cette méthode risque d'être vue et revue sous toutes les coutures par pas mal d'équipes.
https://www.nature.com/articles/s414...67-5/figures/2

Voilà. C'est ça qui est important.

[Liet Kynes]

En même temps le MIT c'est loin d'être des charlots..

[Cyrano]

C'est justement ce qu'ils ont développés : "l'attribution decay"

"Les scientifiques ont identifié un phénomène qu'ils appellent la dégradation de l'attribution : plus un modèle génératif est entraîné sur un grand nombre de données, moins chaque exemple d'entraînement a d'importance pour un résultat particulier. Cela peut paraître contre-intuitif, mais à grande échelle, ils constatent qu'on peut souvent supprimer une image des données d'entraînement, ou toutes les images d'un artiste donné, ou encore toutes les photographies d'une personne donnée, sans que l'échantillon généré ne soit modifié."

dans ce cas comment pourrait-il générer une oeuvre dans le style d'un auteur si il a oublié de qui venaient les oeuvres ? qu'on ne puisse pas attribuer la création à UN exemple particulier c'est une chose, qu'il ne garde pas la mémoire collective de l'ensemble de l'oeuvre en est une autre. Ca me parait contradictoire de dire qu'il a oublié d'où venaient les oeuvres et en même temps qu'il puisse les reproduire.

Je ne vois pas comment on pourrait entrainer sur des peintures en excluant celles de Picasso puis ensuite qu'il soit capable de reproduire des oeuvres dans le style de Picasso, ça parait totalement absurde puisqu'il ne peut pas savoir qui était Picasso.

En même temps le MIT c'est loin d'être des charlots..

Certes mais il se peut que des charlots lisent leurs articles et les comprennent de travers ....

[GBo]

Picasso n'est pas forcément un bon exemple car dans le mouvement cubiste il y aussi George Braque, Fernand Léger, les Delaunay etc..., c'est pour ça que je prenais l'exemple de peintres au style caractéristique qui (à ma connaissance d'amateur d'art) n'ont pas été suivis depuis.

Picasso:

[GBo]

Robert Delaunay :