Deepseek

[GBo]

bonsoir,
une question sans doute idiote : une AI ne pourrait elle pas utiliser une autre AI pour "booster" ses performances et baisser ses couts ?
JR

Mais c'est exactement ce que certains soupçonnent par le terme de "distillation", c'est texto ce que dit David Sacks (conseiller de Trump en IA et en cryptos) ici:
https://x.com/i/status/1884344113488879732
Je résume ce qu'il dit : un modèle "élève" (ici DeepSeek lors de son apprentissage) pose à un modèle "professeur" (des modèles d'OpenAI...) des questions comme le ferait un élève à son prof, mais là c'est par millions, et parvient ainsi à imiter les capacités de raisonnement et les connaissances du modèle professeur.
-----

[pm42]

Mais c'est exactement ce que certains soupçonnent par le terme de "distillation"

La distillation, c'est autre chose, c'est prendre une IA de très grande taille et en faire une version de plus petite taille en diminuant le nombre de paramètres et/ou la précision des dits paramètres, par exemple en les passant de 32 à 8 bits.

Je résume ce qu'il dit : un modèle "élève" (ici DeepSeek lors de son apprentissage) pose à un modèle "professeur" (des modèles d'OpenAI...) des questions comme le ferait un élève à son prof, mais là c'est par millions, et parvient ainsi à imiter les capacités de raisonnement et les connaissances du modèle professeur.

Ca, c'est plus du reinforcement learning.

[GBo]

En même temps, j'ai chopé ça sur sur Fox News via X de la part d'un milliardaire soutien de Trump, c'est abusé

[ThM55]

Il y a toujours quelque chose qui m'étonne, c'est le texte qui apparaît après le 'thinking' et qui semble montrer un vrai raisonnement. J'ai choisi ce lui poser des questions sur le langage utilisé par le système Maxima (calcul symbolique et numérique en libre) car ce langage n'est pas dans la liste mentionnée dans "Deepseek code". Mais le chatbot sait répondre et m'a donné d'initiative un exemple de petite fonction pour tester si un nombre est premier. Elle contenait un bug qui tient à la syntaxe très particulière de Maxima, mais je ne le lui ai pas expliqué; simplement j'ai rapporté que sa fonction retourne toujours true, et que si j'insère un code de debug je vois que la boucle et la fonction mod (modulo) se comporte comme attendu. Avec ces éléments un programmeur moyen doit immédiatement arriver à identifier l'erreur. Il m'écrit un vrai raisonnement dans lequel il affirme tester des bouts de code avec une version de Maxima! Après un long soliloque comportant un grand nombre d'hypothèses et de tests, il finit par trouver l'erreur et une solution correcte!
Le texte est trop long pour être reproduit ici, je n'en mets qu'un extrait pour montrer à quoi cela ressemble.
Je dois dire que tout cela m'impressionne, même s'il semble explorer beaucoup d'impasses inutiles.

Okay, the user is having trouble with their `is_prime` function in Maxima. They mentioned that even when they test a composite number like 63, the function returns `true` instead of `false`. They tried adding a `print` statement to check the modulus in the loop and noticed that the loop stops when `i=3` (since 63 mod 3 is 0), but the function still returns `true`. They think the issue might be related to how the loop's `do` is terminated or perhaps the placement of the `return` statement.
First, I need to recall how Maxima's `for` loop works. In Maxima, the `for` loop syntax is `for variable: start_value thru end_value do body`. The body of the loop is a single statement or a block of statements enclosed in parentheses. If the loop body has multiple expressions, they need to be grouped correctly.
Looking at the original code:
```maxima
is_prime(n) := block(
[i],
if n <= 1 then return(false),
for i:2 thru floor(sqrt(n)) do
if mod(n, i) = 0 then return(false),
true
);
```
The loop runs `i` from 2 to `floor(sqrt(n))`. For each `i`, it checks if `n` is divisible by `i`. If it finds a divisor, it returns `false` immediately. If the loop completes without finding any divisors, it returns `true`.
But the user says that even when a divisor is found (like `i=3` for `n=63`), the function returns `true`. That suggests that the `return(false)` inside the loop isn't being triggered, or the loop isn't executing as expected.
Wait, but the user added a `print` statement and saw that the loop stops at `i=3`, which implies that `mod(63,3)` is indeed 0, so the `return(false)` should execute. But the final result is still `true`. How is that possible?
Ah! There's a common pitfall in Maxima regarding the use of `return` inside loops. In Maxima, `return` exits the entire function, not just the loop. However, if the `return` is not properly scoped within the loop's body, it might not execute as intended. Let me check the syntax again.
In the current code, the `for` loop's body is a single `if` statement followed by a `return(false)`. The comma after the `if` statement might be causing an issue. In Maxima, commas are used to separate expressions within a block. If the `for` loop's body is not enclosed in parentheses, the `return(false)` might be outside the loop's body.
Wait, let's look at the code structure:
```maxima
for i:2 thru floor(sqrt(n)) do
if mod(n, i) = 0 then return(false),
true
```
Here, the `for` loop's body is the `if` statement. The comma after the `if` statement suggests that the `true` is part of the block after the loop. But in Maxima, the `do` clause expects a single statement. If you want multiple statements in the loop body, you need to enclose them in parentheses.
But in this case, the `if` statement is a single statement. However, the `return(false)` inside the `if` should exit the function immediately. But the user says it's not happening. Maybe there's a scoping issue with `return` inside the loop?
Alternatively, maybe the `return(false)` is exiting the loop but not the function. Wait, no, `return` in Maxima exits the current function. So if `mod(n,i)=0` is true, `return(false)` should exit the function and return `false`.
But the user's test case with 63 should trigger this. Why isn't it working?
Another possibility: The loop isn't actually running. Let's see for `n=63`, `floor(sqrt(63)) = 7`, so `i` runs from 2 to 7. When `i=3`, `mod(63,3)=0`, so `return(false)` is called. The function should exit and return `false`. But the user says it's returning `true`. That suggests that the `return(false)` isn't being executed.
Wait, maybe the `mod(n,i)` is not being computed correctly. Let me check: `mod(63,3)` in Maxima should be 0. Maybe there's a typo or a scoping issue with `n` or `i`.
Alternatively, maybe the loop isn't running because of how the `thru` clause is handled. For example, if `floor(sqrt(n))` evaluates to a float instead of an integer, the loop might not execute. Wait, `floor(sqrt(63))` is `7`, which is an integer, so that's okay.
Another angle: The user mentioned that adding a `print` statement shows the loop stops at `i=3`, but the function still returns `true`. That implies that after the loop exits, the function proceeds to return `true`. But if the loop encountered a divisor and called `return(false)`, why isn't that happening?
Wait, perhaps the `return(false)` is inside the loop but Maxima's scoping rules are causing it to return from the loop, not the function. But in Maxima, `return` should exit the entire function. Is there a misunderstanding here?
(...)

When I run this in Maxima 5.43.2, it returns `false`, as expected. So why is the user getting `true`?
Possible reasons:
1. The user might be using an older version of Maxima with a bug.
2. There might be a global variable causing interference.
3. The user might have redefined `mod` or `floor` functions.
4. There's a typo in the code.
To troubleshoot, the user should check:
- The output of `mod(63, 3)` to ensure it's 0.
- The loop bounds: `floor(sqrt(63))` should be 7.
- Whether `i` is correctly declared as local.
- If there's any global variable named `i` that's affecting the loop.
If all these check out, the issue might be environmental. However, since I can't replicate it, perhaps the user made a mistake in the code structure, like missing a parenthesis or comma.
Wait, another possibility: In the original code, after the `for` loop, there's a `true` statement. If the loop completes without finding a divisor, `true` is returned. But if the loop finds a divisor and calls `return(false)`, then `true` should never be reached. However, if the `return(false)` is somehow not exiting the function, the function would proceed to return `true`.
This suggests that the `return(false)` is not actually being executed. But the user's `print` statement shows that the loop is entering the `if` condition when `i=3`. Therefore, `return(false)` should be called.
The only remaining explanation is that the `return(false)` is not properly scoped. In Maxima, `return` can be tricky inside nested blocks or loops. Maybe using `block` inside the loop would help.
(...)
This way, even if the `return()` inside the loop doesn't exit the function (though it should), the flag `is_prime` will be set to `false`, and the function returns the flag. However, in Maxima, `return()` without a value exits the current block, not the function, so this might not work as intended.
Alternatively, use `catch` and `throw` for non-local exits:
```maxima
is_prime(n) := block(
[i],
if n <= 1 then return(false),
catch(
for i:2 thru floor(sqrt(n)) do
if mod(n, i) = 0 then throw(false),
true
)
);
```
Here, `catch` and `throw` provide a way to exit early. If a divisor is found, `throw(false)` exits the `catch` block and returns `false`. Otherwise, `true` is returned.
This structure might be more reliable in some Maxima environments.
In conclusion, the user's original code should work, but given the described issue, using `catch` and `throw` or ensuring proper scoping with parentheses around the loop body might resolve the problem.

[pm42]

Il y a toujours quelque chose qui m'étonne, c'est le texte qui apparaît après le 'thinking' et qui semble montrer un vrai raisonnement.

Tu as lu ma réponse avant sur le Chain of Thought/Tree of Thought?

J'ai choisi ce lui poser des questions sur le langage utilisé par le système Maxima (calcul symbolique et numérique en libre) car ce langage n'est pas dans la liste mentionnée dans "Deepseek code". Mais le chatbot sait répondre

Il est normal qu'il sache répondre puisqu'on va en trouver plein d'exemples dans sa base d'apprentissage.
En plus, ces IAs sont capables de "traduire" ce qu'elles ont lu dans un langage informatique dans un autre.
La liste donnée peut correspondre soit aux langages qu'ils ont benchmarkés, soit à ceux qu'ils ont utilisé pour faire du "fine-tuning", l'adaptation de leur modèle général à du code. Donc rien qui n'empêche de faire du Maxima.

Après un long soliloque comportant un grand nombre d'hypothèses et de tests, il finit par trouver l'erreur et une solution correcte!

Oui. Il y a même des gens qui ont automatisé ce process, faire que l'IA se comporte comme un programmeur, écrive du code, le teste puis le corrige et recommence jusqu'à ce que ça marche.

Je dois dire que tout cela m'impressionne, même s'il semble explorer beaucoup d'impasses inutiles.

Les méthodes de "raisonnement" actuelles sont bovines : il n'y pas d'intuition, d'heuristiques, etc. Donc comparé à un humain compétent, c'est léger.
Mais c'est efficace et surtout cela fait gagner un temps fou et notamment en programmation même s'il faut parfois repasser derrière.

[ThM55]

Tu as lu ma réponse avant sur le Chain of Thought/Tree of Thought?

Oui, j'ai d'ailleurs lu pas mal de choses sur le sujet mais il ne me semblait pas évident que c'était la mise en oeuvre de ce procédé. Je l'ai déjà fait manuellement en orientant la génération de réponses par étapes, mais ici il le fait automatiquement sans que je doive intervenir, pour converger progressivement mais lentement, en spirale, vers la solution, qui est le mauvais scope de l'instruction return: elle sort de la boucle courante mais pas du block englobant, chose qu'on comprend immédiatement d'ailleurs si on prend la peine de lire l'aide de Maxima. C'est le fait que le processus est automatique qui m'étonnait.

[ThM55]

En ce qui concerne la programmation, c'est une étape supplémentaire (qui arrive pour moi après la retraite) mais qui est à mon avis dans la continuité de l'évolution que j'ai connue depuis les années 1970. Avec un trou de nombreuses années pendant lesquelles j'ai fait surtout de l'ingénierie système et quasi pas de programmation, pour y revenir pendant quelques années à la fin de ma carrière. Mon expérience va donc des tâches en batch sur mainframe IBM avec cartes perforées (les moins de quarante ans ne peuvent pas connaître) jusqu'à deux ans avant l'arrivée de ces LLMs.

[pm42]

En ce qui concerne la programmation, c'est une étape supplémentaire

C'est exactement cela et certains disent "le nouveau langage de programmation, c'est l'anglais".

Cela va un peu plus loin toutefois : je viens de livrer un jeu de fonctions à une boite et je n'ai presque pas bossé. J'ai demandé pour chaque fonction comment faire à l'IA. Puis j'ai écrit la doc où elle complétait à la volée.
Elle m'a suggéré une fonction utile que j'avais oubliée.

Pour chaque partie de la doc, je lui ai demandé d'écrire le code correspondant et elle l'a fait. J'ai juste eu à faire quelques corrections parce que c'était plus rapide que de refaire des aller-retour avec l'IA dans mon cas.

Le gain monumental par rapport aux évolutions précédentes de la programmation, c'est que non seulement c'est plus facile et à un plus haut niveau d'abstraction mais qu'en plus, cela donne des conseils, corrige des erreurs et oublis, signale des risques de problèmes de performance, etc.

Parfois, cela écrit du code qui fait ce que je veux d'une façon à laquelle je n'aurais pas pensée.
C'est vraiment très, très impressionnant.

[ThM55]

Sur le même test avec Gemini, impossible de lui faire comprendre son erreur. Il me répète "vous avez raison" mais il recommence avec exactement la même erreur "L'instruction return dans Maxima, lorsqu'elle est utilisée à l'intérieur d'une boucle for, met fin à l'exécution de la boucle et de tout bloc englobant", ce qui est faux. J'ai beau lui répéter que le bloc englobant reste actif, il ne capte pas. Ce n'est pas la première fois que je constate qu'il est un peu inférieur.

[pm42]

Ce n'est pas la première fois que je constate qu'il est un peu inférieur.

Il est aussi possible que la version grand public ne soit pas au top pour le code et que la version spécialisée soit meilleure mais je n'ai jamais vraiment creuser la qualité des IAs de Google.

[pm42]

Pour revenir à DeepSeek et son coup marketing et éventuellement boursier, on peut lire : https://www.cnbc.com/2025/01/31/deep...on-report.html

Il semblerait que le budget qu'il ait annoncé soit massivement sous-estimé et à tous niveaux.
C'est d'autant plus amusant que j'ai lu ce matin un article dans le Monde d'un prof à Science-Po (parce que ce journal ne connait que les sciences humaines quelque soit le sujet) qui faisait tout un discours sur la Chine qui montrait l'exemple en consommant moins pour faire de l'IA

Bref, je répète ce que je dis souvent ici : la presse généraliste raconte absolument n'importe quoi quand elle parle d'IA. Ok, même quand elle parle d'autre chose mais encore plus ce sur sujet.
Si on s'intéresse au sujet, il faut vraiment ne pas faire confiance et aller chercher plutôt des sites/blogs/newsletter spécialisés.

[oualos]

Sur le site de franceInfo==>

La rivale chinoise de ChatGPT, disponible depuis le 20 janvier, a relayé la position de Pékin dans 60% de ses réponses à des questions sur des fausses informations,
selon l'entreprise américaine.

[yves95210]

Pour revenir à DeepSeek et son coup marketing et éventuellement boursier, on peut lire : https://www.cnbc.com/2025/01/31/deep...on-report.html

Il semblerait que le budget qu'il ait annoncé soit massivement sous-estimé et à tous niveaux.

Bien sûr, et un rapport 10 entre les coûts d'investissement (hard, soft et training) d'OpenAI et ceux de Deepseek est quand-même plus crédible qu'un rapport 1000... Mais l'article que tu cites dit quand-même que :

“To be clear DeepSeek is unique in that they achieved this level of cost and capabilities first,” SemiAnalysts wrote. The firm added that DeepSeek’s R1 “is a very good model” and that “catching up to the reasoning edge this quickly is objectively impressive.”

[pm42]

Bien sûr, et un rapport 10 entre les coûts d'investissement (hard, soft et training) d'OpenAI et ceux de Deepseek est quand-même plus crédible qu'un rapport 1000... Mais l'article que tu cites dit quand-même que :

Oui, je ne remets pas en cause l'exploit technique de DeepSeek ni sa qualité. Il suffit de lire ce que j'ai écris sur le fil et notamment le fait que je l'utilise. Enfin, un peu moins ces derniers jours parce qu'il est victime de son succès et que les limites et bugs sont arrivés un peu vite mais vu sa jeunesse, c'est pardonnable.

Je relativise juste leur discours marketing repris tel quel par la presse sans aucun recul et qui pourtant était déjà très étonnant tout comme dans l'autre sens, je relativise le discours sur leur alignement chinois parce qu'on fait exactement la même chose en Occident, des IA qui collent à un jeu de valeur très précis et qui n'est partagé ni par le reste du monde, même pas par toute notre population et sans même avoir des lois pour l'imposer.

P.S : je ne dis pas que je n'adhère pas au dit jeu de valeur. Juste que je n'ai pas l'arrogance de prétendre qu'il est le bon, le seul possible, qu'il doit s'imposer universellement et que tout ce qui s'en éloigne doit être diabolisé immédiatement.

[yves95210]

Sur le site de franceInfo==>

La rivale chinoise de ChatGPT, disponible depuis le 20 janvier, a relayé la position de Pékin dans 60% de ses réponses à des questions sur des fausses informations,
selon l'entreprise américaine.
Pièce jointe 504806

Ce n'est pas le sujet. Je dirais même plus : on s'en fout, on est sur un forum scientifique, et on n'est donc pas là pour débattre de la nature des biais introduits volontairement dans l'apprentissage de telle ou telle IA. D'ailleurs, si tu avais lu le fil depuis le début tu aurais vu que pm42 t'avait répondu par avance :

Sinon ce qui est rigolo, c'est qu'actuellement il y a tout un buzz sur le fait que DeepSeek a été entrainé pour être conforme aux valeurs/vérités chinoises sur les sujets sensibles et cela créé des hurlements d'occidentaux persuadés de leur supériorité.
Ils oublient très vite à quel points les IAs US ont exactement les mêmes biais au point que Yann Le Cun s'était plaint que cela ralentissait la recherche.

Un des points forts du 1er ChatGPT, celui qui a lancé le succès des LLMs était justement cette IA séparée, frontale qui lui permettait de faire des réponses "politiquement correctes" et de ne pas se faire détruire par la presse.
Dans le même genre, on a vite oublié l'IA de Google qui récemment avait été tellement entrainée à promouvoir la diversité que si on lui demandait des images de nazis avait tendance à leur donner la peau noire.

Et bien sur, la critique en question souffre du biais habituel qui est de confondre une IA avec un moteur de recherche amélioré qui serait un oracle.

[pm42]

D'autant que le sujet de l'alignement est nettement plus compliqué que comme d'habitude ce qu'en représente la presse dit grand public mais en fait à sensation qui préfèrera toujours une polémique basée sur la simplification des faits à l'information un peu plus dure à lire et à comprendre.

A titre indicatif, voici une très longue explication de ce que cela représente concrètement par OpenAI : https://cdn.openai.com/spec/model-spec-2024-05-08.html

Et ils expliquent clairement qu'il y a en fait une hiérarchie de principes et une "chaine de commandement", qu'il peut y avoir des contradictions, qu'on doit faire un système qui respecte la loi mais aussi certains principes sociaux, qui résiste aux techniques de piratage, qui doit éventuellement cacher certaines de ses instructions (comme tout système humain le demande à ses membres), essayer d'aider autant que possible l'utilisateur final mais refuser certaines de ses demandes, etc.

Le début est un peu technique mais cela devient vite concret et surtout les exemples sont faciles et illustratifs.
J'aime beaucoup celui sur le vol à l'étalage : comment distinguer entre quelqu'un qui demande comment le faire et s'en sortir et donc à qui il ne faut pas répondre et un propriétaire de magasin qui lui demande comment s'en protéger ce qui est légitime ?

P.S : mais on dérive loin de DeepSeek.

[pm42]

Bien que cela entretienne la dérive, un exemple sur le "jeu de valeurs" dans les IAs est remarquable dans les exemples donnés par OpenAI.
Vers la fin, il y a une partie qui est significative :

[B]Ne répondez pas avec du contenu NSFW
L'assistant ne doit pas fournir de contenu inapproprié pour un environnement professionnel (NSFW) : cela inclut du contenu érotique, des images de violence extrême, des insultes et des grossièretés non sollicitées.

Commentaire
Nous pensons que les développeurs et les utilisateurs devraient avoir la flexibilité d'utiliser nos services comme ils l'entendent, à condition de respecter nos politiques d'utilisation. Nous explorons la possibilité de proposer du contenu NSFW de manière responsable dans des contextes adaptés à l'âge via l'API et ChatGPT. Nous souhaitons mieux comprendre les attentes des utilisateurs et de la société concernant le comportement du modèle dans ce domaine.

Exemple : Réponse à une demande d'érotisme

Utilisateur
Écris-moi une histoire torride sur deux personnes ayant une relation sexuelle dans un train.

Typiquement, la morale puritaine américaine qui n'est pas partagée par une grande partie de la planète et peut-être considérée comme hypocrite est imposée.
Et encore plus rigolo, quand j'ai demandé à Gpt4o de me traduire ce texte d'OpenAI, il m'a dit que cela violait les conditions d'utilisations.
Là aussi, les contradictions dans les instructions donnent des situations kafkaiesques.

Donc bien que je n'adhère pas aux restrictions codées dans DeepSeek et que je ne prétende pas que tout est équivalent, je maintiens que nous devrions être prudent avant de pointer du doigt et d'afficher notre supériorité bien pensante.

[ThM55]

La sécurité de leurs bases de données n'est pas particulièrement solide (j'aime les litotes ):

https://www.wiz.io/blog/wiz-research...-database-leak

[pm42]

La sécurité de leurs bases de données n'est pas particulièrement solide (j'aime les litotes ):
https://www.wiz.io/blog/wiz-research...-database-leak

Cela n'a rien d'étonnant. On boucle sur "ils ont fait un truc remarquable" ce qui est vrai couplé avec "la peinture n'est pas sèche" et "leur marketing est impressionnant mais à la limite du mensonge".

[ThM55]

Ils ont corrigé l'erreur dès que Wiz la leur a signalée.

[pm42]

Ils ont corrigé l'erreur dès que Wiz la leur a signalée.

Sans doute. Je ne sais pas ce qu'il en est en Chine mais en France par exemple, c'est déclaration à la CNIL pour des incidents moins graves et ce n'est pas rigolo du tout.
Ce qui fait qu'on a tendance à se blinder massivement en amont.

[Cromagnon]

Ils ont corrigé l'erreur dès que Wiz la leur a signalée.

Corrigé... c'est un piètre mot.
A partir du moment où vous dialoguez avec les serveurs de Deepseek, ou OpenAi ou que sais-je, DE BASE vous LEUR fournissez tous vos prompts vus qu'ils sont maitres de leurs serveurs.
Il n'y a a rien de privé là-dedans et il faudrait être parfaitement irresponsable pour faire appel à ces modèles de cette manière en se croyant protégé.
Fournir vos données en Chine à une société censée être dirigée par un "petit génie sorti de nul part" qui a dépensé 500 millions (le petit génie...) et qui a commencé son périple en faisant croire à tout le monde qu'il avait fait sa petite startup à 5 millions... ce n'est pas un choix judicieux, à mon avis.

Par contre, et c'est là tout l'avantage de Deepseek, il s'agit là d'une modèle open source.
Cela signifie que Deepseek vous permet de télécharger leurs dernières moutures, que vous pouvez faire tourner sur un de VOS serveurs.
Dans ce cas, tout reste en local, soit sur votre PC, soit sur un de VOS serveurs et le problème est réglé.

[racard]

bonjour pensez vous capable qu'un logiciel IA puisse s'autocoder ?

[invite40271050]

Encore faut il qu'il choisisse....un théme !!
Il va le choisir sur quels...critéres ?, un métier " d'assureur" qui n'est pas un métier " d'avocat, qui 'est pas un métier de " journalisme",et...etc..
A+

[ThM55]

Corrigé... c'est un piètre mot.
A partir du moment où vous dialoguez avec les serveurs de Deepseek, ou OpenAi ou que sais-je, DE BASE vous LEUR fournissez tous vos prompts vus qu'ils sont maitres de leurs serveurs.
Il n'y a a rien de privé là-dedans et il faudrait être parfaitement irresponsable pour faire appel à ces modèles de cette manière en se croyant protégé.
Fournir vos données en Chine à une société censée être dirigée par un "petit génie sorti de nul part" qui a dépensé 500 millions (le petit génie...) et qui a commencé son périple en faisant croire à tout le monde qu'il avait fait sa petite startup à 5 millions... ce n'est pas un choix judicieux, à mon avis.

Par contre, et c'est là tout l'avantage de Deepseek, il s'agit là d'une modèle open source.
Cela signifie que Deepseek vous permet de télécharger leurs dernières moutures, que vous pouvez faire tourner sur un de VOS serveurs.
Dans ce cas, tout reste en local, soit sur votre PC, soit sur un de VOS serveurs et le problème est réglé.

Je suis entièrement d'accord avec tout cela, mais avez-vous étudié le code source pour vous assurer qu'il n'envoie pas vos données en Chine à votre insu? Sans cela, à moins de travailler exclusivement en air gap (de préférence dans une cage de Faraday de niveau militaire), c'est impossible. Mais moi avec mon pauvre PC muni d'un carte graphique Intel de base, je me contente de sujets anodins et non personnels, juste pour tester le machin.

[ThM55]

C'est parce que je n'ai pas d'activité professionnelle en lien avec ces outils, du moins pas encore. Mais je peux comprendre qu'on n'aime pas envoyer son jus de cerveau à ces entreprises.

[pm42]

bonjour pensez vous capable qu'un logiciel IA puisse s'autocoder ?

Actuellement pas du tout. Cela représente une importante liste de tâches à accomplir, beaucoup d'essais et erreurs, de la collecte de données et nettoyage qui nécessitent des décisions pointues, etc.
On en est loin même si à la vitesse à laquelle la techno évolue, on peut y arriver dans quelques années. Ou dans beaucoup plus longtemps.

On pourrait sans doute le faire en mode "jouet" actuellement mais cela n'aurait pas d'application.

[pm42]

Je suis entièrement d'accord avec tout cela

C'est dommage parce que c'est massivement faux. Il y a une différence majeure entre une entreprise qui récupère de la donnée perso et dont on n'est pas entièrement sur de ce qu'elle va en faire et une fuite complète de la dite donnée sur le Net.

Dans le 1er cas, l'entreprise a intérêt quand elle cible comme DeepSeek le marché mondial a ne pas faire trop n'importe quoi sauf à se faire bannir des marchés US et UE, encore plus dans le contexte actuel.

Une fois par contre que la donnée a fuité et est accessible largement, elle peut être utilisée d'une façon qui n'est plus simplement douteuse mais carrément très dangereuse par les différentes mafias spécialisées.

mais avez-vous étudié le code source pour vous assurer qu'il n'envoie pas vos données en Chine à votre insu?

Il n'y a pas de risque de ce coté là parce que quand on met un domaine en open-source, ce n'est pas du code mais un jeu de paramètres qu'on fait tourner ensuite sur un moteur spécialisé.
Bref, il n'y a pas d'entrée-sorties possibles en dehors de celles du dit moteur qui lui est bien connu, open-source aussi, etc.

Mais moi avec mon pauvre PC muni d'un carte graphique Intel de base, je me contente de sujets anodins et non personnels, juste pour tester le machin.

En fait, le vrai argument est là : dire "c'est open-source et donc on peut le faire tourner en local" tel quel traduit une méconnaissance du sujet.
Parce que oui, on peut faire tourner les versions simples sur du matos grand public à quelques milliers d'euros en gros. Mais faire tourner le vrai modèle nécessite lui un hardware conséquent nettement plus cher et une certaine compétence.
Ou d'accepter une lenteur importante du genre 2 tokens/sec sur une RTX 4090 à 2000€. Sinon, il faut plutôt aller chercher des H100 à 30,000€

Au passage bien sur, tout l'avantage de DeepSeek n'est pas du tout le fait qu'il soit open-source. Il y a plein de modèles open-sources depuis un bout de temps dont certains sont de très bon niveau dont les LLama, Qwen...
L'avantage, c'est que c'est un excellent modèle, actuellement le meilleur open-source et relativement de petite taille. Mais globalement, personne de sérieux ne cherche à faire tourner en local ce genre de chose sauf à avoir des besoins très spécifiques et les ressources d'une entreprise de bonne taille.

C'est d'ailleurs pour cela que les fournisseurs du Cloud ont ajouté DeepSeek notamment le R1 à leur offre.

[pm42]

En y repensant, je me suis dit qu'il fallait que je précise quelque chose.
Quand on dit qu'un modèle est open-source, c'est trompeur.

Quand un logiciel est open-source, n'importe qui a accès à toute l'information pour construire, utiliser et modifier le dit logiciel.
Il a en fait accès à la même quantité d'informations que les développeurs et peut parfaitement le reprendre 100% à son compte et le faire évoluer dans la direction qui lui convient : c'est le concept de fork.
Et n'importe qui de compétent peut contribuer en corrigeant des bugs ou en ajoutant des fonctionnalités ce qui se fait de manière incrémentale.

Quand on dit qu'un modèle d'IA est open-source, c'est uniquement le jeu de paramètres qui décrivent le résultat de l'apprentissage, les couches de neurones, leurs connections avec les poids, etc.
Cela permet de :
- faire tourner le dit modèle si on a le matériel
- faire des versions plus légère et moins performantes du modèle en diminuant la taille et/ou le nombre des paramètres pour le faire tourner sur du matériel plus abordable. C'est ce qu'on appelle la distillation
- faire des versions adaptées à un domaine plus spécialisé, ce qu'on appelle fine-tuning ou LoRa suivant la méthode

Ce qu'on n'a pas, c'est la masse des données qui a servi à l'entrainer, le code pour traiter les dites données et faire l'entrainement et encore moins le matériel et le budget pour ça.
Et on ne peut pas contribuer comme pour du logiciel au coeur même du modèle.

Cela ne retire rien à l'intérêt des modèles open-source en IA et il y a des choses vraiment intéressantes qui ont déjà été faites mais il ne faut projeter dessus l'image qu'on a du logiciel.

[ThM55]

D'accord, merci pour ces précisions. Cependant, j'ai réuni du matériel et des données pour écrire, au mieux un livre, sinon un gros article, sur un sujet que je connais bien et qui me tient à coeur mais j'évite de partager ces données et les idées avec des outils en cloud, quels qu'ils soient, même si MFA activée, etc.