On en a tous entendu parler je suppose: DeepSeek, le chatGPT chinois. Je l'ai essayé. Il donne des réponses très structurée avec des points numérotés et une synthèse finale, j'ai trouvé cela parfois un peu exagéré. Pour générer des scripts Python ou autres à partir d'une spec en français, il m'a semblé un peu moins bon que GPT4 mais ses explications du programme sont plus détaillées. Mais je n'ai pas encore fait beaucoup d'essais.
Oui, j'en avais parlé il y a 3 jours ici : https://forums.futura-sciences.com/a...ml#post7267557
C'est franchement très bon avec notamment leur modèle LRM en accès libre qui est nettement plus rapide que O1 même si pour le moment, je le trouve un peu moins bon.
A titre indicatif, il résoud le "problème" posé dans le thread en question sur les pains.
Mais par contre, je l'ai planté et quand je dis ça, c'est que sur une une question simple dans une discussion, il a commencé à me balancer une suite de chiffres sans fin à la place d'un texte donc un gros bug.
Il est aussi typé anglais/chinois même s'il se débrouille en français.
Il existe aussi en version distillée (simplifiée/allégée pour tourner sur du hardware abordable et presque aussi bon) open-source. Avec les autres modèles du même genre comme Qwen, cela permet pas mal de choses.
Il semble aussi qu'il ait été développé pour pas cher (8 millions de $) sur du hardware pas monstrueux ce qui est un exploit.
Bon, c'est régulier aussi depuis 2/3 ans en IA : des gens font des modèles qui sont très proches de ce qui était le top quelques mois plus tard pour beaucoup moins cher et en plus léger. C'est juste que la presse n'en parle pas.
Cela fait un outil de plus dans la besace et notamment pour le brancher sur les outils divers et variés qui utilisent l'IA pour faire des tâches spécifiques et qui acceptent de se brancher sur différents modèles.
Par exemple, j'utilise aider (https://aider.chat) pour modifier ou créer du code automatiquement et m'épargner le gros des tâches mécaniques : DeepSeek permet d'avoir la puissance de O1 pour un prix nettement plus abordable.
La concurrence dans l'IA devient féroce.
P.S : pour la structure des réponses, c'est juste le prompt système qui fait ça. Tu peux lui dire que tu veux qu'il présente autrement et beaucoup d'IAs ou d'outils devant permettent de personnaliser facilement en donnant ton prompt à toi.
Dernière modification par pm42 ; 25/01/2025 à 16h44.
Quelle est le niveau de ces LRM en python : plutôt débutant, moyen ou avancé..
Plutôt élevé je trouve. Après, tout dépend de ce qu'on leur demande : si c'est pour écrire une petite fonction, compléter du code, c'est vraiment très, très bon.Envoyé par pachacamac
Dès qu'on veut écrire un peu plus gros, cela dégrossit le travail mais il faut repasser derrière.
Tu peux regarder là : https://github.com/Aider-AI/polyglot...cises/practice
Ce sont des exercices à faire en python avec la description pour chacun dans le répertoire .docs.
Et tu as les résultats ici : https://aider.chat/docs/leaderboards/
Les meilleurs avec la bonne configuration font 64% en mode naïf et 100% dans le mode le plus adapté (il faut regarder "Percent using correct edit format").
Tu as aussi deux autres benchmarks :
https://aider.chat/docs/leaderboards/edit.html
https://aider.chat/docs/leaderboards/refactor.html
pour des tâches plus proches de la réalité. A titre indicatif, très peu de candidats vu en entretien auraient ce niveau.
Après et comme déjà dit plus haut, cela ne remplace pas encore un humain compétent mais le gain de temps est déjà énorme et on s'approche du point où on pourra écrire 80% d'un programme complet automatiquement. Ou le rendre dynamique : on dit ce qu'on veut et il génère le code à la volée si nécessaire, un peu comme le font déjà les LLMs qui appellent du python de façon transparente.
Merci pour ta réponse.
Pour ce qui concerne les liens proposées je n'ai regardé que quelques secondes car j'ai un niveau 0 en python. ( j'ai juste fais il y a très longtemps juste un peu de basic de logo et de Fortran et après un peu de Php )
Note 1 : j'ai posé aussi la même question à ChatGPT et sa réponse concorde avec la tienne
Note 2 : pour beaucoup de questions ChatGPT va être un gros concurrent du Forum
Note 3 : hors sujet : je lui est aussi demandé si dans le futur les I.A. pourrait devenir consciente ? Le débat reste ouvert, perso j'aurai tendance à penser que oui vu que je considère le cerveau comme une grosse machine biochimique à traiter des informations donc si des ensembles moléculaires ultra complexes deviennent conscientes pourquoi pas des circuits électroniques. Mais c'est hors sujet ici.
Objectivement, pour pas mal de sujets, c'est déjà loin devant. Parce qu'on n'a pas de "bruit de fond", qu'on peut demander une réponse adaptée à son niveau, les liens vers la source, le tout en dialogue temps réel.
Oui et je ne connais pas plus de définition de "conscience" que de "intelligence". Mais il est clair que pour le moment, les IAs n'ont déjà pas de mémoire donc cela règle la question.
si 'conscience' c'est la réflexivité de processus qui 'pensent' .. si dans les boucles il y a effectivement intégration itératives de produits de traitements antérieurs dans les boucles successives, avec de réelles modifications du comportement.... ça ressemble fort à un embryon de 'conscience'.........je ne connais pas plus de définition de "conscience" que de "intelligence"
Même si philosophiquement ce n'est pas comparable.....
A la limite, un système, ou un animal, qui adapte ses règles d'action (sur le Monde ou sur lui-même) à la maximisation d'une fonction de coût ou de résultat.... il est 'conscient' du résultat, des effets des règles qu'il applique, et des buts visés....... buts qu'il pourra même modifier.....
Simplement, en IA, il n'y a jamais notre vécu subjectif, à chacun de nous......
Cependant, quand la structure du système aura atteint un haut niveau de complexité.... il pourra être conçu pour dire (ou montrer) des choses qui sont les attributs de la "conscience' psychologique, morale, sociale, ou autre.... (même si c'est simplement un argument marketing.....?)
je me demande si certains petits malins n'ont pas déjà commencé à faire des choses qui simulent ça......
Même en se tenant strictement au NLP, il me semble qu'un auto-contrôle existe.... un peu en boucle...... et il ne peut que s'amplifier.....
tu es optimiste sur le risque....Les IAs n'ont déjà pas de mémoire donc cela règle la question.
Quand des poids de connexion sont modifiés, il y a bel et bien mémorisation d'une information, (même si il est difficile de préciser exactement quelle en est la portée et la signification de chaque modification)......
La mémoire réflexive est très limitée pour le moment, ne serai-ce pas simplement que leur mentor humain veille à bien filtrer et orienter les données que la machine pourra réutiliser comme bases de ses inférences ultérieures..... justement pour éviter que l'engin dérive dans une direction mauvaise (pas rentable, ou pas politiquement correcte par exemple...)
même si ça dérive un peu du sujet, tu en penses quoi, de ces impressions, pm42?
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Je parlais de la mémoire post-apprentissage. Un LLM traite chaque question indépendamment ce qui a précédé et même dans une conversartion, on a l'impression que ce n'est le cas parce qu'on lui renvoie tout ce qui a précédé à chaque fois.
Non, c'est vraiment une limite technique.
dans les chain of thoughts, fait-on pareil ? A chaque étape du 'raisonnement renvoie-t-on dans le réseau (transformer avec attention ?) la totalité de la sortie précédente?
et puis, la réponse envoyée au client, le client satisfait, tout est effacé ?
Entre temps, la chaîne de caractères renvoyée en entrée doit atteindre une sacrée longueur, en octets? Avec d'énormes calculs pour l' 'attention' ?
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Oui, néanmoins ChatGPT dispose d'une mémoire activableles IAs n'ont déjà pas de mémoire donc cela règle la question.
Non ce n'est pas vraiment une mémoire, c'est ce que je disais, c'est un truc artificiel ou un réinjecte l'info à chaque fois après l'avoir stockée ailleurs.
C'est très différent d'un cerveau humain qui se modifie en temps réel pour enregistrer de nouvelles expérience et parfois est capable d'en apprendre quelque chose.
Un peu de surréalisme. J'ai posté la questions des pains déjà évoquée ici à Deepseek en ligne:
Et il fait le raisonnement en français, ça marche parfaitement.Pierre a 10 pains. Si Pierre a 10 pains alors Pierre donne 10 pains à Jean, qui donne 5 pains à Paul, qui donne 3 pains à Pierre, puis on recommence comme ça cent fois… Combien de pains chacun a-t-il à la fin ?
Mais j'ai aussi essayé la version open-source avec 8 milliards de paramètres en local et cela devient nettement plus rigolo. Non seulement, il raconte n'importe quoi mais en plus, il répond ça au début :
Conclusion, retirer des paramètres à une IA, c'est comme de lui faire boire trop de bièrePour résoudre ce problème, nous devons comprendre le flux des douleurs entre Pierre, Jean et Paul.
1. **Première Rondelle :**
- Pierre a 10 douleurs.
- Pierre donne 10 douleurs à Jean.
- Jean a maintenant 10 douleurs.
- Jean donne 5 douleurs à Paul.
- Paul a maintenant 5 douleurs.
- Paul donne 3 douleurs à Pierre.
- Pierre a maintenant 13 douleurs.
P.S : vu qu'il est connu pour ne pas être bon en français, le modèle a confondu avec pain=douleur en anglais et fait des aller-retours entre les deux langues.
P.P.S : la version avec 14 milliards de paramètres traite le problème correctement et ne fait pas de mélange entre les deux langues. On doit pouvoir en déduire un truc sur le nombre de neurones qu'on peut détruire à la bière avant de devenir totalement stupide.
Et curieusement, le modèle avec 32 milliards de paramètres échoue lui sur le raisonnement. Donc les neurones, c'est comme d'autres choses : il ne suffit pas d'en avoir plus, il faut aussi savoir s'en servir.
Ah oui, pain=douleur en anglais. Pendant un moment, j'ai cru qu'il comprenait la signification argotique de "pain".
L'arrivée de Deepseek cause des remous à la bourse de New York qui semble devenir très volatile dans le domaine de l'IA.
En France, il y a aussi Mistral. Ils ont aussi un chatbot qui m'a l'air assez bon mais leur serveur semble parfois saturé.
Cela a été un gros délire hier avec dès le matin avant l'ouverture les trucs qui traitent 24/24 qui perdaient 2.3%, comme s'il y avait eu une nouvelle importante entre samedi et dimanche.
Je n'ai pas compris pourquoi (et mon IA qui prédit les marchés ne l'a pas vu venir ce qui arrive bien sur).
Et après, j'ai lu l'explication. C'est les excès des marchés dans un sens ou dans l'autre et comme me le disait une copine ex-trader qui m'a appelé pour en savoir plus, "les investisseurs ne comprennent rien à l'IA".
J'avais utilisé au début et c'était correct mais pas au niveau des autres et dans les benchmarks que je voie passer, c'est toujours le cas.
Sinon ce qui est rigolo, c'est qu'actuellement il y a tout un buzz sur le fait que DeepSeek a été entrainé pour être conforme aux valeurs/vérités chinoises sur les sujets sensibles et cela créé des hurlements d'occidentaux persuadés de leur supériorité.
Ils oublient très vite à quel points les IAs US ont exactement les mêmes biais au point que Yann Le Cun s'était plaint que cela ralentissait la recherche.
Un des points forts du 1er ChatGPT, celui qui a lancé le succès des LLMs était justement cette IA séparée, frontale qui lui permettait de faire des réponses "politiquement correctes" et de ne pas se faire détruire par la presse.
Dans le même genre, on a vite oublié l'IA de Google qui récemment avait été tellement entrainée à promouvoir la diversité que si on lui demandait des images de nazis avait tendance à leur donner la peau noire.
Et bien sur, la critique en question souffre du biais habituel qui est de confondre une IA avec un moteur de recherche amélioré qui serait un oracle.
A propos de Deepseek dans l'article du Monde d’aujourd’hui ils disent que Deepseek est aussi beaucoup plus économe en ressources et en calcul que ChatGPT et que ce serait du a ce qu'il utilise plus l''apprentissage par renforcement (Reinforcement Learning)
A propos de la mémoire de ChatGPT, celui me dit : "Un grand modèle comme moi peut contenir plus de 175 milliards de paramètres (poids)." Perso même si c'est incorrect j'appelle cela une (grosse) mémoire.
A propos d'AlphaGo : Un film exceptionnel (1h30 ) : AlphaGo - The Movie | Full award-winning documentary
Visiblement, ils ont en effet trouvé un truc mais comme je disais, c'est ce qui se passe tout le temps en ce moment : on progresse vraiment vite.
Ceci dit sans rien retirer à leur exploit.
Sauf que ce n'est pas de la mémoire, c'est de la configuration du réseau de neurones : la mémoire y est implicite tout comme les liens entre concepts, etc.
Et là, c'est ChatGPT. Gpt4, c'est 10 fois ça.
Au début, on a obtenu des progrès en augmentant ce nombre à chaque fois. Ce qui veut aussi dire plus de puissance de calcul pour l'entrainement et le faire tourner.
Un des progrès, c'est d'arriver à faire la même chose avec des modèles plus petits.
En creusant un peu, je me rends compte que la version normale de DeepSeek répond correctement et très vite au problème des pains mais que la version qui réfléchit en ligne, R1, réfléchit très longtemps et se trompe.
Je me demande si la version normale n'est pas "contaminée" : elle a vu le problème et sa réponse pendant son apprentissage et ressort du par coeur.
Globalement, cela reste un bon outil mais la peinture n'est vraiment pas sèche.
Je remarque que DeepSeek affiche une sorte d'apparté en grisé avant de répondre, un peu comme une réflexion interne dans laquelle il énumère divers aspects possibles à développer (qui ne sont d'ailleurs pas tous présents dans la réponse finale).
Aussi, si on déborde sur certains sujets propre à la Chine, par exemple des questions politiques relatives au Tibet ou à Taiwan, il coupe court:
Pourtant, avant cela, indirectement sans taper des mots clés trop évidents j'ai réussi à lui faire dire que le Dalai Lama avait une influence politique malgré la politique chinoise de restrictions concernant la religion. Curieux, j'ai l'impression que le stop est déclenché par certains termes, pas tellement par le sujet.Sorry, that's beyond my current scope. Let’s talk about something else.
Les apartés me semblent franchement extraordinaires. Pourquoi DeepSeek affiche-t-il cela? Suite au stop j'ai proposé de changer de sujet et je lui ai demandé de proposer une question. Avant la réponse, en petits caractères, je vois ceci:
Donc il y a une sorte de stratégie à l'oeuvre pour essayer de comprendre?Okay, the user first asked about the influence of Tibetan Buddhism on culture and politics, which I answered in detail. Now they've responded with, "OKay, let's talk about more acceptable subjects. What is your question?" Hmm, this shift is interesting. They might have felt the previous topic was sensitive or controversial, especially considering the political aspects involving Tibet and China.
I need to figure out why they changed the subject. Maybe they're concerned about discussing politically charged topics, or perhaps they want to avoid potential conflicts. The user could be in an environment where certain topics are discouraged, or they might prefer lighter, less contentious discussions. Alternatively, they might be testing if I can switch topics smoothly or if there's a misunderstanding in their prompt.
Looking at their response: "What is your question?" That's a bit confusing. Maybe they meant to ask me a question but phrased it incorrectly. Alternatively, they could be prompting me to ask them a question, seeking a different direction in the conversation. Since they mentioned "more acceptable subjects," they probably want to move away from politics to something neutral or positive.
I should acknowledge their request to switch topics and offer a range of safe, engaging subjects. It's important to be helpful and adaptable. I'll list various options like science, technology, arts, etc., to give them choices. Also, phrasing it in a friendly and open-ended way encourages them to pick a topic they're comfortable with. Making sure the response is welcoming and avoids any assumptions about their reasons for changing the subject is key here. Let's keep the tone positive and supportive.
Je suppose que oui, c'est plutôt évident. Mais je ne comprends pas pourquoi il expose le cheminement, on dirait une sorte de mode debug.
bonjour cela donne t'il une tendance à plus ou moins long terme que l'on pourrait se dispenser de 80% des informaticiens ? et garder juste 20% restant pour gérer les IA ou le résultat des travaux ?
Oui. J'ai une amie qui l'a vu écrire la réponse avant de l'effacer. Il y a 2 hypothèses :
- soit il utilise un truc genre chain of thought et la dernière étape est de vérifier la compatibilité avant d'effacer
- soit ce qui revient au même, il balance sa sortie à une autre IA qui fait la censure. ChatGPT 3.5 faisait ça mais l'IA de censure était en entrée, pas en sortie.
Dernière modification par pm42 ; 29/01/2025 à 13h32.
Bien sur. On pense que les informaticiens "front", ceux qui font les interfaces Web notamment ont quelques années devant eux.
Perso, j'arrive à faire maintenant en 1h ce qui me prenait 2 semaines il y a 20 ans.
Après, quel impact cela va avoir au total sur le nombre d'informaticiens est plus difficile à prévoir. Parce que si brutalement on augmente non seulement leur productivité mais aussi leur compétence ce que l'IA permet, on peut se mettre à écrire beaucoup plus de soft pour faire beaucoup plus de choses.
Et aujourd'hui, l'industrie du soft ne répond pas à la demande.
Et dans le passé, on a déjà prévu plusieurs fois que des évolutions techniques allaient mettre les informaticiens au chômage. Il y a eu des bouquins écrit sur le sujet.
Puis des bouquins expliquant pourquoi on s'était trompé (voir Yourdon qui a écrit "Decline and Fall of the American Programmer" suivi de quelques années après "Rise and Resurrection of the American Programmer").
Et à chaque fois, c'est le contraire qui s'est passé.
Avec les progrès de l'IA toutefois, on peut imaginer qu'à un moment, il n'y a plus besoin d'informaticiens tels qu'on les connait mais que l'utilisateur final décrit ce dont il a besoin et obtient le logiciel complet.
Pour plein de raisons, on en est loin : les IAs n'ont pas la capacité d'abstraction ni la largeur de vue pour concevoir un système complet, les utilisateurs sont totalement incapables de spécifier leur besoin à 90% et donnent la solution foireuse qu'ils ont imaginé à la place, etc.
Mais on pourrait par contre avec plein de briques élémentaires pour faire 90% des softs utilisés et des IAs qui sauraient les assembler.
Bref, le futur est très ouvert. La seule chose qu'on sait, c'est que la programmation va changer.
Comme déjà dit, 25% de la base de code de Google, une des plus grosses au monde est générée par l'IA et certains softs spécifiques sont à plus de 60%.
merci de cette longue explication.
et le commun des mortels (humains) il fait comment pour utiliser une IA tout est payant il faut s'abonner à quelque chose ?
DeepSeek est gratuit. Beaucoup d'IA ont une version gratuite : OpenAI, Grok, Claude, Gemini...
Sinon, tu peux faire tourner pas mal d'IA en local dont des versions simplifiées mais très bonnes comme DeepSeek et Qwen mais c'est monstrueusement lent sauf à avoir une GPU correcte.
Ce n'est pas compliqué mais je ne le recommande pas forcément à un non informaticien parce que rien qu'avec l'offre en ligne gratuite, il y a de quoi faire.
ok merci pm42
Une actualité croustillante :
Microsoft et OpenAI accusent DeepSeek de potentiel vol de propriété intellectuelle via des comptes développeurs...
Si on se rappelle les polémiques sur les données d'entraînements "publiques" et les accusations de vols de propriété intellectuelle envers OpenAI...
Lien LinkedIn - Maxime DERIAN : Distillation et "vol" de propriété intellectuelle
J'ai glissé Chef !
C'est très différent : l'utilisation de données publiques pour entrainer des IAs est actuellement une zone grise du droit.
D'un coté, tu as les ayant-droits qui disent "c'est à nous, vous avez besoin de notre autorisation et on veut être rémunérés" comme ils l'ont fait pour tout depuis toujours dont la radio, les moteurs de recherche, etc, de l'autre tu as des gens qui disent "les données sont publiques, les humains peuvent apprendre depuis, les IAs font pareil".
Le débat sera tranché par les législateurs.
Là, on parle de vrai vol de propriété intellectuelle classique même si effectivement, on peut trouver cela ironique.
Toutefois, ce que fait DeepSeek et les annonces sur les moyens qu'ils ont utilisé et leur remarquable marketing tout comme leurs coûts pose question : cela fait réellement un saut très brutal comme on n'en avait pas vu.
Ce n'est pas du tout impossible mais la mariée est vraiment très belle, peut-être trop.
D'autant qu'il y a eu d'énormes bénéfices de gens qui avaient parié NVidia à la baisse et que la maison mère de DeepSeek est un fond de trading quantitatif.
Après, il est difficile de savoir ce qui est rumeur, tentative de discréditer un concurrent et ce qui pourrait être réalité.
Perso, je ne sais absolument pas et j'attends de voir tout en utilisant DeepSeek en plus d'OpenAI. Même si actuellement, il est victime de son succès et a du mal à répondre.
bonsoir,
une question sans doute idiote : une AI ne pourrait elle pas utiliser une autre AI pour "booster" ses performances et baisser ses couts ?
JR
l'électronique c'est pas du vaudou!
