La généralisation de l'IA et le risque de cyber-attaque majeure

[sunyata]

Salut,

La généralisation des IA capables de programmer ne risque-t-elle pas de décupler le risque de cyber-attaque qui pourrait endommager des infrastructures essentielles ? Pensez-vous que les gouvernements ait pris la mesure de ce risque ?

En 2015, une cyberattaque a paralysé le réseau électrique ukrainien, laissant des millions de personnes sans électricité pendant plusieurs heures.

En 2017, une cyberattaque a visé la société américaine Colonial Pipeline, qui transporte du pétrole et du gaz naturel. L'attaque a provoqué la fermeture du pipeline pendant plusieurs jours, ce qui a entraîné des pénuries de carburant dans la côte est des États-Unis.


En 2020, une cyberattaque a visé la société américaine JBS, le plus grand producteur de viande du monde. L'attaque a provoqué la fermeture de plusieurs usines de JBS dans le monde, ce qui a entraîné des pénuries de viande dans certains pays.

Cordialement
-----

[titijoy3]

j'ose espérer que les sites nucléaires sont toujours hors réseau internet..

[Ernum]

Salut,

fomenter une attaque sur le péquin moyen (vous,moi, l'entreprise, l'hospital du coin, etc), ne nécessite pas d'IA, on sait faire, on peut penser que ça facilite la tache pour "ceux qui ne savent pas faire", mais c'est déjà le cas sans IA (tutoriels et logiciels en tous genre dispo sur les réseaux). Il me semble que le faire sur des infrastructures sensibles ( de type militaire, nucléaire, etc) demande d'autres moyens, l'informatique seule ne suffit pas.

[pm42]

fomenter une attaque sur le péquin moyen (vous,moi, l'entreprise, l'hospital du coin, etc), ne nécessite pas d'IA, on sait faire

En fait, ça va plus loin que ça et tout dans le message initial est faux :

- monter de nouvelles attaques n'est pas du tout à la portée des IAs
- leur capacité à programmer est limitée et surtout, le hacking n'est pas de la programmation
- même exécuter les attaques connues ne l'est pas non plus notamment la partie qui est basée sur l'ingénierie sociale.
- aucun des exemples donnés n'a impliqué l'IA
- par contre, les IAs peuvent largement améliorer les sécurité. Parce ce qu'elles savent bien, c'est dans la détection de patterns et donc dans ceux des attaques

Bref encore une fois, on a un fil qui n'a rien à voir avec le sujet et qui ressemble à de la mauvaise SF.

[A voir en vidéo sur Futura]

[Ernum]

Ouais,
c'est dans ce sens que je voulais aller, c'est normal de se poser ce genre de questions, mais là je ne vois pas ce qu'une IA apporte de plus. C'est se faire peur inutilement.

La reconnaissance de "patterns", de ce qui existe déjà, je comprends et là j'imagine que ça doit (peut) être assez efficace (enfin dans ce domaine on ne sait pas tout, c'est le principe ).

[pm42]

La reconnaissance de "patterns", de ce qui existe déjà, je comprends et là j'imagine que ça doit (peut) être assez efficace (enfin dans ce domaine on ne sait pas tout, c'est le principe ).

On s'en sert depuis très longtemps pour la détection de fraudes diverses. Le plus compliqué reste d'avoir assez de données pour entraîner des IAs efficaces et en cybersecurité, ce n'est pas évident.

[Ernum]

Et oui, les données sont rares par principe justement .

[SK69202]

D'un autre coté l'IA doit pouvoir aider à chercher les vulnérabilités, alimentée par les nombreuses expériences des "failles" découvertes après mise en œuvre des logiciels ?

Les grosses infrastructures sont sans doute défendues, mais il doit bien y avoir un tas de processus industriels dangereux "reliés à internet" dans des entreprises bien moins conscientes du risque.

[pm42]

D'un autre coté l'IA doit pouvoir aider à chercher les vulnérabilités, alimentée par les nombreuses expériences des "failles" découvertes après mise en œuvre des logiciels ?

Oui, on commence à s'en servir aussi pour ça.

[RiketRok]

Oui, l'IA d'aujourd'hui pourrait potentiellement à terme augmenter le nombre de cyberattaques sous plusieurs vecteurs :
- l'augmentation de la productivité en terme de programmation permet de créer plus d'outils et donc d'itérer plus vite avant que les défenses soient mises en place par un produit cible,
- l'augmentation de l'utilisation de l'IA pour générer du code pourrait aussi augmenter le nombre de failles
- et il y a aussi la création en ce moment même d'outils qui pourraient à terme automatiser une part de la partie humaine des cyberattaques (ex : https://www.researchgate.net/publica...n_Testing_Tool), ça va pas prendre longtemps pour qu'il y ait de bons outils pour aider à pénétrer des infrastructures
- ça ne fait qu'augmenter l'attracivité du secteur informatique, et donc du nombre de potentiels hackeurs

Sur le long terme, l'IA permettra de ne plus avoir de hackeurs du tout, puisque la grande majorité des hacks sont le fait d'erreurs humaines intégrés dans un système, ou de trop grandes responsabilités accordées à des humains sans supervision adéquate.

[ArchoZaure]

Moi ça ma fait marrer les gens qui disent que l'IA permet de sécuriser en détectant les failles de sécurité...
Ils ont oublié de se demander ce qu'on fait de la faille une fois découverte.

Un exemple de Hacking Ethique :
https://www.youtube.com/watch?v=610auZn645w

[pm42]

- l'augmentation de la productivité en terme de programmation permet de créer plus d'outils et donc d'itérer plus vite avant que les défenses soient mises en place par un produit cible,

Même erreur que plus haut : le hacking n'est pas de la programmation ou si peu.

- l'augmentation de l'utilisation de l'IA pour générer du code pourrait aussi augmenter le nombre de failles

Il serait intéressant de savoir pourquoi. Pour le moment, c'est le contraire : les IAs font moins d'erreurs et elles détectent celles faites par les humains.

- et il y a aussi la création en ce moment même d'outils qui pourraient à terme automatiser une part de la partie humaine des cyberattaques (ex : https://www.researchgate.net/publica...n_Testing_Tool), ça va pas prendre longtemps pour qu'il y ait de bons outils pour aider à pénétrer des infrastructures

Les outils en question sans IA existent depuis longtemps, sont disponible pour certains en open-source, pour d'autres sur le Dark Web et enfin d'autres sont accessibles via des sociétés spécialisées qui vendent leurs services aux Etats.

Bref comme prévu un paquet d'affirmations gratuites basées sur une ignorance complète du sujet.

[pm42]

Moi ça ma fait marrer les gens qui disent que l'IA permet de sécuriser en détectant les failles de sécurité...
Ils ont oublié de se demander ce qu'on fait de la faille une fois découverte.

Pas du tout : c'est simplement que tu n'as pas compris ce dont on parle.
On utilise les IAs pour détecter les failles dans le code source avant même la mise en production.
Quand une faille de sécurité est vue à ce niveau, on la corrige très rapidement justement et elle n'a aucun impact.

Un exemple de Hacking Ethique :
https://www.youtube.com/watch?v=610auZn645w

C'est très drôle quand on connait le sujet et plus caricatural, c'est difficile avec les geeks qui ont l'air de geeks d'une mauvaise série TV.
C'est à la cybersécurité ce que le vol de scooters 50cm3 est au braquage de banque.

Mais effectivement, si c'est ta source d'information, cela explique l'erreur plus haut sur la correction de failles.

[RiketRok]

Même erreur que plus haut : le hacking n'est pas de la programmation ou si peu.

Toutes les payloads ont été programmées, il y a des tonnes de scripts à droites à gauche pour faciliter l'injection, et il y a une dimension temporelle : plus on programme vite, plus on peut prendre sa cible de court. En ce moment les ransomwares, logiciels programmés, sont à la mode par exemple, et causent des dégâts majeurs aux quatre coins du monde se chiffrant en dizaines de milliards.

Il serait intéressant de savoir pourquoi. Pour le moment, c'est le contraire : les IAs font moins d'erreurs et elles détectent celles faites par les humains.

Le contexte. L'IA pond des lignes de code avec souvent une seule phrase de contexte, ou peut-être une fonction, ou une classe. Entre autres problèmes (références à des librairies/fonctions obsolètes et vulnérables), forcément, écrire du code avec un faible contexte va générer des failles, failles qu'un développeur non averti pourrait ne pas voir.

Les outils en question sans IA existent depuis longtemps, sont disponible pour certains en open-source, pour d'autres sur le Dark Web et enfin d'autres sont accessibles via des sociétés spécialisées qui vendent leurs services aux Etats.

Les modèles de langage vont ajouter une intelligence supplémentaire à ces programmes, intelligence qui devrait automatiser davantage le processus de hacking. Le contraire serait quand même assez surprenant.
On peut par exemple très facilement imaginer un modèles de langage qui, une fois arrivé sur un serveur, lit les fichiers textes, emails, ... et en extrait les bons détails, par exemple des infos personnelles sur des employés susceptibles de se faire soudoyer, etc.

[pm42]

plus on programme vite, plus on peut prendre sa cible de court.

Ah bon ? C'est comme dans le films : il y a des gens qui sont en train de coder pour faire tenir les firewalls de l'autre coté d'une attaque ?
C'est une vision très naïve de ce qu'est une attaque où justement, on ne prend personne de court puisque personne ne la détecte en face.

En ce moment les ransomwares, logiciels programmés

Justement non : ils sont codé une fois, pas spécialement compliqués et ensuite achetés ou loués par ceux qui s'en servent.
Donc le gain de l'IA en programmation est nul là aussi.

Le contexte. L'IA pond des lignes de code avec souvent une seule phrase de contexte, ou peut-être une fonction, ou une classe.

C'est totalement faux justement : ce qui fait que l'IA générative est efficace, c'est qu'elle utilise l'ensemble du projet comme contexte.

Entre autres problèmes (références à des librairies/fonctions obsolètes et vulnérables)

Ah bon ? L'IA va faire plus référence des librairies obsolètes que les humains ? On se demande pourquoi.


Bon, on a va arrêter là parce que débunker le nawak est sans fin avec les gens qui confondent Terminator avec un documentaire.

[ArchoZaure]

Pas du tout : c'est simplement que tu n'as pas compris ce dont on parle.
On utilise les IAs pour détecter les failles dans le code source avant même la mise en production.
Quand une faille de sécurité est vue à ce niveau, on la corrige très rapidement justement et elle n'a aucun impact.

Qui ça, ON ?
On se demande pourquoi on fait des bug bounty dans ce cas.
Surement pour déboguer du Cobol

C'est très drôle quand on connait le sujet et plus caricatural, c'est difficile avec les geeks qui ont l'air de geeks d'une mauvaise série TV.
C'est à la cybersécurité ce que le vol de scooters 50cm3 est au braquage de banque.

A part du mépris je vois pas votre argument.
Youssef Samouda Top1 des Bug Bounty est donc un charlot ?

Mais effectivement, si c'est ta source d'information, cela explique l'erreur plus haut sur la correction de failles.

Non c'est pas ma source.
C'est juste de la logique, celle qui semble vous faire défaut.
Si on peut détecter des failles avec l'IA, alors on peut réparer la faille mais on peut aussi la détecter pour s'en servir.

Et si vous croyez (et voulez nous faire croire) qu'on fait appel à l'IA pour détecter ces failles à la production c'est que vous n'avez aucune notion de la manière dont on détecte les failles.
Il faut comme vous dites de manière méprisante "des geek" pour manier l'IA.
Comment ça se fait d'après vous qu'il y a des bug partout dans les programmes ?
Parce-qu'on vérifie tout ?

Donc on passe derrière, après la mise en production.
Vous savez, les impératifs des date de mise en production, etc.
Ah oui non, c'est vrai vous ne connaissez pas.
Dans le monde imaginaire et idéal de monsieur pm42 on vérifie tout jusqu'à ce que ce soit parfait.

[ArchoZaure]

Ah bon ? L'IA va faire plus référence des librairies obsolètes que les humains ? On se demande pourquoi.

Vous voyez, quand on sait pas il suffit de demander.
C'est parce que l'IA fait appel à ce qui a été fait au temps t.
Et comme on en a besoin au temps t+n, il ne peut pas être à jour.
A moins que dans votre monde imaginaire on régénère une IA chaque jour, et puis bien sûr pendant qu'on y est on exclus par magie les sources de référence qui on des failles.

[JPL]

Cette discussion est totalement incohérente.

[pm42]

Cette discussion est totalement incohérente.

En même temps, c'était prévisible dès le 1er message.

[JPL]

Avec certains sujets le pire n’est pas toujours certain... mais il est tellement probable

[ArchoZaure]

C'est juste une question d'information finalement.
D'autres ont déjà réfléchi à la question bien entendu, donc autant leur demander.

https://www.informatiquenews.fr/ia-g...el-armis-94594
https://www.lemondeinformatique.fr/a...inz-92450.html

[pm42]

Le 1er lien est un paquet d'affirmations gratuites et fausses (les IAs qui apprennent des attaques précédentes, la blockchain impiratable quand ses vulnérabilités sont bien connues, etc)

Le 2nd n'a carrément rien à voir avec l'IA.

Faire un recherche vite fait et citer sans comprendre ni évaluer la qualité des liens n'est pas un argument pour dire le moins.

[ArchoZaure]

Le 1er lien est un paquet d'affirmations gratuites et fausses (les IAs qui apprennent des attaques précédentes, la blockchain impiratable quand ses vulnérabilités sont bien connues, etc)

Ils apprennent de quoi alors à la base ?
Des allégations de pm42 ?

Le 2nd n'a carrément rien à voir avec l'IA.

C'est normal c'est le lien qui a sauté.
Voici le bon.
https://www.lemondeinformatique.fr/a...ues-89241.html

[ArchoZaure]

Concernant les IA qui ne peuvent pas apprendre, je trouve cette remarque truculent.
Voici un tout petit résumé trouvé sur le premier potin venu à l'attention de notre expert en IA.

Le machine learning a déjà envahi de nombreux aspects de notre vie. Sans le savoir, vous avez déjà aidé un robot à apprendre.

Les reCAPTCHA, inventés par l’entrepreneur Luis von Ahn, servaient à la fois aux sites web à vérifier que les formulaires étaient bien remplis par des humains, mais alimentaient en même temps une base de données géantes de numérisation de livres. L’algorithme utilisaient les exemples remplis par des humains pour retranscrire en texte des livres scannés en images.


Dans ce cas, on parle "d’apprentissage supervisé". L’ordinateur cherche à reproduire une compétence typiquement humaine (lire un texte, reconnaître un animal, comprendre une voix) et a besoin de notre assistance. Pour d’autres objectifs, les scientifiques préfèrent laisser les machines apprendre sans intervention humaine. C’est le cas des algorithmes de recommandations. En se basant sur des critères purement mathématiques, l’ordinateur n’est pas influencé par des biais humains, comme les stéréotypes de genre. Pour une intelligence artificielle, il n'y a pas de "films de fille".

https://www.bfmtv.com/societe/intell...803290045.html

Vous voyez les mots clefs ?
Machine learning et apprentissage supervisé ?
A partir de là je vous laisse vous renseigner pour commencer à vous faire une idée.

[pm42]

BFMTV comme source pour parler de quelque chose qui n'a rien à voir avec "les IAs peuvent apprendre des attaques précédentes", c'est du même niveau que le reste.

N'importe quelle IA conversationnelle actuelle fait mieux, c'est dire.

[sunyata]

Ils apprennent de quoi alors à la base ?
Des allégations de pm42 ?
C'est normal c'est le lien qui a sauté.
Voici le bon.
https://www.lemondeinformatique.fr/a...ues-89241.html

Bonjour,

Le lien est intéressant :

Mais toutes les équipes ne disposaient pas des mêmes outisl. En effet, trois d’entre elles ont eu accès à une solution de cyberdéfense basée sur l’IA, nommée AICA (Autonomous Intelligence Cyberdefense Agent) développé par l’Argonne National Laboratory du ministère américain de l'Énergie (DOE). L'objectif de l'expérience était de tester et de mesurer l'efficacité de l'IA dans la collecte de données et d'aider les équipes à répondre aux cyberattaques contre les systèmes et services critiques.

Donc nous voyons ici une réponse à des attaques Cyber fondée sur des IA autonomes.
Mais ne serait-on pas naïf de croire que les hackers vont en rester là, eux aussi vont élaborer de nouvelles stratégies, ce qui ressemble à une boucle
de rétro-action de type proie-prédateur.

Le prédateur évolue, la proie fait de même et ainsi de suite.Tout cela va dans le sens du progrès, donc pas d'inquiétude...
Le progrés de l'IA bien sûr !

Cordialement

[ArchoZaure]

C'est vrai que cette discussion devient vraiment du gros nawak... des IA qui n’apprennent plus. snif le monde est trop injuste.

[pm42]

C'est vrai que cette discussion devient vraiment du gros nawak... des IA qui n’apprennent plus. snif le monde est trop injuste.

Oui, c'est bien un des sujets : les IAs sont entraînées sur d'énormes bases de données mais contrairement aux humains, elles n'apprennent pas de leurs expériences ensuite.

Enfin quand je dis les humains, certains d'entre eux.

C'est tout le problème de ces fils où les gens qui s'obstinent à parler de ce qu'ils ne connaissent pas et disent donc des énormités parce qu'ils utilisent les mots sans savoir quel contexte ily a derrière.

[RiketRok]

Cette discussion est totalement incohérente.

Ca m'a l'air tout à fait cohérent,
il y a des cyberattaques majeures,
il y a une nouvelle classe de programmes d'IA qui est plus intelligente que toutes les précédentes, dont les utilisations sont en plein développement,
et sunyata se demande quel impact aura cette nouvelle classe d'outils sur la fréquence de ces cyberattaques majeures ?

Ah bon ? C'est comme dans le films : il y a des gens qui sont en train de coder pour faire tenir les firewalls de l'autre coté d'une attaque ?

Ce n'est pas mon propos, la vitesse c'est pouvoir s'adapter plus vite, se renouveler plus rapidement, ... pas compté en secondes, mais en jours, en semaines de développement en moins = davantage de hacking.

Justement non : ils sont codé une fois, pas spécialement compliqués et ensuite achetés ou loués par ceux qui s'en servent.
Donc le gain de l'IA en programmation est nul là aussi.

Même si un outil est fait as a service, si cet outil est fait et se renouvelle plus rapidement, sa virulence globale est augmentée. Un petit trojan comme Zeus, ça reste près de 50 000 lignes de code au total.

C'est totalement faux justement : ce qui fait que l'IA générative est efficace, c'est qu'elle utilise l'ensemble du projet comme contexte.

Ah... il va falloir m'expliquer les maths de comment un modèle de langage limité à 4000 ou 8000 tokens de contexte (~1000 à 3000 lignes de code, un petit module dans un petit projet), peut ingérer 500 000 voire 1 000 000 de tokens de contexte.
Sans oubliser qu'une partie du contexte d'un projet n'est pas en lignes de code.

Ah bon ? L'IA va faire plus référence des librairies obsolètes que les humains ? On se demande pourquoi.

Elle ne va pas, elle le fait déjà. Les modèles ne sont pas mis à jours au jour le jour, et de toute ils ne sont pas parfaits non plus, donc ils pondent parfois des lignes de code obsolètes ou dangereuses qui passeraient inaperçus sans les bugs ou avertissements des IDE/consoles/compilateurs.

Bon, on a va arrêter là parce que débunker le nawak est sans fin avec les gens qui confondent Terminator avec un documentaire.

Qui a parlé de Terminator ? La discussion est posée en dehors de l'imagination débordante de certains.

[ArchoZaure]

Oui, c'est bien un des sujets : les IAs sont entraînées sur d'énormes bases de données mais contrairement aux humains, elles n'apprennent pas de leurs expériences ensuite.

Mais arrêtez vos nawaks...
Quelles énormes bases de données ?!!?
Vous vous croyez chez ChatGPT ?

Non on parle d'IA, dans lesquelles on ajoute le résultat des attaques ou défense dans leur base de données.
Donc ici par exemple il est clair qu'elles apprennent.
Vous ne connaissez pas les IA qui apprennent de leurs erreurs ?
La vache, grosse lacune quand même...

Tenez, un truc compréhensible :
https://www.youtube.com/watch?v=eZdnq9T7seE
https://medium.com/@AymericPM/non-un...e-65eb2aa8b3b3

Et même ChatGPT4 permet d'apprendre de ses erreurs, comme quoi.

La capacité de GPT-4 à générer un langage naturel repose sur sa capacité à comprendre le contexte d’une conversation. Cela se fait en analysant les mots et les phrases utilisés dans la conversation et en créant une représentation du contexte. Cette représentation est ensuite utilisée pour générer une réponse.

Le modèle a également la capacité d’apprendre de ses erreurs. Il peut apprendre des commentaires qu’il reçoit des utilisateurs, ce qui lui permet d’améliorer ses réponses au fil du temps.

https://ts2.space/fr/chat-gpt-4-repo...rel/#gsc.tab=0
https://www.futura-sciences.com/tech...-apres-104578/

C'est tout le problème de ces fils où les gens qui s'obstinent à parler de ce qu'ils ne connaissent pas et disent donc des énormités parce qu'ils utilisent les mots sans savoir quel contexte ily a derrière.

C'est clair.