De la dictature de l'Impact Factor (*)

Même si on peut débiter les grands mots sur la beauté de la science, même si on peut développer l'éternel discours sur la philantropie du chercheur qui donne toute son energie aux découvertes qui sauveront et feront progresser l'Humanité, derriere tout ça, il ne faut pas oublier que l'objectif secondaire du chercheur est de faire de gros Impact Factors (IF). Et en ce qui concerne les organismes publics comme l'INSERM et le CNRS, ça devient même l'objectif principal.

Aujourd'hui, l'IF est un moyen de juger le dossier d'un chercheur, il est aussi indispensable pour les équipes de recherche pour les demandes de crédits. Or on peut se demander ce que représente réellement cet impact factor d'un point de vue strictement scientifique. A mon sens, pas grand chose.
Les revues bénéficiant des plus grands IF sont souvent des revues généralistes (comme Nature ou Science pour citer les plus médiatiques). Certes, les résultats qui y sont publiés representent des avancés majeures pour la communauté scientifique mais il ne faut pas oublier qu'on peut aussi y trouver des bourdes monumentales (la mémoire de l'eau pour citer la plus drôle).
A l'inverse, les revues trés spécialisées bénéficient, par définition, d'un tres faible IF car elles ne sont lues que par les specialistes de la discipline. C'est comme ça que les comptes rendus de l'académie des sciences ou que certaines revues de recherche clinique (qui présente également des resultats majeurs dans la discipline) se retrouvent avec un IF inferieur à 0.

Autrement dit, a ce jour, on juge la competence scientifique par un indice médiatique. Que penser de ce système ? qu'elles seraient les alternatives face à cet IF qui finalement n'a d'interêt que pour quelques editeurs ?





(*) Pour ne pas reserver la discussion à quelques initiés du forums, j'explique en 2 mots ce qu'est l'impact factor. Les revues spécialisées dans lesquelles sont publiés les résultats scientifiques d'une équipe de recherche sont soumis à un indice de notation calculé sur une periode de 2 ans : c'est l'impact factor. Plus l'impact factor est elevé et plus la revue est lue dans le monde, et donc, plus la revue est prestigieuse.

Salut !

J'ai pas encore publié (ni fini d'écrire d'ailleurs...) mon premier article, et je dois déjà faire attention à cet IF. C'est vrai que c'est gonflant !

Mais je ne pense pas que les journaux soient les seuls qui en profitent : les chercheurs qui ont la possibilité de publier dans ces revues, soit car ils travaillent dans un milieu porteur (la génétique), soit car ils sont déjà largement reconnus ont tout intérêt à ce que ce système se maintienne.

Je vois beaucoup d'inconvénients et pas beaucoup d'avantages à ce système.

L'alternative que je proposerais repose entièrement sur Internet. Depuis le début de ma thèse, je n'ai pas sorti un seul article directement d'un journal : je suis toujours passé par pubmed et science-direct. Alors je sais que ce ne sont que des bases de données répertoriant les articles publiés par ces fameuses revues. Mais je trouve que ca atténue vachement le phénomène : on fait une recherche dans la base de données, l'article arrive, on le lit et on voit à la lecture si il est bien ou pas (soit dit en passant, j'ai récemment téléch un article tiré d'un journal prestigieux, et c'était quand même n'importe quoi). Donc je propose une publication 100% online.

C'est comme ça que les comptes rendus de l'académie des sciences ou que certaines revues de recherche clinique (qui présente également des resultats majeurs dans la discipline) se retrouvent avec un IF inferieur à 0.

Erratum : ces journaux se retrouvent avec un IF inférieur à 1 au lieu de inferieur à 0

Salut,

C'est tout le problème de l'évaluation des chercheurs, très difficile.
L'IF n'est pas idéal, mais ça me semble quand même mieux que le nombre de publis (avec coefficient selon le journal), non ? On est censé citer les articles qui ont fait avancer le sujet. Il me semble qu'un article vraiment important dans une revue peu connue finira par émerger, alors qu'un article bof dans une bonne revue ne sera pas énormément citée (mais plus citée que le même article dans une revue peu connue).

Lord M, l'inconvénient que je vois à ta méthode (qui reposerait sur le nombre de fois où on télécharge un article), est qu'il donne le même impact à un article qui nous passionne et à un article nul qu'on a téléchargé parce que le titre et le résumé semblaient intéressants. C'est la prime au titre et au résumé accrocheurs, au détriment du fond.

Bref, IF, le moins mauvais système ? (ce qui ne veut pas dire qu'il est bon).

Salut a tous

Les publications la science en a besoin, par soucis d'objectivité, de crédibilité interne et externe et evidemment pour la diffusion des connaissances. Celà reste aussi le moyen le moins subjectif pour évaluer un travail de recherche, même si les communications orales ou les activités d'enseignement/vulgarisation devrait sans doute aussi rentrer un peu en compte. A discuter.

Ensuite, a coté, il y a le scandale de l'édition scientifique qui pratique des tarifs exorbitants (on doit payer pour publier) et qui en fait de moins en moins (voire plus rien du tout) au niveau de la mise en page et du travail d'édition. Celà me fait vraiment hurler parceque c'est de l'abus de pouvoir et de position dominante. Peut etre que l'apparition de journaux on-line et indépendant changera progressivement la donne, espérons le... ;-)

A+
John

Bonjour

Je partage les avis de cecile et john78. Ce systeme IF a pris tant d'importance car c'est un moyen (plus ou moins mauvais) d'évaluer l'activité d'un chercheur... certes il peut y avoir de tres bon papiers dans de "petits journaux"...

En fait internet et pubmed changent pas mal la donne par rapport aux "temps anciens" ;)
En effet avant, on n'avait acces qu'aux journaux de la bilbiotheque, qui elle ne s'abonnait qu'aux revues les plus prestigieuses, du coup les publications dans les petits journaux n'etaient jamais lues, car jamais vues. Maintenant ce n'est plus vrai, et a partir du moment ou le sujet correspond a son theme de recherche tu lis le papier qu'il soit dans cell ou dans la "gazette des hopitaux civils et militaires"...
Ca c'est vraiment génial (et pour ceux qui ne connaissent pas je recommande vivement pubcrawler, un robot qui va vous faire votre biblio journalierement/ hebdomadairement ou mensuellement a votre palce :D)

je trouve aussi choquant que ce soient les auteurs qui se tapent toute l'edition du papier qu'ils soumettent!...

un dernier point important, il me semble que le facteur d'impact, correspond à la moyenne du nombre de fois ou les papiers publiés dans une journal X ont été sités par un autre article sur une certaine periode de temps.
Cela ne représente donc pas la fréquence de lecture, mais la fréquence de citation et donc indirectement l'importance des travaux, en partant du principe que plus un travail est important plus il sera sité.

Yoyo

Personellement je suis utopiste et ce genre de systême ne me convient pas . On pourrait toujours en imaginer de meilleurs .. Mais pas dans notre société.

Le problème que tu évoques est à mon avis lié à un problème de fond bien plus complexe de la civilisation occidental et du systême capitaliste.
Qui entraine petit à petit un cercle vicieux faisant perdre de l'éthique et même plus grave une perte dans les croyances fondatrices de notre civilisation.

Ce qui est inquiétant c'est que la situation n'as pas cessé d'empirer depuis un moment de facon lente et pas sur tous les points . Mais quand même.

Mais je suis confiant un changement aura lieue un de ces quatres à l'aide d'une crise . ne serait ce que par la fin de notre civilisation si aucun autre évenement ne fait bouger les choses avant ce qui serait étonnant.

Bon voila cette réponse n'es peu être pas vraiment approprié, mais je pourrais transfiguré le problème sur le fond que tu évoques dans tellement d'autres domaines qu'une réponse général m'a semblé s'imposer. ( sans vouloir rentrer dans aucune considération politique )

Bonjour,
Une alternative possible est la publication "libre", avec un libre accès sur le net, de ce style: http://www.plosbiology.org/plosonline/?request=index-html&issn=1545-7885 pour l'instant Plos biology n'a encore pas d'IF car la revue est trop récente, mais si tout le monde joue le jeu (soummision de papiers à cette revue, et citation d'articles qui y sont publiés) la revue aura un IF correct dès la première année d'indexation, et pourra concurencer les autres revues.

K.

Bonjour à tous,
J'ai juste une petite question.
Qui fixe le facteur d'impact? J'avais entendu que c'était une revue particulière spécialisé en "quelque-chose...métrie" .
J'ai déjà pas mal entendu de ce problème de facteur d'impact, notamment dans un dossier de la recherche sur la recherche en France (qui traîne derrière pas mal de pays européen quant à son facteur d'impact si je me rappelle bien) et qui serait pénalisée par son système qui favorise les recherches long termes peu productives en nombre de publis mais parfois tout aussi importantes.

NB: Pour faire un commentaire annexe sur l'open access type Plos : cela permet aussi à n'importe quel quidam qui voudrait en savoir plus sur la biologie moléculaire (par exemple) de se pencher sur le problème...
En étant vraiment utopiste cela aiderait même les chercheurs à sortir de leur tour d'ivoire et à redorer le blason des sciences au près du public...

Ca c'est vraiment génial (et pour ceux qui ne connaissent pas je recommande vivement pubcrawler, un robot qui va vous faire votre biblio journalierement/ hebdomadairement ou mensuellement a votre palce :D)
www.pubcrawler.com

Recommandé à tous les étudiants ?

Bonsoir,

La France dispose d'une "tradition" de la recherche assez particulière qui porte atteinte à son impact facteur. Les collectifs comme Sauvons-la-Recherche (http://recherche-en-danger.apinc.org/) en sont la preuve vivante. Je ne sais pas pour les autres disciplines, mais en psychologie (expérimentale, sociale et cognitive) la grande majorité des postes de chercheurs se trouvent à l'Université, et les enseignants-chercheurs ne sont pas rémunérés pour leurs recherches, mais pour les enseignements qu'ils assurent. Par conséquent, l'activité de recherche est "parasitée" par cette activité d'enseignement, et par les activités administratives qui leur incombent.

Pour ce qui est de l'impact facteur en lui-même, en psychologie, on est biaisé par la langue. Il y a une "tradition" (encore une) de la psychologie sociale francophone, et les "anciens" de la discipline défendent à corps et à cris, cette tradition, et se refusent à écrire en français. D'où une limite importante à l'IF, pour la France, en comparaison aux Etats-Unis ou l'Angleterre, celle de la langue. L'apprentissage des langues étrangères étant le talon d'Achille de l'éducation en France, beaucoup de bonnes recherches de qualité passent à la trappe de l'IF pour des raisons linguistiques. Il est évident que face au nombre d'anglophones dans le monde, les articles écrits dans une autre langue que l'anglais partent avec un handicap dans une classification basée sur le nombre de fois ou l'article est cité.

Une solution possible à ce problème de langue serait de pondérer l'IF d'un article par le nombre d'articles publiés dans la langue sur la même période de temps. Ce qui permettrait de mettre toutes les recherches sur un pied d'égalité, que cette recherche soit écrite en anglais, en bulgare, ou en roumain. Ce n'est pas la panacée, mais un remède potentiel.

La publication libre serait-elle reelement une solution ?

Tout d'abord comme rien n'est gratuit il faut savoir que ce sont ceux qui publient qui payent (et non pas les lecteurs), et les prix sont vraiment élevés...je connais peu de labo a pouvoir se payer une telle publication vu les finances des labos! (1500$ par article), biensur ils precisent que ce n'est pas un critere de sélection, et que si on n'a pas les moyens ca n'entre pas en ligne de compte.....

Ensuite cela resoudra t'il le probleme? une fois que les publicassions 'classiques' auront toutes ete remplacées par des publis 'libre", il faudra bien la aussi les classer tres bonnes, bonne, moyenne, nulle etc... donc les IF ont encore de beaux jours devant eux! Puis qu'encore une fois, le nombre de fois ou un article est cité est directement lié à l'intéret des résultats qui sont décrits (enfin au moins en théorie). donc ces IF sont indépendants du prix ou de la facilite d'acces des revues.

Ensuite, il faudra etre capable de trouver des referee pour juger tel ou tel travail... pas simple

Yoyo

Le fond du problème n'est pas de savoir comment classer les revues ou encore si elles doivent être libre d'acces ou pas. La question qu'on doit se poser, c'est est ce que c'est légitime de décider d'attribuer des credits à une equipe de recherche en mesurant la moyenne des IF publiés sur les dernieres années ? Est-ce légitime de recruter des jeunes chercheurs sur la base qu'ils ont publié un resultats scientifique dans une revue à fort impact ?

Dirait-on d'un journaliste qui publie un article dans le journal "gros nichons" qu'il est meilleur que son collègue qui publie dans le monde ou le figaro sous pretexte que le premier est plus lu ou plus cité que les 2 autres ? Et pourtant c'est exactement comme ça qu'on evalue de nos jours les scientifiques et les equipes de recherche.

Je pense en effet que c'est légitime. A condition que ca ne soit pas le seul facteur (notamment pour le recrutement des jeunes chercheurs) car on ne sait trop bien qu'un sujet a la mode se publiera plus facilement dans cell, qu'un sujet qui n'interesse personnes mais qui a tout de meme un interet scientifique.
D'autres sujets sont plus "simples" que des projets tres longs ou il faut attendre plusieurs mois pour avoir une plante ou une souris KO.

Je pense qu'en dehors de rares exceptions, les equipes publiant dans les revues a fort IF, sont de bonnes équipes. Ce qui pose probleme est que la reciproque n'est pas vrai (une equipe ne publiant pas dans des journaux a forts IF, n'est pas forcément mauvaise).

Yoyo

Le fond du problème n'est pas de savoir comment classer les revues ou encore si elles doivent être libre d'acces ou pas. La question qu'on doit se poser, c'est est ce que c'est légitime de décider d'attribuer des credits à une equipe de recherche en mesurant la moyenne des IF publiés sur les dernieres années ? Est-ce légitime de recruter des jeunes chercheurs sur la base qu'ils ont publié un resultats scientifique dans une revue à fort impact ?

Comme on ne peut pas donner plein d'argent à tout le monde, il faut évidemment évaluer les chercheurs. C'est très difficile, et je ne vois pas comment faire autrement que par l'IF, qui me semble le moins injuste (même si c'est loin d'être parfait !)

Dirait-on d'un journaliste qui publie un article dans le journal "gros nichons" qu'il est meilleur que son collègue qui publie dans le monde ou le figaro sous pretexte que le premier est plus lu ou plus cité que les 2 autres ? Et pourtant c'est exactement comme ça qu'on evalue de nos jours les scientifiques et les equipes de recherche.La différence, c'est qu'on ne cherche pas à évaluer les journalistes les uns par rapport aux autres dans ces différents journaux. Pour reprendre ton exemple, un journaliste de Gros nichon écrira mal pour le Figaro, et celui du Figaro sera nul dans Gros nichon. Donc on se fout de savoir lequel est le "meilleur", il faut juste savoir s'il est bon pour sa revue. C'est différent dans le domaine scientifique, où les mêmes fonds peuvent aller à des sujets très divers. Il est donc fondamental d'évaluer.

tout le monde souhaite publier dans des journaux à forts IF ... néanmoins, lorsque vous lancer un programme de recherche, vous ne pensez pas déjà aux journaux dans lesquels vous allez publier.
Les choix scientifiques que vous faites, ne sont pas dictés par l'IF.
Si par la suite ces choix sont bons, alors vous pourrez publier dans des journaux à forts IF.
D'ailleurs, je ne vois pas le problème concernant ces journaux, il est reconnu que plus l'IF est élevé, plus le journal est de qualité, plus il est difficile d'y publier car il y faut des arguments sérieux et y proposer de nouveaux concepts.

www.pubcrawler.com

Recommandé à tous les étudiants ?
Hé hé hé, je ne m'attendais pas à ça lorsque j'ai cliqué sur le lien... manifestement ce n'est pas de ça que parlait Yoyo (je ne crois pas que son sujet de recherche soit la bière).

K. nette

K a en effet raison ;-) meme si la levure permet aussi de faire de la biere ;-)
Le véritable lien est ici : http://pubcrawler.gen.tcd.ie/www.html

Vraiment utile :D
Yoyo

D'ailleurs, je ne vois pas le problème concernant ces journaux, il est reconnu que plus l'IF est élevé, plus le journal est de qualité, plus il est difficile d'y publier car il y faut des arguments sérieux et y proposer de nouveaux concepts.

Ca c'est un peu la vision idéale de la chose. Mais dans la pratique la fait de publier dans un journal a fort IF est souvent influencé par la reconnaissance antérieure de l'auteur, les liens des referees avec le sujet, le sujet en lui même...

De plus cette volonté de publier dans des "grands" journaux incite certains chercheurs à bidouiller leurs résultats afin d'atteindre ce but. J'ai déjà vu un chercheur complètement déprimé car son thésard allait publier dans une revue moyennement cotée, et celui de son collègue publiait dans une grande revue. Ca ce n'est plus vraiment de la science.

Les scientifiques sont des humains, imaginer le contraire, ca c'estavoir une vision idéale de la chose.

Je continue de penser que se baser sur les IF pour juger de la qualité d'un laboratoire est un moindre mal, et qu'a defaut d'une autre source objective d'évaluation on n'a pas tellement le choix.
Quant a bidouiller les resultats pour publier, c'est a double tanchant car il ne faut pas s'imaginer que les concurrents prennent ce qui est ecrit comme parole d'évangile! Si les résultats sont non reproductibles ca va vite se savoir dans le domaine, et la le scientifique va tres vite avoir une etiquette qui va lui coller a la peau! On trouve des brebis galleuses quelquesoit le systeme, ca ne me semble pas spécialement du a l'evaluation par les IF.

Yoyo