dimanche 6 octobre 2019

Malscience, de Nicolas Chevassus-au-Louis




 Il est tentant de se représenter le milieu de la recherche scientifique comme le royaume de l’objectivité, où règnent le vérifiable, le jugement entre pair·e·s par ailleurs uniquement motivé·e·s par l’agrandissement du domaine du savoir. L’auteur, journaliste mais aussi docteur en biologie et historien, décrit au contraire un univers où, si des progrès considérables ont été faits depuis les dernières décennies ("la fraude n’est plus niée comme elle l’était alors, mais la communauté scientifique reste impuissante à trouver les moyens d’en enrayer la progression"), des données fausses sont communiquées à grande échelle et de façon sous-estimée, mais surtout dont le fonctionnement incite indirectement à tricher, que ce soit en embellissant légèrement la réalité ou en fraudant plus frontalement (plagiat, manipulation ou invention de résultats, …).

 Le milieu de la recherche est en effet extrêmement concurrentiel : la devise "Publish or perish" n’est pas nouvelle, le statut de certain·e·s chercheur·se·s est extrêmement précaire, et publier vite et beaucoup peut fournir un prestige et des financements quand une pratique plus rigoureuse et prudente fait prendre le risque de passer à côté. Même si sur le papier (c’est le cas de le dire) le système de publication peut sembler bien rôdé (la réputation des différentes revues scientifiques donne une idée de leur qualité, les articles proposés sont soumis à la vigilance d’un comité de lecture), il n’est pas exempt de défauts : l’importance d’être pionnier·ère est aussi une pression à laquelle sont soumises les revues, les articles les plus novateurs auront donc d’autant plus intérêt à être publiés vite, alors que les évaluations prennent du temps. De plus, la recherche est aussi soumise à des effets de mode (même si ce n’est peut-être pas le premier domaine dans lequel on se représente spontanément un sujet racoleur), et le choix du sujet (OGM, cellules-souches, réchauffement climatique, ...) aura dans certains cas plus d’influence que l’intérêt intrinsèque de la recherche. L’injonction à publier beaucoup pousse certain·e·s chercheur·se·s à proposer plusieurs fois le même article à peine modifié à différentes revues, ou encore à diviser une seule recherche en deux articles : là encore, l’intérêt pour la science n’est pas flagrant.

Peut-être plus insidieux, un article scientifique est, concrètement, une narration. Le corps de l’article décrit bien proprement une élégante hypothèse de départ, vérifiée avec une méthodologie rigoureuse, et des résultats bien entendu conformes à ce qui était attendu, savamment commentés ensuite : s’il arrive que des résultats non concluants (enfin, en vrai ils sont concluants, puisqu’une absence d’effet a été observée) soient publiés, c’est loin de concerner la majorité du monde de l’édition scientifique. Or, la réalité de la vie de laboratoire est bien plus chaotique : "dans le réel, rien ne s’est produit comme le décrit l’article scientifique". Mais, tel·le l’enseignant·e de lycée qui, pour faire une plus belle démonstration du phototropisme végétal à ses élèves de TP, arrache les quelques germes qui se dirigent à l’opposé de la lampe, les chercheur·se·s ont plus d’intérêt, en soumettant un article, à avoir une belle histoire à raconter. Les lecteur·ice·s auront ainsi le plaisir de découvrir le doux concept de HARKing (faire l’hypothèse après les résultats, donc dire ce qu’on comptait trouver après l’avoir trouvé), ou encore la surprenante coïncidence du nombre de résultats qui frôlent le p<.05 : par convention (mais ce n’est pas une règle!), un résultat est jugé significatif (donc dû à un effet observable plutôt qu’au hasard) lorsqu’il a eu moins d’une chance sur vingt (donc 5% de chances) d’arriver. Une revue statistique faite en 2008 sur 3557 publications de psychologie expérimentale a permis de constater une proportion très élevée de résultats situés entre 0.04875 et 0.05, ce qui est particulièrement suspect à une époque où la puissance mathématique des ordinateurs permet assez facilement d’estimer quels résultats éliminer, ou à quel moment arrêter le recueil de données, pour orienter le fameux p (probabilité) dans la direction souhaitée. Certain·e·s ne vont pas jusqu’à prendre cette peine et affichent le fameux sésame p<0.05 sans indiquer sa valeur exacte : en reprenant les résultats a posteriori, 38 % d’entre eux se sont en fait révélés être légèrement au dessus du seuil. Bien entendu, les chercheur·se·s, expert·e·s dans leur propre spécialité, ne sont pas dupes ("interrogez n’importe quel chercheur et ils vous citera dans son domaine de nombreux exemples d’articles que d’aucuns tiennent pour faux"), mais certains articles douteux continuent d’être cités, parfois même quand ils ont été rétractés.

Si les méthodes et les exemples rapportés prêtent parfois à sourire (comme William Summerlin coloriant la peau de souris à l’encre de Chine, ou un article composé de la phrase "Get me off your fucking mailing list" copié-collée sur toute la longueur du texte accepté par l’International Journal of Advanced Computer Technology moyennant 150 $ de frais de publication et jugé "excellent" par un relecteur), l’enjeu est bien réel. Le plus évident de ces enjeux est l’impact sur la fiabilité, dans l’absolu, de la recherche scientifique, mais il y a aussi des enjeux financiers avec la perte d’argent public occasionnée, ou, dans le pire des cas, des risques sanitaires importants : la recherche médicale n’est pas épargnée par le problème, et des patient·e·s ont été soigné·e·s sur des bases erronées, mettant parfois leur vie en danger. L’auteur, sans diminuer l’importance de ces enjeux, estime toutefois que la judiciarisation n’est pas le meilleur moyen de lutter contre la fraude, car les expériences passées ont montré que les tribunaux étaient mal équipés pour se pencher sur le domaine spécifique de la recherche (il donne entre autres l’exemple de carnets qui avaient avant tout pour objet de servir de point de repère personnel aux chercheur·se·s considérés comme des faux à cause d’imprécisions qui n’avaient en fait pas d’impact). Les solutions sont plutôt à rechercher selon lui dans une modification de la valorisation du travail des chercheur·se·s (le sacro-saint facteur h - "nombre n d’articles d’un auteur qui ont obtenu au moins n citations"- étant particulièrement artificiel), la publication systématique des données brutes (des initiatives existent déjà en ce sens), ou une plus grande légitimité accordée aux recherches où le résultat n’est pas celui attendu.

Si l’angle d’approche n’est pas le plus réjouissant, le livre offre une exploration intéressante de l’univers de la recherche scientifique. L’auteur équilibre particulièrement bien, entre la problématisation générale des enjeux et l’illustration avec des exemples particuliers (bon, en même temps il est journaliste, du coup c’est exactement son métier). Le livre est destiné au grand public, donc même s’il traite d’un secteur où la spécialisation pointue est la règle, il est accessible à tou·te·s.

Aucun commentaire:

Enregistrer un commentaire