{"id":1905,"date":"2020-06-22T19:16:40","date_gmt":"2020-06-22T18:16:40","guid":{"rendered":"http:\/\/www.blog-lecerveau.org\/?p=8939"},"modified":"2022-01-04T21:02:49","modified_gmt":"2022-01-04T20:02:49","slug":"une-experience-met-en-lumiere-de-graves-difficultes-dans-la-reproductibilite-des-resultats-en-imagerie-cerebrale","status":"publish","type":"post","link":"https:\/\/www.blog-lecerveau.org\/debutant\/2020\/06\/22\/une-experience-met-en-lumiere-de-graves-difficultes-dans-la-reproductibilite-des-resultats-en-imagerie-cerebrale\/","title":{"rendered":"De graves difficult\u00e9s dans la reproductibilit\u00e9 des r\u00e9sultats en imagerie c\u00e9r\u00e9brale"},"content":{"rendered":"<p><img loading=\"lazy\" class=\"alignleft  wp-image-8940\" title=\"EYs4OKJXQAAvfjw\" src=\"https:\/\/www.blog-lecerveau.org\/wp-content\/uploads\/EYs4OKJXQAAvfjw-1024x576.jpg\" alt=\"\" width=\"393\" height=\"222\" \/><\/p>\n<p>Avant d\u2019aborder le sujet d\u2019aujourd\u2019hui, j\u2019aimerais d\u2019abord remercier toutes les personnes qui ont particip\u00e9 au cours <span style=\"color: #008080;\"><a href=\"https:\/\/www.blog-lecerveau.org\/blog\/2019\/09\/30\/8334\/\"><span style=\"color: #008080;\">Notre cerveau \u00e0 tous les niveaux<\/span><\/a><\/span> donn\u00e9 en collaboration avec l\u2019UPop Montr\u00e9al entre <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.upopmontreal.com\/automne-2019\/notre-cerveau-a-tous-les-niveaux\/\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">le 16 octobre 2019<\/span><\/a><\/span><\/strong> et <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.upopmontreal.com\/hiver-printemps-2020\/notre-cerveau-a-tous-les-niveaux-10-ans-10-seances-saison-2\/\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">le 17 juin 2020<\/span><\/a><\/span><\/strong>. Les enregistrements vid\u00e9os des dix s\u00e9ances se retrouvent tous sur <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.youtube.com\/channel\/UCKvUcHv4iynnBiOJrmUkhhQ?view_as=subscriber\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">la cha\u00eene YouTube du cours<\/span><\/a><\/span><\/strong>. Vous pouvez donc (re)visionner \u00e0 loisir certaines s\u00e9ances, comme <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.youtube.com\/watch?v=XRkRHWtk8RQ\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">la cinqui\u00e8me par exemple<\/span><\/a><\/span><\/strong>, dont le sujet a un lien avec notre billet d\u2019aujourd\u2019hui. Intitul\u00e9e \u00ab Cartographier des r\u00e9seaux de milliards de neurones \u00e0 l\u2019\u00e9chelle du cerveau entier \u00bb, on y pr\u00e9sentait diff\u00e9rentes techniques d\u2019imagerie c\u00e9r\u00e9brale, dont l\u2019une des plus utilis\u00e9es, <span style=\"color: #008080;\"><a href=\"https:\/\/lecerveau.mcgill.ca\/flash\/capsules\/outil_bleu13.htm#irmf\"><span style=\"color: #008080;\">l\u2019imagerie par r\u00e9sonance magn\u00e9tique fonctionnelle (IRMf)<\/span><\/a><\/span>. Et l\u2019on avait vu que non seulement les activations neuronales que d\u00e9tectent ces appareils sont faites de mani\u00e8re indirectes (en monitorant les d\u00e9bits sanguins vasculaires c\u00e9r\u00e9braux), mais qu\u2019elles pouvaient comporter de nombreux biais d\u2019analyse. C\u2019est ce que confirme de mani\u00e8re troublante une \u00e9tude publi\u00e9e le 20 mai dernier dans la revue <em>Nature <\/em>et intitul\u00e9e \u00ab <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.nature.com\/articles\/s41586-020-2314-9\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">Variability in the analysis of a single neuroimaging dataset by many teams <\/span><\/a><\/span><\/strong>\u00bb.<!--more--><\/p>\n<p>Comme le r\u00e9sumait <strong><span style=\"color: #808080;\"><a href=\"https:\/\/www.the-scientist.com\/news-opinion\/research-teams-reach-different-results-from-same-brain-scan-data-67545\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">un article de la revue <em>The Scientist<\/em> qui commentait cette \u00e9tude importante<\/span><\/a><\/span><\/strong>, on a demand\u00e9 \u00e0 70 \u00e9quipes de recherche ind\u00e9pendantes d\u2019analyser le m\u00eame jeu de donn\u00e9es recueillies lors d\u2019une exp\u00e9rience faite en IRMf. R\u00e9sultat : aucune \u00e9quipe n\u2019a choisi la m\u00eame approche pour analyser les donn\u00e9es et leurs conclusions se sont av\u00e9r\u00e9es fort diff\u00e9rentes !<\/p>\n<p>L\u2019\u00e9tude men\u00e9e par Tom Schonberg, Thomas Nichols et <span style=\"color: #008080;\"><a href=\"https:\/\/www.blog-lecerveau.org\/blog\/2015\/12\/14\/chaque-semaine-pendant-un-an-et-demi-il-prend-en-photo-son-cerveau\/\"><span style=\"color: #008080;\">Russell Poldrack<\/span><\/a><\/span> n\u2019a pas eu de difficult\u00e9 \u00e0 recruter les 70 \u00e9quipes. Le domaine de l\u2019imagerie c\u00e9r\u00e9brale, comme <strong><span style=\"color: #808080;\"><a href=\"https:\/\/en.wikipedia.org\/wiki\/Replication_crisis#In_psychology\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">celui de la psychologie, fait face depuis de nombreuses ann\u00e9es \u00e0 une \u00ab crise \u00bb de reproductibilit\u00e9 des \u00e9tudes<\/span><\/a><\/span><\/strong>. Le fait de pouvoir obtenir les m\u00eames r\u00e9sultats lorsqu\u2019une autre \u00e9quipe de rechercher applique le m\u00eame protocole est, on le sait, le principe de base de la m\u00e9thode scientifique. Or ce qu\u2019on \u00e9tudie en psychologie ou avec l\u2019imagerie c\u00e9r\u00e9brale est de plus en plus compliqu\u00e9, de sorte que les donn\u00e9es sont de moins en moins claires. Il faut alors appliquer toutes sortes de m\u00e9thodes pour par exemple augmenter la clart\u00e9 du signal par rapport au bruit de fond ou corriger les erreurs dues aux mouvements de la t\u00eate des sujets dans les scans. De plus, il faut faire des statistiques o\u00f9 intervient la notion de seuil \u00e0 partir duquel des r\u00e9sultats vont \u00eatre statistiquement significatif. Or de nombreuses m\u00e9thodes statistiques existent et la plupart des 70 groupes de recherche, pour diverses raisons, n\u2019ont pas choisi les m\u00eames m\u00e9thodes.<\/p>\n<p>Tout cela a men\u00e9 \u00e0 des r\u00e9sultats assez d\u00e9courageants en termes d&rsquo;uniformit\u00e9, de l\u2019aveu m\u00eame des auteurs de l\u2019\u00e9tude. La t\u00e2che \u00e0 l\u2019origine des donn\u00e9es envoy\u00e9es aux diff\u00e9rents groupes \u00e9tait pourtant assez simple : les 108 sujets \u00e9tendus dans l\u2019appareil d\u2019IRMf devaient d\u00e9cider ou non de parier une certaine somme d\u2019argent. Les 70 \u00e9quipes devaient v\u00e9rifier neuf hypoth\u00e8ses concernant l\u2019augmentation ou la diminution d\u2019activit\u00e9 nerveuse dans diff\u00e9rentes r\u00e9gions c\u00e9r\u00e9brales quand le sujet prenait les d\u00e9cisions. Pour certaines hypoth\u00e8ses, il y avait un large consensus. Par exemple, celle voulant que l\u2019activit\u00e9 dans le cortex pr\u00e9frontal ventrom\u00e9dian diminue avec une perte d\u2019argent a pu \u00eatre confirm\u00e9e par 84% des \u00e9quipes. Et trois autres hypoth\u00e8ses ont \u00e9t\u00e9 rejet\u00e9es par plus de 90% des \u00e9quipes.<\/p>\n<p>Mais pour les cinq hypoth\u00e8ses restantes, les conclusions des \u00e9quipes montraient beaucoup de variabilit\u00e9. Pour les chercheurs dans ce domaine, cela va dans le sens de ce qu\u2019ils craignaient : il y a simplement trop de degr\u00e9s de libert\u00e9 dans le choix des m\u00e9thodes d\u2019analyse \u00e0 leur disposition. Et pour rem\u00e9dier \u00e0 ce probl\u00e8me de taille, <strong><span style=\"color: #808080;\"><a href=\"https:\/\/en.wikipedia.org\/wiki\/Replication_crisis#Addressing_the_crisis\" target=\"_blank\" rel=\"noopener\"><span style=\"color: #808080;\">plusieurs changements s\u2019imposent au sein de la communaut\u00e9 scientifique<\/span><\/a><\/span><\/strong>. Ainsi, les moindres d\u00e9tails des choix faits lors de l\u2019analyse des donn\u00e9es devraient \u00eatre disponibles dans un souci de transparence totale. Les \u00e9quipes de recherche devraient aussi pr\u00e9enregistrer leurs hypoth\u00e8ses, une pratique qui emp\u00eache ensuite de les adapter aux donn\u00e9es (\u00ab SHARKing \u00bb, en anglais). Elles devraient enfin toujours chercher \u00e0 analyser leurs donn\u00e9es avec de multiples m\u00e9thodes d\u2019analyse statistiques et diff\u00e9rents param\u00e8tres. Seules de telles contraintes, importantes certes mais n\u00e9cessaires pour \u00e9viter les d\u00e9rives actuelles, permettront de d\u00e9partager les effets r\u00e9els et robustes des exp\u00e9riences d\u2019imagerie c\u00e9r\u00e9brale de ceux qui sont cr\u00e9\u00e9s de toute pi\u00e8ce par certaines m\u00e9thodes d\u2019analyse. Est-il besoin de rappeler ici <span style=\"color: #008080;\"><a href=\"https:\/\/www.blog-lecerveau.org\/blog\/2013\/05\/06\/limagerie-cerebrale-sous-le-feu-des-critiques\/\"><span style=\"color: #008080;\">la belle activation c\u00e9r\u00e9brale qu&rsquo;on avait obtenue lors d\u2019une t\u00e2che de psychologie sociale dans le cerveau d\u2019un\u2026 saumon mort ?<\/span><\/a><\/span> \ud83d\ude09<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Avant d\u2019aborder le sujet d\u2019aujourd\u2019hui, j\u2019aimerais d\u2019abord remercier toutes les personnes qui ont particip\u00e9 au cours Notre cerveau \u00e0 tous les niveaux donn\u00e9 en collaboration avec l\u2019UPop Montr\u00e9al entre le 16 octobre 2019 et le 17 juin 2020. Les enregistrements vid\u00e9os des dix s\u00e9ances se retrouvent tous sur la cha\u00eene YouTube du cours. Vous pouvez [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[929,106,930],"_links":{"self":[{"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/posts\/1905"}],"collection":[{"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/comments?post=1905"}],"version-history":[{"count":3,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/posts\/1905\/revisions"}],"predecessor-version":[{"id":2093,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/posts\/1905\/revisions\/2093"}],"wp:attachment":[{"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/media?parent=1905"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/categories?post=1905"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blog-lecerveau.org\/debutant\/wp-json\/wp\/v2\/tags?post=1905"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}