Je rajouterai que le MBTI n'est pas un questionnaire de personnalité, que l'expé de Milgram (le jeu de la mort) ne fonctionne que chez les participants qui n'y croient pas, que le growth mindset ça marche pas, que l'hypersensibilité est en fait plutôt des symptômes dépressifs
La dopamine n'est pas l'hormone du plaisir, l'ocytocyne n'est pas celle de l'amour, la dépression n'est pas due à un manque de sérotonine, on n'a pas de cerveau reptilien ou ancestral sous le cortex et l'expérience de la prison de Stanford c'était du pipeau. Désolé 😬
Yesterday I found a small mistake in one of
@giladfeldman
papers. He immediately acknowledged it and will soon fix it. Based on his 'check-me replicate me' pledge, he sent money to charity. This is how we correct science.
Que l'effet dunning kruger n'a rien à voir avec une "montagne de la stupidité". Qu'avoir un haut QI signifie juste qu'on pense pareil que les autres, on réfléchit juste un peu plus vite en faisant un peu moins d'erreurs, en moyenne, sur des tâches précises liées à la réussite
Petite analyse de l'étude qui "démontre que le débunk ne sert à rien".
Comme je n'ai pas accès à l'article, je vais me baser uniquement sur les codes et données de l'article (trouvable ici : )
L'intelligence multiple ça n'existe pas et ça fait 20 ans que la personne qui l'a théorisé a dit que finalement c'était une mauvaise idée. Pareil pour l'idée que "l'expertise arrive avec 10 000h de pratique" en fait si tu pratiques mal, tu progresses pas.
Il n'y a pas de preuve de menace du stéréotype sur le score en mathématiques des filles. à tous les âges elles explosent les garçons. Pareil pour la conduite en voiture, elles sont toujours moins dangereuses.
scolaire, que la perversion est le contraire du narcissisme et qu'être un pervers narcissique n'a aucun sens (et attribuer ça a quelqu'un cache la majorité du temps des difficultés d'affirmation de soi)
le temps devant un écran n'a aucun lien avec le bien-être, tout dépend de ce qu'on fait dessus. L'effet pygmalyon (que la réussite des élèves dépend des a priori des profs) est très faible et ne change rien aux notes des élèves.
Les jeunes ne sont pas plus narcissiques que les plus âgés à cause des réseaux sociaux. La mindfulness n'a aucun effet supérieur pour la santé mentale par rapport à d'autres sports. le champ de recherche est plein de biais de publications et rien n'a été prouvé.
Ah et vous connaissez peut-être la fameuse expérience où une personne se fait passer pour schizophrène pour entrer dans un hopital psychiatrique et ne peut plus en sortir ? Le monsieur est en fait sorti au bout de 8 jours. Son article est une fraude scientifique.
New publication in
@Meta_Psy
The Effectiveness of the “But-you-are-free” technique
Meta-analysis and re-examination of the technique
a thread on our journey
Tout d’abord, il est aujourd’hui clair qu’il y a une différence entre être expert d’un sujet et être expert dans la détection de la qualité des articles sur le sujet.
Le coup de pouce qui donne des bonnes décisions (ou pas).
En 2017, Thaler et Sunstein reçoivent le prix d’économie en hommage à Nobel pour leurs travaux sur les nudges, la méthode douce pour inspirer la bonne décision.
“Enfin un Nobel facile à comprendre ! “ selon les Echos.
🧵
En 1999, Richard Smith, éditeur en chef de BMJ disait que le peer-reviewing était « Lent, coûteux, très subjectif, fortement sujet aux biais, facile à abuser, et médiocre pour détecter les fautes, mêmes grossières. »
Comment se fait-il que l’IHU de Didier Raoult ait pu publier 456 articles avec le même numéro d’approbation du comité d’éthique dont 135 dans le même journal ?
Selon L. Besançon, « les éditeurs scientifiques se fichent de publier des articles frauduleux »
Les chercheurs concluent que les peer-reviewers sont incapables de détecter des erreurs, et que l’entrainement n’a qu’un effet très faible sur la détection.
Ajouter un statisticien dans le peer-reviewing améliore le manuscrit final, tandis que l’open peer-reviewing avait un (tout petit) effet positif sur la qualité du peer-reviewing.
En 1998, un manuscrit comportant 10 erreurs majeurs et 13 mineurs a été envoyé à 203 reviewers. 68% d’entre eux ont été incapables d’indiquer que les conclusions n’étaient pas supportées par les résultats.
Une meta analyse sur "à quel point les nudges fonctionnent mieux quand ils sont transparents".
Nous avons trouvé 19 études qui mesurent la différence d'effet d'un nudge transparent à un nudge qui ne l'est pas et...
We meta-analyzed the effect of transparency messages on nudges from 19 studies and found no effect. We also found no meaningful moderator. Research in more varied settings is needed!
Cela fait plus de 30 ans que de nombreuses études montrent que les peer-reviewers sont incapables de détecter des fautes et des erreurs méthodologiques dans les études.
On peut aussi penser à cette étude incroyable qui indique que les africains ont un QI autour de 70 alors qu’il n’y a eu aucune mesure de ce QI, mais une extrapolation d’extrapolation du QI d'enfants ayant fui la guerre dans des camps en Israël. Un cas flagrant de racisme.
que ça marche dans certains cas et pas dans d'autres et qu'il faut arrêter de faire des méta-analyses comme ça qui mélangent de tout et du n'importe quoi.
2023 est l’année de tous les records, avec 10 000 articles rétractés. Selon Retraction watch, il en faudrait dix fois plus pour assainir le corpus scientifique.
Sur la théorie de la justification du système, je n'en reviens pas. La Z-curve indique clairement que la théorie repose essentiellement sur des faux-positifs. Et pourtant elle était centrale dans mon cursus de psychologie sociale en licence. Dingue.
Psycho Papers
#28
- Trouve-moi un job, tabernacle - JE NE MANGE PAS de viande - Justifie ta théorie de justification - les partenaires se ressemblent ? - RSA pour tous, justice nulle part - Le début des troubles mentaux - Le traumatisme des policiers
J'ai trouvé la solution pour les demandes de rajouts sur les ordonnances à la dernière minute quand c'est hors consultation "vous pourrez me rajouter du Dexeryl/Doliprane/etc". Je dis "oui oui" et je note NR.
Aucun retour à ce jour.
L'article en question était un cas typique de fraude scientifique.
Les auteurs ont partagé les données, et on peut y voir qu'il n'y avait pas 49 participants mais au moins 99. (suite dessous)
A 2 min cold immersion to the neck and five, 30 second cold showers per week led to a significant reduction in abdominal fat and waist circumference in the men in this study; also multiple psychological improvements related to stress & wellbeing.
un écart type de 0.62 pour un effet avc une moyenne de 0.18, c'est juste colossal. Pour moi ça permet directement de rejeter l'idée que le débunk ça ne sert à rien pour se concentrer sur deux autres possibilités : soit ça fonctionne dans certain cas et c'est néfaste dans d'autres
Petit rappel aux chercheurs français qui utilisent cette carte pour expliquer le problème de la recherche fr. Si votre cause est noble, utiliser le nombre d’articles publiés pour parler de la santé d’un domaine scientifique est toujours une mauvaise idée…
« La sauvegarde des principes scientifiques n’est pas quelque chose qui se fait une fois pour toutes. C’est un défi qui doit être relevé au quotidien, tant par les scientifiques que par l’ensemble des institutions scientifiques ».
Mi-novembre, Adam-Troian et Bélanger publient « Consumed by Creed », indiquant que les TOCs sous-tendent un lien entre obsession idéologique et radicalisation. Nous pensons que des erreurs et un fort degré de liberté ont pu amener à des résultats faux-positifs.
comment les peer-reviewers ont-ils fait pour laisser passer l’article alors qu’il est flagrant que l’effet provient du divorce et non de l'homoparentalité ?
Si vous voulez en savoir plus, j’avais fait une vidéo YouTube sur le sujet à l’époque (c’était il y a trois ans déjà qu’est-ce que le temps passe vite):
@DracoAlpestris
@KenzoNera
@olivier_klein
La version simple est "difficile de dire quoi que ce soit car les études inclues dans cette meta analyses sont très bizarres, la méthode bizarre et les conclusions pas en lien avec les résultats "
60 % des réponses contenaient des attitudes déshumanisantes, objectivantes et stigmatisantes à l'égard des personnes autistes - décrivant souvent les personnes autistes comme dépourvues d'émotions complexes, de libre arbitre (plus exactement d'agentivité),
C’est ce type de cas qui montre le pouvoir des réseaux sociaux face à l’incapacité des peer-reviewers de s’assurer de la qualité d’un article et de l’inaction des éditeurs qui ont tout à perdre à rétracter un article. Will Gervais qui n’est plus sur X avait répondu ainsi :
Il est nécessaire de changer drastiquement la culture scientifique vers une culture plus rigoureuse et moins adepte de la nouveauté. Comme disait Ioannidis en 2012,
Un moyen d’améliorer la qualité du peer-review serait de rendre les rapports accessibles et transparents. Les peer-reviewers resteraient anonymes, mais leurs rapports seraient publics.
En 2008, 607 peer-reviewers de BMJ ont été randomisés pour être entrainé (ou non) à détecter des erreurs. Ils ont ensuite dû vérifier trois manuscrits différents. Sur 9 erreurs majeures, les reviewers en ont détecté 2.58, et 3 après l’entrainement à la détection d’erreur.
la rédactice en chef du Financial Time a immédiatement demandé « est-ce que l’article a été relu par les pairs ? » La réponse était oui. Pourtant, Richard Smith a relu l’article par lui-même et a trouvé de nombreuses erreurs, envoyant un mail aux auteurs pour les corriger.
Le double blind n’existe pas. En 2019 dans le domaine biomédical, des peer-reviewers ont réussi à deviner les noms des auteurs dans 25 à 50% des cas. Quand il y a des preprints, les auteurs sont évidents.
Comme tout le monde fait son post sur Wikipedia, à moi de raconter ma petite histoire. Je suis chercheur en psycho sociale, dans les biais cognitifs et théories de l'engagement. Un jour je demande aux formateurs autour de moi d'où vient la fameuse "vallée de l'ignorance"...
De même, les tâches les plus importantes pour évaluer les articles ne sont jamais valorisés par les éditeurs. La tâche la plus importante, évaluer les risques de biais, n’est valorisé que par 5% des éditeurs de 171 journaux.
Cependant, on constate que presque aucun (3%) peer-reviewer ne regarde le pré-enregistrement. Quel est donc l’intérêt de pré-enregistrer, si ceux qui sont censés valider la scientificité de nos articles s’en fichent ?
Court résumé en français de ce fil :
Quand on essaye de faire plusieurs réplication d'un effet en psychologie, on a des résultats très différents entre un laboratoire et un autre, et entre la réplication et l'étude originale. Pourquoi ?
Une nouvelle étude rétractée à cause d'un mauvais codage, uniquement parce que les données étaient publiques et donc les résultats vérifiables. Combien de journaux et magazines vont titrer dessus alors qu'ils s'étaient empressé de parler des résultats de l'article initial ?
That study that found men frequently leave their wives when they get sick was retracted/corrected.
Trouble was: People who left the study were actually miscoded as getting divorced.
Les peer-reviewers acceptent de lire un article selon leur domaine d’expertise, ce qui pose plusieurs problèmes. En premier, ce n’est pas parce qu’on est expert de son domaine qu’on est expert en peer-reviewing.
Notons que les décisions de l’éditeur reposent très fortement sur les choix des peer-reviewers et que les peer-reviewers ont donc un pouvoir important sur la décision finale d’accepter l’article.
ce qui donne plus d’importance à la vision validiste parce qu'il laisse les recherches plus anciennes plus difficiles à remettre en question.
Une autre question que se sont posé les chercheurs est : Est-il bon d'impliquer les autistes dans la recherche ? La réponse est :
Comme dans tous les domaines scientifiques, la recherche sur l'autisme doit s'améliorer.
Les chercheurs indiquent quand même un point positif: il n'y a pas que des chercheurs validistes travaillant sur l'autisme, et
« Si l'évaluation par les pairs était un médicament, il ne serait jamais autorisé sur le marché, déclare Drummond Rennie, éditeur du Journal Of the American Medical Association.
En 2016, des chercheurs avaient conduit une revue systématique des essais randomisés contrôlés sur les processus de peer-reviewing. Ils ont trouvé que l’entrainement ainsi que l’utilisation de checklist n’améliorait pas la qualité du peer-reviewing.
Il l’est d’autant plus facile que contrairement à une croyance populaire, la fraude scientifique n’est pas secrète, mais est bien connu des chercheurs dans les laboratoires, qui préfèrent se taire.
D’ailleurs, si on y réfléchit, tous les articles frauduleux qui ont été découvert ont passé l’étape du peer-reviewing. Comment des personnes comme Darsee, Stapel (ou aujourd’hui Ariely) ont pu passer l’étape du peer-reviwing des centaines de fois sans aucun problème ?
Il existe des problèmes structurels dans la recherche sur l'autisme, notamment le “publish or perish”, le cloisonnement de divers domaines et l'absence d'un engagement plus large de la théorie progressiste dans les domaines expérimentaux,
Les peer-reviewers sont aussi vus par la société comme étant la clé de voute de la « scientificité ». Quand un article controversé indiquant qu’un nouveau trouble féminin a été créé par des entreprises pharmaceutiques,
Un groupe de travail s’est intéressé à la recherche sur l’autisme et plus précisément sur les personnes faisant de la recherche sur l’autisme. Ce groupe a demandé aux chercheurs d’expliquer les recherches qu’ils faisaient sur l’autisme, de définir l’autisme etc.
Une petite histoire sur ce sujet. Pendant la pandémie Covid-19, des chercheurs ont demandé à des participants d'indiquer "combien de fois ils s'étaient lavé les mains" et "combien de fois ils se sont retrouvé à moins de 2 mètres de qqn d'autre" la veille.
...
et émettre un avis sur l’acceptation ou non de l’article. Si l’article n’est pas accepté, il peut être rejeté ou soumis à des modifications, plus ou moins importante.
Il est nécessaire de repenser totalement la notion d’expertise afin d’engagement de manière plus inclusive la société scientifique, en valorisant davantage la pratique délibérée plutôt que des notions favorisant le biais de confirmation.
Si ce processus est logique, il peut produire de la science de qualité, car il permet à des chercheurs de valider la production d’autres chercheurs grâce à leur expertise du sujet.
Sur 93 articles publiés dans BMC en 2012, 90% n’avaient pas rapporté de détails cruciaux sur le protocole utilisés. En regardant la différence entre la pré-publication et la publication,
Les chercheurs indiquent que les sondages ne sont pas fiables pour les comportements routiniers. Le meilleur moyen de les collecter est par de l'observation en contexte naturel (et on boucle sur l'article initial).
Pour diminuer le nombre de faux positifs publiés, on a mis en place un système obligeant les chercheurs à indiquer leurs hypothèses et plans d’analyses avant de conduire l’étude : c’est le pré-enregistrement.
de nombreux chercheurs considèrent que les personnes autistes ont une valeur sociale similaire à celle des non autistes s'ils pouvaient s'imaginer qu’ils avaient une utilité pour eux. Il s'agit d'une forme d'objectivation qui repose sur l'instrumentalité.
De plus, ce n'est pas aux personnes autistes qu'il incombe de nettoyer l'héritage désordonné de la recherche sur l'autisme qui a perpétué beaucoup de violence à l'encontre des personnes autistes.
Ps: dans cet article, il n'y a aucun test de risque de biais qualitatifs (type ROB2). C'est incompréhensible pour moi que l'article ait pu être publié dans ces conditions...
Il est aussi possible de passer à un processus de peer-reviewing « post publication ». Selon les modèles mathématiques, la qualité de la revue serait supérieure…S’il y a de l’argent pour passer du temps dessus.
Dans un article, des chercheurs ont modélisé les caractéristiques de pairs et indiquent que « L’exactitude des reviewers publics peut surpasser celle d’un petit groupe d’examinateurs experts si le groupe d’examinateurs publics est de taille suffisante. »
Malgré le rôle principal du peer-reviewing, il n’y a aucun fond alloué à son étude, et la majorité des études sur le sujet sont faits par des chercheurs individuels. Comment s’assurer de la qualité du peer-reviewing si on ne le teste pas systématiquement ?
Ceux sont eux qui peuvent réduire le nombre exponentiel d’articles publiés en embauchant et favorisant les chercheurs qui produisent de la science de meilleure qualité, réplicables et répliquées.
En utilisant des rapports ouverts et 76 études publiées puis rétractées, on se rend compte que seulement 8% des peer-reviewers avaient indiqués demander un rejet de l’article initial.