Ο Μαγικός Μαγνήτης!

Ένα νέο άρθρο (in press στο Perspectives on Psychological Science, μπορείτε να βρείτε το Pdf εδώ) από τον Ed Vul και συνεργάτες του στο UCSD τριγυρίζει στα νευρο-σχετικά(!) blogs και αναστατώνει..

Το άρθρο έχει τον εντυπωσιακό και γενναίο τίτλο Voodoo Correlations in Social Neuroscienceκαι προέκυψε από την παρατήρηση πως σε πολλές (αρκετές ευρέως γνωστές και δημοσιευμένες ακόμα και σε "αυστηρά" περιοδικά όπως το Nature) fMRI έρευνες, τα correlations ανάμεσα στη νευρωνική δραστηριότητα και γνωρίσματα της κοινωνικής συμπεριφοράς/αντίληψης είναι υπερβολικά καλά για να είναι αληθινά..
Οι Vul et al. εξέτασαν έναν αριθμό σχετικών δημοσιεύσεων ζητώντας μεθοδολογικές διευκρινίσεις από τους συγγραφείς τους και ανακάλυψαν πως η ανάλυση που χρησιμοποιήθηκε ήταν προβληματική τουλάχιστον στις μισές περιπτώσεις, γεγονός που κάνει τα αποτελέσματα αναξιόπιστα.

Παραθέτω την περίληψη:
The newly emerging field of Social Neuroscience has drawn much attention in recent years, with high-profile studies frequently reporting extremely high (e.g., >.8) correlations between behavioral and self-report measures of personality or emotion and measures of brain activation obtained using fMRI. We show that these correlations often exceed what is statistically possible assuming the (evidently rather limited) reliability of both fMRI and personality/emotion measures. The implausibly high correlations are all the more puzzling because social-neuroscience method sections rarely contain sufficient detail to ascertain how these correlations were obtained.

We surveyed authors of 54 articles that reported findings of this kind to determine the details of their analyses. More than half acknowledged using a strategy that computes separate correlations for individual voxels, and reports means of just the subset of voxels exceeding chosen thresholds.

We show how this non-independent analysis grossly inflates correlations, while yielding reassuring-looking scattergrams. This analysis technique was used to
obtain the vast majority of the implausibly high correlations in our survey sample. In addition, we argue that other analysis problems likely created entirely spurious
correlations in some cases. We outline how the data from these studies could be
reanalyzed with unbiased methods to provide the field with accurate estimates of the
correlations in question. We urge authors to perform such reanalyses and to correct the scientific record.


(Σχετικά με την αξιοπιστία γενικά των ερευνητικών ευρημάτων δείτε και το κείμενο του Ιωαννίδη Why Most Published Research Findings Are False !!)