Για την αναπαραγωγιμότητα στην ψυχολογία

Νίκος Γιαλλούσης

Το εύρημα για την αποτυχία αναπαραγωγής ερευνητικών ευρημάτων ψυχολογίας ήταν αναμενόμενο. Η τροπή που παίρνει η συζήτηση όμως είναι εσφαλμένη. Ο λόγος για την αποτυχία της αναπαραγωγιμότητας δεν είναι ότι η ψυχολογία είναι κακή, ή δεν είναι καν, επιστήμη, ότι οι έννοιές της δεν είναι μετρήσιμες, ή ότι δεν έχει μοιάσει αρκετά με τις φυσικές επιστήμες.

Στην πραγματικότητα η ψυχολογία προσπαθεί μόνο να μοιάσει όσο περισσότερο γίνεται στην φυσική. Για πολλούς ψυχολόγους της ποιοτικής έρευνας αυτή η προσπάθεια είναι μέρος του προβλήματος, και όχι μέρος της λύσης, όπως προτείνουν κάποιοι. Δεν συμφωνώ με την εγκατάλειψη της ποσοτικοποίησης στην ψυχολογία, απεναντίας θεωρώ τον εαυτό μου ποσοτικό ψυχολόγο. Αλλά δικαιώνω απόλυτα αυτούς τους οπαδούς της ερμηνευτικής και του αντιθετικισμού, διότι οι ψυχολόγοι χρησιμοποιούν ποσοτικές μεθόδους που δεν καταλαβαίνουν, και δεν θέλουν να αλλάξουν τις ερευνητικές πρακτικές που εσωτερίκευσαν στο διδακτορικό τους.

Η εφαρμοσμένη στατιστική χρησιμοποιείται με διαστρεβλωμένο τρόπο στις επιστήμες υγείας, και αυτό είναι γενικότερο πρόβλημα, επομένως οποιαδήποτε "φωτογραφική" στοχοποίηση της ψυχολογίας ως προβληματικής επιστήμης είναι παραπλανητική και προέρχεται από άτομα με παταγώδη άγνοια του αντικειμένου της ψυχολογίας, αλλά και σοβαρά ελλείματα κατανόησης της φιλοσοφίας της επιστήμης. Στο δημόσιο διάλογο η συζήτηση αναφέρεται σε "ευρήματα" με έναν τρόπο που είναι μάλλον ξένος προς το τι συνιστά ένα ερευνητικό εύρημα. Τα ευρήματα των ψυχολογικών ερευνών δεν είναι μεμονωμένες προτάσεις που σμιλεύονται σε πέτρες. Εντάσσονται σε αλυσίδες συλλογισμών και προηγούμενων ευρημάτων και συχνά επιδιώκουν να διασαφηνίσουν μηχανισμούς ή να αποκλείσουν εναλλακτικές εξηγήσεις. Πολλά ευρήματα, παρόλο που δεν επιχειρείται ευθέως η αναπαραγωγή τους, ξαναεμφανίζονται σε συνθήκες ελέγχου σε άλλες έρευνες που επεκτείνουν τη θεωρία. Οι θεμελιωδέστερες θεωρίες της κοινωνικής και της γνωστικής ψυχολογίας έχουν επιδειχθεί επανειλημένα στο εργαστήριο και το πεδίο. Επομένως η αξιοποίηση των ευρημάτων από αδαείς για υπονόμευση της αξιοπιστίας του κλάδου είναι αστήρικτη.

Οι ερευνητές των επιστημών υγείας έχουν γαλουχηθεί με την εσφαλμένη πεποίθηση ότι η χαμηλή τιμή πιθανότητας του σφάλματος τύπου Ι εξασφαλίζει την αναπαραγωγιμότητα της μελέτης. Αυτό είναι απλά λάθος. Η αναπαραγωγή της μελέτης είναι αναπόφευκτη προκειμένου να διασφαλιστεί το αποτέλεσμα. Κι όμως επί επτά δεκαετίες τα επιστημονικά περιοδικά και η επιστημονική κοινότητα έχει επενδύσει όλες της τις προσπάθειες στην επίτευξη χαμηλών τιμών πιθανότητας σφάλματος τύπου Ι, συχνά χειραγωγώντας λίγο ή πολύ τα δεδομένα. Αν δεν έχεις στατιστικά σημαντικά αποτελέσματα δεν δημοσιεύεις. Για αυτό και η επαγγελματικοποίηση της έρευνας, έκανε τους ερευνητές να προσπαθούν να μεγιστοποιήσουν τον αριθμό των δημοσιεύσεών τους, τις ετεροαναφορές κλπ. Η κατασκευή της στατιστικής σημαντικότητας με κάθε κόστος είναι ένα καθημερινό φαινόμενο, και αυτοί που φταίνε περισσότερο είναι όσοι το αποσιωπούν.

Η έλλειψη ερευνών αναπαραγωγής, επίσης οφείλεται στην επαγγελματικοποίηση της έρευνας. Αν προσπαθήσεις να αναπαράγεις ένα εύρημα και αποτύχεις, το πιθανότερο είναι να το βάλεις στο συρτάρι σου και να μην ξαναασχοληθείς ποτέ με αυτό. Εδώ που τα λέμε, ακόμα και αν μια δική σου πρόταση αποτύχει να περάσει το (εσφαλμένο) τεστ της στατιστικής σημαντικότητας , πάλι στο συρτάρι σου θα καταλήξει. Δεν δίνεται χρηματοδότηση για αναπαραγωγές πειραμάτων, και οι ερευνητές επιδιώκουν να κάνουν έρευνες που θα προωθήσουν το εισόδημά τους και τη θέση τους στην ιεραρχία. Και ακόμα και όταν γίνονται οι αναπαραγωγές, γίνονται ως δευτερεύοντα έργα, από φοιτητές, σε θερινή περίοδο, κλπ. Δεν δίνεται η δέουσα προσοχή στην αναπαραγωγή, λόγω μιας αρρωστημένης επαγγελματικής νοοτροπίας στην έρευνα. Αντί αυτής, σε κάθε πανεπιστημιακό τμήμα θα πρέπει να διαμορφώνεται εργαστήριο στο οποίο θα μπορούν να αναπαράγονται όλα τα βασικά ευρήματα των ψυχολογικών ερευνών. Οι ερευνητές θα πρέπει να προαναγγέλουν τους ερευνητικούς σχεδιασμούς και τις υποθέσεις τους εκ των προτέρων, τουλάχιστον στο τμήμα τους, αν όχι στα περιοδικά στα οποία σκοπεύουν να δημοσιεύσουν, και στο διαδίκτυο. Η αναφορά σε ελέγχους υποθέσεων θα πρέπει ίσως να εγκαταλειφθεί εντελώς, αφού η επιστημονική κοινότητα έχει αποδείξει επανειλημμένα ότι δεν μπορεί να αντισταθεί στην αποχαυνωτική εκδοχή της που επικράτησε τις προηγούμενες δεκαετίες.

Αντί να οικτίρουμε την ψυχολογία, και να την θεωρούμε χαμένο στοίχημα, θα πρέπει να καταλάβουμε ότι αυτή η έκθεση είναι το σοκ που όλες οι επιστήμες υγείας χρειάζονταν για να γυρίσουν σελίδα. Αυτή είναι η καλύτερη εποχή για να είναι κανείς ερευνητής στην ψυχολογία.

Κατάργηση των Ελέγχων Υποθέσεων από Επιστημονικό Περιοδικό

Νίκος Γιαλλούσης.

Το περιοδικό Basic and Applied Social Psychology αφού επέτρεψε μια "περίοδο χάριτος" ενός έτους, πραγματοποίησε την απόφαση που πήρε το 2014, να απαγορεύσει την αναφορά σε p-, T- και F- τιμές, καθώς και τη φράση "σημαντικά" αποτελέσματα. Δύο ακόμα μέτρα που είχαν προαναγγελθεί, είναι η αποδοχή της δημοσίευσης αρνητικών αποτελεσμάτων, καθώς και διαψεύσεων προηγούμενων ευρημάτων - αφού βέβαια η συλλογιστική που τα κράταγε στο "συρτάρι" με βάση την στατιστική σημαντικότητα ήταν εσφαλμένη, και σίγουρα μεθοδολογικά επιλήψιμη.

Η απόφαση αυτή αντανακλά μεταξύ άλλων την απροθυμία των ερευνητών στις συμπεριφορικές και βιο-ιατρικές σπουδές να αλλάξουν την κουλτούρα ανάλυσης δεδομένων που έμαθαν ως διδακτορικοί φοιτητές, παρά τις 400 και πλέον δημοσιεύσεις που στηλιτεύουν την χρήση τους. Να σημειωθεί ότι το περιοδικό ξεκαθαρίζει ότι όσοι νομίζουν ότι θα δημοσιεύουν πιο εύκολα σε αυτό έπειτα από αυτή την ρύθμιση κάνουν σοβαρό λάθος. Το περιοδικό δεν στέκεται μόνο του στην προσπάθεια εξυγείανσης της βιο-ιατρικής και συμπεριφορικής έρευνας: το περιοδικό Epidemiology αποθαρρύνει ρητά τους συγγραφείς να αναφέρονται σε ελέγχους υποθέσεων και να χρησιμοποιούν την ανακριβή έκφραση "σημαντικό αποτέλεσμα".

Οι αναλυτές βιοστατιστικών δεδομένων Roger Peng και Jeff Leek, δημοσίευσαν ένα σχόλιο στο Nature, σύμφωνα με το οποίο οι p-τιμές είναι μόνο η κορυφή του παγόβουνου, και ολόκληρη η διαδικασία της διεξαγωγής έρευνας μπορεί να περιέχει αποφάσεις που δεν κοινοποιούνται, άρα είναι μη-αναπαραγώγιμες. Η σειρά μαθημάτων τους Data Science Specialization στην πλατφόρμα Coursera σχεδιάστηκε για να καλύψει όλες τις απαιτήσεις της αναπαραγωγιμότητας και της διαφάνειας στην επιστημονική έρευνα, από το σχεδιασμό ως την δημοσίευση των αποτελεσμάτων. Σύμφωνα με αυτούς, οι ερευνητές πρέπει να δημοσιεύουν τα αρχεία πρωτογενών δεδομένων, και να παρατίθεται όλος ο κώδικας της στατιστικής ανάλυσης που παράγει τα δημοσιοποιούμενα αποτελέσματα.

Αξίζει, τέλος, να σημειωθεί ότι ένα από τα μεγαλύτερα φιάσκα στην ανάλυση δεδομένων, θεωρείται το εύρημα των οικονομολόγων περί δημοσίου χρέους που οδήγησε την Ελλάδα στο Μνημόνιο.

Υπάρχει κρίση στην Κοινωνική Ψυχολογία;

Gary Marcus

Μετάφραση: Νίκος Γιαλλούσης.

Σημείωμα του μεταφραστή: Ο Marcus είναι καθηγητής γνωσιακής επιστήμης στο Πανεπιστήμιο της Νέας Υόρκης, και αρθογραφεί για επιστημονικά θέματα στο περιοδικό The New Yorker. Στο συγκεκριμένο άρθρο (1η Μαϊου 2013) σχολιάζει την "κρίση" στην οποία θεωρείται ότι έχει μπεί η κοινωνική ψυχολογία, εξαιτίας της αποκάλυψης της επιστημονικής απάτης που διέπραξε ο Ολλανδός Stapel, αλλά και την αποτυχία επανάληψης του φαινομένου "κοινωνικής προέγερσης". Ο αρθογράφος τοποθετεί το θέμα στις σωστές του διαστάσεις, αναδεικνύοντας ευρήματα της κοινωνικής ψυχολογίας που έχουν αναπαραχθεί επανειλημμένα, και συνδέει την λεγόμενη κρίση με μια ευρύτερη κατάσταση που απειλεί όλες τις επιστήμες, λόγω των απαιτήσεων που προβάλλουν οι επιτροπές δημοσίευσης, αλλά και την εμπιστοσύνη σε στατιστικά σημαντικά αποτελέσματα. Ειδικότερα, είναι αισιόδοξος ότι η κρίση στην ιατρική και την ψυχολογία θα οδηγήσει σε μια καλύτερη επιστήμη, με έμφαση στην αναπαραγώγιμη έρευνα. Δείτε το αυθεντικό άρθρο.

Η μετάφραση δημοσιεύεται με την ευγενική άδεια του Gary Marcus και του περιοδικού The New Yorker. This translation is posted after kind permission of Gary Marcus and The New Yorker magazine.

Λέξεις - Κλειδιά: Κοινωνική Ψυχολογία, Αναπαραγώγιμη Έρευνα, Στατιστικά Σημαντικά Αποτελέσματα, Επιτροπές Δημοσίευσης

Keywords: Social Psychology, Reproducible Research, Statistical Significant Results, Publication Bias

Σύμφωνα με τις επικεφαλίδες των εφημερίδων, η κοινωνική ψυχολογία πέρασε ένα δύσκολο χρόνο, και σίγουρα μια κακή εβδομάδα. Το νεο-υορκέζικο περιοδικό Times Magazine αφιέρωσε σχεδόν επτά χιλάδες λέξεις στον Diederik Stapel, τον Ολλανδό ερευνητή που διέπραξε επιστημονική απάτη σε τουλάχιστον 54 επιστημονικά άρθρα. Το περιοδικό Nature μόλις δημοσίευσε μια αναφορά για μια καινούργια διαμάχη: που αμφισβητεί το αν ορισμένα διαδεδομένα ευρήματα "κοινωνικής προέγερσης" του κοινωνικού ψυχολόγου Ap Dijksterhuis επιβεβαιώνονται από νεότερες έρευνες. Ο Dijksterhuis βρήκε ότι όταν σκεπτόμαστε έναν καθηγητή πριν γράψουμε εξετάσεις αποδίδουμε καλύτερα, από ότι όταν σκεπτόμαστε έναν βίαιο οπαδό. Παρόλο που κανείς δεν αμφισβητεί ότι ο Dijksterhuis πραγματοποίησε το πείραμα το οποίο επικαλείται, ενδέχεται το εύρημά του να είναι αδύναμο ή απλώς λάθος. Ίσως είναι απλά αποτέλεσμα του κινδύνου ενός πεδίου που επαφίεται υπερβολικά στην ιδέα ότι αν κάτι είναι στατιστικά πιθανό, τότε μπορούμε να το εμπιστευτούμε.

Τα πράγματα δεν είναι τόσο άσχημα όσο φαίνονται όμως. Αν και η αναφορά του Nature τιτλοφορείται "Αμφισβητούμενα αποτελέσματα: Νέο πλήγμα για την κοινωνική ψυχολογία", μετά βίας επισήμανε ότι έχουν γίνει ορισμένες αναπαραγωγές που στηρίζονται στο φαινόμενο που παρατήρησε ο Dijksterhuis. Το φαινόμενο αυτό μπορεί να αποδειχθεί έγκυρο, αν και ίσως ασθενέστερο από όσο θεωρήθηκε αρχικά. Και γενικότερα η "κοινωνική προέγερση" είναι απλώς ένα νήμα στο πολύ πλούσιο "ύφασμα" της κοινωνικής ψυχολογίας. Το πεδίο θα επιβιώσει ακόμα και αν το συγκεκριμένο εύρημα αποδειχθεί υπερτιμημένο ή απλώς και μια άτυχη παρέκβαση.

Ακόμα και αν η συγκεκριμένη γραμμή έρευνας περάσει σε ανυποληψία, είναι σημαντικό να μην ξεχνάμε το γεγονός ότι πολλά κλασικά ευρήματα της κοινωνικής ψυχολογίας έχουν αναπαραχθεί επανειλημμένα, όπως τα φαινόμενα που μελέτησε ο Milgram (στην παλιά μελέτη της υποταγής στην οποία οι συμμετέχοντες ανέβαζαν τα επίπεδα του ηλεκτροσοκ, όπως νομίζουν, μέχρι τα 450 V, προκαλώντας φαινομενικά αβάσταχτο πόνο στους άλλους, απλώς και μόνο επειδή τους το ζητούσαν). Ο ίδιος ο Milgram αναπαρήγαγε το φαινόμενο αρκετές φορές, σε διαφορετικούς πληθυσμούς και με ομάδες διαφορετικών υποβάθρων. Ακόμα και σήμερα το φαινόμενο είναι ανθεκτικό, πενήντα χρόνια μετά, στα χέρια άλλων ερευνητών. Και ακόμα και σήμερα άλλοι άνθρωποι επεκτείνουν αυτό το εύρημα: μόλις την τελευταία εβδομάδα διάβασα μια μελέτη στην οποία ατρόμητοι ερευνητές αναρωτήθηκαν αν οι άνθρωποι θα χορηγούσαν ηλεκτροσοκ σε ρομπότ σε ανάλογες περιστάσεις (η απαντηση είναι ΝΑΙ).

Ακόμα σημαντικότερο είναι το γεγονός ότι κάτι θετικό έχει αναδειχθεί από την κρίση της αναπαραγωγιμότητας. Κάτι ζωτικής σημασίας για όλες τις πειραματικές επιστήμες. Επί χρόνια, ήταν αρκετά δύσκολο να δημοσιευτεί σε καλό περιοδικό μια απευθείας αναπαραγωγή, ή η αποτυχία αναπαραγωγής ενός πειράματος. Σε όλη μου την καριέρα, και πολύ πριν από αυτήν, τα περιοδικά επέμεναν ότι τα άρθρα πρέπει να εκθέτουν πρωτότυπα αποτελέσματα. Πριν μερικά χρόνια απέτυχα απολύτως να αναπαράγω μια συγκεκριμένη μελέτη, αλλά δεν επεδίωξα να δημοσιεύσω το γεγονός διότι ήξερα ότι δεν θα ενδιέφερε πολλά άτομα. Τώρα, ευτυχώς, το κλίμα στην επιστημονική κοινότητα έχει αλλάξει. Από τότε που πρωτο-ανέφερα τα ζητήματα αυτά τον περασμένο Δεκέμβρη, αρκετοί κορυφαίοι ερευνητές στην ψυχολογία ανακοίνωσαν εκτεταμένες ενέργειες για την αναπαραγωγή πρηγούμενων μελετών, και την δημιουργία κινήτρων στους επιστήμονες έτσι ώστε να μην αισθάνονται ότι χάνουν τον καιρό τους κάνοντας κάτι που δεν πρόκειται να αξιολογηθεί θετικά από τις επιτροπές δημοσίευσης.

Το Reproducibility Project από το Center for Open Science είναι ήδη καθοδόν, με την πρώτη λευκή χάρτα αναφορικά με τις ψυχολογικές και κοινωνικές συνιστώσες της ίδιας της αναπαραγώγιμης έρευνας. Χάρι στους Daniel Simons και Bobby Spellman, το περιοδικό Perspectives in Psychological Science δέχεται τώρα υποβολές άρθρων γιά ένα νέο τμήμα που θα υπάρχει σε κάθε τεύχος, αφιερωμένο στην αναπαραγώγιμη έρευνα. Το περιοδικό Social Psychology σχεδιάζει ένα ειδικό τεύχος με αναπαραγωγές σημαντικών ευρημάτων στην κοινωνική ψυχολογία, και έχει ήδη λάβει 40 υποβολές (Σημ. του Μτφ: πρόκειται μάλλον για αυτό εδώ). Άλλα περιοδικά στην νευροεπιστήμη και την ιατρική επιδίδονται σε ανάλογες προσπάθειες. Ο συνεργάτης μου στο Πανεπιστήμιο της Νέας Υόρκης Todd Gureckis μόλις χρησιμοποίησε την υπηρεσία Amazon Mechanical Turk για να αναπαραγάγει ένα μεγάλο αριθμό ευρημάτων στην γνωστική ψυχολογία. Και μόλις την τελευταία εβδομάδα, ο Uri Simonsohn δημοσίευσε ένα άρθρο για την αντιμετώπιση του διασήμου προβλήματος του συρταριού, του γεγονότος ότι τα αρνητικά αποτελέσματα, όπως αποδεικνύεται ιστορικά, μένουν αδημοσίευτα.

Πρέπει ακόμα να θυμόμαστε ότι η κοινωνική ψυχολογία δεν είναι το μοναδικό πεδίο που θίγεται από αυτά τα προβλήματα - η ιατρική επίσης έχει αντιμετωπίσει τους ίδιους ακριβώς προβληματισμούς. Αλλά, όπως επισημαίνει ο Brian Nosek, από το κέντρο Center for Open Science, σε ηλεκτρονικό μήνυμα που μου απηύθυνε, οι ψυχολόγοι είναι προνομιακά καταρτισμένοι για να αντιμετωπίζουν τέτοια ζητήματα. "Η ψυχολογία είναι στην πρώτη γραμμή της μάχης με την αναπαραγωγιμότητα, με το να στρέφει την ερευνητική της εμπειρογνωμοσύνη στον εαυτό της", έγραψε.

Είτε η κοινωνική προέγερση αποδειχθεί αληθής είτε ότι, και είτε αποδειχθεί ότι είναι σημαντική συνιστώσα της νοητικής μας ζωής είτε όχι, είτε απλώς ένας αμελητέος παράγοντας που εύκολα υπερβαίνεται από άλλους, ολόκληρη η ψυχολογία και ολόκληρη η επιστήμη θα ωφεληθούν από την επαυξημένη προσπάθεια για αναπαραγώγιμη έρευνα. Αν, στη χειρότερη περίπτωση, μελέτες μίας δεκαετίας αποδειχθούν λιγότερο σημαντικές από όσο αρχικά πιστευόταν, δεν θα έρθει το τέλος του κόσμου. Και αν, παραπλεύρως, οδηγήσει σε μια κουλτούρα πιο προσεκτικής επιστήμης, το ισοζύγιο θα καταλήξει να είναι και θετικό.