Stephen J. Ceci & Douglas P. Peters
Μετάφραση: Νίκος Γιαλλούσης.
Σημείωμα του Μεταφραστή: Πρόσφατα ένας φοιτητής δυσανασχέτησε με μια μεθοδολογική επιλογή που συνάντησε σε ένα δημοσιευμένο άρθρο, και ρωτώντας σχετικά τον διδάσκοντα, έλαβε την απάντηση ότι "αυτός ο συγγραφέας μπορεί" να το κάνει - εμείς όχι. Άλλοτε, ο γράφων προέβαλλε μια μεθοδολογική αντίρρηση σε υποψήφιο διδάκτορα, και έλαβε απάντηση που ανέφερε το όνομα του συγγραφέα και του περιοδικού ως εχέγγυα ότι η αντίρρηση θα είχε σίγουρα ελεγχθεί! Πρόκειται άραγε για μεμονωμένα περιστατικά που μας ασχημαίνουν την ερευνητική καθημερινότητα, ή για κάτι ευρύτερο; Η μελέτη των Peters & Ceci (1982) που δημοσιεύτηκε στο Behavioral and Brain Sciences και συνοδεύτηκε από πάνω 50 σχόλια στο ίδιο τεύχος, κόντεψε αρχικά να κοστίσει στον Peters την καριέρα του. Σύντομα όμως η APA επικαλέστηκε τη μέλετη αυτή για να εισάγει τυφλές διαδικασίες στα περιοδικά της. Περιστατικά όπως τα αναφερόμενα δείχνουν ότι ο σκληρός πυρήνας των μεροληψιών παραμένει. Δεν το λέω άλλωστε εγώ, αλλά οι συγγραφείς του Publication Bias in Meta-Analysis, μόλις το 2005: "Υπάρχουν τώρα ισχυρές ενδείξεις ότι υπάρχουν μεροληψίες δημοσίευσης στις βιο-ιατρικές και κοινωνικές επιστήμες, τόσο σε παρατηρησιακές όσο και πειραματικές μελέτες" (σ. 13). Ευτυχώς χάρη στους Peters & Ceci, οι μεροληψίες δημοσίευσης αποτελούν τώρα οι ίδιες αντικείμενο επιστημονικής μελέτης. Στο παρακάτω κείμενο οι συγγραφείς θυμούνται τις απαρχές αυτής της μελέτης, και άλλα όμορφα στιγμιότυπα - όπως τις απειλές ενός από τους εκδότες που ανακάλυψε το τέχνασμα, ότι θα σταματήσει να δημοσιεύει άρθρα ολόκληρου του ιδρύματος!
Το άρθρο διανέμεται εδώ από την ιστοσελίδα The Winnower ελεύθερα, σύμφωνα με την Creative Commons Attribution 4, International Licence. Επιτρέπεται η αναπαραγωγή του με αναφορά στην πηγή.
Πως ξεκίνησε το εγχείρημα.
Το 1978, ένας από εμάς (Ceci) ήταν μόλις διορισμένος αναπληρωτής καθηγητής ψυχολογίας στο Πανεπιστήμιο της Βόρειας Ντακότα, και ο άλλος (Peters) βρισκόταν στο τέταρτο έτος της θητείας του, ένα μόλις έτος πριν την καίρια κρίση υπέρ της μονιμότητάς του. Μία μέρα, κατά τη διάρκεια του γεύματος με μερικούς συναδέλφους, έγινε μια συζήτηση σχετικά με μεροληψίες δημοσιεύσεων. Ένας παλαιός συνάδελφος υποστήριξε ότι η πρόσφατη τότε δημοσίευση σε ένα έγκυρο περιοδικό ψυχολογίας δεν θα είχε γίνει δεκτή αν ο συγγραφέας δεν ήταν διακεκριμένος ερευνητής στο Χάρβαρντ. Επέμεινε ότι αν ο ίδιος είχε υποβάλλει το ίδιο χειρόγραφο για κρίση, θα είχε απορριφθεί μονομιάς. Εμείς δεν ήμασταν σίγουροι. Ο ερευνητής αυτός είχε ο ίδιος δυσκολίες να δημοσιεύσει τη δουλειά του, και ίσως αυτό επηρέαζε τις απόψεις του για την επιστήμη και επέτεινε τα συνωμοσιολογικά του αισθήματα.
Αργότερα, συζητώντας αυτήν την κατηγορία για μεροληψίες στην ψυχολογική επιστήμη, αναρωτηθήκαμε πως θα μπορούσαμε να ελέγξουμε τον ισχυρισμό του. Τελικά, αποφασίσαμε να διεξάγουμε ένα φυσικό πείραμα, στηριζόμενοι σε ένα λογοτεχνικό παράδειγμα που είχαμε διαβάσει τότε. Ο συγγραφέας Jerzy Kosinski, που κέρδισε το 1969 ένα βραβείο για το βιβλίο του Steps, επέτρεψε σε έναν ανεξάρτητο συγγραφέα, ονόματι Chuck Ross να υποβάλλει εκ νέου ένα χειρόγραφο του βιβλίου σε 14 γνωστούς εκδοτικούς οίκους, συμπεραλαμβανομένου και του οίκου Random House, που είχε αρχικά δημοσιεύσει το μυθιστόρημα. Ο Ross άλλαξε το χειρόγραφο μόνο όσον αφορά στο όνομα του συγγραφέα και τον τίτλο. Κατά εντυπωσιακό τρόπο, κανένας από τους κριτές των εκδοτικών οίκων δεν αντελήφθη το κόλπο. Όλοι προχώρησαν στην κρίση του χειρογράφου, και όλοι το απέρριψαν, παρόλο που το κείμενο αυτό είχε κερδίσει το Εθνικό Βραβείο Βιβλίου το 1969! Κωμικά, μία από τις απορριπτικές επιστολές σημείωνε: "παρόλο που θυμίζει αμυδρά τον Κοσίνσκι, δεν έχει την δραματική του ένταση"!
Θα μπορούσε ένα τέτοιο κόλπο να δουλέψει και για την διαδικασία κρίσης των επιστημονικών περιοδικών; Θα μπορούσαν οι εκδότες και οι κριτές να αποτύχουν να αναγνωρίσουν ένα άρθρο ήδη δημοσιευμένο στα περιοδικά τους, από κορυφαίους ερευνητές, και να προχωρήσουν μέχρι και στην απόρριψή τους; Για να το εξακριβώσουμε, επιλέξαμε έναν αριθμό πρόσφατων τότε άρθρων, δημοσιευμένων σε έγκυρα περιοδικά ψυχολογίας, αναθέσαμε στη γραμματεία να τα ξαναδακτυλογραφήσει λέξη προς λέξη, και τα αλλοιώσαμε ελαφρά για να συγκαλύψουμε την αναπαραγωγή - αντικαταστήσαμε το όνομα του ερευνητή με ένα άγνωστο όνομα, και αλλάξαμε τον τίτλο, ώστε να μην αναγνωριστεί το κόλπο αμέσως. Τότε, θα στέλναμε τα μεταμφιεσμένα άρθρα στα ίδια τα περιοδικά που μόλις πρόσφατα τα είχαν δημοσιεύσει, και θα ζητούσαμε από τον εκδότη να τα κρίνει ως υποψήφια για δημοσίευση στο περιοδικό του (όλοι οι εκδότες ήταν άντρες). Φυσικά δεν κάναμε καμία νύξη στο ότι οι ίδιοι είχαν ήδη δημοσιεύσει τα άρθρα. Θα επαναλάμβαναν την προηγούμενή τους απόφαση να δημοσιεύσουν τα άρθρα; Ή θα τα απέρριπταν, προβάλλοντας διάφορους λόγους; Αν συνέβαινε το δεύτερο, θα έδινε κάποιο βάρος στην άποψη του συναδέλφου μας, ότι η δουλειά του θα απορρίπτονταν, αν και εξίσου καλή με του ομολόγου του από το φημισμένο πανεπιστήμιο.
Πήραμε άδεια από τους αρχικούς συγγραφείς να χρησιμοποιήσουμε τα άρθρα τους κατ' αυτόν τον τρόπο. Τους διαβεβαιώσαμε ότι δεν είχαμε καμία πρόθεση να αναδημοσιεύσουμε πραγματικά τη δουλειά τους, και θα εξηγούσαμε στον εκδότη το κόλπο μετά το πείραμα. Εκτός από την ερώτηση αν οι εκδότες και οι κριτές θα επαναλάμβαναν την προηγούμενή τους απόφαση να δημοσιεύσουν τα άρθρα, όταν οι συγγραφείς τους δεν ήταν έγκριτοι καθηγητές από το Στάνφορντ και το Χάρβαρντ, αναρωτηθήκαμε και για το αντίθετο: θα δεχόντουσαν ένα άρθρο που προηγουμένως είχε απορριφθεί, αν αυτό υποβάλλονταν με το όνομα ενός έγκριτου καθηγητή;
Βαλθήκαμε να προετοιμάζουμε τα υλικά για αυτό το πείραμα. Πήραμε άδειες από έγκριτους καθηγητές σε κορυφαία ιδρύματα να χρησιμοποιήσουμε τα μόλις δημοσιευμένα άρθρα τους, βάλαμε ένα τυπογράφο να μας φτιάξει επιστολόχαρτα στο όνομα ενός ψεύτικου ερευνητικού κέντρου που να έδειχνε χαμηλού κύρους (το Northern Plains Center for Research), και νοικιάσαμε μια ταχυδρομική θυρίδα στη γειτονική πολιτεία της Μινεσότα για την αλληλογραφία, έτσι ώστε οι εκδότες και οι κριτές να μην συνδέσουν το χειρόγραφο με το Πανεπιστήμιο της Βόρειας Ντακότα, σε περίπτωση που καταλάβαιναν το κόλπο, και έλεγαν σε άλλους εκδότες να προσέχουν τα χειρόγραφα που αποστέλλονται από άτομα του πανεπιστημίου μας.
Στην πρώτη φάση του πειράματος, στείλαμε δεκατρία χειρόγραφα στα ίδια τα περιοδικά στα οποία είχαν αρχικά δημοσιευτεί, με συνοδευτικές επιστολές γραμμένες στα ψεύτικα επιστολόχαρτά μας, και ζητήσαμε από τους εκδότες (οι οποίοι ήταν όλοι πλην ενός οι ίδιοι εκδότες που είχαν αποδεχτεί την δημοσίευση των ιδίων άρθρων) να κριθούν τα κείμενά μας για δημοσίευση, χωρίς να αναφέρουμε ότι είχαν ήδη δημοσιευτεί ή ότι αποτελούσαν μέρος ένος πειράματος που εξέταζε ισχυρισμούς για μεροληψίες εκδοτών σε βάρος χαμηλότερου κύρους ιδρυμάτων. Η δεύτερη φάση θα εξέταζε το αν χειρόγραφα που είχαν ήδη απορριφθεί, θα γινόντουσαν δεκτά αν το όνομα του συγγραφέα άλλαζε από άγνωστο σε αυτό ενός διάσημου ερευνητή.
Προς μεγάλη μας χαρά, σχεδόν κανένας από τους εκδότες δεν αναγνώρισε το χειρόγραφο ως ήδη δημοσιευμένο άρθρο στο περιοδικό του. Προχώρησαν σε διαδικασία κρίσης, και στις περισσότερες περιπτώσεις οι κριτές συνέστησαν την απόρριψή του. Επεσήμαναν σφάλματα στο σχεδιασμό, την στατιστική ανάλυση, το θεωρητικό συλλογικό κ.λπ., που θεωρούσαν ότι υποβάθμιζαν την εγκυρότητα της μελέτης. Δεν άφησαν καν ανοιχτό το ενδεχόμενο διορθώσεων! Ωστόσο, είχαμε ένα πρόβλημα: οι κριτές κατάλαβαν το κόλπο σε μια περίπτωση, και ενημέρωσαν τον εκδότη. Εκείνος ειδοποίησε την ένωση εκδοτών, ότι κάποιος υπέβαλλε ήδη δημοσιευμένα χειρόγραφα στα ίδια περιοδικά που τα είχαν δημοσιεύσει, με ορισμένες αισθητικές αλλαγές, για να δούν αν θα τα ξαναδημοσίευαν. Ουσιαστικά, ο εκδότης μας κατηγόρησε ότι προσπαθούσαμε να δημοσιεύσουμε τα άρθρα με το δικό μας όνομα, πράγμα φυσικά εξωφρενικό. Όπως προαναφέραμε, είχαμε υποσχεθεί στους συγγραφείς ότι δεν είχαμε καμία πρόθεση να αναδημοσιεύσουμε πραγματικά τα άρθρα τους, και τα ονόματα που χρησιμοποιήσαμε ήταν ψεύτικα και ανύπαρκτα στην ψυχολογία. Με ελάχιστη προσοχή μάλιστα φαινόταν ότι επρόκειτο για αστεία ονόματα (πχ. Beulah L. Ardass, Frank Lee Manure). Έτσι, η δεύτερη φάση του πειράματος, για το αν ήδη-απορριφθέντα άρθρα θα γινόντουσαν δεκτά με την αντικατάσταση του ονόματος ενός χαμηλού κύρους ερευνητή από αυτό ενός υψηλού κύρους ερευνητή, δεν πραγματοποιήθηκε.
Προσπαθήσαμε να δημοσιεύσουμε τα αποτελέσματα της πρώτης φάσης της μελέτης, αναφέροντας τις αποφάσεις των εκδοτών να απορρίψουν τα χειρόγραφα, εκθέτοντας τις αμφιβολίες των εκδοτών κλπ. Κατά ειρωνικό τρόπο τα δύο πρώτα περιοδικά που υποβάλλαμε απέρριψαν την εργασία μας. Δεν ήταν ξεκάθαρο το γιατί, αφού οι κρίσεις που λάβαμε περιείχαν τόσο θετικά όσο και αρνητικά σχόλια, και κυρίως θετικά. Δεν βοήθησε την υπόθεσή μας το ότι τότε ξεκίνησε μια καμπάνια για να τιμωρηθούμε, που πήρε εθνικές διαστάσεις. Παρακάτω περιγράφουμε μια ατυχή περίπτωση αυτής.
Εμπόδια που προβλήθηκαν στη δημοσίευση των αποτελεσμάτων, όσο και έπειτα.
Ένας εξαγριωμένος εκδότης ανακάλυψε ότι η ταχυδρομική θυρίδα που χρησιμοποιούσαμε στη Μινεσότα δεν απείχε ιδιαίτερα από το Πανεπιστήμιο της Βόρειας Ντακότα, και υπέθεσε ότι οι φταίχτες θα προέρχονται από αυτό το ίδρυμα. Ειδοποίησε τον πρόεδρο του Τμήματος Ψυχολογίας, ρωτώντας αν η επιτροπή δεοντολογίας είχε εγκρίνει αυτήν την μελέτη, και απειλώντας ότι ίσως έκρινε πρέπον να τιμωρηθεί ολόκληρο το τμήμα με την παύση της δημοσίευσης της μελλοντικής έρευνάς του. Την εποχή εκείνη (το 1978) δεν υπήρχαν επιτροπές δεοντολογίας που να εγκρίνουν τις έρευνες των κοινωνικών επιστημών, κάτι που έγινε υποχρεωτικό αργότερα. Πριν ξεκινήσουμε την μελέτη, είχαμε ενημερώσει τον πρόεδρο με μια περίληψή της, στην οποία γινόταν ξεκάθαρο ότι θα ζητούσαμε άδεια των αρχικών συγγραφέων και ότι δεν είχαμε σκοπό να δημοσιεύσουμε αυτά τα κείμενα. Εξηγούσαμε ακόμα ότι δεν ζητούσαμε άδεια από τους εκδότες, για να μην θυσιαστεί η ίδια η εγκυρότητα της μελέτης.
Για να μην μακρηγορούμε, επιπληχθήκαμε χωρίς καθυστέρηση. Η γραμματεία διετάχθη να μην δακτυλογραφεί τα χειρόγραφά μας (θυμηθείτε ότι η μελέτη ήταν ημιτελής) μέχρι να υπογράψουμε μία συμφωνία παύσης της έρευνας και παραίτησης από τη συνέχισή της. Αυτή ήταν η λιγότερο τιμωρητική από τις αντιδράσεις. Ο Peters βρισκόταν πιά στον πέμπτο χρόνο και θα κρινόταν η μονιμότητά του, και η αντίδραση του εκδότη έπαιξε μεγάλο ρόλο σε αυτή τη διαδικασία. Ο Peters επικρίθηκε ότι επέδειξε ασθενή κρίση, διεξάγοντας μια μελέτη που έθετε σε κίνδυνο τη δυνατότητα των συναδέλφων του να δημοσιεύσουν. Ο Ceci αντιμετωπίστηκε με μεγαλύτερη επιείκια, καθώς ως νεότερος δεν θα μπορούσε να ξέρει πόσο λάθος ήταν να κάνει μια τέτοια μελέτη, αλλά ο Peters θεωρήθηκε ότι θα έπρεπε να "ξέρει καλύτερα". Τελικά ο Peters έχασε τη μονιμότητα. Αυτό οδήγησε σε μακροσκελείς προσφυγές με ένορκες καταθέσεις από τα περισσότερα μέλη του Τμήματος Ψυχολογίας, και πολλαπλές εσωτερικές κρίσεις εντός του ιδρύματος. Κατά ενδιαφέροντα τρόπο, οι κρίσεις αυτές συνιστούσαν να λάβει ο Peters τη μονιμότητα, εφόσον όλες οι προηγούμενες ετήσιες κρίσεις του ήταν θετικές. Καθώς η διαδικασία των προσφυγών συνεχιζόταν μέσα στο πανεπιστήμιο, συνέβη ένα τυχαίο γεγονός: όλα τα προγράμματα με κλινική πιστοποίηση θα έπρεπε να επανα-πιστοποιούνται κάθε 5 χρόνια. Η διαδικασία περιελάμβανε την αποστολή των μητρώων όλων των μελών του προγράμματος σε μια εξωτερική ομάδα κριτών, εντεταλμένη από την Αμερικανική Ψυχολογική Εταιρεία. Τότε, η ομάδα θα επισκεπτόταν το ίδρυμα, για να συναντήσει το προσωπικό και να κάνει τις υποδείξεις της για την ανανέωση της πιστοποίησης.
Ο Peters είχε ήδη φτιάξει τη βαλίτσα του. Είχε μόλις ξεκινήσει μια νομική διαδικασία που θα κρατούσε χρόνια, και το συμβόλαιό του θα έληγε σε ένα μήνα. Χωρίς να το ξέρουμε, η APA είχε συμπεριλάβει στην αναφορά της σοβαρές αμφιβολίες για αυτήν την άρνηση μονιμότητας, θεωρώντας τον Peters κορυφαίο ερευνητή του ιδρύματος, και κατσαδιάζοντας το τμήμα που προέβη σε τέτοιας σημασίας αρνητική κρίση χωρίς καμία προειδοποίηση. Μαζί με τις εσωτερικές γνωμοδοτήσεις που συνιστούσαν ανάκληση της άρνησης μονιμότητας, ο πρόεδρος του τμήματος παρενέβη και αντέστρεψε την απόφαση. Πιστεύουμε ότι το συμβούλιο του ιδρύματος τον πληροφόρησε ότι η άρνηση της μονιμότητας θα έπεφτε στο δικαστήριο και το πανεπιστήμιο θα έχανε πολλαπλά. Έτσι, ο Peters έλαβε μονιμότητα αναδρομικά, και του παραχωρήθηκε μια εκτεταμένη άδεια. Μέσα σε πέντε χρόνια ανακηρύχθηκε καθηγητής. Ο Ceci έφυγε από το Πανεπιστήμιο της Βόρειας Ντακότα για μία θέση στο Πανεπιστήμιο Cornell, για λόγους σχετιζόμενους με τη συμπεριφορά του κατά την εν λόγω περίοδο.
Γιατί η μελέτη συζητήθηκε τόσο πολύ;
Η μελέτη μας συζητήθηκε εντόνως, φτάνοντας τελικά τις 652 αναφορές (σύμφωνα με το Google Scholar). Ο λόγος είναι προφανής. Οι εγκεκριμένες από ομολόγους δημοσιεύσεις είναι για τους πανεπιστημιακούς το νόμισμα της αυτοκρατορίας. Η επιτυχία μας να δημοσιεύσουμε σε περιοδικά, και ειδικά σε έγκριτα περιοδικά, είναι θεμελιώδης γιά ότι αξιολογείται θετικά στην πρόσληψη σε πανεπιστήμια, τον επαναδιορισμό, την μονιμότητα, την προαγωγή, τη μισθολογική αύξηση, την επαγγελματική επιτυχία και αναγνώριση. Η μελέτη μας, αν και ατελής, εγείρει αμφιβολίες για την αξιοπιστία της διαδικασίας κρίσης από ομολόγους, και υπέδειξε μεροληψίες υπέρ των υψηλού κύρους συγγραφέων και των ιδρυμάτων τους. Το να ενισχύσουμε αυτήν την υπόδειξη απαιτούσε τα ίδια τα δεδομένα που δεν στάθηκε δυνατό να συλλέξουμε: την έκβαση της κρίσης για τυχόν δημοσίευση προηγουμένως απερριθφέντων χειρογράφων άσημων ερευνητών, χαμηλόβαθμων ιδρυμάτων, όταν αυτά υποβάλλονταν υπογεγραμμένα από αναγνωρίσιμα ονόματα. Αλλά και χωρίς αυτό το στοιχείο, τα αποτελέσματά μας ανέδειξαν το φάντασμα μιας αναξιόπιστης διαδικασίας, μέσα στην οποία η τύχη ενός χειρογράφου να δημοσιευτεί ή όχι ήταν ασυνεπής. Όταν η μελέτη δημοσιεύτηκε το 1982 στο Behavioral and Brain Sciences, συνοδευόταν από περίπου 50 σχολισμούς, προσκεκλημένες απαντήσεις από εκδότες όλων των πεδίων, και όχι μόνο της ψυχολογίας. Οι περισσότερες από αυτές τις αντιδράσεις ήταν θετικές, και πήραν τη θέση ότι το σύστημα των ομολόγων θα πρέπει να αγκαλιάσει τα αποτελέσματά μας και να οδηγηθεί στην εγκατάλειψη των μη-τυφλών κρίσεων, στις οποίες οι κριτές γνωρίζουν την ταυτότητα των συγγραφέων πριν υποβάλλουν τις κρίσεις τους. Μέσα σε μερικά χρόνια από την έκδοση της μελέτης μας, η APA άλλαξε το σύστημά της, εγκαθιδρύοντας τυφλές κρίσεις, αναφέροντας ως εφαλτήριο τη μελέτη μας.
