O wolności uczonych i sposobach korzystania z niej

Naukowcy, podobnie jak artyści, cieszą się niemal nieskrępowaną wolnością. Sami decydują o tym co i w jaki sposób będą badać i czemu poświęcać swoje życie. Sami tworzą system kontroli, któremu się poddają. Jeśli ktokolwiek patrzy im na ręce, to są to najwyżej inni naukowcy. Ten wielki przywilej wolności wykorzystują w różny sposób. Są tacy, którzy pokonują kolejne bariery poznania przynosząc nam oszałamiające odkrycia i wynalazki, inni bez specjalnego wysiłku fałszują wyniki badań wspinając się po kolejnych szczeblach naukowej kariery. Są też i tacy, którzy cieszą się tą wolnością i korzystają z życia uprawiając, dość powszechną wśród uczonych, „turystykę konferencyjną”.

Kiedy jednak ktoś pilniej przygląda się temu, co robią, stają się nerwowi, tak jak w głośnym ostatnio przypadku ogłoszenia wyników badań przez zespół Open Science Framework kierowany przez Briana Nosek’a z Uniwersytetu Wirginii, który wykazał, że spośród 100 powtórzonych eksperymentów psychologicznych, aż w 61 nie udało się uzyskać podobnego rezultatu. W środowisku zawrzało, media podchwyciły temat, psychologia znów stała się ciemną gwiazdą medialną.

W rzeczywistości, dla kogoś, kto przygląda się nauce bez różowych okularów, całe to zamieszanie przypomina przerażenie rodziców rozpuszczonego nastolatka, którego uważali za najsłodsze i najbardziej niewinne stworzenie, a który okazał się być narkomanem wplątanym w działalność gangu młodocianych przestępców. Znając metodologię prowadzenia badań psychologicznych, ich wszelkie słabości i problemy, jakie napotykają badacze należałoby raczej ogłosić tryumfalnie – aż 36 (plus trzy niepewne wyniki) udało się powtórzyć! To wielki sukces w przypadku dość byle jak uprawianej nauki, jak ma to miejsce w przypadku psychologii. A jednak uczeni pod wpływem tej medialnej presji częściej przyznają się raczej do porażki niż sukcesu i angażują całą swoją inteligencję do obrony bylejakości zamiast wykorzystać sytuację do gruntownego zrewidowania tego, co robią.

Przykładem takiej pełnej retoryki, a nawet demagogii, obrony jest artykuł trójki psychologów społecznych – Adriana Wójcika, Aleksandry Cisłak i Dariusza Dolińskiego zatytułowany Psychologia to nie ściema, który ukazał się w portalu Wyborcza.pl 19 września 2015 roku. W pierwszym zdaniu zadają retoryczne pytanie: „Czy sprawny kłamca i różnice w wynikach badań mogą ośmieszyć naukę?”. Rozsądny i myślący człowiek nie może udzielić innej odpowiedzi niż przecząca: „Nie, nie mogą”. Nie jest ona jednak w żaden sposób miarodajna, bowiem samo pytanie zawiera ukryte tezy, które fałszują rzeczywistość, próbując narzucić czytelnikowi punkt widzenia autorów. Jeden sprawny kłamca i różnice w wynikach badań nie mogą ośmieszyć nauki, ale wielu sprawnych kłamców i zrezygnowanie z powtarzania wyników badań (replikacji) nie tylko ośmieszają naukę, ale stanowią dla niej ogromne zagrożenie.

Autorzy artykułu wskazują  przykład Diederika Stapela, który sfałszował wyniki większości swoich badań (ponad 50 wycofanych z druku prac) i przyczynił się w znaczący sposób do nadszarpnięcia medialnego wizerunku psychologii. Oczywiście nie sposób przejść obok tego obojętnie, ale rzecz w tym, że Stapel nie jest jedynym kłamcą, jak sugerują autorzy artykułu, a już na pewno nie sprawnym, bo tacy pozostają niewykryci. Rok wcześniej za fałszowanie wyników badań wydalono z Uniwersytetu Harvarda prominentnego psychologa amerykańskiego – Marca Hausera. Z kolei rok później, w 2012 roku Dirk Smeesters, psychology społeczny belgijskiego pochodzenia w wyniku zarzutów o fałszowanie wyników badań zmuszony został do rezygnacji ze swojego stanowiska w Erasmus University. Wkrótce później, Lawrence Sanna po odnalezieniu podejrzanych powtarzalnych schematów w jego obliczeniach statystycznych zrezygnował ze swojego stanowiska w University of Michigan w Ann Arbor. Niemal co rok demaskowani są kolejni oszuści. Wszystkich tych, których interesują takie przypadki odsyłam do prywatnego bloga Retraction Watch, który systematycznie publikuje informacje o kolejnych oszustach. Co ciekawe, żadna instytucja naukowa nie prowadzi podobnego wykazu.

Badania Lesli Johna i jego współpracowników przeprowadzone na 2155 psychologach naukowcach publikujących w czasopiśmie Psychological Science pokazują, że co najmniej 7% z nich fałszowało wyniki badań, a 66,5% przyznało się do innych poważnych nadużyć. Podobne rezultaty uzyskują również inni autorzy badający nadużycia uczonych. Warto przy tym zaznaczyć, że większość wyników badań szacujących nadużycia, podobnie jak korupcję, przestępczość itp. niekorzystne zjawiska jest mocno zaniżona. Sugerowanie, że przypadek Diederika Stapela jest przykładem zgniłego jabłka w beczce pełnej zdrowych owoców, nie tylko stwarza fałszywy obraz problemu, lecz, co gorsza, pomaga tym naprawdę sprawnym kłamcom pozostać niewykrytymi.

Różnice w wynikach badań tego samego zjawiska były i są czymś naturalnym. Pomagają się zastanowić nad błędami, które popełniają naukowcy, doskonalić metody badawcze, dlatego też replikacja – powtarzanie tych samych eksperymentów – jest podstawowym narzędziem nauki. Im więcej takich powtórzeń, tym lepiej, tym bardziej możemy być pewni rezultatów. A jednak w psychologii replikacja badań to mit. (Zainteresowanych odsyłam do lektury 6 rozdziału The Myth of Replication mojej książki Psychology Gone Wrong, gdzie zestawiłem szczegółowe dane i cytuję pełną literaturę). Czasopisma wprost odmawiają publikacji badań, które są replikacjami. Większość wyników publikuje się na podstawie pojedynczych eksperymentów a wnioski wyciągane na ich podstawie trafiają do podręczników. Brian Nosek i jego zespół podjęli pierwszą na taką skalę próbę replikacji znanych eksperymentów, dlatego jej wyniki tak mocno wstrząsnęły światkiem psychologów. Ale nie liczby są tutaj najważniejsze. Przede wszystkim obnażyły one fakt, że w psychologii niemal w ogóle nie replikuje się eksperymentów. A to już ośmiesza naukę i jest jej ogromnym zagrożeniem.

Kolejne argumenty autorów artykułu Psychologia to nie ściema, których celem jest wyjaśnienie czytelnikowi niezbyt dobrego stanu tej nauki, przypominają trochę wyjaśnienia ucznia, który nie odrobił pracy domowej. Uważają, że mimo młodego wieku (nieco ponad 100 lat) psychologia i tak osiągnęła wiele. Być może nie zauważyli co osiągnęła w czasie niecałych 100 lat genetyka, mechanika kwantowa, biologia molekularna? Nanotechnologia dla osiągnięcia tak niezwykłego poziomu zaawansowania, jaki dzisiaj obserwujemy potrzebowała zaledwie około 50 lat. Przykłady można mnożyć i w zależności od kontekstu wypadać korzystniej lub mniej korzystnie, co też autorzy robią, bo kolejny ich argument to powołanie się na zły stan medycyny, w której trudno uzyskać 50-procentową powtarzalność wyników badań. Przypomina to do złudzenia argumentację wielu Polaków z lat 80. kiedy pocieszaliśmy się nawzajem, że nie jest w naszym kraju tak źle, bo przecież zawsze gorzej było w Albanii, a jeśli liczby pokazywały coś innego, zawsze można było liczyć na Rumunię. Fatalny poziom powtarzalności badań medycznych świadczy o złym stanie medycyny. Tylko i wyłącznie. W żaden sposób nie świadczy to na korzyść psychologii.

Wyliczanie wad, jakie można znaleźć w badaniach przeprowadzonych przez Open Science Framework również nie przyczyni się do poprawy wizerunku psychologii. Z całą pewnością natomiast przyczyniłaby się do tego ich wielokrotna replikacja. I to nie replikacja jeden do jednego, w której staramy się wiernie powtórzyć najdrobniejszy szczegół badania, ale właśnie replikacja w zmieniających się warunkach, kontekstach, bo jeśli odkryte prawidłowości pretendują do roli praw opisujących rzeczywistość, to nie powinny się ulatniać przy subtelnej zmianie warunków. Byłbym pozytywnie zaskoczony, gdyby po tak przeprowadzonych replikacjach udało się utrzymać powtarzalność wyników na tak wysokim poziomie, jaki uzyskał Open Science Framework.

Zgadzam się z autorami, że wieszczenie końca psychologii i sugerowanie, że cała wiedza psychologiczna jest niewiele warta, to tania sensacja. Stałem i stoję na stanowisku, że psychologia to nauka, która ma swoje wybitne osiągnięcia, często zupełnie nieznane opinii publicznej. Protestuję jednak przeciwko tworzeniu przez media i niektórych uczonych wizerunku Nosek’a, jego zespołu i podejmowanych przez nich działań, jako nieprofesjonalnych, niepełnych obliczonych na sensację. Nosek nie jest rewolucjonistą, jest naukowcem z krwi i kości, który zainicjował i przeprowadził projekt wymagający ogromu pracy. Pracy niewdzięcznej, bo przynoszącej uczonym dużo mniej korzyści niż badanie nowych, ale kompletnie banalnych zjawisk. Pozostaje tylko mieć nadzieję, że zmasowany atak, którego stał się ostatnio celem nie zniechęci ani jego, ani jego naśladowców do wykonywania tej niewdzięcznej pracy.

Różnię się również z autorami artykułu poziomem optymizmu w ocenie tego, na ile psychologia jest świadoma własnych problemów. Piszą oni, o zdominowaniu badań przez amerykańskich uczonych a także o tym, że psychologia próbuje sobie radzić z wynikającymi z tego  słabościami poprzez prowadzenie badań w wielu kulturach. Rzeczywiście, mała grupa uczonych to robi, ale ogromna większość bada studentów psychologii w bogatych, demokratycznych i zindustrializowanych społeczeństwach. Podobnie jak dzisiaj Nosek ujawnia problem powtarzalności wyników, tak pięć lat temu obnażyli te problemy Joseph Heinrich, Steven Heine i Ara Norenzayan z University of British Columbia w głośnym artykule zatytułowanym The weirdest people in the world (Najdziwaczniejsi ludzie świata). Pokazali oni, że współczesna psychologia w rzeczywistości dotyczy egzotycznej grupy społeczeństw, które nazwali WEIRD. Mamy tu do czynienia z grą słów, bowiem przymiotnik weird tłumaczymy jako dziwny, dziwaczny, ale jednocześnie jest to akronim utworzony z kilku przymiotników: Western, Educated, Industrialized, Rich i Democratic (zachodnie, wykształcone, zindustrializowane, bogate i demokratyczne).

Analiza prac publikowanych w wiodących magazynach psychologicznych, przeprowadzona przez Heinricha i jego kolegów, pokazała, że 96% osób badanych pochodziło z uprzemysłowionych krajów Zachodu, które stanowią zaledwie 12% populacji świata. W tym aż 68% ze Stanów Zjednoczonych. Wśród Amerykanów uczestniczących w badaniach 67% było studentami psychologii, co sprawia, że szanse, iż obiektem badań był losowo wybrany amerykański student są cztery tysiące razy większe niż to, że był nim ktoś spoza kręgu cywilizacji zachodniej. W latach 2003–2007 w badaniach opublikowanych w sześciu najważniejszych czasopismach psychologicznych studenci stanowili 80% badanej populacji. W rezultacie nasza wiedza o prawidłowościach dotyczących ludzkiej natury opiera się na grupce, którą badacze określili mianem WEIRD.

Brak reprezentatywności badań psychologicznych nie jest jednak głównym powodem zmartwienia, wszak może się okazać, że w wielu aspektach natura ludzka jest podobna i to, w jaki sposób spostrzegamy np. proporcje, jest niezależne od tego czy żyjemy w Stanach Zjednoczonych czy też na stepach Kaukazu. Autorzy nie poprzestali wyłącznie na podważeniu braku reprezentatywności publikowanych badań. Przeprowadzili również analizę porównawczą wyników uzyskanych w badaniach prowadzonych w kilku różnych obszarach, takich jak percepcja wzrokowa, uczciwość, współpraca, wyobraźnia przestrzenna, style poznawcze i typy umysłów, osądy moralne czy rozumienie pojęcia „ja”. Okazało się, że ludzie określani mianem WEIRD mocno różnią się od innych populacji, często też uzyskują skrajne wyniki. Co najbardziej zaskakujące, nawet zdawałoby się tak podstawowe procesy poznawcze, jak percepcja wielkości czy kształtów różnią się w rozmaitych kulturach, a to już wymaga gruntownej rewizji podręczników psychologii.

Gdyby wszyscy psychologowie badacze na całym świecie po publikacji tego artykułu w 2010 roku  zrewolucjonizowali swoje podejście i zaczęli prowadzić wyłącznie badania na przedstawicielach innych kultur i badania porównawcze, to jeszcze przez wiele lat psychologia nie uwolni się od tego zafałszowania. Nic takiego jednak się nie stało. Uczeni nadal najchętniej prowadzą badania na studentach, czasami na innych grupach ze swojego kręgu kulturowego, a ostatnio coraz częściej na anonimowych użytkownikach Internetu.

Dość charakterystyczną cechą mniej „twardych” nauk jest szukanie analogii do nauk „twardych”, takich jak fizyka, chemia, biologia. Bardzo chętnie korzystają z tego wszelkiego rodzaju pseudonauki. Również autorom tego artykułu nie udało się uniknąć tego rodzaju porównań. Podają oni jako analogię do problemu powtarzalności wyników badań w psychologii przykład fizyków, którzy ogłosili fakt rozpędzenia neutrina powyżej prędkości światła, co okazało się wynikiem błędu. Ich opis nie zawiera jednak informacji, że te rewelacje zostały zrewidowane w ciągu kilku dni w wyniku replikacji właśnie. Nie dodają też, że o ile w fizyce i innych naukach „twardych” pewne odkrycia replikuje się w ciągu kilku godzin lub dni od ich dostrzeżenia (nie publikacji!), o tyle w psychologii publikuje się takie wyniki, na replikację czekają czasami kilkadziesiąt lat, a czasami nie następuje ona nigdy. Przedstawiciele wszystkich dyscyplin naukowych popełniają błędy i to ich do siebie upodabnia, jednak to, w jaki sposób te błędy traktują powoduje tak ogromne różnice w rzetelności wiedzy gromadzonej przez uczonych różnych dyscyplin. Nie da się niestety zatuszować tych różnic.

Problemy z replikacją, fałszowaniem wyników badań, brakiem ich reprezentatywności, to nie jedyne z jakimi boryka się psychologia. Plagą jest produkowanie przez naukowców tzw. nauki śmieciowej (junk science) – wyników badań, których nikt nigdy nie czyta i nie cytuje. Obecnie szacuje się, że ok. 50% wszystkich publikacji to nauka śmieciowa. Nawet czasopisma z powszechnie uznawanej Listy Filadelfijskiej zawierają ok. 20% junk science. Uczeni bronią się ciągle przed udostępnianiem tzw. danych surowych, a więc tych jeszcze niepoliczonych wyników. Można tylko snuć domysły dlaczego. Poważnym problemem, o którym się niemal nie mówi jest zwyczaj niepublikowania negatywnych wyników badań. Zalegają w szufladach uczonych, bo przyjęto założenie, że negatywne wyniki są rezultatem błędów metodologicznych, podczas gdy mogą one stanowić nieocenione źródło wiedzy o rzeczywistości. I wreszcie problem, który dotyka najnowszej psychologii, to porzucenie badań zachowania ludzi na rzecz badania dokonywanych przez nich samoopisów. Większość psychologów zatem nie bada procesu podejmowania rzeczywistych decyzji, lecz przy pomocy kwestionariusza zadaje ludziom pytanie jakie decyzje podjęliby w określonych warunkach. Nie obserwuje zachowania ludzi, tylko prosi o wypełnienie kwestionariuszy, w których konkretne zachowania deklarują. Na tej podstawie wyciągają daleko idące wnioski o naturze ludzkiej.

To tylko niektóre problemy, z których każdy z osobna jest tykającą bombą zegarową zdolną wywołać co najmniej takie zamieszanie, jak ogłoszenie wyników Open Science Framework. Każdy z nich czeka na swojego Briana Nosek’a i każdy będzie wymagał kolejnych zabiegów zmierzających do obrony wizerunku psychologii jako nauki i prawdopodobnie przybierze jedną z dwóch form.

Pierwsza,  polega na maskowaniu wad, nakładaniu pudru i zamiataniu pod dywan tego, co nieładnie wygląda. Z pewnością jest to droga, która w stosunku do wielu i na pewien czas może przynieść oczekiwane rezultaty. Jeśli stosują ją ludzie inteligentni, znawcy natury ludzkiej, prawidłowości perswazji, wywierania wpływu i zmiany postaw, te rezultaty mogą być nawet zadziwiająco trwałe. Zawsze jednak liczyć się z tym, że pojawi się jakiś osobnik, który zakrzyknie: Król jest nagi!

Druga droga polega na identyfikowaniu własnych wad, konfrontowaniu się z nimi i ciężkiej pracy nad ich usunięciem. Jest trudna, nie zawsze kończy się sukcesem. Ma jednak tę przewagę nad pierwszą, że daje szansę rozwoju. Naukowcy cieszą się niemal nieskrępowaną wolnością, dlatego też wyłącznie do nich będzie należała decyzja, czy wykorzystają tę wolność do obrony własnych przywilejów, czy też dla przekraczania granic poznania.