суботу, 18 травня 2013 р.

Неправда в науці. ч.1 (психологія)

Хто з економістів, які хоча б одним оком слідкують за настроями провідної макроекономічної тусовки, не чув про трагедію Рейнхарт-і-Рогоффа... Як? Не чув?! 

Reinhart-Rogoff

R-R! Rrr-Rr! I am evil. Yes, I am!
Спочатку, в далекому 2010, Кармен Рейнхарт і Кеннет Рогофф написали разом цю чудову статтю з досить простим по суті аналізом взаємозв'язку рівня боргу і темпів економічного зростання і дуже неявним закликом ставитися до боргу обережніше. Це було далеко не перше дослідження R-R на тему боргу, з цілком очікуваними припущеннями і висновками, логічною структурою і... результатами, які ніяк не вдавалося повторити іншим дослідникам — ніхто не знаходив такої критичної різниці в зростанні країн, в яких державний борг досяг 90%, і їх більш щасливих/ощадливих сусідів.
Хоч на це і звертали увагу критики фіскальної консолідації, але в помірній економічній тусовці і критикують помірно. А зважаючи на те, що серед аргументів на користь значного урізання бюджетів під час повільного економічного зростання і ставок в пастці ліквідності були набагато більш вразливі (аж до зовсім божевільних), статтю прийняли навіть критики: зрештою, країни з гарними темпами економічного зростання дійсно рідко досягають 90% рівня боргу. Темою дискусій був напрямок причинно-наслідкового зв'язку, а не сама його наявність.
Божевілля почалося з маленької, ледве помітної статті отут і далеко більш яскравої отут і тривало добрих кілька тижнів, протягом яких в дискусії встигли взяли участь всі.
В чому суть проблеми? Кілька молодих дослідників провели ґрунтовний аналіз оригінального дослідження і змогли знайти підстави для таких специфічних результатів.
По-перше, R-R серйозно помилилися в Екселі (я б сказав, налажали — але краще вже вдруге запропоную глянути на доброго дядька Джеймса Квака і Ексель) і просто не врахували кілька важливих спостережень. Як сказав Кругман, "Holy coding error, Batman!".
 По-друге, вони дуже дивно агрегували дані: спочатку зважували періоди високого боргу незалежно від їх тривалості, а потім з так само однаковою вагою усереднювали дані по країні (як сприятливо! єдиний "зручний" для висновків дослідження рік з високим боргом одної маленької країни, скажімо Нової Зеландії, буде таким самим важливим, як і 19 років високого боргу і швидкого зростання Великобританії).
По-третє, деякі післявоєнні періоди R-R просто викинули без пояснень (виходить, Нова Зеландія, Австралія і Канада особливо постраждали в результаті війни і тому високе зростання — очевидний наслідок сторонніх факторів, наприклад, відновлення знищеного в війні капіталу).
Взагалі, в центрі дискусії була невдала робота з Екселем: вона найбільше дискредитує результати дослідження — але є й кілька інших питань. Помилка в таблиці — явна випадковість. Парадоксальні методи агрегування — можлива недбалість, дивний випадок толерантності або звичайна інтелектуальна лінь. Але "правлення" даних — здається, цілком свідоме — завжди питання мотивації. Навіщо?

Diederik Stapel

...мегатонни висмоктаних з пальця даних! Звертайтесь до нас у будь-який час! 
Більш явний і резонансний випадок, який насправді ілюструє зовсім-зовсім іншу проблему, можна спостерігати в довгенькій статті про "зухвале академічне шахрайство". Її я раджу проглянути повністю: це цікаво.
Якщо казати слово там, де варто було б обійтися абзацом, можемо підсумувати, що Дідріка Стапеля, професора психології з Нідерландів, було викрито: він роками "малював" дані для своїх наукових робіт, для спільних з колегами досліджень і — дивні наївні студенти — для дисертацій і магістерських робіт. Незручно вийшло.
Що характерно, йдеться не про звичайне "шліфування" моделей, коли серед адекватно специфікованих обирають найбільш приємну для дослідника, а не найбільш точну, і навіть не про творче опрацювання даних в стилі R-R: Дідрік протягом своєї кар'єри дійшов до посади декана і (що цікаво, набагато раніше) повноцінного створення даних з нуля. Знову ж, головне питання – навіщо?
Не через фінансові, репутаційні чи політичні інтереси, як не дивно: причиною його дій є естетика. В психології є безліч елегантних ідей – і надто мало гарних підтверджень. Експерименти завжди все псують, вигадані дані – ніколи.

Політика, маленька...

— Ты бесконечно прав, но что толку, если твоя женщина плачет? 
— #@%%#!!!
Ціллю будь-якої науки, фактично, є пошук істини. Ціллю будь-якої політики, фактично, є пропаганда власної точки зору.

Успішні політики мають довге й щасливе життя, стають поважними членами суспільства і плодять багато офіційних і неофіційних нащадків. Успішні науковці мають... істину.
Еволюція виростила в нас безліч маленьких пристосувань для полегшення перемоги в суперечках. Наприклад, ми, далеко не ідеальні звичайні люди, несвідомо звертаємо непропорційну увагу на аргументи, які підтверджують нашу позицію — англомовні психологи називають це "confirmation bias" (подібних, виправданих з точки зору виживання, а не адекватності, рис ще багато: Вікіпедія має цілий список, але спочатку прочитайте оце!).
Такі маленькі, "кишенькові" політичні інтереси десятків і сотень поколінь предків дають нам інстинктивну потребу захищати правоту своєї позиції, а не змінювати її під дією чужих аргументів — незалежно від умов.
Повертаючись до основного питання — тріумфу і трагедії R-R — слід зауважити, що ці дрібні психологічні мотиви мали місце в цій історії.
Останнє дослідження, яке закінчилося нещастям, було лише кроком в довгій історії аргументів, висловлених на захист одної і тої ж позиції. Рейнхарт і Рогофф вже давно досліджують питання дефіцитів і не менш давно мають сильну, стійку позицію в цьому питанні. Усвідомлені причини цього чи несвідомі, шанс того, що позиція авторів неочікувано зміниться під дією фактів не надто великі: хто чув про економіста, який посередині життя радикально змінив погляди чи школу? В будь-якому випадку, факти кажуть, що критика на ідеї R-R не подіяла: їх зауваження у відповідь на підняту бучу.

Не лише соціальні інстинкти можуть бути причиною академічних махінацій — але решта мотивів краще виглядатиме в новій частині статті. Плюс, такі абстрактні речі швидко втрачають цікавість.