Разбирая ссылки в моём списке "Почитать потом", нашёл любопытную статью в блоге ИТМО на Хабре: «Ловушки для разума: как учёные обманывают себя» ("Mind traps: how scientists fool themselves"). Статья на английском — Хабр пытается наскоком взять англоязычные интернеты — но написана простым языком и не слишком длинная, так что даже люди с начальным знанием английского не надорвутся.
Помимо уже получившего широкую известность p-хакинга («пи-хакинга»), в статье кратко описываются другие категории научной нечистоплотности:
- Использование эмоционально окрашенных слов и неоднозначных терминов в описании результатов экспериментов: «полученные результаты не значимы со статистической точки зрения, но скорее всего важны сами по себе» (p=0.1), «результаты стремятся к значимости» (p=0.09) и т.д. Общепринято, в большинстве областей науки значимыми считаются результаты со показателем p меньше чем 0.05 или даже 0.01;
- Неуместные статистические методы — например вычисление корреляции Пирсона для значений, не подчиняющихся нормальному распределению;
- Манипуляция формулировками гипотез: «Вероятность выпадения четырёх единиц на кубике подряд равна 0.0001, значит скорее всего кубик неуравновешен» — вероятность выпадения любой комбинации чисел при последовательном бросании идеального кубика одинакова, так что делать вывод по одному набору бросков нельзя;
В общем и целом, тема неисчерпаема — учёные такие же люди, с тщеславием и стандартным набором багов человеческого сознания.
#мета #социология
https://habr.com/ru/company/spbifmo/blog/490206
Помимо уже получившего широкую известность p-хакинга («пи-хакинга»), в статье кратко описываются другие категории научной нечистоплотности:
- Использование эмоционально окрашенных слов и неоднозначных терминов в описании результатов экспериментов: «полученные результаты не значимы со статистической точки зрения, но скорее всего важны сами по себе» (p=0.1), «результаты стремятся к значимости» (p=0.09) и т.д. Общепринято, в большинстве областей науки значимыми считаются результаты со показателем p меньше чем 0.05 или даже 0.01;
- Неуместные статистические методы — например вычисление корреляции Пирсона для значений, не подчиняющихся нормальному распределению;
- Манипуляция формулировками гипотез: «Вероятность выпадения четырёх единиц на кубике подряд равна 0.0001, значит скорее всего кубик неуравновешен» — вероятность выпадения любой комбинации чисел при последовательном бросании идеального кубика одинакова, так что делать вывод по одному набору бросков нельзя;
В общем и целом, тема неисчерпаема — учёные такие же люди, с тщеславием и стандартным набором багов человеческого сознания.
#мета #социология
https://habr.com/ru/company/spbifmo/blog/490206
Хабр
Mind traps: how scientists fool themselves
Even the most honest of scientists are regularly misled by their cognitive biases. They often go to great lengths to find proof for whatever seems logical, while dismissing evidence to the contrary....