Ореол предварительной регистрации
Когда мы анализируем экспериментальные данные, у нас есть множество вариантов. Какие наблюдения мы исключаем? Какие переменные мы сравниваем? Какие статистические тесты мы используем? И так далее. Этот выбор приводит нас в то, что часто называют садом разветвленных тропинок.
Проблема в том, что некоторые пути приводят к “значительному” результату. Ура! Публикация на подходе. Другие не ведут ни к чему. Итак, когда мы читаем опубликованную статью, вы можете спросить: они выбрали свой путь, потому что он привел к значительному результату?
Одним из решений этой проблемы является предварительная регистрация результатов анализа. Укажите анализ, прежде чем просматривать данные.
Если предварительная регистрация становится общедоступной, мы можем просматривать все исследования по теме. Мы не будем ограничиваться публикацией только тех исследований, которые публикуются авторами. Предварительная регистрация ограничивает анализ, затрудняя авторам поиск путей к значимому результату или выдвижение гипотез. Или, по крайней мере, это делает очевидным тот факт, что они это сделали.
Но предварительная регистрация не является гарантией хорошей научной работы. Это не решает многих реальных проблем в науке (например). Предварительная регистрация не может спасти слабую теорию. Многие предварительные регистрации остаются конфиденциальными. Другие предварительные регистрации остаются незавершенными. Вот график статуса предварительных регистраций, представленных в реестр RCT Американской экономической ассоциации. Данные хранятся до 1 января 2024 года.
Библиотека кода(readr), библиотека(ggplot2), библиотека(tidyverse) # загрузить файл данных, который является подмножеством реестра AEA на 1 января 2024 года, доступен по адресу https://doi. org/10. 7910/DVN/HPYPGH # код для создания подмножества из необработанного csv-файла следующим образом, хотя и не выполняется как часть этого документа — необработанный файл слишком велик для хранения на веб-сайте # trials <- read_csv("trials. csv") #удалить столбцы, не используемые в этом анализе + RCT_ID # trials <- trials %>% # выбрать(RCT_ID, «Первый зарегистрирован», «Дата окончания вмешательства», «Дата окончания», статус) #сохранить как резюме с именем «trials-processed-jan-2024. csv» # записать в csv(trials, «trials-subset-jan-2024. csv») trials <- прочитать в csv("данные/trials-subset-jan-2024. csv") # установите порядок для графиков таким образом, чтобы сначала было завершено, затем отменено, затем другие испытания <- trials %>% переименовать( intervention_end_date = «Дата окончания вмешательства», first_registered_on = «Первая регистрация», end_date = «Дата окончания» ) %>% мутировать( first_registered_year = год(first_registered_on), интервенция_end_year = год(дата окончания интервенции), end_year = год(дата окончания интервенции) ) %>% мутировать(Статус = если есть(Статус == «заброшенный» | Статус == «отозванный», «заброшенный_и_взятый», Статус)) %>% мутировать(Статус = фактор(Статус, уровни = c(«on_going», «abandoned_or_withdrawn», «in_development», «завершено»))) # палитра дальтонизма cbPalette <- c("#999999", "#E69F00", "#56B4E9", "#009E73", "#F0E442", "#0072B2", "#D55E00", "#CC79A7") # график статуса по годам регистрации ggplot(испытания, aes(заполнение=статус, x=первый_регистрированный_год)) + geom_bar(позиция="заполнение", статистика="количество") + scale_x_continuous(пределы = c(2012. 5, 2023. 5), перерывы = seq(2013, 2023)) + scale_fill_manual(значения=cbPalette) + scale_y_continuous(метки = шкалы::percent_format()) + лаборатории(x = "Год регистрации", y = "Процент испытаний") + theme_minimal()
Код # график статуса по отчетному периоду на конец года ggplot(испытания, aes(заполнение=статус, x=end_year)) + geom_bar(позиция=»заполнение», статистика=»количество») + scale_x_continuous(пределы = c(2012. 5, 2025. 5), перерывы = seq(2013, 2025)) + scale_fill_manual(значения=cbPalette) + scale_y_continuous(метки = scales::percent_format()) + лаборатории(x = «Дата окончания», y = «Процент испытаний») + theme_minimal()
Предлагаемая “дата окончания”, введенная владельцами регистраций, вероятно, является лучшим ориентиром для того, когда мы должны увидеть результат. Около половины судебных процессов, которые планировалось завершить в период с 2014 по 2019 год, были отмечены как завершенные. В последние годы число завершенных процессов снижается. Реестр дает представление о картотеке, но мы видим неслучайный выбор того, что в нем находится.
Элиот Абрамс, Джонатан Либгоер и Джон Лист (2020) также перечислили некоторые проблемы, связанные с реестром AEA. Более 90% РКИ не регистрируются. Только 50% из тех, кто регистрируется, делают это до начала вмешательства. И в большинстве предварительных регистраций не хватает деталей.
Теперь о недавней статье, опубликованной Джессикой Халлман (Jessica Hullman), опубликованной Джоном Процко и его друзьями (John Protzko and friends, 2023) в журнале Nature Human Behavior, в которой говорится, что высокая воспроизводимость недавно обнаруженных социально-поведенческих данных достижима. Часть аннотации гласит:
В этой статье сообщается об исследовании, проведенном четырьмя скоординированными лабораториями, предполагающей возможность воспроизведения 16 новых экспериментальных результатов с использованием методов, повышающих строгость: подтверждающих тестов, больших объемов выборок, предварительной регистрации и методологической прозрачности. В отличие от предыдущих систематических попыток репликации, в которых частота репликации составляла в среднем 50%, попытки репликации здесь дали ожидаемый эффект при проверке значимости (P < 0,05) в 86% попыток, что немного превысило максимальную ожидаемую воспроизводимость, основанную на наблюдаемых значениях эффекта и размерах выборки.
В тексте они отмечают, что предварительно зарегистрировали свои анализы. У нас есть предварительно зарегистрированный анализ преимуществ предварительной регистрации (по крайней мере, так кажется):
Все подтверждающие тесты, повторения и анализы были предварительно зарегистрированы как в отдельных исследованиях (раздел дополнительной информации 3 и Дополнительная таблица 2), так и в этом мета-проекте.
<Однако Джозеф Бак-Коулман и Берна Девезер (2023) отметили, что в анализе есть много разветвлений. Особенно это касается выбора показателей. Выбранные показатели не соответствуют практике прошлых лет. Бак-Коулман и Девезер отмечают, что “предварительная регистрация может послужить основанием для предпочтения одного показателя другому”. Однако, когда мы смотрим на предварительную регистрацию, возникает проблема:
Хотя авторы утверждают, что “Все подтверждающие тесты, повторения и анализы были предварительно зарегистрированы”, анализ, от которого зависит право на получение титула, не был предварительно зарегистрирован. Там нет упоминания об изучении взаимосвязи между воспроизводимостью и методами, повышающими строгость, и даже о том, как воспроизводимость может быть реализована на практике, несмотря на обширные описания расчетов других величин. Поскольку ничто не указывает на то, что это сравнение или показатель, на который оно опирается, были запланированы априори, трудно отличить основное утверждение в этой статье от выборочной отчетности и выдвижения гипотез после того, как результаты известны.
Похоже, что рецензенты не потрудились проверить, соответствует ли анализ результатам предварительной регистрации.
Протцко и его друзья сейчас ищут предварительную регистрацию, которая могла бы соответствовать их анализу. Примечание редактора, которое теперь прилагается к статье, гласит:
Примечание редактора: Читатели предупреждены о том, что эта статья содержит критические замечания, которые рассматриваются редакцией. Критические замечания касаются предварительной регистрации и соответствующего представления гипотез, прогнозов и аналитических материалов. Мы изучаем высказанные опасения, и после решения этих вопросов последует ответ редакции.
Как ни странно, Протцко и его друзья приводят доказательства в поддержку предварительной регистрации. У нас есть анализ с множеством путей разветвления. Предварительная регистрация могла привести к некоторым ограничениям. К сожалению, этот случай предварительной регистрации оказался не тем, на который они рассчитывали.
Список литературы
Абрамс Э. , Либгобер Дж. и Лист Дж. А. (2020). Реестры исследований: факты, мифы и возможные улучшения. Рабочий документ NBER. https://doi. org/10. 3386/w27250 Бак-Коулман Дж. и Девезер Б. (2023). Утверждения о научной строгости требуют строгих причинно-следственных доказательств. https://doi. org/10. 31234/osf. io/5u3kj Процко, Дж. , Кросник, Дж. , Нельсон, Л. , Носек, Б. А. , Акст, Дж. , … Скулер, Дж. У. (2023). Достижима высокая воспроизводимость новых социально-поведенческих результатов. Природа и поведение человека, 1-9. https://doi. org/10. 1038/s41562-023-01749-9
Другие новости: