Административно-бюджетное управление США (OMB) запускает сайт Evaluation.gov, где ведомства должны будут размещать свои материалы для демонстрации прогресса на пути к достижению целей (на основе данных).
Его задача - дать исследователям и предпринимателям понимание тех типов вопросов, которые ведомства задают о достижении результатов госпрограмм, и ориентировку для необходимых дополнительных исследований, которые могут помочь заполнить пробел в знаниях о этих результатах.
В 2019 г. Конгресс США принял Акт об основах разработки доказательной политики. Это обязательства для ведомств назначить руководителей по данным (chief data officers), руководителей по оценке (chief evaluation officers) и ответственных по статистике (statistical official). Ведомства также должны разрабатывать и публиковать на сайте Evaluation.gov (с февраля 2022 года):
- повестки обучения - Learning agendas (вопросы о том, что необходимо изучить для разработки или реализации проектов и функций ведомств);
- годовые планы оценки - Annual evaluation plans;
- оценки потенциала - Capacity assessments (чтобы помочь ведомствам оценить свои возможности и инфраструктуру для сбора доказательств)
По сути, это дорожные карты работы ведомств по генерации доказательств там, где это больше всего необходимо, и определения того, на сколько госпрограммы достигают или не достигают целей.
Вот пример плана оценки от министерства (департамента) образования. В плане 5 приоритетных направлений:
1. Решение проблемы воздействия COVID-19 на студентов, преподавателей и работников системы образования.
2. Содействие равенству в доступе учащихся к образовательным ресурсам, возможностям и доброжелательной среде.
3. Поддержка разнообразных педагогических кадров и профессионального роста для улучшения обучения студентов.
4. Удовлетворение социальных, эмоциональных и академических потребностей учащихся.
5. Повышение доступа к послешкольному образованию, его финансовой доступности, успешности завершения и после зачисления.
6. Укрепление межведомственной координации и вовлечения общественности в продвижение системных изменений.
По разделам плана по каждому приоритету приводится контекст проекта или программы, исследовательские вопросы, методы сбора и анализа данных, описание предполагаемых продуктов (иногда вызовы для оценки). Например, есть раздел с исследовательскими вопросами о результативности стратегий обучения взрослых, о том, какие еще недостаточно изученные стратегии обучения взрослых можно изучить с помощью оценки воздействия, какой возможный дизайн для такого исследования. В качестве метода использовался систематический обзор результатов существующих исследований и выявления пробелов в базе знаний (в данном случае исследование уже проведено, результаты опубликованы).
Его задача - дать исследователям и предпринимателям понимание тех типов вопросов, которые ведомства задают о достижении результатов госпрограмм, и ориентировку для необходимых дополнительных исследований, которые могут помочь заполнить пробел в знаниях о этих результатах.
В 2019 г. Конгресс США принял Акт об основах разработки доказательной политики. Это обязательства для ведомств назначить руководителей по данным (chief data officers), руководителей по оценке (chief evaluation officers) и ответственных по статистике (statistical official). Ведомства также должны разрабатывать и публиковать на сайте Evaluation.gov (с февраля 2022 года):
- повестки обучения - Learning agendas (вопросы о том, что необходимо изучить для разработки или реализации проектов и функций ведомств);
- годовые планы оценки - Annual evaluation plans;
- оценки потенциала - Capacity assessments (чтобы помочь ведомствам оценить свои возможности и инфраструктуру для сбора доказательств)
По сути, это дорожные карты работы ведомств по генерации доказательств там, где это больше всего необходимо, и определения того, на сколько госпрограммы достигают или не достигают целей.
Вот пример плана оценки от министерства (департамента) образования. В плане 5 приоритетных направлений:
1. Решение проблемы воздействия COVID-19 на студентов, преподавателей и работников системы образования.
2. Содействие равенству в доступе учащихся к образовательным ресурсам, возможностям и доброжелательной среде.
3. Поддержка разнообразных педагогических кадров и профессионального роста для улучшения обучения студентов.
4. Удовлетворение социальных, эмоциональных и академических потребностей учащихся.
5. Повышение доступа к послешкольному образованию, его финансовой доступности, успешности завершения и после зачисления.
6. Укрепление межведомственной координации и вовлечения общественности в продвижение системных изменений.
По разделам плана по каждому приоритету приводится контекст проекта или программы, исследовательские вопросы, методы сбора и анализа данных, описание предполагаемых продуктов (иногда вызовы для оценки). Например, есть раздел с исследовательскими вопросами о результативности стратегий обучения взрослых, о том, какие еще недостаточно изученные стратегии обучения взрослых можно изучить с помощью оценки воздействия, какой возможный дизайн для такого исследования. В качестве метода использовался систематический обзор результатов существующих исследований и выявления пробелов в базе знаний (в данном случае исследование уже проведено, результаты опубликованы).
Мы подвели итоги первого конкурса Счетной палаты по доказательной политике среди органов исполнительной власти. Заявок было подано немало - 41 команда госслужащих, в основном - из регионов.
Вот результаты.
Номинация «Моделирование»
1-е место – не присуждалось
2-е место – Администрация Главы Республики Бурятия и Правительства Республики Бурятия за использование математического моделирования для прогнозирования необходимого количества мест в дошкольных детских учреждениях и обоснования социальной политики в области демографии.
3-е место – Комитет финансов Санкт-Петербурга за использование математического моделирования для обоснования бюджетной политики путем определения оптимальных объемов заимствований, а также анализа уязвимостей бюджетной системы Санкт-Петербурга.
Дополнительно мы отметили Департамент экономического развития Смоленской области за использование математической модели для прогнозирования состояния регионального рынка труда, определения необходимого количества мест в учреждениях профессионального образования и обоснования политики в области профессионального образования.
Номинация «Оценка эффектов»
1-е место - Комитет финансов Санкт-Петербурга за применение количественных и качественных методов исследований при проведении обзоров бюджетных расходов.
Комитет финансов Санкт-Петербурга разработал методологию для обзоров расходов бюджета города, которая включает обширный перечень методов - от проведения фокус-групповых интервью с получателями государственной социальной помощи до репрезентативного выборочного обследования домохозяйств. Цель проведения обзоров – выявление недостаточно эффективно используемых ресурсов для их перенаправления на решение наиболее приоритетных задач.
2-е место – не присуждалось.
3-е место – не присуждалось.
Дополнительно отметили Министерство финансов Алтайского края за применение теории изменений для анализа реализации Проекта поддержки местных инициатив в крае, а также Роструд за использование качественных методов исследований для оценки деятельности территориальных органов службы.
Номинация «Социологические методы для оценки государственной политики»
1-е место – Министерство финансов Российской Федерации за использование качественных методов исследований для совершенствования оказываемых государственных (муниципальных) услуг в социальной сфере.
2-е место – Министерство труда и социальной защиты Новгородской области за использование социологических методов исследований для совершенствования механизмов снижения бедности.
3-е место – не присуждалось.
Дополнительно вне номинаций конкурсная мы отметили Роструд за раскрытие административных данных о состоянии рынка труда для широкого круга исследователей, что может способствовать проведению новых исследований и совершенствованию государственной политики в этой сфере.
Вот результаты.
Номинация «Моделирование»
1-е место – не присуждалось
2-е место – Администрация Главы Республики Бурятия и Правительства Республики Бурятия за использование математического моделирования для прогнозирования необходимого количества мест в дошкольных детских учреждениях и обоснования социальной политики в области демографии.
3-е место – Комитет финансов Санкт-Петербурга за использование математического моделирования для обоснования бюджетной политики путем определения оптимальных объемов заимствований, а также анализа уязвимостей бюджетной системы Санкт-Петербурга.
Дополнительно мы отметили Департамент экономического развития Смоленской области за использование математической модели для прогнозирования состояния регионального рынка труда, определения необходимого количества мест в учреждениях профессионального образования и обоснования политики в области профессионального образования.
Номинация «Оценка эффектов»
1-е место - Комитет финансов Санкт-Петербурга за применение количественных и качественных методов исследований при проведении обзоров бюджетных расходов.
Комитет финансов Санкт-Петербурга разработал методологию для обзоров расходов бюджета города, которая включает обширный перечень методов - от проведения фокус-групповых интервью с получателями государственной социальной помощи до репрезентативного выборочного обследования домохозяйств. Цель проведения обзоров – выявление недостаточно эффективно используемых ресурсов для их перенаправления на решение наиболее приоритетных задач.
2-е место – не присуждалось.
3-е место – не присуждалось.
Дополнительно отметили Министерство финансов Алтайского края за применение теории изменений для анализа реализации Проекта поддержки местных инициатив в крае, а также Роструд за использование качественных методов исследований для оценки деятельности территориальных органов службы.
Номинация «Социологические методы для оценки государственной политики»
1-е место – Министерство финансов Российской Федерации за использование качественных методов исследований для совершенствования оказываемых государственных (муниципальных) услуг в социальной сфере.
2-е место – Министерство труда и социальной защиты Новгородской области за использование социологических методов исследований для совершенствования механизмов снижения бедности.
3-е место – не присуждалось.
Дополнительно вне номинаций конкурсная мы отметили Роструд за раскрытие административных данных о состоянии рынка труда для широкого круга исследователей, что может способствовать проведению новых исследований и совершенствованию государственной политики в этой сфере.
На Форуме Стратегов обсуждали направления и темпы развития доказательной политики в России.
Алексей Кудрин отметил, что сейчас правительство получает новый для них инструмент - доказательный подход, который поможет сделать процесс принятия решений более структурированным.
По его словам, ускорить развитие доказательной политики в России можно было бы благодаря:
• закреплению доказательной политики в нормативных актах
• обязательствам ведомства формулировать исследовательские вопросы по самым значимым программам и проектам
• накоплению и открытию для исследователей данных, которые помогают ведомствам ответить на эти вопросы
• повышению компетенций госслужащих по эконометрике, анализу данных, по оценке программ и политик
• созданию реестров практик доказательности для распространения лучших практик доказательной политики;
• формированию обзоров бюджетных расходов в логике доказательной политики.
Подробнее можно прочитать и посмотреть запись тут
Алексей Кудрин отметил, что сейчас правительство получает новый для них инструмент - доказательный подход, который поможет сделать процесс принятия решений более структурированным.
По его словам, ускорить развитие доказательной политики в России можно было бы благодаря:
• закреплению доказательной политики в нормативных актах
• обязательствам ведомства формулировать исследовательские вопросы по самым значимым программам и проектам
• накоплению и открытию для исследователей данных, которые помогают ведомствам ответить на эти вопросы
• повышению компетенций госслужащих по эконометрике, анализу данных, по оценке программ и политик
• созданию реестров практик доказательности для распространения лучших практик доказательной политики;
• формированию обзоров бюджетных расходов в логике доказательной политики.
Подробнее можно прочитать и посмотреть запись тут
Экспертные интервью часто используются в оценке госпрограмм и анализе госполитик. Это и быстрый способ разобраться в предмете, и порой возможность получить необходимый доступ в исследовательское поле. Корректная работа ведомств с экспертами - один из ключевых элементов доказательной политики.
В зависимости от целей экспертные интервью могут различными:
1) Разведывательное экспертное интервью для вхождения в новую проблематику, тему (это подготовительный этап анализа)
2) Систематизирующее экспертное интервью - получение от эксперта фактов и информации с целью систематизировать уже имеющиеся данные.
3) "Генерирующее теорию" экспертное интервью - реконструкция представлений эксперта, приводящих его или её к тому или иному выводу.
Есть и другая классификация. В её основе - различные подходы к определению экспертов.
Первый тип экспертов — эксперты как носители знаний о проблеме. Яркий пример таких экспертов — представители академического сообщества, эксперты-ученые. Они особенно полезны в рамках систематизирующих экспертных интервью, потому что обладают обширными фактологическими знаниями о проблеме.
Второй тип экспертов — это эксперты опыта. Такие эксперты обладают специализированным знанием о социальном контексте анализируемого феномена, потому что непосредственно погружены в него, обладают необходимым опытом работы. Например, при исследовании доступности городской среды экспертами опыта могут быть люди с инвалидностью. Подбор таких экспертов также может опираться на формальные критерии, но в большей степени - это традиционный поиск информантов в качественном поле.
https://telegra.ph/EHkspertnye-intervyu-kak-issledovatelskij-metod-11-15
В зависимости от целей экспертные интервью могут различными:
1) Разведывательное экспертное интервью для вхождения в новую проблематику, тему (это подготовительный этап анализа)
2) Систематизирующее экспертное интервью - получение от эксперта фактов и информации с целью систематизировать уже имеющиеся данные.
3) "Генерирующее теорию" экспертное интервью - реконструкция представлений эксперта, приводящих его или её к тому или иному выводу.
Есть и другая классификация. В её основе - различные подходы к определению экспертов.
Первый тип экспертов — эксперты как носители знаний о проблеме. Яркий пример таких экспертов — представители академического сообщества, эксперты-ученые. Они особенно полезны в рамках систематизирующих экспертных интервью, потому что обладают обширными фактологическими знаниями о проблеме.
Второй тип экспертов — это эксперты опыта. Такие эксперты обладают специализированным знанием о социальном контексте анализируемого феномена, потому что непосредственно погружены в него, обладают необходимым опытом работы. Например, при исследовании доступности городской среды экспертами опыта могут быть люди с инвалидностью. Подбор таких экспертов также может опираться на формальные критерии, но в большей степени - это традиционный поиск информантов в качественном поле.
https://telegra.ph/EHkspertnye-intervyu-kak-issledovatelskij-metod-11-15
Telegraph
Экспертные интервью как исследовательский метод
Экспертные интервью часто используются в оценке госпрограмм и анализе госполитик как часть более широкого набора методологических подходов или как самостоятельный исследовательский метод. Экспертные интервью - это сбор данных с помощью интервьюирования людей…
49th NES Research Conference.pdf
144.1 KB
Сегодня и завтра в Российской экономической школе будет проходить ежегодная исследовательская конференция.
Будет трансляция на youtube:
▫️18 ноября - https://youtu.be/99y5jy4tbRw
▫️ 19 ноября - https://youtu.be/Smf_33aDUz0
Выделили в программе то, что кажется нам особо интересным!
Будет трансляция на youtube:
▫️18 ноября - https://youtu.be/99y5jy4tbRw
▫️ 19 ноября - https://youtu.be/Smf_33aDUz0
Выделили в программе то, что кажется нам особо интересным!
🔺Почему результаты научных исследований не так часто становятся основой для принятия решений?
🔺Какие изменения и реформы могут помочь использованию результатов оценки госпрограмм, проектов, отдельных мер?
Один из таких инструментов - положения о прекращении действия программ в определенный срок (“оговорки о закате”, sunset clause). Программы, подпадающие под действие таких положений, финансируются в течение ограниченного периода. Решение о дальнейшем финансировании и его объемах принимается по итогам оценки - заданного уровня качества (стандарта).
Задача оценки - выяснить:
▫️фактические результаты программы;
▫️обеспечивается ли наилучшее соотношение между затраченными ресурсами и результатами или есть более оптимальные альтернативы;
▫️способствует ли программа достижению стратегических целей.
В этом случае оговорки о закате - это встроенная в бюджетный процесс точка принятия решений, гарантирующая, что финансирование программ будет основано на результатах их оценки. Это позволяет правительству и министерствам эффективнее использовать ресурсы.
Пример: в Австралии c 2014 г. под положение о прекращении действия подпадают все новые и действующие программы с объемом финансирования от 1 или 5 млн долларов (в зависимости от территории, субъекта федерации) в трехлетний или пятилетний срок
🔺Какие изменения и реформы могут помочь использованию результатов оценки госпрограмм, проектов, отдельных мер?
Один из таких инструментов - положения о прекращении действия программ в определенный срок (“оговорки о закате”, sunset clause). Программы, подпадающие под действие таких положений, финансируются в течение ограниченного периода. Решение о дальнейшем финансировании и его объемах принимается по итогам оценки - заданного уровня качества (стандарта).
Задача оценки - выяснить:
▫️фактические результаты программы;
▫️обеспечивается ли наилучшее соотношение между затраченными ресурсами и результатами или есть более оптимальные альтернативы;
▫️способствует ли программа достижению стратегических целей.
В этом случае оговорки о закате - это встроенная в бюджетный процесс точка принятия решений, гарантирующая, что финансирование программ будет основано на результатах их оценки. Это позволяет правительству и министерствам эффективнее использовать ресурсы.
Пример: в Австралии c 2014 г. под положение о прекращении действия подпадают все новые и действующие программы с объемом финансирования от 1 или 5 млн долларов (в зависимости от территории, субъекта федерации) в трехлетний или пятилетний срок
Один из первых в мире национальных стандартов прозрачности алгоритмов опубликован в Великобритании.
В прошлом году Правительство Великобритании использовало предиктивный алгоритм для определения результатов отмененных из-за коронавируса экзаменов. Алгоритм рассчитывал итоговую оценку на основе рейтинга каждого учащегося и средних показателей успеваемости школы. При этом алгоритм придавал большое значение показателям успеваемости школы за последние годы. Почти 40% учеников получили заниженные результаты: алгоритм занизил оценки успешным ученикам, которым не повезло учиться в “плохих” школах. Результаты были отменены. Но алгоритмы используются все больше (не только в Великобритании) - они лежат в основе решений по заявкам на получение пособий, распределения жилищных субсидий, решений по ремонту дорог и т.д.
Центр этики данных и инноваций (CDEI) Великобритании недавно провел анализ предвзятости алгоритмов. Ключевой рекомендацией по итогам анализа стала обязательная прозрачность алгоритмов для поддержки важных государственных решений.
Теперь в соответствии с новым стандартом прозрачности алгоритмов ведомства и госорганы должны раскрыть алгоритмы и объяснить, где использовался тот или иной алгоритм, почему он был использован и достиг ли он своей цели. Также есть обязательство раскрыть содержание алгоритма и риски.
Стандарт состоит из двух уровней и включает краткое описание алгоритма, включая то, как и почему он используется. Второй уровень предполагает более подробную информацию о том, как работает инструмент, о наборах данных, которые использовались для обучения модели, об уровне вовлечения человека.
Стандарт дает возможность экспертам и общественности осуществлять аудит (внешнюю проверку) алгоритмов и, как ожидается, прозрачность использования алгоритмов аналитики данных будет способствовать “надежным инновациям”, смягчая непредвиденные последствия использования алгоритмов на первых этапах.
В сферу охвата стандарта попадают все алгоритмы, используемые ведомствами и госорганами. Но приоритетное внимание уделяется тем, которые соответствуют хотя бы одному критерию из следующих трех областей:
1) технические характеристики (сложный статистический анализ, сложная аналитика данных, машинное обучение - например, нейронные сети или глубокое обучение);
2) возможный общественный эффект (потенциальное правовое, экономическое или иное подобное влияние на отдельных лиц или группы населения, затрагивает процессуальные или материальные нормы права, влияет на право участия, получение или отказ от участия в программе - например, получение пособий);
3) принятие решений (заменяет принятие решений человеком, помогает принятию решений - например, формирует доказательства для принятия решений).
Стандарт представляет собой шаблон таблицы с различными атрибутами - от типа модели до ключевых выгод использования, рассмотренных альтернатив, источников данных, стадии внедрения, рисков, оценки результативности и так далее.
В ближайшие месяцы стандарт будет проходить пилотирование, после чего он будет снова будет рассмотрен и официально запущен в следующем году.
[1] https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1036242/Algorithmic_transparency_data_standard.csv/preview
В прошлом году Правительство Великобритании использовало предиктивный алгоритм для определения результатов отмененных из-за коронавируса экзаменов. Алгоритм рассчитывал итоговую оценку на основе рейтинга каждого учащегося и средних показателей успеваемости школы. При этом алгоритм придавал большое значение показателям успеваемости школы за последние годы. Почти 40% учеников получили заниженные результаты: алгоритм занизил оценки успешным ученикам, которым не повезло учиться в “плохих” школах. Результаты были отменены. Но алгоритмы используются все больше (не только в Великобритании) - они лежат в основе решений по заявкам на получение пособий, распределения жилищных субсидий, решений по ремонту дорог и т.д.
Центр этики данных и инноваций (CDEI) Великобритании недавно провел анализ предвзятости алгоритмов. Ключевой рекомендацией по итогам анализа стала обязательная прозрачность алгоритмов для поддержки важных государственных решений.
Теперь в соответствии с новым стандартом прозрачности алгоритмов ведомства и госорганы должны раскрыть алгоритмы и объяснить, где использовался тот или иной алгоритм, почему он был использован и достиг ли он своей цели. Также есть обязательство раскрыть содержание алгоритма и риски.
Стандарт состоит из двух уровней и включает краткое описание алгоритма, включая то, как и почему он используется. Второй уровень предполагает более подробную информацию о том, как работает инструмент, о наборах данных, которые использовались для обучения модели, об уровне вовлечения человека.
Стандарт дает возможность экспертам и общественности осуществлять аудит (внешнюю проверку) алгоритмов и, как ожидается, прозрачность использования алгоритмов аналитики данных будет способствовать “надежным инновациям”, смягчая непредвиденные последствия использования алгоритмов на первых этапах.
В сферу охвата стандарта попадают все алгоритмы, используемые ведомствами и госорганами. Но приоритетное внимание уделяется тем, которые соответствуют хотя бы одному критерию из следующих трех областей:
1) технические характеристики (сложный статистический анализ, сложная аналитика данных, машинное обучение - например, нейронные сети или глубокое обучение);
2) возможный общественный эффект (потенциальное правовое, экономическое или иное подобное влияние на отдельных лиц или группы населения, затрагивает процессуальные или материальные нормы права, влияет на право участия, получение или отказ от участия в программе - например, получение пособий);
3) принятие решений (заменяет принятие решений человеком, помогает принятию решений - например, формирует доказательства для принятия решений).
Стандарт представляет собой шаблон таблицы с различными атрибутами - от типа модели до ключевых выгод использования, рассмотренных альтернатив, источников данных, стадии внедрения, рисков, оценки результативности и так далее.
В ближайшие месяцы стандарт будет проходить пилотирование, после чего он будет снова будет рассмотрен и официально запущен в следующем году.
[1] https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1036242/Algorithmic_transparency_data_standard.csv/preview
Сегодня в 18:00 Алексей Кудрин расскажет о доказательной политике в России и перспективах её развития.
В обсуждении также примут председатель Центробанка Эльвира Набиуллина и декан экономического факультета МГУ им. М.В. Ломоносова Александр Аузан.
Тут ссылка на трансляцию и форму для отправки вопросов – https://pressmia.ru/pressclub/20211209/953462900.html
В обсуждении также примут председатель Центробанка Эльвира Набиуллина и декан экономического факультета МГУ им. М.В. Ломоносова Александр Аузан.
Тут ссылка на трансляцию и форму для отправки вопросов – https://pressmia.ru/pressclub/20211209/953462900.html
Международный мультимедийный пресс-центр
Доказательная политика в России. Как исследования на основе данных могут помочь российскому госуправлению?
Небольшой курс "Наука для госполитики - Как максимизировать влияние" о навыках для исследователей, которые необходимы для взаимодействия с чиновниками (на англ.).
Целевая аудитория курса - исследователи, которые занимаются анализом госполитики
Займет около полчаса, и за это время можно:
1) побыть министром энергетики, который проводит совещание
2) узнать о различиях в восприятии чиновниками и исследователями некоторых слов ("теория", "значимый", "риск", "фактор", "предиктор")
3) попробовать на практике структурировать информацию так, чтобы эффективнее донести ключевые идеи
4) научиться подстраивать свои материалы под потребности собеседников (ожидания, уровень подготовки и знаний, ценностные установки)
Целевая аудитория курса - исследователи, которые занимаются анализом госполитики
Займет около полчаса, и за это время можно:
1) побыть министром энергетики, который проводит совещание
2) узнать о различиях в восприятии чиновниками и исследователями некоторых слов ("теория", "значимый", "риск", "фактор", "предиктор")
3) попробовать на практике структурировать информацию так, чтобы эффективнее донести ключевые идеи
4) научиться подстраивать свои материалы под потребности собеседников (ожидания, уровень подготовки и знаний, ценностные установки)
Что мы делаем в преддверии новогодних каникул? Конечно же, записываемся на самые интересные курсы, связанные с доказательной политикой и анализом данных!
Пример - курс "Диаграммы причинно-следственных связей: картировать ваши предположения прежде, чем делать выводы".
В последние годы диаграммы причинно-следственных связей (causal diagrams) значительно поменяли исследовательские подходы к ответу на вопрос "оказывает ли X причинно-следственное влияние на Y?". Например, верно ли, что это именно субсидии предприятиям улучшают их финансово-экономические показатели, а не иные факторы?
Правильное понимание и применение причинно-следственных диаграм стало важным во многих научных дисциплинах - от изучения эффектов различных вариантов лечений до анализа воздействий факторов или мер государственной политики.
Первая часть этого курса состоит из уроков, которые знакомят слушателей с теорией и практическим применением причинно-следственных диаграм для решения задачи определения эффектов - без влияния иных факторов, кроме интересуемого воздействия.
Вторая часть - это разбор тематических исследований с применением диаграмм для решения конкретных проблем здравоохранения и общественной жизни.
Еще в рамках курса - два интервью с основоположниками подхода, это статистик Джуда Перл (автор книги "Почему? Новая наука о причинно-следственной связи") и эпидемиолог Джеймс Робинс.
Курс на английском языке, но есть субтитры.
Пример - курс "Диаграммы причинно-следственных связей: картировать ваши предположения прежде, чем делать выводы".
В последние годы диаграммы причинно-следственных связей (causal diagrams) значительно поменяли исследовательские подходы к ответу на вопрос "оказывает ли X причинно-следственное влияние на Y?". Например, верно ли, что это именно субсидии предприятиям улучшают их финансово-экономические показатели, а не иные факторы?
Правильное понимание и применение причинно-следственных диаграм стало важным во многих научных дисциплинах - от изучения эффектов различных вариантов лечений до анализа воздействий факторов или мер государственной политики.
Первая часть этого курса состоит из уроков, которые знакомят слушателей с теорией и практическим применением причинно-следственных диаграм для решения задачи определения эффектов - без влияния иных факторов, кроме интересуемого воздействия.
Вторая часть - это разбор тематических исследований с применением диаграмм для решения конкретных проблем здравоохранения и общественной жизни.
Еще в рамках курса - два интервью с основоположниками подхода, это статистик Джуда Перл (автор книги "Почему? Новая наука о причинно-следственной связи") и эпидемиолог Джеймс Робинс.
Курс на английском языке, но есть субтитры.
edX
HarvardX: Causal Diagrams: Draw Your Assumptions Before Your Conclusions
Learn simple graphical rules that allow you to use intuitive pictures to improve study design and data analysis for causal inference.
“Разность разностей” (difference-in-difference, DiD) - один из самых популярных методов оценки влияния (например, мер государственной политики - влияют ли субсидии предприятиям на показатели федеральных проектов? влияет ли дополнительное образование на заработную плату?). Базовую интуицию метода можно понять если не за несколько минут, то за пару часов точно. А вот применение на практике - нетривиальная задача.
К тому же, только за последние несколько лет появились десятки новых методологических статей по DiD (среди авторов - Кирилл Борусяк, Николай Дудченко, Дмитрий Архангельский и другие). Сложно даже успевать знакомиться с новыми направлениями.
Для ознакомления поможет новая обзорная статья “What’s Trending in Difference-in-Differences? A Synthesis of the Recent Econometrics Literature” (осторожно - эконометрика!). Это описание нескольких направлений научной литературы по DiD, сконцентрированных на ослаблении тех или иных предпосылок канонической схемы DiD - несколько периодов и различия во времени воздействия, нарушения предпосылки о параллельности трендов и т.д.
В приложении статьи - чек-лист для практиков, на что обращать внимание при оценке, а еще список пакетов для R и Stata.
К тому же, только за последние несколько лет появились десятки новых методологических статей по DiD (среди авторов - Кирилл Борусяк, Николай Дудченко, Дмитрий Архангельский и другие). Сложно даже успевать знакомиться с новыми направлениями.
Для ознакомления поможет новая обзорная статья “What’s Trending in Difference-in-Differences? A Synthesis of the Recent Econometrics Literature” (осторожно - эконометрика!). Это описание нескольких направлений научной литературы по DiD, сконцентрированных на ослаблении тех или иных предпосылок канонической схемы DiD - несколько периодов и различия во времени воздействия, нарушения предпосылки о параллельности трендов и т.д.
В приложении статьи - чек-лист для практиков, на что обращать внимание при оценке, а еще список пакетов для R и Stata.
Опубликовали итоги конкурса по доказательной политике среди органов власти. Номинации конкурса - «моделирование», «оценка эффектов» и «социологические методы».
Всего на конкурс была подана 51 заявка. В итоговый сборник вошли 9 решений. Среди критериев оценки - качество исследовательского дизайна, прозрачность и понятность результатов.
Явный потенциал для развития доказательной политики - в применении оценок влияния для ответа на вопрос о том, с каким эффектом тратятся бюджетные деньги.
https://ach.gov.ru/news/sbornik-po-dokazatelnoy-politike-21
Всего на конкурс была подана 51 заявка. В итоговый сборник вошли 9 решений. Среди критериев оценки - качество исследовательского дизайна, прозрачность и понятность результатов.
Явный потенциал для развития доказательной политики - в применении оценок влияния для ответа на вопрос о том, с каким эффектом тратятся бюджетные деньги.
https://ach.gov.ru/news/sbornik-po-dokazatelnoy-politike-21
ach.gov.ru
Официальный сайт Счетной палаты Российской Федерации
Продолжаем писать про работу. Во вторник провели в Счетной палате рабочее совещание с ведомствами по оценке государственных программ.
По сути, обсуждение строилось вокруг различных дилемм, и среди них:
🔺 компромисс между длительностью и информативностью оценки. Госпрограммы - это огромные отраслевые (в большинстве) комплексы различных мер госполитики, а детальная оценка каждой меры может занимать месяцы и даже годы - от теории изменений до эконометрического анализа воздействия и поиска причин возникающих проблем. Годовой такт таких оценок не возможен, но это не означает, что меры в госпрограммах должны реализовываться без критического анализа десятилетиями. Счетная палата в этом году обновила свой подход к экспресс-оценке госпрограмм, которая проводится ежегодно в рамках аудита исполнения бюджета. Результаты экспресс-оценки - это информация для отбора госпрограмм для более длительного и детального анализа (например, в ходе аудита СП или обзоров бюджетных расходов).
🔺задачей оценки госпрограмм может быть как подотчетность исполнителей, так и совершенствование программы. И в том, и в другом случае важна точность суждения по итогам оценки. И в первом случае, и во втором случае - это должен быть стимул для предельно конкретных изменений.
🔺"Тонны" отчетности, которые занимают десятки человек в ведомстве? Мера результата тут такая - содержится ли в ней полезная информация для принятия обоснованного управлеченского решения?
https://ach.gov.ru/news/vstrech_FOIV
По сути, обсуждение строилось вокруг различных дилемм, и среди них:
🔺 компромисс между длительностью и информативностью оценки. Госпрограммы - это огромные отраслевые (в большинстве) комплексы различных мер госполитики, а детальная оценка каждой меры может занимать месяцы и даже годы - от теории изменений до эконометрического анализа воздействия и поиска причин возникающих проблем. Годовой такт таких оценок не возможен, но это не означает, что меры в госпрограммах должны реализовываться без критического анализа десятилетиями. Счетная палата в этом году обновила свой подход к экспресс-оценке госпрограмм, которая проводится ежегодно в рамках аудита исполнения бюджета. Результаты экспресс-оценки - это информация для отбора госпрограмм для более длительного и детального анализа (например, в ходе аудита СП или обзоров бюджетных расходов).
🔺задачей оценки госпрограмм может быть как подотчетность исполнителей, так и совершенствование программы. И в том, и в другом случае важна точность суждения по итогам оценки. И в первом случае, и во втором случае - это должен быть стимул для предельно конкретных изменений.
🔺"Тонны" отчетности, которые занимают десятки человек в ведомстве? Мера результата тут такая - содержится ли в ней полезная информация для принятия обоснованного управлеченского решения?
https://ach.gov.ru/news/vstrech_FOIV
ach.gov.ru
Официальный сайт Счетной палаты Российской Федерации
Causal diagrams и управление рисками в организации
Понимание причинно-следственных связей лежит в основе любого рационального и обоснованного принятия решений. В том числе принятия решений в условиях рисков. Хотя сегодня компании используют различные методы регистрации и измерения рисков, методы анализа причинно-следственных связей в этой области пока в зачаточном состоянии.
Самый базовый метод анализа рисков – схема «галстук-бабочка», на которой отображаются 1) причины риска (и соответствующие средства контроля) и 2) последствия риска.
Это первая отправная точка для анализа причинно-следственных связей.
Эффективная система управления рисками строится на основе риск-индикаторов для самих рисков и их причин и факторов. Ключевая проблема - разобраться с причинами.
Тут помогают DAG - графическое причинно-следственное моделирование. Несколько примеров с разбором причин различных рисков по ссылке.
Пример
Вопрос: являются ли недостатки найма причиной мошенничества в организации и в какой степени этому способствует качество рабочей среды? Что с этим делать?
Причинно-следственная модель (рисунок ниже): недостатки подбора кадров приводят к найму тех, кто склоннен к мошенничеству. Есть два варианта: такие люди могут участвовать в мошеннических операциях или сначала могут быть уличены в инцидентах, которые заканчиваются предупреждениями (качественная рабочая среда способствует выявлению таких инцидентов). При наличии еще и недостатков со стороны внутреннего контроля, в итоге могут произойти фактические случаи мошенничества в организации.
Риск-индикаторами в этом случае можно выбрать индикаторы и недостатков подбора, и недостатков рабочей среды.
Понимание причинно-следственных связей лежит в основе любого рационального и обоснованного принятия решений. В том числе принятия решений в условиях рисков. Хотя сегодня компании используют различные методы регистрации и измерения рисков, методы анализа причинно-следственных связей в этой области пока в зачаточном состоянии.
Самый базовый метод анализа рисков – схема «галстук-бабочка», на которой отображаются 1) причины риска (и соответствующие средства контроля) и 2) последствия риска.
Это первая отправная точка для анализа причинно-следственных связей.
Эффективная система управления рисками строится на основе риск-индикаторов для самих рисков и их причин и факторов. Ключевая проблема - разобраться с причинами.
Тут помогают DAG - графическое причинно-следственное моделирование. Несколько примеров с разбором причин различных рисков по ссылке.
Пример
Вопрос: являются ли недостатки найма причиной мошенничества в организации и в какой степени этому способствует качество рабочей среды? Что с этим делать?
Причинно-следственная модель (рисунок ниже): недостатки подбора кадров приводят к найму тех, кто склоннен к мошенничеству. Есть два варианта: такие люди могут участвовать в мошеннических операциях или сначала могут быть уличены в инцидентах, которые заканчиваются предупреждениями (качественная рабочая среда способствует выявлению таких инцидентов). При наличии еще и недостатков со стороны внутреннего контроля, в итоге могут произойти фактические случаи мошенничества в организации.
Риск-индикаторами в этом случае можно выбрать индикаторы и недостатков подбора, и недостатков рабочей среды.
Forwarded from Счетная палата РФ
Счетная палата открывает прием заявок на конкурс по доказательной политике
Счетная палата объявляет второй ежегодный конкурс практик и инициатив применения доказательного подхода к принятию управленческих решений.
Заявки принимаются до 5 августа включительно. К участию приглашаются органы власти федерального, регионального и муниципального уровней, а также отдельные команды госслужащих.
В этом году конкурс пройдет по пяти номинациям:
✔️«Анализ проблем»;
✔️«Прогнозирование и перспективная оценка»;
✔️«Анализ данных для модернизации процессов»;
✔️«Экономический анализ (оценка эффективности)»;
✔️«Оценка влияния».
В состав конкурсной комиссии в этом году вошли ведущие эксперты по оценке программ и политик: сотрудники Счетной палаты, представители академического и бизнес-сообщества. Подробнее о конкурсе и условиях участия можно ознакомиться на странице конкурса.
10 июня в 11:00 МСК состоится вебинар о том, как конкурс организован в этом году, как будет проходить оценка заявок и как заполнить форму на участие в конкурсе. Требуется регистрация.
Ежегодный конкурс Счетной палаты – это шаг к развитию доказательной политики в России. Он выявляет лучшие практики, расширяет взаимодействие в области применения научно-обоснованных методов в управлении и формирует сообщество госслужащих, которые нацелены на результат.
🌐Подробнее на сайте СПРФ
Счетная палата объявляет второй ежегодный конкурс практик и инициатив применения доказательного подхода к принятию управленческих решений.
Заявки принимаются до 5 августа включительно. К участию приглашаются органы власти федерального, регионального и муниципального уровней, а также отдельные команды госслужащих.
В этом году конкурс пройдет по пяти номинациям:
✔️«Анализ проблем»;
✔️«Прогнозирование и перспективная оценка»;
✔️«Анализ данных для модернизации процессов»;
✔️«Экономический анализ (оценка эффективности)»;
✔️«Оценка влияния».
В состав конкурсной комиссии в этом году вошли ведущие эксперты по оценке программ и политик: сотрудники Счетной палаты, представители академического и бизнес-сообщества. Подробнее о конкурсе и условиях участия можно ознакомиться на странице конкурса.
10 июня в 11:00 МСК состоится вебинар о том, как конкурс организован в этом году, как будет проходить оценка заявок и как заполнить форму на участие в конкурсе. Требуется регистрация.
Ежегодный конкурс Счетной палаты – это шаг к развитию доказательной политики в России. Он выявляет лучшие практики, расширяет взаимодействие в области применения научно-обоснованных методов в управлении и формирует сообщество госслужащих, которые нацелены на результат.
🌐Подробнее на сайте СПРФ
Forwarded from Оценка программ и проектов. Блог Алексея Кузьмина.
Как научное знание может пригодиться при оценке конкретной программы или проекта? https://evaluationconsulting.blogspot.com/2022/06/blog-post.html
Blogspot
О пользе теорий в оценке программ
Сегодня проводим установочную встречу конкурса по доказательной политике для ведомств. К нам подключились участники более 100 ведомств федерального и регионального уровня, больше 20 муниципалитетов. В этом году описали для участников более подробно рекомендации по описанию данных, анализа и результатов количественных и качественных исследований.
Исследование, которое объединяет результаты научных статей и публикаций практикующих специалистов, с целью синтеза доказательств по конкретному вопросу (с использованием заранее определённого протокола)
Anonymous Quiz
47%
Мета-анализ
19%
Мета-обзор
15%
Систематический обзор
20%
Системный обзор