7 марта в 19:00 состоится семинар «Оценка влияния макрошоков на социально-экономические процессы в регионах России» по теме: «Policy Evaluation: Difference-in-Difference with Heterogenous Treatment» (докладчик профессор департамента прикладной экономики НИУ ВШЭ Елена Котырло).

⬇️ Контакты для регистрации по ссылке.

Как влияют выездные налоговые проверки на финансово-экономические показатели компаний?

Для ответа на такой вопрос понадобилось бы наблюдение за двумя "состояниями мира" - в одном состоянии мира в компании проводится налоговая проверка, в другом - нет. Это взаимоисключающие ситуации, но тут помогают квазиэкспериментальные статистические методы.

Специалисты Счетной палаты использовали мэтчинг (propensity score matching) - один из мтеодов, при котором контрольная группа для сравнения специально конструируется из объектов с максимально близкими значениями по всем учитываемым наблюдаемым характеристикам. При этом часть переменных влияет как на вероятность проведения налоговой проверки, так и на сами показатели деятельности компаний. На первом этапе оценивается вероятность налоговой проверки, на втором - собственно ее эффект. В итоге можно сделать вывод, что налоговые проверки действительно оказывают влияние на показатели дейтельности проверяемых компаний, и эти эффекты различаются в зависимости от размеров компаний и от отрасли экономики.

Подробная методология и выводы в приложении 4 к отчету Счетной палаты.

🕯️ Через 1.5 часа начнется семинар Банка России и РЭШ по самой важной макро-теме этого года: Как бюджет влияет на денежную политику

🎧 Трансляция будет тут

Повестка

• 12:20 - 12:40 Вступительное слово -- Александр Морозов,
к.э.н., директор Департамента исследований и прогнозирования, Банк России

Сессия 1: Бюджетные правила и их роль в макроэкономической стабильности
Модератор: Анна Обижаева, Ph.D., профессор финансов, РЭШ

• 12:40 Владимир Цибанов, директор Департамента бюджетной политики и стратегического планирования, Министерство финансов Российской Федерации

• 13:00, Сергей Пекарский, Ph.D., декан факультета экономических наук, НИУ ВШЭ

• 13:20 - 14:00 Оценка влияния национальных бюджетных правил на цикличность государственных расходов

• 13:20 Докладчик: Илья Соколов, к.э.н., заведующий лабораторией исследований бюджетной политики, РАНХиГС

• 13:40 Дискуссант: Сергей Власов, Департамент исследований и прогнозирования, Банк России

Сессия 2: Теоретические основы модификаций бюджетного правила
Модератор: Сергей Шеремета, Департамент денежно-кредитной политики, Банк России

• 14:50-15:30 Бюджетное правило и его модификация при ограничениях на потоки капитала

• 14:50 Докладчик: Григорий Жирнов, Научно-учебная лаборатория макроструктурного моделирования экономики России, НИУ ВШЭ

15:10 Дискуссант: Армен Авакян, Центр макроэкономических исследований, Сбер

• 15:30 - 16:10 Влияние бюджетного правила и модельных предпосылок на реакцию инфляции на шоки условий торговли

15:30 Докладчик: Михаил Андреев, к.ф-м.н., Департамент исследований и прогнозирования, Банк России

• 15:50 Дискуссант: Наталья Волчкова, к.э.н., директор Центра экономических и финансовых исследований и разработок, РЭШ

Сессия 3: Взаимодействие денежно-кредитной и бюджетной политики
Модератор: Анна Бурова, Ph.D., Департамент исследований и прогнозирования, Банк России

• 16:30 - 17:10 Особенности взаимодействия денежно-кредитной и фискальной политики при режиме инфляционного таргетирования

16:30 Докладчик: Юрий Перевышин, к.э.н., Центр изучения проблем центральных банков, РАНХиГС

16:50 Дискуссант: Матвей Финагин, Департамент денежно-кредитной политики, Банк России

• 17:10 - 17:50 Проблемные компании и программы льготного кредитования в период кризиса, вызванного пандемией COVID-19

• 17:10 Докладчик: Евгения Бессонова, к.э.н., Департамент исследований и прогнозирования, Банк России

• 17:30 Дискуссант: Филипп Картаев, д.э.н., заведующий кафедрой микро- и макроэкономического анализа экономического факультета, МГУ им. Ломоносова

@c0ldness

Дискурс цифровизации строится преимущественно вокруг использования машинного обучения (искусственного интеллекта). Это в лучшем случае. Иногда вокруг навыков Excel (я серьезно). Но практически никогда - вокруг доказательной политики. Ни в госсекторе, ни в бизнесе.

В реальной практике распространение ИИ может вступать в прямое противоречие с основными идеями доказательной политики. Впрочем, не всегда. Для структурирования обсуждения проблемы “доказательная политика - искусственный интеллект” (Newman, Mintrom, 2023) предлагают 8 фреймов - систем мышления, используемых человеком (обычно бессознательно) для интерпретации проблемы.

4 фрейма с точки зрения генерации информации

◽ Фрейм 1. Вера в рациональность (поддержка докполитики, поддержка ИИ)
ИИ представляет собой технологический прорыв в доказательной политике - это масса “быстрой” и релевантной информации для принятия решений

◽ Фрейм 2. Техноскептицизм (поддержка докполитики, критика ИИ)
ИИ снижает качество информации, уменьшает степень участия человека в процессах. Алгоритмы ИИ не самодостаточны, их программируют люди. Часто это “черный ящик” - нельзя понять, как алгоритм пришел к определенным выводам. Внедрите алгоритм в процесс и забудьте его там на пару лет - отсутствие контроля и участия со стороны человека в конечном итоге подорвет доказательную базу.

◽ Фрейм 3. Политика на основе ценностей (критика докполитики, поддержка ИИ)
Принятие решений опирается на конкуренцию ценностей, а не на нейтральную оценку фактов. ИИ полезен для выявления ценностей общества и коммуникации общественных предпочтений лицам, принимающим решения (пример - аналитика соцсетей). Результаты в этом случае лучше, потому что они лучше соответствуют тому, чего хотят граждане.

◽ Фрейм 4. Техноцинизм (критика докполитики, критика ИИ)
ИИ и доказательная политика - всего лишь способы манипулирования со стороны политиков, позиционирования предпочтительного варианта решения как обоснованного и неоспоримого.

4 фрейма с точки зрения использования информации

◽ Фрейм 5. Оптимизм относительно возможностей (поддержка докполитики, поддержка ИИ).
ИИ “расшивает” ресурсные ограничения и дополняет усилия немногочисленных аналитиков по производству рекомендаций для принятия решений

◽ Фрейм 6. Пессимизм в отношении возможностей (поддержка докполитики, критика ИИ)
ИИ - серьезная угроза из-за зависимости от технологий поставщиков. В результате аналитические возможности вымываются из компании/ведомства. Аналогичный эффект во многих странах оказывали волны аутсорсинга и найма консультантов, но эффект ИИ в форме потери институциональной памяти и экспертизы организации гораздо больше.

◽ Фрейм 7. Ценностно-ориентированный результат (критика докполитики, поддержка ИИ).
ИИ представляет собой средство эффективной коммуникации идеологии. ИИ может обеспечить формирование “повестки дня” и коммуникацию ценностей от лиц, принимающих решения, к гражданам.

◽ Фрейм 8. Технофобия (критика докполитики, критика ИИ).
ИИ будет использоваться элитами для насаждения идеологий и внедрения практик, которые будут приносить пользу им, но наносить вред остальным - особенно уязвимым группам. ИИ - средство манипуляции информацией, а не инструмент снижения неравенства и справедливого распределения ресурсов: повсеместное наблюдение, дискриминация отдельных социальных групп, несправедливое профилирование и т.п.

Вот пример. В 2014 г. правительство Нидерландов запустило программу System Risk Indication (SyRI), основанную на искусственном интеллекте, для выявления мошенничества при получении социальной помощи. Для создания профилей риска использовались различные массивы данных, включая личную информацию граждан без их ведома. Риск-индикаторы никогда не раскрывались, но известно, что среди них были, например, низкое потребление воды при получении пособия одиноко проживающими людьми (предположительно, сигнализирует о проживании в другом домохозяйстве) и данные о национальности и внешности (“не-западная внешность”).

Программа ложно обвинила десятки тысяч человек в мошенничестве, большинство из малообеспеченных и семей иммигрантов. Обвиненные были вынуждены вернуть пособия на детские сады и ясли. В 2020 г. использование SyRI было признано незаконным (“ нарушены основные принципы правового государства”), в 2021 г. правительство Нидерландов признало ошибки и ушло в отставку.

◽ SyRI представляла собой инструмент поддержки обнаружения мошенничества и контроля за ним (фрейм 1)
◽ Но SyRI была “черным ящиком”, и данные, которые она генерировала, были низкого качества (фрейм 2)
◽ Проектировщики системы использовали латентную антииммигрантскую риторику, алгоритмы обучались на данных, указывающих на иностранное или двойное гражданство (фрейм 3)
◽ Результаты SyRI опирались на цикл обратной связи, в рамках которой идентификация и последующее наказание "мошенников" усиливало веру в то, что недавние иммигранты и лица с двойным гражданством злоупотребляют системой социальной помощи. Это позволило программе продолжать работу в течение почти 10 лет, прежде чем были предприняты действия по исправлению проблемы (фрейм 4)
◽ Если бы система SyRI была разработана и внедрена должным образом, она значительно усилила бы возможности налоговой службы (фрейм 5)
◽ SyRI снизила возможности налоговой службы, опора на SyRI в течение десятка лет препятствовало корректному выявлению рисков мошенничества (фрейм 6)
◽ Ксенофобия, намерение сохранить национальную идентичность, рост популизма в обществеработали в поддержку внедрения SyRI (фрейм 7)
◽ В итоге действительный эффект внедрения ИИ - несправедливое обвинение в мошенничестве законопослушных людей (фрейм 8 )

Необычные значения в данных
Цикл постов о подготовке данных. Пост 2

Продолжаем серию постов, посвященную подготовке данных. Первый пост тут.

Как анализировать выбросы: и тут causality

При анализе выбросов нужно проверять, нет ли взаимосвязи между выбросами в одной из компонент и другими признаками. По аналогии с пропущенными значениями, где обычно выделяют случаи MCAR, MAR, и MNAR, выбросы можно разделить на:

- Outlier Completely At Random - аномальное значение одного из признаков никак не связано с значениями других признаков. Скорее всего, эту точку данных нужно выкинуть. Пример - при медицинском осмотре сотрудников иногда барахлил автоматический тонометр, ошибка полностью случайна.

- Outlier At Random - аномальное значение одного из признаков можно объяснить другими признаками. Например, мальчиков и девочек на медосмотре смотрели разные врачи - и врач, смотревший мальчиков, был менее внимателен и чаще ошибался. Такие выбросы можно считать пропущенными значениями и, возможно, импутировать, S. Jager(2021).

- Outlier Not At Random - аномальное значение, зависящее от значения признака. Например, люди с большими доходами иногда занижают их в опросах, а с маленькими - завышают. Тогда выявленная аномалия - сама по себе важный признак. А еще это может быть не выброс, а редкий случай,.

Подходы и инструменты для выявления выбросов

Для выявления выбросов используют много подходов.

Наиболее общий из них - ошибка реконструкции автоэнкодером. Автоэнкодер выучивает прямую и обратную проекции в пространство меньшей размерности. Если исследуемый пример после кодирования и обратного декодирования значительно изменился, можно предположить, что распределение, на котором обучался автоэнкодер, отличается от распределения, из которого был получен рассматриваемый пример. Подробнее, например, тут.

Другой популярный подход базируется на том, что необычные значения легко отделить от остальных. Пример такого подхода - IsolationForest.

Хороший обзор подходов к детекции выбросов есть в лекциях MIT от 2023 г. и статьях А. Дьяконова, кое-что есть в 4й лекции нашего курса по ML System Design, современные подходы собраны в обзоре PapersWithCode по Anomaly Detection.

Есть хорошие библиотеки Luminaire и PyOD. PyOD - удобный конструктор детекторов аномалий. В Luminaire много интересных подходов на основе структурных моделей, в том числе прекрасный подход для работы с временными рядами.

В следующем посте цикла мы подытожим теоретическую часть небольшим фреймворком - руководством по работе с выбросами на основе примеров из практики.

Ваш @Reliable ML

Отличный подкаст Анны Микушевой из РЭШ о главной ошибке при анализе данных, в чем особенность эконометрики, что делать, если эксперимент провести нельзя или данных недостаточно

Что такое эконометрика и в чем особенность ее методов? Как с ее помощью экономистам удается даже при неправильных предположениях получать правильные ответы? И в чем главная ошибка людей при анализе данных?

С этими вопросами мы разбираемся в новом выпуске «Экономики на слух» вместе с профессором Массачусетского технологического института и выпускницей РЭШ Анной Микушевой.
 
Слушайте выпуск на всех подкаст-платформах! 💫

Премьер-министр России Михаил Мишустин рассказал о некоторой новой модели госуправления - об отказе от экспертного принятия решений и переходе к постановке задач «на основе достоверных данных».

Что это за "новая модель госуправления"?
- получать информацию напрямую от первоисточника, минуя любых посредников
- учитывать обязательно обратную связь от граждан и бизнеса
- принимать во внимание изменения ситуации, отклонение от планов, от прогнозов.

Какая уж тут доказательная политика. Но все же.

Проблема не в наличии посредников или отклонении от прогнозов, а в отсутствии качественных оценок мер госполитики, заложенных в госпрограммах и нацпроектах (а также регуляторных мер, налоговых и т.д.). В отсутствии учета оценок этих мер в процессе принятия решений - масштабировании, финансировании, корректировке дизайна и реализации. Принятие решений "на основе достоверных данных" не институционализировано, проводимая оценка госпрограмм со стороны МЭР - формальная. Обратная связь от граждан и бизнеса - всего лишь источник информации о потенциальных эффектах. Но не единственный источник.

А вот от экспертного принятия решений отказаться не удастся, но качество и методы работы с экспертным мнением точно нужно бы повышать. В госсекторе мне встречались две крайности - безоговорочное принятие мнения эксперта как истинного и безоговорочное отрицание мнения эксперта как ложного. Крайне редко - оценка экспертности, объективности, социологические исследования с привлечением экспертов, критическое отношение к выводам экспертов.

https://www.kommersant.ru/doc/5953925

Учебник «Прикладной анализ данных в социальных науках» от Яндекса и Европейского университета для тех, кто хочет понимать общую логику и технику анализа данных

https://academy.yandex.ru/handbook/data-analysis

Завтра обсуждение методик расчета регуляторных затрат https://t.iss.one/smart_regulation/4560

Вот эту дискуссию "Госуправление: между людьми и данными" вполне можно картировать на основе фреймов дискурса "доказательная политика-искусственный интеллект":

от политики на основе ценностей (поддержка искусственного интеллекта, игнорирование доказательной политики)

до риторики техноскептицизма (критика искусственного интеллекта, игнорирование доказательной политики) - "Чтобы получить правильный ответ от машины, нужно заложить правильные вводные, с правильными правилами игры.... в жизни так не бывает, в шахматах - может быть."

Онлайн-интенсив «Разработка ML сервиса: от идеи до прототипа» от Факультета компьютерных наук НИУ ВШЭ - от самого введения в разведывательный анализ данных до оформления результатов модели в виде интерактивного сервиса Streamlit

20-30 июня, бесплатный доступ

https://www.hse.ru/ma/mlds/mlservice/

«С повышением доступности качественных данных и эмпирических инструментов экономисты сегодня имеют возможность проверять свои теории, прежде чем внедрять их. Выгоды от этого в экономике в целом приведут к росту благосостояния людей только в том случае, если правительство действительно будет стремиться в первую очередь поднять качество жизни и достаток населения.»

https://guru.nes.ru/kak-dannyie-nas-obmanyivayut-a-teorii-podvodyat.html

О золотом стандарте в оценке от Алексея Кузьминова - можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

О золотом стандарте в оценке от Алексея Кузьмина - можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

https://evaluationconsulting.blogspot.com/2023/09/blog-post_22.html?m=1

Мы ищем в нашу команду исследователей с профилем "экономика-эконометрика-анализ данных" для новых проектов Лаборатории Сбериндекс.

Сбериндекс - это исследовательская лаборатория Сбера, которая занимается задачами population inference на основе транзакционных банковских данных. Команда состоит из исследователей (выпускники РЭШ, МФТИ, ВМК) и дата-инженеров с экспертизой источников данных. Наши стратегические задачи - подготовка высококачественных детальных гранулярных данных, сильные исследования с инсайтами о жизни людей, фирм и территорий в РФ.

Наш идеальный кандидат – экономист, математик или статистик с твердыми знаниями в области эконометрики и статистического анализа данных (знает, что такое causal inference, treatment effects, non-probability sample), с опытом участия или руководства (для позиции руководителя команды) исследовательскими проектами со сложной подготовкой данных, с интересом к аналитике финансового и потребительского поведения, к использованию данных для принятия управленческих решений.

Мы в первую очередь ищем лидера проектов с навыками руководства исследованиями со сложной подготовкой данных (пониманием того, что значит "80% времени на подготовку данных"), опытом вовлечения различных стейкхолдеров - владельцев данных, пользователей и т.д., умением организовать работу аналитиков.

Но также есть младшие позиции для вчерашних выпускников магистратуры и специалитета, junior-аналитиков. Требования - хорошие знания мат.статистики, экономики, Python, SQL (Apache Spark - знания или готовность освоить).

Что мы можем предложить?
#️⃣ Уникальный проект, ориентированный на амбициозную стратегию, - подготовка детальных датасетов для аналитики и исследований на основе больших данных, генерируемых платежными системами.
#️⃣ Работа с данными различной природы, из различных источников, а также возможность познакомиться с тем, как устроены различные стороны бизнеса банка и технологической компании
#️⃣ Активное взаимодействие с ключевыми экспертами в разных сферах (отраслях, исследовании данных, подготовке решений)
#️⃣ Результаты вашей работы будут иметь реальное влияние на стратегии бизнеса, государства, возможности улучшать условия жизни людей. У вас будет постоянный контакт и обратная связь от руководства.
#️⃣ Достойный уровень оплаты труда.

Ждем резюме и краткое (2-3 абзаца) мотивационное письмо на [email protected]

Неправильные данные: любой ответ в кратчайший срок?

В мире, где данные играют ключевую роль в принятии решений, удивительно часто появляется утверждение "лучше плохие данные/ доказательства, чем вообще никаких".

Понятно, что есть два случая:
◽️ данные ‘плохие’, но есть понимание их ограничений и качества. Тогда аналитика может быть ценной, потому что раскрывает важные механизмы бизнеса, сбои в процессах, выступает в свою очередь фактором улучшения качества данных. Но результаты и выводы должны учитывать качество доказательств. Как правило, градус риторики в этом случае должен ослабляться.
◽️ данные ‘плохие’, нет понимания ограничений качества. Прямая дорога к принятию неверных решений (мусор на входе - мусор на выходе).

Почему люди в принципе стремятся опираться на данные, даже без оглядки на их качество?

Во-первых, текстовая информация, которая сопровождается числовыми данными, создает впечатление объективности, конкретности, точности, измеримости и структурированности. Сам поиск и обработка данных для аргументации занимает время, так что невольно кажется, что аргумент “с данными” вызывает доверие. Кроме того, в науке использование данных - общая практика, так что опора на числовые данные придает ауру научности и профессионализма. Даже без реальной аналитики.

Во-вторых, человек автоматически предпочитает “любые данные, не обязательно качественные” из-за предпочтения определенности. Неопределенность вызывает дискомфорт, чувство определенности и уверенности - желаемое эмоциональное состояние, результат действия непроизвольных механизмов мозга за пределами сознательного выбора и мыслительного процесса. Такие механизмы направлены на снижение когнитивной перегрузки и преодоление парализующего страха неопределенности, это целый ансамбль когнитивных искажений.

Например, организация сталкивается с проблемой (например, неожиданное снижение продаж). Проблема может быть вызвана разными факторами, но реальная причина неизвестна. К тому же, для организации это одна проблема из целого множества, требующих реакции. Потребность в когнитивном закрытии подталкивает к формированию окончательного мнения и быстрому принятию решения. Для этого на практике может подойти самый первый ответ, лежащий на поверхности, если этот ответ подкрепляется хоть какими-то данными. Почему?

Нерешенная проблема создает напряжение, заставляет возвращаться к решению и мешает заниматься другими задачами. Такое наблюдение было описано в исследованиях Б.Зейгарник о том, что люди склонны запоминать незавершенные задачи и стремиться их завершить. Силы, стоящие за этим механизмом поиска “любого ответа в кратчайший срок”, нацелены на быструю адаптацию и высвобождение ресурсов. Но приводят к системному недостатку более глубокого и детального исследования новых или противоречивых данных, а значит к стратегическим рискам ошибочных решений.

Можно ли на организационном уровне полностью избавиться от подобных искажений data-driven решений? Проблему точно нужно решать. Полноценные исследования “на данных” требуют времени, ресурсов и связаны с высокой неопределенностью. Но даже не полное исследование, а его часть может быть полезна - оценка областей риска, генерация гипотез, анализ релевантной литературы, описательные статистики с аккуратной интерпретацией. Одно из потенциальных решений - фокусировка на приоритетных областях и подготовка по ним исследовательской повестки с более длинным горизонтом для получения результата.

Ситуация осложняется тем, что более точная информация сложнее, чем упрощенные и быстрые версии, что требует больше усилий как для понимания, так и для коммуникации. Многим известна проблема, когда человеку легче объяснить, что данных вообще нет, чем что данные есть, но использовать их нельзя из-за низкого качества. Коммуникация качества данных - непростая задача.

Спасибо, тема точно есть. Как решение, предлагаю рассматривать два вида доказательств: быстрые и медленные.

Быстрые доказательства - те, что можно найти для решений, которые требуют принятия в диапазоне от трёх часов до месяца.

Медленные - соответственно более месяца.

Если исходно понимать, что для руководителей могут быть необходимы как быстрые, так и медленные, то к этому следует готовиться.

Так, например, для быстрых доказательств хорошего качества - нужна заранее подготовленная база экспертов, реестр исследований по теме, наличие "законсервированных" данных, полученных ранее, во время проведения долгосрочных исследований. Тогда, мы в момент поступления задачи по подготовке аргументов стартуем не с чистого листа.

С медленными доказательствами хорошего качества чуть проще, поскольку время позволяет делать очень многие вещи, вплоть до экспериментов