Пример, как разложить по полочкам необъятное и многогранное, – обзор концепций качества данных, структурированный по «дисциплинарному происхождению» идей и инструментов. Вклад социальных наук в этот набор – общая ошибка исследования.

Сегодня стало почти консенсусом «пользовательское» понимание качества данных, поэтому из сказанного о перспективах выделила бы три тезиса:
1⃣ восприятие качества данных так же важно, как и фактическое качество данных («Привет, Уильям Томас!»);
2⃣ оценка качества данных, сбор которых не контролируется исследователями (например, административных) должна осуществляться в трёх hyperdimensions of data quality: источник (в т.ч. доступность), метаданные (наличие и качество документации о данных) и данные (охват, пропуски значений переменных, точность);
3⃣ современные условия требуют, чтобы в параметры качества данных включали конфиденциальность, безопасность и комплексность (complexity).

🤬 Когда решила почитать свежий номер «Вопросов статистики» …

«В статье акцентируется внимание гражданского и профессионального научного сообщества на содержании, особенностях и огромной опасности современных ментальных войн, ведущихся с использованием методов и приемов информационно-статистического воздействия. … Показаны роль, место и возможности использования статистики и статистических данных в процессе реализации ментальных спецопераций, направленных на подмену мировоззрения, слом традиционных ценностей и разрушение государственного суверенитета фактических и потенциальных противников без использования обычных вооружений. … необходимости обеспечения ментальной безопасности, … повышению статистической грамотности населения, формирующим предпосылки для успешного противодействия информационным диверсиям, направленным на разрушение исторических скрепов и традиционных ценностей российского общества.
… когда стоит задача уничтожения государственности и суверенитета имеющегося социума, то крайне важно просто и наглядно доказать на цифрах, что будущего как раз и нет. Как это сделать? Начать, видимо, нужно с того, чтобы дискредитировать деятельность статистического ведомства, в нашей стране – Росстата. … даже косвенный «наезд» на государственную статистику представляет прямой «наезд» на само государство, ментальность которого должна быть разрушена любой ценой.
… на ментальном фронте все средства хороши. И если уже ранее были посеяны зерна сомнений насчет адекватности любых данных Росстата, то почему бы уверенно не сослаться на цифры так называемых «альтернативных» источников (социологических опросов, материалов зарубежных центров, оценок экспертов и т. д.), которые практически всегда отражают более низкий уровень доверия к власти, более глубокие провалы экономики, более масштабные размеры безработицы и нищеты и т. п. Правда, при этом за кадром остаются сугубо профессиональные вопросы о принципах сбора, репрезентативности и т. д. информационных массивов, претендующих на истину в последней инстанции. Но это уже мало кого интересует, так как разбор полетов заведомо ориентирован на посадку на конкретном аэродроме, где прежней Родины не существует».


Карманов М.В. Статистика как инструмент ментальных войн. Вопросы статистики. 2023; 30 (1): 52–57.


Приготовиться к статистическому ресентименту и административным и уголовным наказаниям за «статистические фейки»?

В статьях о панельных исследованиях богатства (wealt) домохозяйств не в центре, но присутствуют примеры, как реализуется «бережное отношение к респондентам», желание установить с ними долгосрочные, доверительные отношения.

К примеру, в German Socio-Economic Panel (SOEP) модули с вопросами о собственности домохозяйств присутствуют не в каждой волне. В 2012 г. SOEP была дополнена новой подвыборкой, однако вопросы о богатстве были удалены из вопросников для «панельных новичков», «чтобы не ставить под угрозу желание принять участие в опросе SOEP, задавая довольно деликатные вопросы в самой первой волне».

Или попытка скорректировать данные, собранные в американском Health and Retirement Study (HRS). Сперва сравнили ответы о стоимости отдельных активов и совокупном богатстве домохозяйств в 1998 и 2000, выбрали те из них, данные которых существенно отличались между волнами, и весной 2001 обратились к ним с просьбой объяснить или исправить эти расхождения. Но какую разницу в двухлетней стоимости активов считать существенной?

«Мы не хотели рисковать будущим сотрудничеством с респондентами и беспокоить их тривиальными изменениями активов или существенными изменениями активов, которые легко объяснимы. [После обсуждений] был установлен минимальный порог для изменения компонента богатства в размере $50 000, чтобы разница его стоимости [между волнами] подлежала сверке. Кроме того, мы не хотели беспокоить респондента согласованием очевидных изменений в активе, которые являются результатом просто изменений в классификации актива. Например, часто случается, что респондент определяет актив как ферму в одной волне (возможно, потому, что он посадил немного кукурузы) и как недвижимость в следующей волне (возможно, потому, что он рассматривает возможность выделения земли под застройку). Это привело бы к значительному увеличению недвижимости, компенсируемому значительным снижением заявленной стоимости фермы. По этой причине мы установили пороговое значение для совокупного изменения богатства в размере $150 000, т.е. абсолютная величина изменения совокупного чистого богатства домохозяйства от волны к волне должна составлять больше этой суммы, чтобы домохозяйство участвовало в сверке».

Кстати, response rate в опросе-сверке составил 91%, и кроме смерти респондентов (1,8%), невозможности их найти в течение запланированного полевого периода (3,4%), болезни или нарушений когнитивных функций (1,6%), другая основная причина недостижимости – «просто не успели» провести интервью в запланированные сроки. А в целом исследование 2001 стало апробацией reactive-dependent interviewing, которое использовали в HRS уже в 2002. Респондентов сперва спрашивали о стоимости активов без использования прошлых записей, а затем, в конце интервью, сверяли только что собранные и предварительно загруженные данные о стоимости активов, сообщенные в предыдущей волне. И просили прокомментировать, если разница оказывалась существенной.

"Преимуществом предлагаемой методики является возможность учёта широкого спектра показателей официальной статистики, представляющих объективную характеристику уровня жизни людей".

Каждый раз читая про "объективное" в связке с измеренным объективно впадаю в недоумение. Особенно когда речь про доходы, сообщенные респондентами в опросе. Что заставляет называть всё это "объективным"?

Коллективный респондент RLMS хорошо чувствует динамику жилищного рынка

RLMS, – насколько мне известно, единственное открытое всероссийское обследование, в котором респондентов просят дать денежную оценку своей собственности. Правда, только одного объекта – основного (занимаемого) жилья. Но задают этот вопрос с 2000 года. Если сравнить темпы роста «самооценки» стоимости 1 кв. м квартир городских респондентов с ценами на вторичном рынке (по фактическим сделкам) по данным Росстата, они практически совпадают.
(По методике Росстата наблюдение охватывает только городской жилищный фонд, рынок коттеджного и деревянного жилья в наблюдении не участвует. Расчеты на данных RLMS также выполнены только для городских квартир.)

Источники: Росстат, RLMS

34 года назад, 29 марта 1989 г. в «Литературной газете» были опубликованы первые результаты легендарного опроса читателей, проведённого первым ВЦИОМ

«Большинство колеблется между надеждой и тревогой. … Свое положительное отношение к переменам … последнего времени люди чаще всего связывают с расширением гласности, обретенной свободой слова, волеизъявления. ... Среди трудно изживаемых пороков нашего обществе чаще всего фигурируют коррупция, пьянство, спекуляция, воровство (50,6%). Больше половины респондентов (58%) считают позорной нашу техническую отсталость. … Следующая солидная группа ответов касается явления, известного … под названием «диктатура троечников». … А каковы пути преодоления экономических трудностей? На первое место среди всех ответов вышло предложение резко сократить военные расходы (71,2%). Это единодушие знаменует собой решительный отход от так называемого «оборонного сознания», происшедший буквально за последние годы».

Статья в архиве ЛГ, с. 12

#листаястарыеанкеты

«Бочка мёда» данных

Банк России разместил на сайте микроданные Всероссийского обследования домохозяйств по потребительским финансам, не только пятой волны, за 2022 год, в организации которой участвовал, но и за предыдущие волны (с 2013 года). Спасибо Дарье Моисеевой за подсказку!

В презентации результатов рассказывают в основном о частных финансовых активах и обязательствах, но, зная содержание анкеты, давно хотела поработать с данными других тематических блоков – с денежной оценкой (возможной ценой продажи) разных объектов собственности и «распределением» прав собственности между членами семьи.
Собственно, в этом и уникальность Обследования – из известных мне российских источников это единственное, которое позволяет определять стоимость чистого богатства домохозяйств и рассчитывать показатели дифференциации на «непосредственных», а не смоделированных данных.
В вводной статье к специальному номеру European Journal of Population («Wealth in Couples», сентябрь 2022) авторы называют всего лишь семь обследований, проводимых в разных странах, в которых богатство, финансовое и нефинансовое, фиксируется не только на уровне семьи, но и на индивидуальном. Всероссийское обследование домохозяйств по потребительским финансам может быть восьмым в таком списке.

И это второе всероссийское панельное обследование, после RLMS.

Но что для себя считаю «ложкой дёгтя» в этих данных? Они выложены не в привычном spss, а в .csv. Всё прекрасно понимаю про универсальность и машиночитаемость, что пора отрываться от SPSS, но кроме предстоящей трудоемкой разметки конвертированных данных проблема в NA. Чтобы не было пропусков значений переменных, за этой меткой закодированы все неответы – и миссинги, возникшие по условиям перехода в анкете, и «затрудняюсь ответить». Например, в RLMS дают денежную оценку стоимости своего жилья примерно 65%, члены остальных семей либо затрудняются её назвать, либо живут не в собственном жилье. Уже посмотрела, что в Обследовании домохозяйств по потребительским финансам доля неответов по этой переменной в разных волнах – 38-43% (вполне сопоставимо с RLMS), но, чтобы деконструировать NA на затруднившихся, стоимость жилья которых определяется при анализе данных разными вариантами импутирования, и тех, у кого стоимость этого актива равна 0, придётся повозиться с переходами и ответами на предыдущие вопросы. Мягко скажем, непривычно, что все особенности неответов, требующие разной интерпретации и решений, сведены под одну метку.

#архивЦБ

Так сколько в стране домохозяйств одиночек?

Конец прошлой недели оказался богат на приятные сюрпризы с открытыми микроданными обследований населения. Не только Банк России открыл уникальные данные о благосостоянии домохозяйств, но и Росстат выложил данные Комплексного наблюдения условий жизни населения за 2022 год.

Обычно он делает это порциями, а тут сразу весь комплект из официальных и методических документов и микроданных. Как и в 2020 в дополнение к основной выборке (60 тыс. домохозяйств) опрошено ещё 40 тыс. «целевой группы» «Старшее поколение».

Ждала эти данные в том числе, чтобы посмотреть, как меняется структура совокупности домохозяйств, и на какую перепись будут ориентироваться в коррекции выборки. За десять лет в «сырых», невзвешенных данных обследований Росстата растет доля домохозяйств одиночек и снижается средний размер домохозяйства, и КОУЖ-2022 приблизился к показателям ВПН-2020(2021), хотя и не достиг их. В «сырой» выборке КОУЖ-2022 доля домохозяйств одиночек 38,1%, средний размер домохозяйства 2,06; по данным ВПН-2020(2021) – 41,8% и 2,20 чел. (для сравнения в КОУЖ-2020: 34,7%; 2,15 чел., в КОУЖ-2011: 29,8%; 2,31 чел., в ВПН-2010: 25,7% и 2,60 чел.). Но в взвешенной выборке КОУЖ-2022 доля одиночных домохозяйств 29,5%, средний размер 2,40, то есть используются такие весовые коэффициенты, что воспроизводится структура десятилетней давности.

Я не знаю, что думать и как относиться к таким «качелям» структурных показателей… Как разложить десятилетнюю динамику на (увеличивающуюся?) ошибку выборки и собственно тенденцию (роста?) одиночества?

Туристская мобильность россиян

Сперва россиян спрашивали: «Совершали ли Вы за последние 12 месяцев одну или несколько поездок с туристской или экскурсионной целью?», а у ответивших «да» уточняли: «Ваши поездки были ...? 1. по Российской Федерации, 2. за пределы Российской Федерации».

Сложно оценить, какой вклад в динамику распределения ответов внёс перенос периода опроса: в 2018 и 2020 сбор данных в КОУЖ проходил в сентябре, сразу после летних отпусков, в 2022 – в мае, но по уровню общей туристской мобильности населения в 2022 мы вернулись к допандемическим показателям при небольших, но ожидаемых структурных изменениях: выезжавших за границу стало меньше, совершавших туристские и экскурсионные поездки по России – больше.

Источник: КОУЖ, Росстат, взвешенные данные

«Новосибирскому манифесту» – 40 лет

8-10 апреля 1983 г. в Новосибирске провели научный семинар, который начинался с выступления Т.И. Заславской «О совершенствовании производственных отношений социализма и задачах экономической социологии». Текст доклада в виде брошюры с пометкой «Для служебного пользования» был роздан участникам с обязательством вернуть после семинара. Но два экземпляра исчезли, чтобы через несколько месяцев проявиться за границей. Доклад был опубликован в Washington Post под названием «Новосибирский манифест»; другой экземпляр попал в ФРГ, откуда текст транслировался радиостанциями. Это обеспечило докладу и научную, и политическую известность, а автору и руководству института, который провёл семинар (ИЭиОПП СО АН СССР) – проблемы.

Так что же можно было знать и обсуждать только в «служебном порядке»?

Проблема, с констатации которой начинается «Манифест», – снижение темпов экономического роста за последние 10-15 лет, охватывающее большинство территорий и отраслей. У этого экономического торможения одна общая причина: отставание «системы производственных отношений и отражающего её механизма государственного управления экономикой от уровня развития производственных сил, конкретнее – в неспособности этой системы обеспечить полное и достаточно эффективное использование трудового и интеллектуального потенциала общества». Черты модели управления, сложившиеся в 1930-ые, можно свести к преобладанию административных методов над экономическими, что уже не позволяет «регулировать поведение более развитых в личностном отношении и экономически свободных работников».

Какие причины у отставания государственного управления от ушедшего вперёд общества?
Идеологические, когда утверждается, что при социализме просто не может быть групп, заинтересованных в сохранении отживших производственных отношений, и поэтому совершенствование последних протекает без социальных конфликтов.
Социальные: есть группы, которым изменения производственных отношений грозят существенным усложнением обязанностей (к чему они не готовы) или, наоборот, сокращением власти и влияния (и они к этому тоже не готовы).
Научная, связанная «с недостаточным уровнем развития общественной науки, отсутствием у нее полностью разработанной "модели" нового хозяйственного механизма». И здесь звучит самый «революционный» тезис «Манифеста»: производственные отношения – это целостная система, и взаимосвязь элементов проявляется в их «способности "отторгать" экспериментально внедряемые в них элементы более эффективных, но качественно отличных экономических отношений». Избежать отторжений можно только радикальными реформами: «По-видимому, следует признать дискретный характер смены конкретных систем производственных отношений в процессе развития коммунистической формации, означающий, что эта смена происходит достаточно редко (раз в несколько десятилетий), но зато является комплексной и глубокой».

Проблема еще и в том, что отстающее государственное управление формирует социальный тип работника, который «не отвечает не только стратегическим целям развитого социалистического общества, но и технологическим требованиям современного производства» (В каком же численном соотношении были «развитые в личностном отношении и экономически свободные работники» и носители «низкой трудовой производственной дисциплины, безразличного отношения к выполняемому труду, … социально инертные»?). «Но для того, чтобы "отремонтировать" социальный механизм развития экономики, необходимо его изучить, понять его внутреннее строение, выявить слабые точки, обосновать пути их укрепления. Решение этих задач должно взять на себя новое направление науки – экономическая социология».
_________
Сегодня «Манифест» и его история живут своей жизнью, вызывая разное отношение. В нём можно увидеть вполне работающую схему для анализа текущей ситуации. Можно увидеть в предназначении экономической социологии «отремонтировать» нарушение «академической герметичности» (А могла ли она быть сорок лет назад?). Или утопию. И всё это «для служебного пользования» …

Молчание как патриотизм

ВЦИОМ разместил в открытом доступе фрагмент микроданных опроса про патриотизм (всероссийский телефонный опрос, 28 марта 2023 г., 1600 опрошенных).

При тотальном автопатриотизме всё самое интересное – в деталях. «Что, по-Вашему, значит быть патриотом? Вы можете дать от одного до трех ответов», – обратились к россиянам, частично повторяя аналогичный опрос, проведённый год назад. Два варианта ответа из предложенных списков отличались. В этом году будущее исчезло даже из вопросов, которые задаёт ВЦИОМ: если год назад патриотизм подразумевал в том числе «стремиться к изменениям в стране ради её достойного будущего», то сейчас просто «стремиться улучшить положение дел в стране»; на месте варианта «любить свою страну», предложенного в 2022, в 2023 оказался «считать себя частью страны». Несмотря на методические изменения, в результатах есть устойчивые «моменты».

✅ Если попытаться выразить возрастные отличия ответов в ёмких формулах, то патриотизм для молодых – «действовать и говорить правду», для более старших – «защищать страну от нападок силой мысли».
✅ Факторный анализ подсказывает, что пространство мнений, что значит быть патриотом, – трёхмерное и задаётся измерениями: «действие во благо страны», «защита страны от любых нападок» и «быть частью страны» (в 2023).
✅ Есть уникальный вариант ответа «говорить о своей стране правду, какой бы горькой она ни была», для которого почти во всех случаях наблюдается отрицательная факторная нагрузка с латентными факторами, а иногда не только отрицательная, но и высокая – выбирающие другие проявления патриотизма, скорее, откажутся от «говорить о своей стране правду…».

Подробнее с цифрами и таблицами – по ссылке.