beyond research
513 subscribers
15 photos
19 links
Это beyond research. Мы делаем продуктовые, аудиторные, CX/UX и другие исследования. Пишем о методологии, бизнес-прагматике и своих полевых приключениях. Удивляемся тому, что наисследовали мы и другие.

Заказать исследование, обсудить партнёрство — @mbode
Download Telegram
Как я использую role-prompting при совместной работе с ИИ над исследованиями

Общаясь с коллегами-друзьями, понял, что в работе с нейросетями не все применяют role-prompting. Т. е., коротко, прописывание той роли, которую будет отыгрывать ИИ. Не обязательно делать это через «портрет», через комбинацию антропоморфных характеристик. Но так проще всего.

Вот часть моего промпта, который я сейчас использую, чтобы задействовать Claude/GPT как своего напарника в исследовании благотворительных практик. С неё промпт и начинается:

Ты выдающийся российской социолог, доктор наук, с 30-летним стажем работы в академии и в индустрии коммерческих исследований. В первую очередь ты качественный (qualitative) исследователь, работающий преимущественно с глубинными полуструктурированными, нарративными, кейс-интервью. Ты специализируешься на исследованиях в сфере благотворительности — в частности, на изучении мотивации благотворителей (жертвователей/доноров) и волонтёров. Ты специализируешься на исследовании благотворительных практик в России, однако прекрасно представляешь себе и зарубежный контекст, как в разрезе эмпирики, так и с точки зрения теоретической базы — в том числе ты знаком с основными актуальными и научно фундированными классификациями мотивации к благотворительности, включая функциональную модель Клэри и Снайдера [Clary, Snyder, 1991], концептуальную рамку Джеймса Андреони, с его warm-glow model, и другие. Габитус, речевую манеру, коммуникативные стратегии ты заимствовал у своего учителя, российского социолога Дмитрия Михайловича Рогозина. Твои главные методогические предпочтения: насыщенное описание (thick description), grounded theory в интерпретации Ансельма Стросса, ситуационный анализ по Адель Кларк, индуктивная и абдуктивная логика, феноменологический подход, социальный конструктивизм. Это твои главные предпочтения, но твоя методологическая сборка на нашем исследовательском проекте не должна ограничиваться ими.

В моём случае промпт, частью которого был приведённый выше блок с role-prompting, сработал на ура. Мог не сработать: в моём наборе инструкций есть и такие, которые были способны всё поломать (а как вы думаете, какие?).

Что и для чего я здесь прописал:
📌 Главное — собственно фигура, роль. Кто будет выполнять задание. «Российский социолог», «доктор наук», «ученик социолога Дмитрия Михайловича Рогозина». Чрезмерная детализация, бывает, наоборот, ухудшает конечный результат. Здесь — улучшила.
📌 Сама по себе лексика в промпте перформативна — влияет на то, в какую сторону будет «смотреть» языковая модель. Отсюда — «габитус»», «эмпирика» и другие прелестные словоформы. Мне удобно, чтобы LLM рассуждала дальше в таких терминах и опиралась на эти концепты. Если вам — нет, то вы нормальный человек пишите иначе.
📌 Набор теоретических представлений и предпочтений, присущих той фигуре, которую она должна изображать, «фреймит» языковую модель, но такой и была моя цель — «широк ИИ как собеседник, слишком широк, я бы сузил».

Что это даёт:
Многие импликатуры, фоновое знание, которое иначе пришлось бы растолковывать в последующем диалоге, «понятны» ИИ сразу. Теперь он не станет, рассуждая о мотивации в благотворительности, зачем-то отсылать к Канеману и Фуко, а остановится на чём-то более близком к тому, что меня занимает.
Язык и манеру изложения можно прописывать отдельно, но, по моему опыту, когда эти требования встроены в role-блок промпта, выходит лучше и устойчивее.
Методы работы с эмпирическим материалом не придётся нервно и фрагментарно корректировать в ходе дальнейшей переписке точечными командами («Не используй в дальнейшем JTBD» и т. д.). Его не уносит ни в сторону касдева, ни в сторону количественных исследований, ни куда-либо ещё.

Чем точнее я понимаю, какой человек, с какими навыками сумел бы сделать это исследование лучше меня и за счёт чего именно, тем лучше мне удаётся role-prompting и тем больше пользы я извлекаю из работы с ИИ.

А вы, когда делаете исследования, подробно прописываете роль ИИ? Наработали какие-нибудь хинты/приёмчики?
👍108🔥7
Критика чьего-то хромающего, на мой взгляд, рисёрча без запроса — это не мой любимый жанр. Но «порой нестерпимо хочется»: тогда, когда анализ обещает быть полезным упражнением.

Намеренно не указываю, кто проводил опрос: не хочу никого шеймить, да и, понятно, shit happens по самым разным причинам, в том числе организационных — из-за проблем с согласованием, из-за давления руководства/заказчика и т. д. Большая просьба: если вы узнали, кто запустил опрос, давайте не будем оглашать это граду и миру.

В анкете, скрин вопроса из которой я публикую, много что не так — ну, с моей точки зрения. Но тут, вижу, особенно много. Само собой, не обо всём правомочно рассуждать вне контекста всего опроса, однако в этом случае есть о чём поговорить и безотносительно контекста.

А вы заметили здесь методологические/концептуальные просчёты? Свои наблюдения опишу чуть позже — сперва хочу свериться с вами.
🤩5👍32🤔2🙈1
В предыдущем посте предложил вам подумать, что не так с двумя вопросами из одного массового опроса. Обсуждение развернулось в основном у меня в фб — поклон тем, кто поучаствовал в разборе. Теперь изложу свои соображения — с учётом итогов дискуссии.

I. Первый вопрос
⚡️ В нём неявно — и совершенно зря — объединены два вопроса: «Применяете ли вы в своей работе цифровые навыки?» и «Как часто вы применяете в своей работе цифровые навыки?». Правильнее — разделить.
⚡️ Варианты закрытия «Раз в 1–2 недели» и «Раз в 2–3 недели» пересекаются. Бывают вопросы, где оверлэп методологически оправдан, но это не тот случай.
⚡️ Учитывая набор навыков, которые описаны во втором вопросе, первый лишён смысла: подавляющее большинство респондентов «осуществляет интернет-навигацию» ежедневно. И ожидаемо возникнет перекос в пользу ответа «Да, каждый день». Но даже если смещения не случится, что покажет распределение ответов? «74% опрошенных прибегают к цифровым навыкам каждый день» — что это будет означать? Такой ответ дадут и гиковатый 30-летний ML-инженер, и 45-летний менеджер по логистике. Если хочется узнать частоту использования цифровых навыков, стоило бы предлагать оценить частоту применения каждого из них (это повысит drop rate, да, но тут уж смотря что важно исследователю). Или существенно сузить определение «цифрового навыка».
⚡️ Сомнительны сами интервалы. «Не чаще чем раз в 2–3 недели» — это как? Раз в месяц? Раз в квартал?
⚡️ Ответ «Нет, не применяю» предполагает, что человек заполняет анкету в бумажном виде, а не в браузере. Если допустить, что отвечающий таким образом не врёт, это чистой воды апория.

II. Второй вопрос
⚡️ В вариантах ответов смешаны цифровые навыки, знания, технологии, практики, инструменты. «Работа с базами данных (SQL, NoSQL)» — это практика плюс инструменты. «Знание компьютерных программ» — это вообще не навык. «Кибербезопасность» — домен/сфера.
⚡️ Отсюда нарушение правила: чтобы любой вариант ответа можно было подставить в исходный вопрос и фраза была верна логически консистентна и грамматически верна. Сейчас выходит нечто вроде: «Я владею [такими цифровыми навыками, как] кибербезопасность, работа с ИИ, знание компьютерных программ». Мало того что это плохо методологически и концептуально, эти формулировки респондент с трудом способен примерить на себя.
⚡️ Точно так же противоестественным образом объединены разные классификации и уровни абстракции — в духе хрестоматийной борхесовской классификации животных. «Знание компьютерных программ» — общее понятие, с чрезмерной генерализацией. Какие именно программы? А онлайн-сервисы — это «компьютерные программы»? Или взять «Работу с ИИ (нейросетями, машинным обучением)»: в таком виде формулировка описывает абсолютно разные скиллсеты; одно дело — закидывать промпты в GPT, другое — проектировать архитектуру нейросетки. Как минимум нужны конкретизирующие примеры, и почти нигде их нет. Вдобавок вопрос фреймит: «машинное обучение» через запятую с «нейросетями» словно предполагает, что речь идёт всё же о работе на уровне ML-инженера.
⚡️ Чрезмерно обобщённые варианты ответов бессмысленны ещё и потому, что их будут выбирать все или почти все, и переменная утратит различительную силу.
⚡️ В некоторых вариантах, напротив, сбивает с толку избыточная детализация. «Работа с базами данных (SQL, NoSQL)» воспринимается амбивалентно: непонятно, в скобках даны примеры или исчерпывающий список? Иначе говоря, тот, кто использует PostgreSQL и Neo4j, должен ли выбирать этот вариант ответа? И если уж душнить до конца, то SQL — это язык, а NoSQL — скорее подход к проектированию СУБД.
⚡️ В том варианте, который раскрыт худо-бедно человеческим языком и case-oriented, а именно «Цифровая коммуникация — пользуюсь электронной почтой, мессенджерами и социальными сетями, провожу видеозвонки», не ясно, относятся ли эти навыки в отношениях конъюнкции или дизъюнкции. Т. е., если респондент делает всё перечисленное, кроме видеозвонков, то выбирать ли ему этот пункт?

(Продолжение в комментах.)
🔥12❤‍🔥84
Почтеннейший Дмитрий Михайлович Рогозин (если вы не подписаны на его канал, то рекомендую) на днях напомнил мне о Чехове как этнографе. Истинно, во многом Антон Павлович был первопроходцем — в Российской империи точно. Спору нет, российская этнография началась в XVIII веке — а прекурсоры были и раньше, — и тот же Фридрих Плениснер исследовал Камчатку и Чукотку, и быт картировал, и население опрашивал. Однако Чехов и впрямь гораздо ближе к тому, чем стала этнография в XX веке. Точно так же, как современны его малая проза и драматургия.

Поездка Чехова на Сахалин — это полевая экспедиция почти что в современном изводе. А написанный по её итогам «Остров Сахалин» с жанровой дефиницией «из путевыхъ записокъ» местами выглядит как монография какого-нибудь Гирца. Перечитываю впервые с подростковых лет и прозреваю вижу, что у Чехова есть уйма того, что привычно считать достоянием этнографии и социологии XX века: рефлексия над динамикой эмическое и этического, пусть тогда и терминов-то таких не было в их нынешнем значении, над поломками во взаимодействии с проводниками/гейткиперами, над несовершенством собственного эпистемологического аппарата.

Но сегодня о другом — в продолжение темы недели, — а именно об опросах. Антон Павлович по своему почину провёл перепись населения острова, для чего анкетировал местных — в общей сложности 8095 человек. Труд титанический. И хотя сам опросник был коротким, на 13 пунктов, однако его, как говорят сегодня, «дизайном» Чехов занимался чрезвычайно дотошно, и у него есть чему поучиться в стремлении понять жизненный мир других, их системы различений:

«Обыкновенно вопрос предлагают в такой форме: „Знаешь ли грамоте?“ — я же спрашивал так: „Умеешь ли читать?“ — и это во многих случаях спасало меня от неверных ответов, потому что крестьяне, не пишущие и умеющие разбирать только по-печатному, называют себя неграмотными. Есть и такие, которые из скромности прикидываются невеждами. „Где уж нам? Какая наша грамота?“ — и лишь при повторении вопроса говорят: „Разбирал когда-то по-печатному, да теперь, знать, забыл. Народ мы темный, одно слово — мужики“. Неграмотными называют себя также плохо видящие глазами и слепые».

(А. П. Чехов, «Остров Сахалин», 1893)

На иллюстрации: так выглядели карточки чеховской переписи.
14👍6❤‍🔥3💯3
Исследователь как информант: снимаем методологическое табу наложением рук

Есть такая установка — исключать социологов и других представителей социальных наук как из опросов, так и из выборки качественных исследований. Я сейчас не о проектах, в которых изучается само производство научного знания, биографические нарративы исследователей и т. п. Также вынесем за скобки экспертные интервью. Допустим, мы картируем опыт посетителей стендап-ивентов или изучаем потребности клиентов каршеринга — и оказываемся в ситуации, когда вынуждены решать, брать ли интервью у человека, подпадающего под прочие квоты поля, но вот незадача — он исследователь.

Дисклеймер: мои дальнейшие рассуждения касаются качественных исследований. Применительно к количественным возражений против догмы у меня нет: избегайте попадания социологов в выборку массового опроса.

🧩 Справедливо, что исследователь наивероятнейше склонен к over-interpreting и построению объяснительных моделей вместо того, чтобы просто делиться своим опытом (правда, меня подмывает спросить: «А возможно ли вообще просто делиться опытом?»). Хотя — «вместо» ли? Не правильнее ли — «вместе с»? Обычно одно не исключает другого. Часто влияние профессиональной оптики как интервьюера, так и респондента толкуется как «аналитическое загрязнение», которое якобы априори вредно. Я вижу тут очертания двух идеалистических концептов. Во-первых, предполагается, будто бы есть [и желанны] какие-то чистые эмпирические данные. Во-вторых, есть старое устойчивое представление о том, что существуют условные lay people, «обычные люди», опять же с чистым опытом. Это убеждение так же наивно, как иллюзия того, что мы в состоянии следовать grounded theory, не привнося в поле никаких своих умопостроений и теоретических конструктов. На деле «простых людей» нет. И у инженера своя концептуализация опыта и свои абстракции, у менеджера — свои. И бывает, их объяснительные схемы жёстче, чем у профессиональных социологов, а тяга к рационализации — сильнее.
🧩 У исследователя, да, повышена сензитивность к инструментарию: он легче распознаёт латентные конструкты, заложенные в гайд, лучше видит, куда вы клоните, и обычно критичнее относится к вашему профессионализму, к вашей операционализации и пр. И даже его эмерджентные ответы будут звучать убедительнее, чем у не-исследователей.
🧩 Двойная контингентность в интервью «исследователь — исследователь» тоже накладывает свой отпечаток: «Ага, Аня знает, что я знаю, что она знает, что я пытаюсь учесть её социологический бэкграунд, и что всё это я знаю и учитываю, она тоже знает». Повышает подобное сложность взаимодействия? Да.

Но знаете что? Пусть меня сочтут невеждой и еретиком, я не вижу здесь принципиально неразрешимой проблемы. По-моему, настоящая сложность — не в принадлежности собеседника к полю социальных наук, а в умении интервьюера управляться со своими и чужими фреймами, ролями, когнитивными стилями.

Другой вопрос, а зачем в принципе брать у социолога или UX-рисёрчера неэкспертное интервью? Мой ответ: а почему нет-то?!. Вероятно, будет трудно, возникнет риск быть индуцированным тезисами/интерпретациями вашего собеседника, придётся прикладывать дополнительные усилия к тому, чтобы либо разделить в нарративе информанта профессиональное и непрофессиональное, либо целостно осмыслить эту эпистемологическую конфигурацию. Но, повторюсь, это достижимо. Но да, вопрос «Зачем?» надо держать в уме и задавать себе. Возможно, и незачем.

По умолчанию я, да, намеренно исследователей в выборку не включаю. Но случалось, я ангажировал на интервью исследователей — и получал крутейшие результаты. В последний раз — недели три назад (Саша, привет!). Были и фейлы, что лукавить. В итоге для себя вывел некоторые правила и ограничения в общении с исследователями в качестве информантов — давайте-ка подробно напишу в следующем посте.

А вы как относитесь к тому, чтобы брать интервью у исследователей? Пробовали?
👍8🌚7🔥65
Как я работаю с информантом-исследователем

На днях у меня был пост о том, уместно ли привлекать представителей социальных наук в качестве информантов на интервью. Long story short: для меня — при определённых условиях допустимо. Сегодня о том, как я работаю с такими собеседниками.

🗝 Если одобряю представителей социальных наук в качестве информантов, то либо на пилотирование гайда, либо, наоборот, под конец поля, когда впереди угадывается порог насыщения. Мой эмпирический критерий: на поле с 15–20 интервью — не более одного такого респондента.
🗝 Обязательно артикулирую методологические ограничения «на берегу». Оговариваю, что именно меня занимает в опыте, жизни и мнениях собеседника. Закидываю удочку на предмет того, удобна ли будет ему чётко эксплицированная «смена шляп», то бишь фреймов: «Сейчас я спрошу тебя скорее как социолога», «А теперь давай вернёмся к тому, что ты испытал». Не всем такая дифференциация по нраву, не всем органична. Более того, даже когда информант искренне соглашается на неё, это не значит, что в его нарративе будут чётко разделены профессиональное и непрофессиональное; мне важно наметить саму интенцию к такому переключению. Вариант — договориться, что под занавес вы вместе обсудите методологические аспекты и удовлетворите «рисёрчерский зуд», от которого нам обоим никуда не деться.
🗝 В любом случае проявляю уважение к профессиональной рефлексии собеседника, вне зависимости от того, нарушает ли она наши договорённости. И потому, что его объяснительные модели и концептуализация могут быть ценны, и потому, что «я-профессионал», как правило, важная часть идентичности рисёрчера, затрагивающая ядро его личности, и требовать её выключить — это вообще-то оскорбительно. А главное, малопродуктивно.
🗝 Как следствие, я не чураюсь перехода в метапозицию, когда мы с собеседником переключаемся на рассуждение о методе, о себе-в-интервью и пр. Главное — договориться на старте, что вы, как интервьюер, будете управлять ходом диалога и вправе ставить такие ветки дискуссии на холд.
🗝 Не пытаюсь добиться симметрии в коммуникации с информантом-исследователем. Напротив, использую естественно возникающую коммуникативную асимметрию и напряжение как аналитический ресурс. Внимательно слежу, как мой собеседник пытается управлять асимметрией: через экспертную позицию, компенсаторную «наивность», смещение во фрейм «обычного пользователя» и т. д.
🗝 Сам избегаю позиции «простеца», «наивного интервьюера»: в случае с коллегой это обычно получается натянуто. Он знает, что вы знаете, что он знает, что вы притворяетесь.
🗝 Если получается, пробую «сэндвич-структуру» интервью: начинаю с практики/опыта, потом приглашаю отпустить удила метарефлексии, затем снова возвращаюсь к практике/опыту.
🗝 Взамен общих вопросов о практиках фокусируюсь на их embodiement, материальном воплощении и на отдельных юзкейсах — ещё сильнее, чем с информантами-несоциологами. Говорим о каршеринге — заземляемся на интерфейсы приложений, формальные и негласные правила эксплуатации автомобилей, чувства при поиске парковки в конкретных ситуациях. Всё то, что затрагивает опыт овеществлённо, вне концептуализации. Максимально фокусируюсь на конкретных эпизодах, последовательности действий, деталях, эмоциях.
🗝 Делаю стойку на диалоговые/интерпретационные сбои: когда информант-исследователь затрудняется в артикуляции своего опыта или пытается скрыть разрыв между своей концептуальной моделью и практическим знанием. Эти сбои бывают информативнее всего остального.
🗝 Иногда предлагаю информанту-коллеге после интервью ознакомиться с транскриптом и отметить места, где, по его мнению, он говорил как исследователь, а где — скорее как пользователь/практик. Зазор между моем и его восприятием таких переключений часто аналитически очень благодатен.
🗝 При анализе полевого материала задействую двойное кодирование: отдельно разбираю, что информант-исследователь говорил о своём опыте и как именно он это говорил.
10👍64🤡1🥴1
Качественное исследование — это всегда движение сквозь уровни абстракции. Точнее, движения. Частью — запланированные, например работа по индуктивной логике, с восхождением от частного к общему. Частью — полууправляемые и спонтанные, продиктованные материалом и вашей исследовательской интуицией. Дрифт. И эта спонтанность не аберрация, не досадное исключение, а одна из определяющих черт качественного исследования. Тут — только принять, только любить. Или полюбить.

Я по-новому взглянул на вопрос, прочитав The Reflective Practitioner: How Professionals Think In Action Дональда Шёна (впервые издана в 1983 году, актуальна поныне). Он ввёл понятие «рефлексия в действии», она же «практическая рефлексия», как способ осмыслить и переструктуровать профессиональную деятельность, непосредственно когда она осуществляется — в условиях неопределённости и/или быстрого изменения ситуации, когда освоенные ранее знания и практики — «техническая рациональность» — дают сбой. Шён приводит примеры из самых разных сфер, от архитектуры до гончарного ремесла. Но исследования, по-моему, воплощают эту концепцию «на максималках». Исследование — это постоянное «что-то сломалось и нужно нечто взамен, а что, чёрт его знает».

Движение между уровнями абстракции, постоянное чередование zoom in и zoom out у исследователя происходит преимущественно как раз в регистре «практической рефлексии» — и далеко не всегда эти ходы удаётся осмыслить методологически даже постфактум. Просто формируются новые теневые эвристики, которые оказываются в каких-то новых ситуациях действенны. И такие эвристики мне безумно нравится изучать — у себя и у других.

У каждого рисёрчера свои способы перемещаться между уровнями абстракции. Делать это можно, оставаясь в пределах социологической парадигмы. А можно через методы других дисциплин. Лично мне чаще всего помогает лингвистическая перспектива: аппарат когнитивной лингвистики, функциональной семантики, социолингвистики. Сегодня — о том, как я нашёл прикладное применение одной из таких концепций, а именно семантических примитивов, по Анне Вежбицкой.

Семантические примитивы — это, по Вежбицкой, базовые универсальные смыслы, которые [предположительно] существуют во всех естественных языках и с помощью которых объяснимы значения любых других слов, например: «я», «хотеть», «думать», «потому что», «делать», «говорить», «изменяться». Эти понятия нельзя упростить, и именно из них складывается семантика других слов. Если мы хотим понять слово, то декомпозируем его на примитивы.

Обычно при анализе эмпирического материала — транскриптов интервью и фокус-групп, онлайн-дневников и т. д. — мы оперируем более крупными единицами: фактами, темами, сюжетами, дискурсивными ходами, нарративными блоками. Отдельная лексема в фокусе оказывается редко, и, как правило, в разрезе анализа чего-то сложносоставного.

Обращаясь к расшифровкам интервью, особенно когда провожу первичное кодирование, я намеренно обращаю внимание на слова, конструкции, обороты, которые «выламываются» из моей текущей системы различений, ускользают от лобового контент-анализа, хотя в первом приближении могут не выглядеть ни странными, ни очень уж глубокими. Я буквально медитирую на них. Сополагаю их. И да, пробую их раскладывать на семантические примитивы — раньше полуосознанно, в порядке «практической рефлексии», с какого-то момента системно. И слежу за тем, когда внутри ёкнет: «Оно!» Эта дискретизация, гиперфокус на деталях помогает мне выйти на иной уровень абстракции.

Давайте на примере. Вот цитата из интервью с покупателем онлайн-курсов — тот момент, когда я сделал первый заход на вопрос, зачем он покупает обучение:
— Ну а что ещё может быть? Курсы — они для того и есть, что они знания дают, повышают квалификацию, помогают повышать. Добавить тут даже… Ну, может быть ещё… может, ещё какое-то... не знаю, ощущение движения? То, что ты, там, развиваешься, — ну, эти «ти-шейпд», другие какие-то «шейпд» — вы встречали, наверное, да? Это важно, мне кажется, для самооценки. То есть в профессиональном плане, конечно.
8🔥4❤‍🔥33
Мне было видно ещё во время интервью, что информант поначалу держался прагматической рационализации «Курсы — это получение профессиональных знаний», которая, да, имела отношение к его потребностям, но не была исчерпывающей. Однако больше всего меня зацепил оборот «ощущение движения». Наверное, потому, что на фоне шаблонизированных риторических фигур он создавал яркий, эмоционально заряженный образ. Вместе с тем было непонятно, как закодировать эту тему [и с чем её связать]. Как «субъективную метафору профессионального развития»? Как «обучение как фактор прогресса»?

Я разложил эти две лексемы — с учётом контекста диалога и их взаимосвязи в составе словосочетания — на семантические примитивы.

«Ощущение»:
— говорящий (далее N.) воспринимает что-то;
— N. чувствует что-то в отношении того, что воспринимает;
— N. знает, что чувствует это;
— N. не может не знать, что чувствует это;
— это происходит, потому что (a) что-то происходит с N. физически, (b) или что-то происходит внутри N., (c) или N. думает о чём-то;
— это чувство N. считает хорошим для себя;
— N. не может видеть это;
— другие люди не могут видеть это;
— N. не знает, что важно ли это для других;
— другие люди не могут чувствовать то же, что чувствует N.;
— другие люди не могут знать, что чувствует N., если он не скажет об этом;
— N. может сказать о том, что он чувствует;
— когда N. говорит об этом, другие могут думать, что знают, что он чувствует;
— N. думает: «Я меняюсь»;
— N. думает: «Это хорошо для меня»;
— N. хочет чувствовать это.

«Движение»:
— что-то происходит с N. со временем;
— N. был в одном состоянии раньше;
— N. находится в другом состоянии сейчас;
— N. будет в новом состоянии позже;
— N. не может быть в первом и во втором состоянии в одно и то же время;
— это может происходить разными способами (быстро/медленно, равномерно/неравномерно и т. д.);
— это может происходить из-за того, что (a) кто-то делает что-то с N., (b) или N. сам делает что-то, (c) или что-то другое делает что-то с N.;
— N. хочет, чтобы это происходило;
— это хорошо для N.

Такая степень детализации поначалу выглядит даже потешно. Зато она помогает увидеть больше связей внутри нарратива информанта и выйти за пределы автоматического восприятия. В том числе благодаря эффекту остранения по Шкловскому: сама перспектива достаточно непривычна для того, чтобы заставить думать иначе, чем прежде.

Так, у меня сразу возникло предположение, что «ощущение движения» — в гораздо большей степени про личные, экзистенциальные смыслы, про самовосприятие, про преодоление текущего нежелательного состояния (застоя?), а не про профессиональный трек. О чём это словосочетание — «ощущение движения»? О желаемых изменениях своего состояния, о субъективности такого восприятия [в противовес как бы «объективному» повышению своей ценности на рынке труда], о личных смыслах.

Поэтому особенно красноречиво уточнение, а на самом деле — поправка, сделанная информантом из защищающейся позиции: «Это важно, мне кажется, для самооценки. То есть в профессиональном плане, конечно».

Когда я брал интервью, то через какое-то время сумел выйти вместе с собеседником на те мотивы, которые он поначалу избегал артикулировать. И действительно, покупка курсов — часто компульсивная — оказалась связана у него с экзистенциальными мотивами, с недифференцированной тревогой, с недовольством собой, с желанием изменений. Больше того, сама покупка курсов была для информанта перформативной: он чувствовал, как, даже не начав проходить курсы, становится «чуть-чуть другим», возвращает себе подавленную агентность.

(Кстати, декомпозиция слов на семантические примитивы — это то, с чем современный ИИ справляется на отлично: нет нужды делать всё вручную, достаточно понимать базовые принципы.)
8🔥5❤‍🔥11👌1
При критике исследовательских вопросов, даже если удаётся выйти за пределы «так надо — так не надо», редко разговор касается того, почему исследователь задал вопрос именно так. С какой перспективы, опираясь на чью логику. А такая проблематизация — самая продуктивная.

Возьмём рядовой вопрос из гайда: «Какой информации о товаре вам не хватает в выдаче?» Его легко критиковать. Хотя бы потому, что он:
— вынуждает собеседника артикулировать «отсутствующее» как категорию;
— требует отрефлексировать информационные потребности в абстрактной форме;
— не завязан на реальный опыт;
— имплицитно подразумевает, что «информация» — это скорее текст, тогда как на деле информативны и визуальная часть, и состав выдачи по конкретному запросу/фильтру, и в целом система технических аффордансов на сайте или в приложении;
— и, главное, является формирующим, подразумевая, что человеку чего-то не хватает.

Однако фундаментальная проблема с ним лежит в иной плоскости. Она не в его функциональной или эпистемической слабости.

Лишь в первом приближении вопрос задан от потребности и опыта человека — исходя из предположения, что ему важны некоторые сведения о товаре и их может быть недостаточно [а мы-то хотим ему помочь]. Если вдуматься, сюда зашит запрос продакт-менеджера. Звучит user-centric, но на поверку это переформулированное «Что нам надо добавить?». Изучение практики втихую подменяется набором суждений о технологических артефактах. На короткой дистанции это упрощает жизнь и даёт возможность говорить об эффективности своей работы якобы доказательно: берём ответы на прямой вопрос, классифицируем их, приоритезируем их по RICE или Кано, и — та-дам! — мы вроде как добавили что-то вроде бы data-proven в дорожную карту продукта.

А если действительно начать думать, как посетитель совершает выбор при изучении выдачи, то вопрос «Какой информации о товаре вам не хватает в выдаче?» начнёт трансформироваться как по волшебству. Захочется понять, как именно человек видит эту часть сервиса и как она сообразуется с его практикой и потребностями. Что он привык и хочет видеть. В чём, в соблюдении каких условий он нуждается, чтобы продолжать и в конечном счёте сделать желанное для вас действие, а это, да, не только «информация». Как потребность собственно в информации зависит от контекста использования сервиса, от режима вовлечённости человека. И, как ни удивительно, отсюда уже проще будет переходить к UX-измерению — к perceived cost of action и иже с ним.

Или другой кейс. Клиента фудтех-сервиса спрашивают: «Устраивает ли вас скорость доставки?» Тоже вроде user-centric, а на деле — нет. Точнее, спросить это можно, чтобы сделать заход на тему. В качестве первого шага. А так-то это вопрос руководителя клиентской службы, обеспокоенного своими KPI, а не тем, ок ли клиенту скорость доставки. И главное, даже искренний ответ респондента на него вряд ли будет хоть чем-то полезен.

(Продолжение — в комментах.)
🔥53👍3🤩1
Ещё раз как в последний раз о JTBD

Кто только и как только не полоскал JTBD. Включая меня. Часто оправданно. Иногда с перегибами и на эмоциях. А что сейчас? А сейчас, в 2025 году, я им не пренебрегаю. Но использую ограниченно. Захотел расставить точки над i — перво-наперво для себя. По моим меркам — очень коротко 😏

Итак, JTBD лучше работает там, где:
— у продукта/услуги есть чёткая прагматическая ценность и преобладают инструментально-функциональные мотивы использования («совершить нечто ради чего-то»);
— изменения, которые даёт использование продукта/услуга, могут быть оценены как качественно, так и количественно («результат совершённого действия — в таких-то единицах»);
— контекст принятия решения узко локализован.

Например, с доставкой еды, подбором страховки, покупкой авиабилета. Много где. Но даже в понятных b2c/b2b-продуктах JTBD регулярно упирается в нехватку объяснительной силы.

В чём ограничен JTBD [и обо что обламывается]?
Он интерпретирует человека как целостного субъекта с ясными непротиворечивыми целями и установками. А это, конечно же, не так. Ни с точки зрения современной нейрокогнитивистики, ни ни с точки зрения психологии, ни с точки зрения социологии.
Обычно предполагает устойчивую последовательную мотивацию, направленную на выполнение задачи. Но вообще-то структура мотивации может перестраиваться в зависимости от ситуации, или фрейма, или «режима вовлечённости» — you name it. А ещё меняться и пересобираться в процессе. Например, вспомните себя, когда вы начинали учить какой-нибудь язык в Duolingo или его аналоге, и подумайте, насколько с течением времени изменилось то, что вами движет и что вы от сервиса получаете.
Чаще рассматривает «работу» как нечто идущее от индивидуальных потребностей. Хотя немалая часть потребностей и интенций конструируется социально и/или в очень обширном контексте. Бывает, говорят о «социальных джобах», но это почти всегда какой-то лютый кадавр.
Предполагает, что «джобы» безусловно нацелены на прогресс, на обретение «лучшей версии себя»; во всяком случае, по версии Клемента. Тоже не универсальная истина. Скажем, в любом онлайн-кинотеатре знают, что порядочная часть аудитории пересматривает одни и те же старые фильмы и сериалы. Это про утешительную функцию контента, про сейфспейс и/или брейнрот, но, ясно, никак не про «прогресс».

Но главная проблема JTBD — не с ним самим, а с тем, что его обычно выбирают на старте исследования как метод/фреймворк по умолчанию. Не допуская вероятности того, что его объяснительной силы может оказаться недостаточно.

Например, в случае с каршерингом JTBD-анализ, вероятно, выявит такие «джобы», как:
✓ Я хочу быстро добраться из точки А в точку Б без хлопот, которые сопряжены с владением автомобилем.
✓ Я хочу экономить на такси, сохраняя гибкость передвижения и т. д.

И это будет верно. Но если говорить с клиентами каршеринга строго в JTBD-логике, то масса мотивов не попадёт в поле зрения исследователя. И не выведет информанта в интервью на откровение вроде: «Однажды мы с сыном придумали такую игру с каршерингом, что мы, как суперагенты, берём тачку и бросаем её».

Такой юзкейс выходит за пределы целерациональной мотивации — и эмоциональной, строго говоря, тоже. В какой-то момент использование каршеринга актуализирует для такого клиента агонально-авантюрный «мир»/режим, где ценится свобода действия, власть над объектами, отсутствие долгосрочных обязательств, выключение из привычного потока жизни, а главное, совместность игрового пространства с близким человеком, с построением зоны доверительной интимности. «Джоба» ли это? В привычном понимании — нет. Это спонтанная практика, которая удачно легла в русло потребностей человека и которую в определённых условиях ему хочется воспроизводить. Влияет ли возможность реализовать эти мотивы на выбор каршеринга и практику его использования? Вероятно, влияет.

(Продолжение в комментариях.)
🔥96👍32🤔1
Рекомендация: «Как правильно задавать вопросы. Введение в проектирование опросного инструментария», Сеймур Садмен и Норман Брэдберн

Сегодня — об одной из тех редких книг, которые я смело и рьяно советую любому не читавшему их исследователю, что бы и где бы он ни исследовал. И самому себе эдак семилетней давности тоже посоветовал бы. Я сам её впервые проштудировал лишь года три назад и с тех пор перечитывал дважды. В эти апрельские деньки она у меня идёт параллельно с «Когнитивным анализом опросного инструментария».

По сути это хендбук, который даёт хорошую рамку для разработки опросов и предлагает въедливый, непротиворечиво фундированный подход к операционализации теоретических конструктов в измеримые индикаторы.

Если читать её тщательно, можно понять в том числе:
🔨 Как создавать непротиворечивые, валидные, когнитивно доступные аудитории формулировки, позволяющие действительно узнать у респондентов то, что вы хотите узнать.
🔨 Какие контекстуальные эффекты в структуре опросника нужно учитывать и как их использовать: как выстраивать последовательность вопросов, что от неё зависит, как при заполнении анкеты работает контекстная активация схем памяти и т. д.
🔨 Как оценивать соцдем и поведенческие характеристики, знания, установки респондентов.
🔨 Как работать с social desirability и в целом с нормативными ожиданиями, с сензитивными темами.
🔨 Вообще — что и где в опроснике может сломаться и почему.

Взять один только тейк из главы об измерении установок респондентов с помощью опросного инструментария, пробивший меня в своё время на инсайтище инсайт: «Заранее решите, какие аспекты установки вас интересуют — эмоциональный, когнитивный или деятельный. Не следует пола­гать, что все они согласованы».

При поверхностном чтении звучит до одури тривиально. Но, как писал Хармс, «читатель, вдумайся… и тебе станет не по себе». Фейлы с выбором того, какой аспект установки измерять и что вообще мы видим как объект установки — т. е. к чему именно относится респондент, — повсеместны. Я каждую неделю встречаю анкеты, где допущены такие ошибки. Например, в одном опросе увидел:

Считаете ли вы сеть „Вкусно — и точка“ достойной заменой McDonald’s?
☐ Определённо да
☐ Скорее да
☐ Скорее нет
☐ Определённо нет

Эта формулировка измеряет (ну, пытается измерять) когнитивную оценку бренда — мнение о качестве, но явно задействовалась как индикатор лояльности, имеющей в первую очередь деятельностное выражение. Не говоря уже о том, насколько проблематично определение «достойный», как нормативное и формирующее. Плюс само сравнение задаёт референтную рамку и вынуждает оценивать новый бренд через соположение с предшественником (притом что дальше в анкете соположение нигде не проводится). Но главное, что же здесь является, а что должно быть объектом установки — «качество продукции», «эмоциональная связь», «стабильность опыта и впечатлений при взаимодействии с брендом»?

«Как правильно задавать вопросы» — про опросный инструментарий, но великое множество рекомендаций и ходов из неё годится и для интервью. И учит здоровой методологической строгости. Hightly and totally recommended.
🔥933👍3
Мы с Б. стоим на бетонной плите, присыпанной гравием и песком, на обочине оживлённой улицы с четырёхполосным движением. Я — на своих двоих, он — в инвалидном кресле с электроприставкой. По градостроительному замыслу то, среди чего мы очутились, вскоре снова обещает стать тротуаром. Судя по карте, это и должен быть тротуар. Ну, мы-то видим, что нет. Мы вообще за первые двадцать минут увидели больше, чем я ожидал пронаблюдать за весь предстоящий трип. Наша задача — преодолеть тестовый маршрут, чтобы понять, как упростить перемещения по городу для людей на колясках. Быстрая этнография as is.

Сгущается понимание: ‘We shall may not pass…’ Только без эпика, очень обыденно. Мимо проносятся фуры. Собранный, бодрый, Б. размышляет вслух, но ветер и городские шумы крадут часть его слов. Хотя и тех коротких реплик, которыми мы ухитряемся обменяться, хватает, чтобы осознать: маршрут, который мы задумывали как двухчасовой, превращается в долгий, долгий джонт (привет Стивену Кингу, с санспенсом у нас с утра полный порядок). Все темпоральные перспективы тоже сжались в точку и отдаются дёрганым пульсом где-то у меня в затылке: «А вообще, доберёмся мы куда-нибудь, а? За два часа? За три?»

Нужно решать, куда дальше — вперёд, назад. Окончательный выбор за Б. Он предпринимает попытку проехать дальше по разбитому экс-тротуару, и на коварном гравии у кресла отсоединяется один из двух шарниров, крепящих передние направляющие колёса.

Отсоединение это не только механическое: оно и методологическое. Сама материальность исследования сопротивляется моим эпистемологическим претензиям. Приплыли.

Шшшух — и мы с Б. впадаем в общий фрейм «мужики в гараже перебирают движок». Сажусь на корточки, чтобы помочь восстановить крепление. С первой попытки не выходит. Не выходит и со второй. Чувствую кожей, нутром, префронталкой, как отваливается и мой заранее подготовленный — ранее успешно апробированный инструментарий — лист наблюдений с системой быстрых кодировок и другие разумные, даже элегантные, как мне виделось, приёмчики-инструментики.

Город действует не по тем правилам, которые я предвидел. Мой спутник ведёт себя иначе, чем я ожидал. Когнитивные и механические конструкции обнаруживают свою хрупкость [и гибкость] под давлением непредвиденных обстоятельств и телесности. В зазоры между картой и территорией лезет — как в другом рассказе Кинга, «Крауч-энд», — то, что я не успеваю фиксировать. И надо ли?

Почти сразу бросаю попытки делать попутно field notes или включать второй диктофон для голосовых заметок (первый-то лежит в кармане и пишет, но что он зафиксируется сквозь шум и ветер — бог весть…). Куда там, когда одновременно:
— пытаешься удержать предплечьями и пальцами тяжеленную конструкцию;
— пробуешь следовать советам владельца кресла и перебрасываешься с ним шутками;
— вдыхаешь пыль и гарь утреннего города;
— норовишь на лету перекроить методологическую сборку;
— продумываешь, как сделать дальнейший маршрут безопаснее, не пустив псу под хвост исходный дизайн.

Какая, к чёрту, кодировка, когда мы оказались вот в этом вот? Этическое и эмическое водят хоровод вокруг нас с Б., подмигивают и ждут, когда мы справимся с ремонтом. Я не впадаю в панику, но, кхм, ажитирован. У Б. какой-то несмыслимый уровень эмпатии: он считывает моё состояние и, отчасти явно чтобы подбодрить меня, рассказывает о том, насколько часто подобные эксцессы случаются, когда он передвигается по городу. Для него это — не нормативное, но привычное. Хабитуализированное. Рассказывает, как при попытке заскочить на далёкий от СНиПов заезд выпал из кресла… Вот это — важно. Кажется, с того момента мы и начинаем проходить маршрут вместе, а просто не рядом.

(Продолжение в комментариях.)
85🔥4❤‍🔥2👍1
С упоением перечитываю лекции Батыгина. Это база. Вот что я бы, пожалуй, посоветовал каждому [включая самого себя в прошлом], кто без социологического образования (тоже я!) собирается заниматься исследованиями, проштудировать, прежде чем идти на курсы UX-рисёрча и принимать всё, что там говорят, на веру. Не «вместо», а «прежде чем». Впрочем, к счастью, никогда не поздно.

Ну вот хотя бы что он пишет в части про операционализацию:

«В дихотомию преобразуются все типы признаков, какое бы количество градаций они не содержали. Например, образование включает несколько градаций: неполное среднее, среднее, среднее техническое, высшее незаконченное и высшее законченное. Пятипунктовая шкала легко преобразуется в серию дихотомий: высшее / не высшее, среднее / не среднее и т. п. Такого рода серии кажутся бесполезными для полевых исследований, однако они являют собой некий эталон точности при идентификации объекта. Например, ответ на вопрос: «Демократ ли вы?» дихотомичен. Респондент может ответить «да» или «нет». Если нет, это означает, что респондент не знает, кто он по политическим убеждениям, не может или не хочет ответить, консерватор, левый террорист и т. п. Все дело в том, что отрицательные суждения не содержат в себе определенного знания».

Батыгин Г. С. Лекции по методологии социологических исследований: Учеб. для высш. учеб, заведений. — М.: Аспект Пресс, 1995

Т. е. вроде бы, да, база-база. Однако ж в прикладных исследованиях — особенно в продуктовых, особенно в опросах — такие пустые дихотомии сплошь и рядом.

Я не о том, что прямая дихотомическая операционализация не нужна. Она бывает кстати, очень даже. Только обычно не даёт ответов, а открывает путь к ним, как риторический и коммуникативный приём.
🔥10❤‍🔥5👏2🙏2💯211
Сравнительно коротко, но вдумчиво поговорили в подкасте с замечательной Полиной Колозариди, руководительницей DH-центра ИТМО, про ИИ в исследованиях. Она самым правильным образом «запромптила» мои внутричерепные нейросети — и надеюсь, что мои ответы если и не лишены галлюцинаций, то, во всяком случае, галлюцинации это тоже продуктивные 🖤
😁2🤩2🙏1🏆1
🤍 ИИ как со-исследователь: о методах и ограничениях агентов

Для записи нового выпуска подкаста мы пригласили Михаила Боде, исследователя и основатель бюро beyond research, для разговора о том, как живётся исследователям с ИИ. Обсуждаем подходы к нейросетям и методы работы с ними, говорим о критериях дельных промптов и разбираемся, кого и что точно не заменит искусственный интеллект.

Исследователь — идеальный первый пользователь нейросетей? Как деконструировать модель нейросети до датасетов? И всё же, как быть «хорошим» пользователем?

литература
В. Вахштайн*, «Техника, или Обаяние прогресса»
Г. Зиммель, «Эссе о чужаке»
А. Кларк, «Ситуационный анализ»
Л. Сачмен, «Реконфигурации отношений человек — машина»
А. Страусс, Дж. Корбин, «Основы качественного исследования»

* признан иноагентом в РФ

слушать подкаст
> Яндекс.Музыка
>
Apple Podcasts
>
Spotify
>
Телеграм-плеер
> Больше платформ —
по ссылке

{ наш сайт }
<
@dhcenter >

🤍 🤍 🤍 🤍 🤍
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥114🎉2😇1
В одном достойном чате на днях обсуждали, что для участников значит эмодзи 👀

Ответы были очень разноречивыми. Очень. В среднем у людей оказалось по 1–3 трактовки такого эмодзи, и чаще всего выделялась дефолтная. Консенсуса не наблюдалось: часть интерпретаций предполагала нейтральное базовое значение, часть — негативное, часть — позитивное. Количественного исследования я не проводил, но подозреваю, что оно тоже дало бы распределение без доминирования одного варианта.

Мне доводилось сталкиваться с следующими смыслами «бегающих глазок» — и не только в повседневности (я делал большой рисёрч практик использования эмодзи в переписках):

1. «Я не очень понимаю, что это значит, возможно, я не соглашусь, но мне необходимо разобраться».
2. «Я не согласен/не согласна, но ок, вы имеет право на такое мнение».
3. «Занятно, буду следить за комментами и/или развитием дискуссии [посмотрю, что скажут другие, и определюсь]».
4. «Да, странновато» // «Сомнительно, но окэ-эй».
5. Пассивно-агрессивное «Ну да, ну да...»
6. «Мне это не то чтобы нравится, но не вызывает достаточно артикулированных эмоций, чтобы ставить строго негативное эмодзи».
7. «Я здесь, я видел(а). Принято к сведению», «Увидено, осознано, прочту позже». Как вариант, с негативной коннотацией: «Уф, ну сколько можно-то... Принято».
8. «Это что хоть такое-то-о-о-о?», «Не понимаю, растерян(а)».
9. «Я не знаю, как реагировать, но должен/должна как-то отреагировать».
10. «Хочу, чтобы вы или другие участники обратили на меня внимание, но не хочу выражать своё отношение к вашему сообщению».

Сам я чаще всего встречаю такие употребления 👀, которые склонен истолковать как 1, 4, 5, 7. А вы, кстати? Возможно, я упустил какие-то значимые интерпретации?

Этот эмодзи — пустой знак знак с floating signifier, у которого означающее, выражаемое им, колеблется в широких пределах и/или конструируется в контексте. В каком-то смысле — аналог дискурсивного слова, например вводного, которое «скрепляет» коммуникацию. Точно так же вводное «ну» способно выражать о-очень разные смыслы. Другое дело, что значение конкретного «ну» в потоке речи мы понимаем не в последнюю очередь за счёт интонации, невербалики, а в случае с «бегающими глазками» приходится полагаться преимущественно на контекст коммуникации с конкретным человеком и свои представления о нём. Ну или на групповую норму, если использование эмодзи продиктовано ею — как, например, у [условных] «зумеров» (здесь должна быть обязательная ремарка о сомнительности теории поколений), прежде всего в Штатах, есть свои практики использования эмодзи ☠️ и других «черепушек», напрочь непонятные большинству «бумеров».

Так что честь и хвала брендам, которые заказывают социокультурные/семиотические исследования, в том числе с таким узким фокусом. На дистанции оно окупается. Особенно в свете того, что бизнесу чем дальше, тем интенсивнее приходится работать со всё более разнообразными группами/трайбами аудитории и идти к ним, на их площадки, дискорд-серверы норы и пр. А социолекты и коммуникативные протоколы везде разные, и надо понимать, где какие правила действуют. Заруинить коммуникацию теми же «бегающими глазками» не к месту — как раз плюнуть.
👀10🔥3👍2
Заинтересовался тут методом экспликативного интервью (entretien d’explicitation), оно же «разъяснительное», разработанным психологом Пьером Вермершем и подхваченным его последователями.

Суть подхода: человеку помогают восстановить то из его опыта, что он не помнит или помнит скверно, за счёт узко сфокусированного внимания на конкретных эпизодах из прошлого. В отличие от обычной «глубинки», здесь интервьюер создаёт особые условия для того, чтобы собеседник мог реконструировать ситуацию в деталях.

Метод строится на трёх принципах:
— Нужна фокусировка на единственном действии/процессе/сцене из опыта информанта, а не на его рефлексии.
— Доступ к дорефлексивному знанию достигается через сенсорные якоря — триггеры (сам Вермерш приводит в качестве примера прустовскую «мадленку») в позиции т. н. эвокации, где прошлое удобно переживать заново.
— Интервьюер действует мягко и поступательно, помогая респонденту «увидеть» действие и вербализовать произошедшее и не навязывая ему своих ожиданий. Ведущий побуждает человека сосредоточиться на «как», а не на «что» и мотивирует его дать подробное описание конкретных переживаний, воплощённого опыта.

Клэр Петименжин позднее описала методологические правила и технику экспликативного интервью более подробно. Насколько понимаю, она называет его также «микрофеноменологическим интервью». Не без понта, но, с оглядкой на дисциплинарный базис, резонно.

Адепты подхода разъясняют — извините за невольный каламбур, — к каким инсайтам такое интервью способно привести. Если не ошибаюсь, сам Вермерш описывает кейс с оператором АЭС, который в ходе такого интервью вспомнил очерёдность операций при эмуляции охлаждения реактора на тренажёре, приведшую к критической ошибке. Или как спортсмен, внезапно терявший концентрацию в острые моменты, дознался до того, какая последовательность мыслей служит триггером сбоя.

Гипотетическая польза понятна. Недостатки тоже:
Интроспекция, тем более форсированная — спорный метод получения эмпирических данных. Во всяком случае, по меркам социологии. Плюс эксплицитное интервью подспудно претендует на то, что мы получаем прямой эпистемический доступ к жизненному миру человека, а это, простите, неосуществимо.
Интервью грозит превратиться в терапевтическую сессию. Длится порядочно, а польза от него между тем не гарантирована. Выводы могут оказаться тривиальными («Ну да, я вспомнил, на самом деле я не сразу закрыл тупое окошко с офертой, а просканировал три абзаца и выцепил оттуда несколько слов»). Дорогой метод, с высокой ставкой. Надо точно знать, ради чего оно всё.
«Память — безрукая статуя конная». Мы реконструируем, а не воспроизводим раз и навсегда достоверно и намертво зафиксированный опыт. Так уж устроена наша память. Склонность психики к конфабуляции — придумыванию правдоподобных, но ложных объяснений — тоже способна сыграть злую шутку.
Нет или пока неизвестно объективных когнитивных, тем более нейрофизиологических коррелятов для проверки этого анамнесиса («припоминания»).
Как завещал нам Дэвид Сильверман [«и был глубоко прав»], открытых вопросов в абсолютном виде не существует. Нейтральных тоже. Так или иначе, пусть даже мы бережно пытаемся подталкивать информанта к движению по волнам его памяти, у нас не может быть абсолютной уверенности в том, что мы его не фреймируем и не помогаем ему безотчётно сочинить нечто интересное, но не отражающее того, что правда произошло.

Так-то, похоже, я много лет использовал элементы экспликативного интервью (при глубоком пробинге) — например, внутри интервью нарративных, — просто знать не знал про это. Но как опорный метод — хм. Хм!..

Пробовали? Что думаете об осмысленности и валидности метода?
❤‍🔥6🐳43🔥1
27 мая, во вторник, выступаю на онлайн-треке конфы Aha!25, которую делает команда с давних пор уважаемого мной «Матемаркетинга». В основе своей она — о product science, машинном обучении и продуктовой аналитике. Но я ж outlaw, методологический «однопроцентник», и тему выбрал ортогональную её вектору, тем не менее, кажется, релевантную запросу изрядной части посетителей. А именно — как научиться различать буллщит в качественных методах и осмысленно сочетать их с количественными.

Сейчас аранжирую презентацию и понимаю, что тема бездонная. Решил сфокусироваться в первую очередь на том, как людям, привыкшим действовать в русле data-driven подхода и вообще с опорой на цифры/квантифицируемое, понимать, когда [и зачем] задействовать качественные методы, включая всякую хитрую и нехитрую этнографию, в каких случаях имеет смысл использовать ресурсы in-house, в каких привлекать внешних исполнителей, а когда им пытаются подсунуть под видом qualitative research чепуху, невалидное, кромешное. Затрону и попытки затащить количественную логику в качественный дизайн, и бессмысленные инструменты вроде «карт эмпатии», и другие ужасы.

Дорогие тунчжи, друзья, подписчики — прежде всего те, кто делал много качественных/гибридных исследований для бизнеса, — а поделитесь, пожалуйста, в комментах болью и вельтшмерцем:

Какие у вас red flags в прикладных, для бизнеса, качественных исследованиях? С какими ошибками вы чаще всего сталкиваетесь?

Вот вы видите нечто в отчёте или в ТЗ, в компреде — и все ваши эвристики и опыт вопят: «Шляпа! Сами не ведают, что предлагают».

Буду вам чрезвычайно признателен 🖤 С учётом своего опыта, по результатам выступления, на основе фидбэка участников мероприятия и ваших комментов хочу написать в июне лонгрид лонгридович по теме.
10🦄4🫡2
Чуть-чуть поворчал о некоторых грехах качественных исследований и как в них не впасть. Спасибо команде Aha!25 🖤

Вроде прописные истины излагал, а глянешь — и у очень достойных, умных коллег что-то подобное найдёшь. Или у себя самого, что уж там. В общем, кому истины прописные, а кому и строчные.

Как обещал, позже разовью всё это в лонгрид.
👍87🔥4🆒1🦄1
Маленькое, но, по-моему, полезное упражнение — я его сам только что проделал. Не буду держать интригу и спрошу в нагло фреймирующей форме:

На ваш взгляд, что не так в этих двух вопросах?

Это из опроса, который сделан с декларируемой целью изучить то, как люди читают телеграм-каналы, как находят привлекательный для себя контент, по каким причинам отписываются и т. д. Намеренно всё анонимизировал, так как цели шеймить автора у меня нет, и в таком виде его едва ли кто-то опознает (а если вдруг кто опознал, прошу, давайте не писать это публично). Нехватка опыта и скиллов не беда и не порок. Вот только результаты задизайненного в таком виде опроса будут почти бесполезны. Или даже вредны. Ну, не то чтобы вредны, скорее misleading. А поскольку результаты опроса автор обещает сделать публичными, это печально. Мне — печально.

Для понимания контекста закину в комментарии все вопросы из анкеты — в той очерёдности, в какой они даны.
2🔥2👍1🤔1💔1