Качественное исследование — это всегда движение сквозь уровни абстракции. Точнее, движения. Частью — запланированные, например работа по индуктивной логике, с восхождением от частного к общему. Частью — полууправляемые и спонтанные, продиктованные материалом и вашей исследовательской интуицией. Дрифт. И эта спонтанность не аберрация, не досадное исключение, а одна из определяющих черт качественного исследования. Тут — только принять, только любить. Или полюбить.

Я по-новому взглянул на вопрос, прочитав The Reflective Practitioner: How Professionals Think In Action Дональда Шёна (впервые издана в 1983 году, актуальна поныне). Он ввёл понятие «рефлексия в действии», она же «практическая рефлексия», как способ осмыслить и переструктуровать профессиональную деятельность, непосредственно когда она осуществляется — в условиях неопределённости и/или быстрого изменения ситуации, когда освоенные ранее знания и практики — «техническая рациональность» — дают сбой. Шён приводит примеры из самых разных сфер, от архитектуры до гончарного ремесла. Но исследования, по-моему, воплощают эту концепцию «на максималках». Исследование — это постоянное «что-то сломалось и нужно нечто взамен, а что, чёрт его знает».

Движение между уровнями абстракции, постоянное чередование zoom in и zoom out у исследователя происходит преимущественно как раз в регистре «практической рефлексии» — и далеко не всегда эти ходы удаётся осмыслить методологически даже постфактум. Просто формируются новые теневые эвристики, которые оказываются в каких-то новых ситуациях действенны. И такие эвристики мне безумно нравится изучать — у себя и у других.

У каждого рисёрчера свои способы перемещаться между уровнями абстракции. Делать это можно, оставаясь в пределах социологической парадигмы. А можно через методы других дисциплин. Лично мне чаще всего помогает лингвистическая перспектива: аппарат когнитивной лингвистики, функциональной семантики, социолингвистики. Сегодня — о том, как я нашёл прикладное применение одной из таких концепций, а именно семантических примитивов, по Анне Вежбицкой.

Семантические примитивы — это, по Вежбицкой, базовые универсальные смыслы, которые [предположительно] существуют во всех естественных языках и с помощью которых объяснимы значения любых других слов, например: «я», «хотеть», «думать», «потому что», «делать», «говорить», «изменяться». Эти понятия нельзя упростить, и именно из них складывается семантика других слов. Если мы хотим понять слово, то декомпозируем его на примитивы.

Обычно при анализе эмпирического материала — транскриптов интервью и фокус-групп, онлайн-дневников и т. д. — мы оперируем более крупными единицами: фактами, темами, сюжетами, дискурсивными ходами, нарративными блоками. Отдельная лексема в фокусе оказывается редко, и, как правило, в разрезе анализа чего-то сложносоставного.

Обращаясь к расшифровкам интервью, особенно когда провожу первичное кодирование, я намеренно обращаю внимание на слова, конструкции, обороты, которые «выламываются» из моей текущей системы различений, ускользают от лобового контент-анализа, хотя в первом приближении могут не выглядеть ни странными, ни очень уж глубокими. Я буквально медитирую на них. Сополагаю их. И да, пробую их раскладывать на семантические примитивы — раньше полуосознанно, в порядке «практической рефлексии», с какого-то момента системно. И слежу за тем, когда внутри ёкнет: «Оно!» Эта дискретизация, гиперфокус на деталях помогает мне выйти на иной уровень абстракции.

Давайте на примере. Вот цитата из интервью с покупателем онлайн-курсов — тот момент, когда я сделал первый заход на вопрос, зачем он покупает обучение:
— Ну а что ещё может быть? Курсы — они для того и есть, что они знания дают, повышают квалификацию, помогают повышать. Добавить тут даже… Ну, может быть ещё… может, ещё какое-то... не знаю, ощущение движения? То, что ты, там, развиваешься, — ну, эти «ти-шейпд», другие какие-то «шейпд» — вы встречали, наверное, да? Это важно, мне кажется, для самооценки. То есть в профессиональном плане, конечно.

Мне было видно ещё во время интервью, что информант поначалу держался прагматической рационализации «Курсы — это получение профессиональных знаний», которая, да, имела отношение к его потребностям, но не была исчерпывающей. Однако больше всего меня зацепил оборот «ощущение движения». Наверное, потому, что на фоне шаблонизированных риторических фигур он создавал яркий, эмоционально заряженный образ. Вместе с тем было непонятно, как закодировать эту тему [и с чем её связать]. Как «субъективную метафору профессионального развития»? Как «обучение как фактор прогресса»?

Я разложил эти две лексемы — с учётом контекста диалога и их взаимосвязи в составе словосочетания — на семантические примитивы.

«Ощущение»:
— говорящий (далее N.) воспринимает что-то;
— N. чувствует что-то в отношении того, что воспринимает;
— N. знает, что чувствует это;
— N. не может не знать, что чувствует это;
— это происходит, потому что (a) что-то происходит с N. физически, (b) или что-то происходит внутри N., (c) или N. думает о чём-то;
— это чувство N. считает хорошим для себя;
— N. не может видеть это;
— другие люди не могут видеть это;
— N. не знает, что важно ли это для других;
— другие люди не могут чувствовать то же, что чувствует N.;
— другие люди не могут знать, что чувствует N., если он не скажет об этом;
— N. может сказать о том, что он чувствует;
— когда N. говорит об этом, другие могут думать, что знают, что он чувствует;
— N. думает: «Я меняюсь»;
— N. думает: «Это хорошо для меня»;
— N. хочет чувствовать это.

«Движение»:
— что-то происходит с N. со временем;
— N. был в одном состоянии раньше;
— N. находится в другом состоянии сейчас;
— N. будет в новом состоянии позже;
— N. не может быть в первом и во втором состоянии в одно и то же время;
— это может происходить разными способами (быстро/медленно, равномерно/неравномерно и т. д.);
— это может происходить из-за того, что (a) кто-то делает что-то с N., (b) или N. сам делает что-то, (c) или что-то другое делает что-то с N.;
— N. хочет, чтобы это происходило;
— это хорошо для N.

Такая степень детализации поначалу выглядит даже потешно. Зато она помогает увидеть больше связей внутри нарратива информанта и выйти за пределы автоматического восприятия. В том числе благодаря эффекту остранения по Шкловскому: сама перспектива достаточно непривычна для того, чтобы заставить думать иначе, чем прежде.

Так, у меня сразу возникло предположение, что «ощущение движения» — в гораздо большей степени про личные, экзистенциальные смыслы, про самовосприятие, про преодоление текущего нежелательного состояния (застоя?), а не про профессиональный трек. О чём это словосочетание — «ощущение движения»? О желаемых изменениях своего состояния, о субъективности такого восприятия [в противовес как бы «объективному» повышению своей ценности на рынке труда], о личных смыслах.

Поэтому особенно красноречиво уточнение, а на самом деле — поправка, сделанная информантом из защищающейся позиции: «Это важно, мне кажется, для самооценки. То есть в профессиональном плане, конечно».

Когда я брал интервью, то через какое-то время сумел выйти вместе с собеседником на те мотивы, которые он поначалу избегал артикулировать. И действительно, покупка курсов — часто компульсивная — оказалась связана у него с экзистенциальными мотивами, с недифференцированной тревогой, с недовольством собой, с желанием изменений. Больше того, сама покупка курсов была для информанта перформативной: он чувствовал, как, даже не начав проходить курсы, становится «чуть-чуть другим», возвращает себе подавленную агентность.

(Кстати, декомпозиция слов на семантические примитивы — это то, с чем современный ИИ справляется на отлично: нет нужды делать всё вручную, достаточно понимать базовые принципы.)

При критике исследовательских вопросов, даже если удаётся выйти за пределы «так надо — так не надо», редко разговор касается того, почему исследователь задал вопрос именно так. С какой перспективы, опираясь на чью логику. А такая проблематизация — самая продуктивная.

Возьмём рядовой вопрос из гайда: «Какой информации о товаре вам не хватает в выдаче?» Его легко критиковать. Хотя бы потому, что он:
— вынуждает собеседника артикулировать «отсутствующее» как категорию;
— требует отрефлексировать информационные потребности в абстрактной форме;
— не завязан на реальный опыт;
— имплицитно подразумевает, что «информация» — это скорее текст, тогда как на деле информативны и визуальная часть, и состав выдачи по конкретному запросу/фильтру, и в целом система технических аффордансов на сайте или в приложении;
— и, главное, является формирующим, подразумевая, что человеку чего-то не хватает.

Однако фундаментальная проблема с ним лежит в иной плоскости. Она не в его функциональной или эпистемической слабости.

Лишь в первом приближении вопрос задан от потребности и опыта человека — исходя из предположения, что ему важны некоторые сведения о товаре и их может быть недостаточно [а мы-то хотим ему помочь]. Если вдуматься, сюда зашит запрос продакт-менеджера. Звучит user-centric, но на поверку это переформулированное «Что нам надо добавить?». Изучение практики втихую подменяется набором суждений о технологических артефактах. На короткой дистанции это упрощает жизнь и даёт возможность говорить об эффективности своей работы якобы доказательно: берём ответы на прямой вопрос, классифицируем их, приоритезируем их по RICE или Кано, и — та-дам! — мы вроде как добавили что-то вроде бы data-proven в дорожную карту продукта.

А если действительно начать думать, как посетитель совершает выбор при изучении выдачи, то вопрос «Какой информации о товаре вам не хватает в выдаче?» начнёт трансформироваться как по волшебству. Захочется понять, как именно человек видит эту часть сервиса и как она сообразуется с его практикой и потребностями. Что он привык и хочет видеть. В чём, в соблюдении каких условий он нуждается, чтобы продолжать и в конечном счёте сделать желанное для вас действие, а это, да, не только «информация». Как потребность собственно в информации зависит от контекста использования сервиса, от режима вовлечённости человека. И, как ни удивительно, отсюда уже проще будет переходить к UX-измерению — к perceived cost of action и иже с ним.

Или другой кейс. Клиента фудтех-сервиса спрашивают: «Устраивает ли вас скорость доставки?» Тоже вроде user-centric, а на деле — нет. Точнее, спросить это можно, чтобы сделать заход на тему. В качестве первого шага. А так-то это вопрос руководителя клиентской службы, обеспокоенного своими KPI, а не тем, ок ли клиенту скорость доставки. И главное, даже искренний ответ респондента на него вряд ли будет хоть чем-то полезен.

(Продолжение — в комментах.)

Ещё раз как в последний раз о JTBD

Кто только и как только не полоскал JTBD. Включая меня. Часто оправданно. Иногда с перегибами и на эмоциях. А что сейчас? А сейчас, в 2025 году, я им не пренебрегаю. Но использую ограниченно. Захотел расставить точки над i — перво-наперво для себя. По моим меркам — очень коротко 😏

Итак, JTBD лучше работает там, где:
— у продукта/услуги есть чёткая прагматическая ценность и преобладают инструментально-функциональные мотивы использования («совершить нечто ради чего-то»);
— изменения, которые даёт использование продукта/услуга, могут быть оценены как качественно, так и количественно («результат совершённого действия — в таких-то единицах»);
— контекст принятия решения узко локализован.

Например, с доставкой еды, подбором страховки, покупкой авиабилета. Много где. Но даже в понятных b2c/b2b-продуктах JTBD регулярно упирается в нехватку объяснительной силы.

В чём ограничен JTBD [и обо что обламывается]?
• Он интерпретирует человека как целостного субъекта с ясными непротиворечивыми целями и установками. А это, конечно же, не так. Ни с точки зрения современной нейрокогнитивистики, ни ни с точки зрения психологии, ни с точки зрения социологии.
• Обычно предполагает устойчивую последовательную мотивацию, направленную на выполнение задачи. Но вообще-то структура мотивации может перестраиваться в зависимости от ситуации, или фрейма, или «режима вовлечённости» — you name it. А ещё меняться и пересобираться в процессе. Например, вспомните себя, когда вы начинали учить какой-нибудь язык в Duolingo или его аналоге, и подумайте, насколько с течением времени изменилось то, что вами движет и что вы от сервиса получаете.
• Чаще рассматривает «работу» как нечто идущее от индивидуальных потребностей. Хотя немалая часть потребностей и интенций конструируется социально и/или в очень обширном контексте. Бывает, говорят о «социальных джобах», но это почти всегда какой-то лютый кадавр.
• Предполагает, что «джобы» безусловно нацелены на прогресс, на обретение «лучшей версии себя»; во всяком случае, по версии Клемента. Тоже не универсальная истина. Скажем, в любом онлайн-кинотеатре знают, что порядочная часть аудитории пересматривает одни и те же старые фильмы и сериалы. Это про утешительную функцию контента, про сейфспейс и/или брейнрот, но, ясно, никак не про «прогресс».

Но главная проблема JTBD — не с ним самим, а с тем, что его обычно выбирают на старте исследования как метод/фреймворк по умолчанию. Не допуская вероятности того, что его объяснительной силы может оказаться недостаточно.

Например, в случае с каршерингом JTBD-анализ, вероятно, выявит такие «джобы», как:
✓ Я хочу быстро добраться из точки А в точку Б без хлопот, которые сопряжены с владением автомобилем.
✓ Я хочу экономить на такси, сохраняя гибкость передвижения и т. д.

И это будет верно. Но если говорить с клиентами каршеринга строго в JTBD-логике, то масса мотивов не попадёт в поле зрения исследователя. И не выведет информанта в интервью на откровение вроде: «Однажды мы с сыном придумали такую игру с каршерингом, что мы, как суперагенты, берём тачку и бросаем её».

Такой юзкейс выходит за пределы целерациональной мотивации — и эмоциональной, строго говоря, тоже. В какой-то момент использование каршеринга актуализирует для такого клиента агонально-авантюрный «мир»/режим, где ценится свобода действия, власть над объектами, отсутствие долгосрочных обязательств, выключение из привычного потока жизни, а главное, совместность игрового пространства с близким человеком, с построением зоны доверительной интимности. «Джоба» ли это? В привычном понимании — нет. Это спонтанная практика, которая удачно легла в русло потребностей человека и которую в определённых условиях ему хочется воспроизводить. Влияет ли возможность реализовать эти мотивы на выбор каршеринга и практику его использования? Вероятно, влияет.

(Продолжение в комментариях.)

Рекомендация: «Как правильно задавать вопросы. Введение в проектирование опросного инструментария», Сеймур Садмен и Норман Брэдберн

Сегодня — об одной из тех редких книг, которые я смело и рьяно советую любому не читавшему их исследователю, что бы и где бы он ни исследовал. И самому себе эдак семилетней давности тоже посоветовал бы. Я сам её впервые проштудировал лишь года три назад и с тех пор перечитывал дважды. В эти апрельские деньки она у меня идёт параллельно с «Когнитивным анализом опросного инструментария».

По сути это хендбук, который даёт хорошую рамку для разработки опросов и предлагает въедливый, непротиворечиво фундированный подход к операционализации теоретических конструктов в измеримые индикаторы.

Если читать её тщательно, можно понять в том числе:
🔨 Как создавать непротиворечивые, валидные, когнитивно доступные аудитории формулировки, позволяющие действительно узнать у респондентов то, что вы хотите узнать.
🔨 Какие контекстуальные эффекты в структуре опросника нужно учитывать и как их использовать: как выстраивать последовательность вопросов, что от неё зависит, как при заполнении анкеты работает контекстная активация схем памяти и т. д.
🔨 Как оценивать соцдем и поведенческие характеристики, знания, установки респондентов.
🔨 Как работать с social desirability и в целом с нормативными ожиданиями, с сензитивными темами.
🔨 Вообще — что и где в опроснике может сломаться и почему.

Взять один только тейк из главы об измерении установок респондентов с помощью опросного инструментария, пробивший меня в своё время на инсайтище инсайт: «Заранее решите, какие аспекты установки вас интересуют — эмоциональный, когнитивный или деятельный. Не следует пола­гать, что все они согласованы».

При поверхностном чтении звучит до одури тривиально. Но, как писал Хармс, «читатель, вдумайся… и тебе станет не по себе». Фейлы с выбором того, какой аспект установки измерять и что вообще мы видим как объект установки — т. е. к чему именно относится респондент, — повсеместны. Я каждую неделю встречаю анкеты, где допущены такие ошибки. Например, в одном опросе увидел:

Считаете ли вы сеть „Вкусно — и точка“ достойной заменой McDonald’s?
☐ Определённо да
☐ Скорее да
☐ Скорее нет
☐ Определённо нет

Эта формулировка измеряет (ну, пытается измерять) когнитивную оценку бренда — мнение о качестве, но явно задействовалась как индикатор лояльности, имеющей в первую очередь деятельностное выражение. Не говоря уже о том, насколько проблематично определение «достойный», как нормативное и формирующее. Плюс само сравнение задаёт референтную рамку и вынуждает оценивать новый бренд через соположение с предшественником (притом что дальше в анкете соположение нигде не проводится). Но главное, что же здесь является, а что должно быть объектом установки — «качество продукции», «эмоциональная связь», «стабильность опыта и впечатлений при взаимодействии с брендом»?

«Как правильно задавать вопросы» — про опросный инструментарий, но великое множество рекомендаций и ходов из неё годится и для интервью. И учит здоровой методологической строгости. Hightly and totally recommended.

Мы с Б. стоим на бетонной плите, присыпанной гравием и песком, на обочине оживлённой улицы с четырёхполосным движением. Я — на своих двоих, он — в инвалидном кресле с электроприставкой. По градостроительному замыслу то, среди чего мы очутились, вскоре снова обещает стать тротуаром. Судя по карте, это и должен быть тротуар. Ну, мы-то видим, что нет. Мы вообще за первые двадцать минут увидели больше, чем я ожидал пронаблюдать за весь предстоящий трип. Наша задача — преодолеть тестовый маршрут, чтобы понять, как упростить перемещения по городу для людей на колясках. Быстрая этнография as is.

Сгущается понимание: ‘We shall may not pass…’ Только без эпика, очень обыденно. Мимо проносятся фуры. Собранный, бодрый, Б. размышляет вслух, но ветер и городские шумы крадут часть его слов. Хотя и тех коротких реплик, которыми мы ухитряемся обменяться, хватает, чтобы осознать: маршрут, который мы задумывали как двухчасовой, превращается в долгий, долгий джонт (привет Стивену Кингу, с санспенсом у нас с утра полный порядок). Все темпоральные перспективы тоже сжались в точку и отдаются дёрганым пульсом где-то у меня в затылке: «А вообще, доберёмся мы куда-нибудь, а? За два часа? За три?»

Нужно решать, куда дальше — вперёд, назад. Окончательный выбор за Б. Он предпринимает попытку проехать дальше по разбитому экс-тротуару, и на коварном гравии у кресла отсоединяется один из двух шарниров, крепящих передние направляющие колёса.

Отсоединение это не только механическое: оно и методологическое. Сама материальность исследования сопротивляется моим эпистемологическим претензиям. Приплыли.

Шшшух — и мы с Б. впадаем в общий фрейм «мужики в гараже перебирают движок». Сажусь на корточки, чтобы помочь восстановить крепление. С первой попытки не выходит. Не выходит и со второй. Чувствую кожей, нутром, префронталкой, как отваливается и мой заранее подготовленный — ранее успешно апробированный инструментарий — лист наблюдений с системой быстрых кодировок и другие разумные, даже элегантные, как мне виделось, приёмчики-инструментики.

Город действует не по тем правилам, которые я предвидел. Мой спутник ведёт себя иначе, чем я ожидал. Когнитивные и механические конструкции обнаруживают свою хрупкость [и гибкость] под давлением непредвиденных обстоятельств и телесности. В зазоры между картой и территорией лезет — как в другом рассказе Кинга, «Крауч-энд», — то, что я не успеваю фиксировать. И надо ли?

Почти сразу бросаю попытки делать попутно field notes или включать второй диктофон для голосовых заметок (первый-то лежит в кармане и пишет, но что он зафиксируется сквозь шум и ветер — бог весть…). Куда там, когда одновременно:
— пытаешься удержать предплечьями и пальцами тяжеленную конструкцию;
— пробуешь следовать советам владельца кресла и перебрасываешься с ним шутками;
— вдыхаешь пыль и гарь утреннего города;
— норовишь на лету перекроить методологическую сборку;
— продумываешь, как сделать дальнейший маршрут безопаснее, не пустив псу под хвост исходный дизайн.

Какая, к чёрту, кодировка, когда мы оказались вот в этом вот? Этическое и эмическое водят хоровод вокруг нас с Б., подмигивают и ждут, когда мы справимся с ремонтом. Я не впадаю в панику, но, кхм, ажитирован. У Б. какой-то несмыслимый уровень эмпатии: он считывает моё состояние и, отчасти явно чтобы подбодрить меня, рассказывает о том, насколько часто подобные эксцессы случаются, когда он передвигается по городу. Для него это — не нормативное, но привычное. Хабитуализированное. Рассказывает, как при попытке заскочить на далёкий от СНиПов заезд выпал из кресла… Вот это — важно. Кажется, с того момента мы и начинаем проходить маршрут вместе, а просто не рядом.

(Продолжение в комментариях.)

С упоением перечитываю лекции Батыгина. Это база. Вот что я бы, пожалуй, посоветовал каждому [включая самого себя в прошлом], кто без социологического образования (тоже я!) собирается заниматься исследованиями, проштудировать, прежде чем идти на курсы UX-рисёрча и принимать всё, что там говорят, на веру. Не «вместо», а «прежде чем». Впрочем, к счастью, никогда не поздно.

Ну вот хотя бы что он пишет в части про операционализацию:

«В дихотомию преобразуются все типы признаков, какое бы количество градаций они не содержали. Например, образование включает несколько градаций: неполное среднее, среднее, среднее техническое, высшее незаконченное и высшее законченное. Пятипунктовая шкала легко преобразуется в серию дихотомий: высшее / не высшее, среднее / не среднее и т. п. Такого рода серии кажутся бесполезными для полевых исследований, однако они являют собой некий эталон точности при идентификации объекта. Например, ответ на вопрос: «Демократ ли вы?» дихотомичен. Респондент может ответить «да» или «нет». Если нет, это означает, что респондент не знает, кто он по политическим убеждениям, не может или не хочет ответить, консерватор, левый террорист и т. п. Все дело в том, что отрицательные суждения не содержат в себе определенного знания».

Батыгин Г. С. Лекции по методологии социологических исследований: Учеб. для высш. учеб, заведений. — М.: Аспект Пресс, 1995

Т. е. вроде бы, да, база-база. Однако ж в прикладных исследованиях — особенно в продуктовых, особенно в опросах — такие пустые дихотомии сплошь и рядом.

Я не о том, что прямая дихотомическая операционализация не нужна. Она бывает кстати, очень даже. Только обычно не даёт ответов, а открывает путь к ним, как риторический и коммуникативный приём.

Сравнительно коротко, но вдумчиво поговорили в подкасте с замечательной Полиной Колозариди, руководительницей DH-центра ИТМО, про ИИ в исследованиях. Она самым правильным образом «запромптила» мои внутричерепные нейросети — и надеюсь, что мои ответы если и не лишены галлюцинаций, то, во всяком случае, галлюцинации это тоже продуктивные 🖤

В одном достойном чате на днях обсуждали, что для участников значит эмодзи 👀

Ответы были очень разноречивыми. Очень. В среднем у людей оказалось по 1–3 трактовки такого эмодзи, и чаще всего выделялась дефолтная. Консенсуса не наблюдалось: часть интерпретаций предполагала нейтральное базовое значение, часть — негативное, часть — позитивное. Количественного исследования я не проводил, но подозреваю, что оно тоже дало бы распределение без доминирования одного варианта.

Мне доводилось сталкиваться с следующими смыслами «бегающих глазок» — и не только в повседневности (я делал большой рисёрч практик использования эмодзи в переписках):

1. «Я не очень понимаю, что это значит, возможно, я не соглашусь, но мне необходимо разобраться».
2. «Я не согласен/не согласна, но ок, вы имеет право на такое мнение».
3. «Занятно, буду следить за комментами и/или развитием дискуссии [посмотрю, что скажут другие, и определюсь]».
4. «Да, странновато» // «Сомнительно, но окэ-эй».
5. Пассивно-агрессивное «Ну да, ну да...»
6. «Мне это не то чтобы нравится, но не вызывает достаточно артикулированных эмоций, чтобы ставить строго негативное эмодзи».
7. «Я здесь, я видел(а). Принято к сведению», «Увидено, осознано, прочту позже». Как вариант, с негативной коннотацией: «Уф, ну сколько можно-то... Принято».
8. «Это что хоть такое-то-о-о-о?», «Не понимаю, растерян(а)».
9. «Я не знаю, как реагировать, но должен/должна как-то отреагировать».
10. «Хочу, чтобы вы или другие участники обратили на меня внимание, но не хочу выражать своё отношение к вашему сообщению».

Сам я чаще всего встречаю такие употребления 👀, которые склонен истолковать как 1, 4, 5, 7. А вы, кстати? Возможно, я упустил какие-то значимые интерпретации?

Этот эмодзи — пустой знак знак с floating signifier, у которого означающее, выражаемое им, колеблется в широких пределах и/или конструируется в контексте. В каком-то смысле — аналог дискурсивного слова, например вводного, которое «скрепляет» коммуникацию. Точно так же вводное «ну» способно выражать о-очень разные смыслы. Другое дело, что значение конкретного «ну» в потоке речи мы понимаем не в последнюю очередь за счёт интонации, невербалики, а в случае с «бегающими глазками» приходится полагаться преимущественно на контекст коммуникации с конкретным человеком и свои представления о нём. Ну или на групповую норму, если использование эмодзи продиктовано ею — как, например, у [условных] «зумеров» (здесь должна быть обязательная ремарка о сомнительности теории поколений), прежде всего в Штатах, есть свои практики использования эмодзи ☠️ и других «черепушек», напрочь непонятные большинству «бумеров».

Так что честь и хвала брендам, которые заказывают социокультурные/семиотические исследования, в том числе с таким узким фокусом. На дистанции оно окупается. Особенно в свете того, что бизнесу чем дальше, тем интенсивнее приходится работать со всё более разнообразными группами/трайбами аудитории и идти к ним, на их площадки, дискорд-серверы норы и пр. А социолекты и коммуникативные протоколы везде разные, и надо понимать, где какие правила действуют. Заруинить коммуникацию теми же «бегающими глазками» не к месту — как раз плюнуть.

Заинтересовался тут методом экспликативного интервью (entretien d’explicitation), оно же «разъяснительное», разработанным психологом Пьером Вермершем и подхваченным его последователями.

Суть подхода: человеку помогают восстановить то из его опыта, что он не помнит или помнит скверно, за счёт узко сфокусированного внимания на конкретных эпизодах из прошлого. В отличие от обычной «глубинки», здесь интервьюер создаёт особые условия для того, чтобы собеседник мог реконструировать ситуацию в деталях.

Метод строится на трёх принципах:
— Нужна фокусировка на единственном действии/процессе/сцене из опыта информанта, а не на его рефлексии.
— Доступ к дорефлексивному знанию достигается через сенсорные якоря — триггеры (сам Вермерш приводит в качестве примера прустовскую «мадленку») в позиции т. н. эвокации, где прошлое удобно переживать заново.
— Интервьюер действует мягко и поступательно, помогая респонденту «увидеть» действие и вербализовать произошедшее и не навязывая ему своих ожиданий. Ведущий побуждает человека сосредоточиться на «как», а не на «что» и мотивирует его дать подробное описание конкретных переживаний, воплощённого опыта.

Клэр Петименжин позднее описала методологические правила и технику экспликативного интервью более подробно. Насколько понимаю, она называет его также «микрофеноменологическим интервью». Не без понта, но, с оглядкой на дисциплинарный базис, резонно.

Адепты подхода разъясняют — извините за невольный каламбур, — к каким инсайтам такое интервью способно привести. Если не ошибаюсь, сам Вермерш описывает кейс с оператором АЭС, который в ходе такого интервью вспомнил очерёдность операций при эмуляции охлаждения реактора на тренажёре, приведшую к критической ошибке. Или как спортсмен, внезапно терявший концентрацию в острые моменты, дознался до того, какая последовательность мыслей служит триггером сбоя.

Гипотетическая польза понятна. Недостатки тоже:
➖ Интроспекция, тем более форсированная — спорный метод получения эмпирических данных. Во всяком случае, по меркам социологии. Плюс эксплицитное интервью подспудно претендует на то, что мы получаем прямой эпистемический доступ к жизненному миру человека, а это, простите, неосуществимо.
➖ Интервью грозит превратиться в терапевтическую сессию. Длится порядочно, а польза от него между тем не гарантирована. Выводы могут оказаться тривиальными («Ну да, я вспомнил, на самом деле я не сразу закрыл тупое окошко с офертой, а просканировал три абзаца и выцепил оттуда несколько слов»). Дорогой метод, с высокой ставкой. Надо точно знать, ради чего оно всё.
➖ «Память — безрукая статуя конная». Мы реконструируем, а не воспроизводим раз и навсегда достоверно и намертво зафиксированный опыт. Так уж устроена наша память. Склонность психики к конфабуляции — придумыванию правдоподобных, но ложных объяснений — тоже способна сыграть злую шутку.
➖ Нет или пока неизвестно объективных когнитивных, тем более нейрофизиологических коррелятов для проверки этого анамнесиса («припоминания»).
➖ Как завещал нам Дэвид Сильверман [«и был глубоко прав»], открытых вопросов в абсолютном виде не существует. Нейтральных тоже. Так или иначе, пусть даже мы бережно пытаемся подталкивать информанта к движению по волнам его памяти, у нас не может быть абсолютной уверенности в том, что мы его не фреймируем и не помогаем ему безотчётно сочинить нечто интересное, но не отражающее того, что правда произошло.

Так-то, похоже, я много лет использовал элементы экспликативного интервью (при глубоком пробинге) — например, внутри интервью нарративных, — просто знать не знал про это. Но как опорный метод — хм. Хм!..

Пробовали? Что думаете об осмысленности и валидности метода?

27 мая, во вторник, выступаю на онлайн-треке конфы Aha!25, которую делает команда с давних пор уважаемого мной «Матемаркетинга». В основе своей она — о product science, машинном обучении и продуктовой аналитике. Но я ж outlaw, методологический «однопроцентник», и тему выбрал ортогональную её вектору, тем не менее, кажется, релевантную запросу изрядной части посетителей. А именно — как научиться различать буллщит в качественных методах и осмысленно сочетать их с количественными.

Сейчас аранжирую презентацию и понимаю, что тема бездонная. Решил сфокусироваться в первую очередь на том, как людям, привыкшим действовать в русле data-driven подхода и вообще с опорой на цифры/квантифицируемое, понимать, когда [и зачем] задействовать качественные методы, включая всякую хитрую и нехитрую этнографию, в каких случаях имеет смысл использовать ресурсы in-house, в каких привлекать внешних исполнителей, а когда им пытаются подсунуть под видом qualitative research чепуху, невалидное, кромешное. Затрону и попытки затащить количественную логику в качественный дизайн, и бессмысленные инструменты вроде «карт эмпатии», и другие ужасы.

Дорогие тунчжи, друзья, подписчики — прежде всего те, кто делал много качественных/гибридных исследований для бизнеса, — а поделитесь, пожалуйста, в комментах болью и вельтшмерцем:

Какие у вас red flags в прикладных, для бизнеса, качественных исследованиях? С какими ошибками вы чаще всего сталкиваетесь?

Вот вы видите нечто в отчёте или в ТЗ, в компреде — и все ваши эвристики и опыт вопят: «Шляпа! Сами не ведают, что предлагают».

Буду вам чрезвычайно признателен 🖤 С учётом своего опыта, по результатам выступления, на основе фидбэка участников мероприятия и ваших комментов хочу написать в июне лонгрид лонгридович по теме.

Чуть-чуть поворчал о некоторых грехах качественных исследований и как в них не впасть. Спасибо команде Aha!25 🖤

Вроде прописные истины излагал, а глянешь — и у очень достойных, умных коллег что-то подобное найдёшь. Или у себя самого, что уж там. В общем, кому истины прописные, а кому и строчные.

Как обещал, позже разовью всё это в лонгрид.

Пока пишу пост-разбор по следам предыдущей заметки (там даже два поста выходит), мне вот что пришло в голову: а давайте познакомимся? В смысле — мне правда интересно, кто вы. Как роботу-которому-всё-интересно из миниатюры Дмитрия Горчева (только, надеюсь, у меня агентности капельку побольше). С кем-то я знаком, с кем-то дружу, о ком-то слышал и заочно респектую, с кем-то работал вместе или делал проекты играл в D&D. Со мной-то понятно — обо мне в сообщении-закрепе написано.

Расскажите, пожалуйста, кто вы, откуда, как вы узнали про меня, мой канал, ради чего читаете. Пожелания, о чём бы мне ещё написать, тоже принимаются: вокруг пожеланий у меня выкристаллизовались многие эссе/проекты/затеи.

Обещанное: разбираю, в чём проблемы с опросом о практиках чтения телеграм-каналов. Скрины с вопросами — в комментах к этому посту (или можно посмотреть мою предыдущую запись).

➖ Первая из двух главных причин тотального фейла: сами вопросы и их закрытия исследователь, похоже, взял из головы. Без проблематизации, без рефлексии. Или плохо проблематизировал, плохо рефлексировал. Формулировки показывают, что над операционализацией исследовательских вопросов всерьёз не думали. При условии что исследовательские вопросы вообще были поставлены. Видно, что варианты ответов, с одной стороны, отражают сугубо частный опыт одного или пары человек, с другой — несут на себе отпечаток аналитизма и тяготеют к готовым интерпретациям. Например, «Чувствую, что меня используют: собирают данные, ведут воронку, пушат в бота». Он соседствует с гораздо менее психологизированным и приближающимся к нейтральности «Слишком много постов, посты слишком часто». Сами же наблюдаемые феномены (red flags) перемешаны с результатами интроспекции и выводами из них. В конечном счёте, опрос внутренне неконсистентен, и у него не прослеживается общей концептуальной рамки. И неудивительно, что в большинстве своём вопросы и варианты тут ответов — формирующие, фреймирующие.

➖ Вторая причина — неверно выбран метод/инструмент. Мне неведомо, какова прагматическая цель исследования и какими были исследовательские вопросы. Так что трудно утверждать, какой дизайн исследования здесь нужен. Но точно не один опрос. Вот лишь несколько возможных вариантов:

глубинные интервью
глубинные интервью → опрос
дневниковая этнография
дневниковая этнография → опрос
дневниковая этнография → опрос → глубинные интервью
дневниковая этнография + глубинные интервью → опрос

Одно скажу с определённостью: качественная часть на подобном проекте необходима. Потому что вопросы крутятся вокруг (I) практик, в основном слабо рефлексируемых самими информантами, (II) опыта и предпочтений, которые формируются на длинной дистанции. Если есть задача понять, какие в принципе барьеры/триггеры к тому, чтобы прекратить читать канал, существуют у некоей группы людей (кстати, у кого именно — у условных «всех» юзеров ТГ? у 18–25-летних жителей российских городов 100 тыс.+? у студентов 2-го курса факультетов digital humanities?), — нужно с ними побеседовать. Понять аудиторию, квалифицирующие признаки выборки. Собрать её. Провести интервью. Проанализировать. Тогда — до проведения опроса, — возможно, автор узнает, что red flags бывают сильные («моментальная отписка») и слабые (эффект от них накапливается, могут действовать как по одиночке, так и в комплексе); регулярные и контекстуальные; универсальные, фреквентальные и спорадические. Что бывают и другие побуждения к отписке, потенциально частотные.

➖ Если посмотреть на все вопросы анкеты (см. комменты в моему исходному посту), становится ясно, что они висят в пустоте и ни к чему не ведут. Ладно, узнали мы, что чаще всего респонденты отписываются от каналов из-за того, что контент стал выглядеть слишком рекламным и есть чувство, будто его пишет GPT. И?.. О чём это говорит? При подобающей выборке и статзначимых результатах можно было бы посмотреть, коррелируют ли red flags с теми преобладающими целями/установками, исходя из которых люди читают каналы, сообразуются ли с общим количеством каналов… А, стоп, подождите. Таких вопросов в анкете нет.

(Окончание — в комментах.)

Вижу, насколько в 2025 году популярны готовые библиотеки, тулсеты, методы сегментации клиентов. Часто — гигантские. Мне есть что сказать про сегментацию, но это будет гораздо более короткий и совсем не продающий спич. Вернее, про методологию сегментации и её прикладное применение могу написать очень много — и напишу со временем, — однако базовые принципы уместятся в один пост.

• Готовые модели сегментации бывают полезны. С оговоркой: ограниченно, для своего круга задачи и процессов. Например, RFM — для решения операционных задач по части юнит-экономики. VALS или другая ценностно ориентированная сегментация (например, с концептуализацией ценностей по Рокичу) точечно может пригодиться бренду — сюрприз! — с выраженной ценностной компонентой. Вот только обычно ими пытаются объяснить больше, чем они в состоянии дать.
• Посмотреть на готовые сегментации хорошо, чтобы понять «Ах вот как бывает!», повысить свою насмотренность, наработать навыки смены ракурса на людей и игры, в которые они играют. Разобраться, как сегментирование связано с целями, ради достижения которых выполняется. Более того, готовые сегментации способны помогать c интерпретацией какого-то фрагмента реальности — в нашем случае того, кто наши клиенты и что влияет на их поведение. Но обычно — гораздо менее эффективно, чем можно было бы.
• Сегментация должна быть релевантна бизнесу и его прагматике.
• Сегментация должна опираться на данные бизнеса, как актуальные, так и исторические. Иначе — «Это всё, конечно, очень бла-ародно…»
• Сегментация должна опираться на реальное поведение клиентов. Строиться от дифференцирующих критериев, которые значимы в разрезе бизнеса. Да, готовая сегментация может оказаться релевантна бизнесу, но это кот в мешке. Парадокс: не выполнив сегментацию самостоятельно, не поймёшь, годится ли тебе чья-то ещё. Но часто прикладная польза от сегментации с чужого плеча примерно такая же, как для wannabe-айтишника от хабрапоста вида «Как я стал джуном-питонистом без опыта за полгода [*с Бауманкой за плечами, знанием другого языка программирования, финансовой подушкой, обширными знакомствами в индустрии, аномально развитой префронтальной корой, выдающимся упорством и везением]».
• Универсальной сегментации, которая объяснит ВСЁ важное про клиентов бизнеса, нет в природе и быть не может. Поэтому важно понимать, для чего и где вы хотите использовать сегментацию.
• Сегментацию стоит брать не из головы и делать не по готовым шаблонам, а сочетанием количественных и качественных методов, включая кластерный и латентно-классовый анализ опросных данных, глубинные интервью и т. д. Методология здесь проработана дальше некуда, но требует скилла, щепетильности и комбинации аналитических процедур — за один вечерок не провернёшь. По контрасту с перспективой такого аналитического путешествия усиливается соблазн взять готовую сегментацию и, как в тантамареску, впихнуть туда своих клиентов.
• Полученную сегментацию с течением времени целесообразно перепроверять и пересматривать. Корректировать, дополнять. А не лелеять и сдувать с неё пылинки.
• Ни одна сегментация не является окончательной и полностью отражающей разнообразие аудитории. И не будет. И не должна.
• Опасно считать, будто сегменты — это реально существующие группы людей (гипостазирование, чтоб его!). Это конструкты, абстракции, которые описывают кусочек мира. Но если сделать это описание надёжными методами и щепетильно, оно будет очень полезно.

Я сам к таким выводам пришёл — нет, не скажу, что поздно. Но хотел бы раньше.

Как я готовлюсь к онлайн-интервью — часть I

В профессиональном сообществе как-то не принято открыто обсуждать, кто как готовит себя к работе с людьми. К интервью, фокус-группам. О своём волнении и сомнениях. О том, как сфокусироваться, когда тебе не до грибов не до беседы. Коллективные представления и интроецированные установки предписывают подавать себя как bullet-proof guy/girl. Кто спокойно без перерыва берёт по семь интервью в день — я опасаюсь таких людей! — и ему всё нипочём.

Такие люди есть. Но у большинства, включая опытнейших исследователей, иначе. Обычно всё замечательно: встал и пошёл в поле. А бывает, точат сомнения. Трудно сосредоточиться. Тупо не хочется ни с кем говорить ни за какие деньги.

За 8+ лет в исследованиях [а до того много лет в медиа] я взял сотни и сотни интервью. Я люблю говорить с людьми. И кажется, научился-таки это делать сравнительно неплохо (хотя я знаю профи гораздо сильнее меня). Однако получается это у меня не только благодаря навыку и опыту, но ещё и потому, что я готовлюсь. И я сейчас не только о том, чтобы перечитать гайд.

Это не универсальные рекомендации. Просто описание того, что я делаю перед онлайн-интервью и другими ответственными созвонами. Обычно не всё сразу, но когда могу — всё. Возможно, что-то из перечисленного пригодится и вам.

☑️ Одеваюсь так, чтобы приятно себя чувствовать. Чтобы соответствовать своему габитусу и потрафить своему настроению. Когда-то шутки про рабочую встречу в Зуме, на которой у всех нарядный верх, а что не в кадре, то затрапезное, были и про меня. Но однажды я понял, что одеться, принарядиться должным образом нужно мне самому. Безотносительно того, какую часть моего тела видно через камеру. Придурь не придурь, но я теперь перед ответственными онлайн-интервью даже любимым парфюмом частенько пользуюсь. Просто потому, чтобы это меня умиротворяет.

☑️ Проветриваю комнату. Включаю загодя кондиционер, вентилятор или обогреватель — в зависимости от сезона и погоды. Чтобы к моменту старта в комнате был комфортный микроклимат. Задумываюсь, сыт ли я. У меня с контролем чувства голода обычно всё ок, но случается, что увлекаюсь и могу часа на четыре провалиться в аналитические бездны.

☑️ Проверяю технику: батарею диктофона (Tascam DR-40 форева!), свободное место в облаках и в памяти девайсов. Всё ли функционирует. Смогу ли в случае чего переключиться на второй, «страховочный» ноутбук. Аудио пишу всегда минимум на два устройства, и это помимо record-функции сервиса. Чаще — на три. Запускаю заранее Зум или аналог — чтобы не столкнуться с тем, что софтина захочет некстати обновиться. Вырубаю на устройстве, с которого буду выходить на связь, все мессенджеры и уведомления. Готовлю гуглдок для ведения memos. И/или кладу справа от себя блокнот и ручку — по настроению. Ибо, как гласит пословица, «Коли без пригляда параферналия, то ворота отворяй для аномалии».

☑️ Делаю чай или кофе, наливаю в термокружку. Достаю из холодильника минералку и ставлю на расстоянии вытянутой руки — наловчился наливать так, что собеседнику совершенно незаметно.

☑️ Бегло просматриваю гайд, даже если открывал его сегодня многократно. Освежаю в памяти, что известно о респонденте, например из анкеты-скринера. Прикидываю, в каком направлении может пойти беседа. За что ухватиться. Где могут проклюнуться любопытные сюжеты-повороты. Выделяю в гайде вопросы, который вот ему/ей точно хочу задать. В конце — напоминаю себе: «Свою „домашнюю работу“ ты, братец, выполнил, хвалю, но помни, что всё может пойти каким угодно путём».

(Продолжение в следующем посте.)

Как я готовлюсь к онлайн-интервью — часть II

☑️ Встаю. Делаю 35–40 отжиманий подряд. Или 50 приседаний. В средне-медленном темпе. Чтобы мобилизоваться, разогнать кровоток и почувствовать, как тело работает.

☑️ Восстанавливаю дыхание, если сбилось. Прогуливаясь по комнате, дышу глубоко и равномерно, диафрагмальным дыханием — с полминуты или чуть дольше. Просто чтобы успокоиться.

☑️ Делаю дыхание 4-7-8: вдох на четыре длинных счёта, задержка на семь, выход на восемь. Раза три-четыре.

☑️ Использую — по обстоятельствам — какую-нибудь практику из арсенала когнитивно-поведенческой терапии или медитативных техник (никакой эзотерики; я скучный тип). Например, кладу правую руку на мышь и полностью фокусируюсь на своих ощущениях в кисти. Или буквально «обращаюсь в слух» и начинаю методично и без эмоционального вовлечения фиксировать, что я слышу: шум вентилятора, своё дыхание, воробья за окном, гул холодильника, поскрипывание кресла...

☑️ Проверяю свет, фон, то, как я выгляжу в кадре. Не шумно ли. Регулирую кресло, сажусь наиудобнейшим образом.

☑️ Делаю короткое вокальное упражнение: пропеваю с опорой на диафрагму какую-нибудь гамму или мелодию, не открывая рот, по сути тихо мыча, но с полным включением голосового аппарата. Связки принимают рабочее положение, звук становится глубже и богаче. Шутки шутками, а это лучше, чем начать беседу с покашливания или с зажатого «Здр-ст-йте…».

☑️ Закрываю глаза. Расслабляю тело, прежде всего плечевой пояс и шею. «Отпускаю» мимику. Размеренно дышу. Начинаю созвон.

Замороченно? Наверное. Зато так мне потом вольготнее в процессе. Чем лучше я готовлюсь, тем непосредственнее, вовлечённее я веду себя в интервью. Вдобавок всё перечисленное занимает от силы минут пятнадцать, и полный набор «процедур» я обычно провожу перед первым созвоном с утра. Перед следующими хватает по 5–7 минут.

Я могу провести интервью без единой из перечисленных манипуляций. Я в состоянии это делать после бессонной ночи. С разбитого телефона на лесной дороге. Когда голова раскалывается от боли или ноет челюсть после тренировки. Когда мне только что сообщили скверную новость о близком человеке. На среднеазиатской жаре без кондиционера. Работая с 10-страничным гайдом по памяти. Всё это было.

Но когда есть возможность, следую своему скромному протоколу подготовки. Варьируя детали. Что-то пропуская, что-то добавляя. И тогда, когда начинается интервью, я полностью — в нём. Эмоционально, когнитивно, душевно. С человеком, а не со своими головняками и заботами, шумом и яростью своего жизненного мира.

Как в качественном исследовании понять, достигнут ли порог теоретического насыщения

В qualitative research есть золотое правило — действовать в поле до достижения так называемого порога сатурации, он же порог теоретического, или тематического, насыщения. Иначе — когда каждое следующее интервью не приносит новых сюжетов/тем или даёт непропорционально мало объёму работы. Всё как завещали Глейзер и Стросс: дополнительные эмпирические данные не добавляют ничего значимого к уже сформированным категориям/кодам. У категорий не возникает новых свойств и, соответственно, подкатегорий.

Всё так. Только мало говорят о том, а как понять-то, что ничего значимого из нового материала не добыть. Всё равно каждое интервью или наблюдение чем-то по-своему да ново. А за внешне сходными кейсами, жизненными историями может таиться типологически разное. Неохота бросить поле в полушаге от уникальных находок. Так как же сообразить, что пора сказать: «Горшочек, не вари»?

✓ Мне важнее другой опорный критерий — увидеть, что связи между категориями становятся устойчивыми и предсказуемыми. Новые связи при анализе перестают формироваться по мере поступления следующих порций полевых данных. Схема связей между категориями словно костенеет, фиксируется. Это легко заметить, если выполнять по науке все требуемые виды кодирования: открытое → осевое → селективное. И когда порог насыщения близко, цикл сам собой повторяется быстрее, его этапы словно бы «мелеют», всё реже побуждают к проблематизации. Я в себе ловлю это по чувству раздражения/скуки: «Да чтоб тебя! Хорошее же было интервью — почему ничего нового-то не удалось увидеть? Может, я облажался? Дай-ка я посмотрю пристальнее…» — и иногда удаётся увидеть это новое, но бывает, что и нет — порог действительно достигнут.

✓ Ещё один критерий — оценить, ставит ли что-то из нового полевого материала под сомнение текущую объяснительную модель. Заставляет ли хотя бы усомниться в ней. Если вам кажется, что порог сатурации достигнут, попробуйте подумать, способно ли что-то гипотетически поставить под сомнение или существенно скорректировать построенную вами аналитическую конструкцию. Затем операционализируйте это «что-то» в гайде и проверьте на ближайших интервью.

✓ Из предыдущего пункта логично вытекает контроль насыщения через мониторинг вашего же вопросного инструментария. Наблюдайте за эволюцией гайда интервью и тем, как он реализуется в конкретных беседах. Если в последних интервью вы не добавляли новых вопросов и не адаптировали существующие, это знак того, что исследовательский фокус стабилизировался и насыщение не за горами.

✓ Неосторожным было бы определять, достигнут ли порог насыщения, по одному интервью/наблюдению, которое не принесло ничего нового. Во-первых, следить за сатурацией надо для каждого сегмента/группы аудитории отдельно. Во-вторых, насыщение требуется наблюдать на дистанции. Бывает, что два интервью подряд дают сходные сюжеты, а следующее за ними — абсолютно иные. Чаще всего я принимаю решение остановиться, когда фиксирую зримый спад динамики на протяжении 3–5 интервью.

✓ После каждых 5–6 интервью я провожу ретроспективный анализ: возвращаюсь к ранним интервью и проверяю, удаётся ли их полно интерпретировать через призму новых концептов. Если последние 3–4 интервью радикально не меняют интерпретацию ранних данных, это тоже признак приближающегося насыщения.

✓ Легко перепутать порог сатурации с соблюдением критерия операционной полноты. Все приходится думать, что важнее. Например, для ответа на исследовательские вопросы у нас больше чем достаточно достоверного эмпирического материала и объяснительная конструкция сильная, но не факт, что тематическое насыщение достигнуто.

✓ Хороший косвенный индикатор насыщения — воспроизводимость экстремальных кейсов и аберраций в беседах. Если три-четыре corner cases подряд укладываются в уже выявленные паттерны, это не универсальный, но мощный дополнительный индикатор насыщения. И наоборот, если новый кейс «ломает» модель, стоит задуматься, а правда ли он «экстремальный».

(И ещё одна прикладная штука — в комментах.)