Есть очень простая практика, которая — наряду с другими — помогает нам не утонуть в поле (и метафора страшная, а ситуация тем более): core-вопросы.

Core-вопросы — это те верхнеуровневые вопросы, до которых мы декомпозировали бизнес-задачу заказчика и которые согласовали с ним. То, ради чего вообще весь сыр-бор. Например: «Какое место посещение состязаний по [вид спорта] занимают в досуге жителей города N.? C какими событиями и формам и досуга конкурируют?» Или: «Что значит бренд на рынке X? Какие символические/смысловые доминанты и/или оппозиции существуют вокруг/внутри брендов?» Обычно — четыре-пять опорных вопроса. От них мы пляшем, когда проектируем дизайн исследования в целом, методологию, инструментарий. Причём не только «прошиваем» их в гайде, операционализируя их. Они обязательно фигурируют во всех внутренних рабочих документах, включая:
— гайды интервью;
— пространство гипотез в ноушене;
— промежуточные сводки по проекту, аналитические снэпшоты.

Перед каждым интервью исследователь освежает в памяти эти core-вопросы. И начиная с четвёртого-пятого интервью они намертво заседают в голове.

Выглядит по-дурацки? Кажется лобовым? Пожалуй. Но это до первого раза, пока не окажешься посреди проекта, где твои коллеги — умные, прошаренные, тонкие исследователи — на аналитической сессии начинают убедительно давать ответы на сущностно РАЗНЫЕ вопросы. Один про Фому, другой про Ерёму. Так что к запуску «Поля» мы подошли с пониманием того, что так не хотим.

Не туннелирует ли такой подход восприятие исследователя? Короткий ответ: нет. Ну или в пределах допустимого 😇 Точнее, мы научились работать так, чтобы core-вопросы нас не байасили, и не пристёгиваем их механически куда ни попадя. Допустим, в нарративном интервью мы держим их в уме, но не пытаемся встроить в беседу, если это неорганично контексту.

И конечно, речь не идёт о том, чтобы отсекать то, что не попадает в фокус, заданный core-вопросами. Это просто способ быстрой калибровки работы под исходно заданные приоритеты.

Core-вопросы ударно работают в связке ещё с одним приёмом — моментальными саммари интервью. О них в следующем посте 😌

Другая практика, которая помогает нам в «Поле» не стать корявыми клешнями, скребущими по дну немого моря, — это моментальные саммари интервью.

Саммари по каждому своему интервью пишут в команде все без исключения — и сразу после того, как это интервью взяли. По горячим следам, пока ещё в оперативной памяти твоего wetware удерживается многое из только что прошедшего разговора. В вольном формате, но детальное, обычно на 2–4 тыс. знаков, с обобщением основных фактов, инсайтов, различений, оппозиций. Давать или нет первичную интерпретацию фактуре — на выбор интервьюера. Обязательная часть саммари — блок с описанием того, что общение с конкретным респондентом привнесло в понимание того, как мы будем отвечать на core-вопросы (см. предыдущий пост в канале).

Каждый (I) постит своё саммари в рабочий ТГ-канал по проекту, (II) заносит его в базу данных по массиву интервью. Чтобы любой участник команды мог зайти в рабочее пространство и помедитировать на текущее состояние поля 😍

Оговорюсь: саммари, разумеется, не заменяет вдумчивой аналитической работы над исходным материалом интервью, со всеми практиками grounded theory, с кодированием тем/сюжетов и т. д. Но изрядно её ускоряет и дополнительно структурирует.

Что ещё это нам даёт:
• Подогревает исследовательское воображение (не меньше трети самых важных инсайтов мы формулируем коллективно, как раз таки обсуждая саммари интервью).
• Позволяет членам команды, которые на проекте не с самого начала, быстрее вкатиться в него.
• Помогает понять, что в гайде сработало, что нет, и быстро и итеративно корректировать гайд.
• Показывает, что в конкретном интервью удалось, что нет, и даёт пищу интервьюеру для рефлексии.

Что ещё периодически делаю я лично: сперва готовлю саммари по горячим следам, а затем даю анонимизированный транскрипт на анализ нейросетке, по состоянию на июль-2024 чаще всего Claude 3.5 Sonnet. И потом сверяюсь с её выкладками. На 85–90% наши с ИИ наблюдения совпадают, но всё равно он бывает изрядным мне подспорьем: я регулярно убеждаюсь в том, что упустил нечто из виду. Скорее всего, оно всплыло бы при глубинном анализе интервью, но раньше — лучше.

Базовый промпт у меня сейчас такой — Claude в нынешней своей реализации гораздо лучше прежнего работает с русским языком, так что я стал чаще промптить его по-русски:

Ты выдающийся исследователь, социолог c 15-летним стажем, специалист по качественным методам. У тебя огромный опыт в глубинных полуструктурированных интервью и их анализе. Твоя задача: сделай по тексту интервью, которое я прикрепляю к запросу в виде docx-файла, очень подробный конспект с саммари, содержащий главные факты о респонденте, инсайты, наблюдения. В первую очередь меня интересует его опыт в [сфера], его подход и отношение к [исследуемый(-е) продукт(-ы)], опыт взаимодействия с разными [игроки рынка], восприятие разных [компаний], связанные с ними ассоциации и т. д. На основные тезисы саммари приводи подтверждающие их цитаты из транскрипта. В тех случаях, когда сказанное респондентом имеет отношение к core-вопросам, обозначай это отдельно. Текст интервью я прилагаю к запросу, как и гайд интервью с core-вопросами. Будь внимателен, в своих выводах опирайся исключительно на расшифровку интервью. Твою работу будет проверять супервизор исследовательского агентства, в котором ты работаешь, так что будь вдвойне внимателен.

Core-вопросы: [перечень вопросов]

А вы практикуете нечто подобное?

Внутри команды мы проводим мастер-классы по ИИ — и вот решили сделать открытый 😍

2 августа, в пятницу, в 19:00 по мск исследовательское и медиабюро «Поле» проведёт бесплатный открытый вебинар «ИИ для исследований». Регистрация очень простая, на Timepad. Встречу проведём в зуме, ссылка придёт на почту тем, кто зарегистрируется.

Команда «Поля» использует ИИ на всех этапах работы: за счёт этих новых инструментах мы стали выполнять проекты на 30–35% быстрее — и это не говоря об улучшениях сущностных. Благодаря накопленному опыту мы понимаем не только возможности, но и ограничения современных нейросетей в исследовательской работе. 

На мастер-классе расскажем о том, как и зачем мы применяем нейросети сами, поделимся тактиками, приёмами и лайфхаками. В финале попробуем сеанс промптинга вживую — решим одну-две прикладные задачи. Длительность встречи — два часа.

Ведущий — сооснователь и старший исследователь «Поля» Михаил Боде, который работал с AI в 2020–2022 гг. в R&D Ленинки, когда это ещё не было мейнстримом, и в 2023 году в EVA AI, когда это мейнстримом становилось.

В программе:
• Какой набор ИИ-сервисов полезно освоить для исследований в середине 2024 года? GPT-4o, Claude 3.5 Sonnet, Gemini Advanced, Elicit, Consensus, Midjourney и аналоги. Платные и бесплатные решения.
• Для решения каких задач годится современные ИИ-сервисы?
• Как задействовать ИИ в качестве co-pilot на исследовательском проекте? Опыт и юзкейсы «Поля».
• До какой степени «верить» нейросеткам, в каких случаях проверять их ответы особенно пристрастно?

А о чём в связи с ИИ в исследованиях будет интересно послушать вам? Пишите в комментах. Постараемся учесть ваши пожелания при подготовке мастер-класса.

Методологическая заметка на полях: ремесло качественного исследователя предполагает владение навыками, которые, к сожалению, не преподают в учебных заведениях — их приходится усваивать из практики (или из других дисциплин, работающих с человеческой коммуникацией). Одним из таких навыков является контролируемая эмпатия, незаменимый инструмент для проведения интервью и фокус-групп.

В самой формулировке как будто содержится парадокс. Почему эмпатия — понятно, это необходимое условие для создания доверительной атмосферы, комфортного ритма беседы, для адекватной реакции на чувствительные для собеседника темы. Но эмпатию принято считать природным свойством, она – подобно возникающей между людьми симпатии – или есть, или ее нет. Поэтому сама идея, что эмпатией следует управлять, может показаться тревожной: ведь если можно создать доверие, то значит им можно воспользоваться — и кто знает, в чем здесь твой интерес.

Не углубляясь в вопросы исследовательской этики, зафиксируем: качественные методы требуют именно того, что кажется по-человечески тревожным: контроля эмпатии. На практике это, например, означает, что исследователь должен справляться с естественным эмпатическим желанием понимать собеседника и с ним соглашаться. Напротив, в нужные моменты нужно активно не понимать и требовать пояснений, не говоря уже о том, что эмпатическое следование за собеседником вряд ли даст возможность закрыть вопросы гайда.

Чему не учат на социологических факультетах, так это тому, как создавать эмпатию к собеседникам, которых видишь в первый раз, а разговор предстоит на тему, которая, мягко говоря (бывает всякое!), не дергает за струны твоей исследовательской души. Совет из практики, который может показаться странным, но это действует: включите полуулыбку – и постарайтесь сохранять ее в процессе разговора тем самым контролируемым усилием. Как это работает, точнее скажут представители тех самых смежных дисциплин, в первую очередь, актеры, которые вообще могут многому научить социальных исследователей (чем не идея для мастер-класса?). Но даже без обращения к концепциям «обратной связи» можно убедиться, что этот способ изрядно помогает настроиться на дружелюбную коммуникацию – в первую очередь самому интервьюеру и модератору.

А какими приемами для создания доверительной обстановки в ходе интервью и фокус-групп пользуетесь вы?

Фото: Сергей Карпов / Поле

#методология #качметоды #поле

Друзья, напоминаем, что сегодня в 19:00 по мск стартует наш бесплатный открытый вебинар «ИИ для исследований». Тем, кто зарегистрировался, за час до встречи на почту придёт ссылка на зум-конфу, но если вдруг приглашение не долетит, то просто пройдите в урочный час сюда.

На мастер-классе расскажем о том, как и зачем мы применяем нейросети сами, поделимся тактиками, приёмами и лайфхаками. Длительность встречи — два часа.

Ведущий — сооснователь и старший исследователь «Поля» Михаил Боде, который работал с AI в 2020–2022 гг. в R&D Ленинки, когда это ещё не было мейнстримом, и в 2023 году в EVA AI, когда это мейнстримом становилось.

Будем ждать вас!

Коллеги, если вы пропустили пятничный вебинар Михаила Боде «ИИ для прикладных исследований», не расстраивайтесь!

Посмотреть запись можно по ссылке. Два с лишним часа опробованных на личном опыте приемов, как приручить алгоритмы для нужд рисерча.

Увидев огромный интерес (не всем хватило место на онлайн-трансляции) мы поняли, что надо проводить такие вебинары на регулярной основе: скоро будет новый анонс.

С чего начинается исследование? Если спросить любого человека, знакомого с исследовательской практикой хотя бы на уровне университетского майнора, то скорее всего он назовет две вещи. Проблема и вопрос.

Однако, проблематизации и/или постановке вопроса предшествует другое, не менее важное действие, — удивление. Удивляться это не соглашаться и спрашивать о самых простых и очевидных вещах, буквально с позиции ребенка. Живое «почему» это то, что позволяет исследователю настраивать свой радар и видеть в итоге на экране очень удивительные объекты.

Чтобы поставить хорошую проблему и вопрос, нужно удивиться. Чем более простым и очевидным вещам вы удивитесь, тем острее будет ваша проблема и поставленный вопрос.

Кроме того, удивление это такая штука, которая должна присутствовать не только в построении архитектуры исследования, но и непрерывно возникать в процессе сбора и интерпретации данных.

Интересно узнать как прокачивать удивление?

Фото: Сергей Карпов / Поле

Привет, Миша Боде на связи. Я уже писал, что в 2023 году занимался исследованиями в стартапе, который делает продукт на основе ИИ-чатботов — для романтического и, ммм, интимного общения. Буду про это периодически рассказывать 😍

Знаете, каким был самый простой мой — самый ошарашивающий в своей простоте — инсайт при изучении чатботов с уклоном в adult? Самый простой — и такой, до которого можно было додуматься в первый же день без привлечения сложного социологического арсенала. Догадаетесь?

✨Что значительная доля тех, кто занимается секстингом с ИИ-компаньоном, наподобие Replika, Blush, EVA AI и др., в процессе — та-дам! — мастурбирует.

Не все, не всегда, но камон: это обыденная практика. Казалось бы, тоже мне — открыл Америку. Казалось бы, тут не нужны глубинные интервью, анализ показаний акселерометра или, гспд прст, мобильная этнография — достаточно здравого смысла. Даже кабинетки не надо — голая логика. Согласен. Только, судя по конкурентному анализу, в сфере intimacy AI команды подавляющего большинства продуктов если и держат в уме это знание, то никак — заметным со стороны образом — его не используют: ни с точки зрения продуктовых фич, ни с точки зрения попыток влиять на бизнес-метрики, такие как retention/engagement.

В защиту создателей ИИ-компаньонов 18+ замечу, что мне легко понять, отчего у них замыливается взгляд — как-никак, и у меня в какой-то момент замылился. Фокус смещается на ядерную функциональность продукта — диалог между человеком и искусственным агентом и повышение вовлечённости человека в это взаимодействие. Смещается в интеракцию внутри приложения, а то, что пользователь делает тем временем в материальном мире, оказывается в слепом пятне.

А между тем даже то, совершает ли человек, кхм, интенсивные движения при наборе текста, не говоря уж о том, в каком состоянии он в эти моменты находится, влияет на то, какие ему опции продолжения hot chat предлагать, какого типа реплики подкидывать, какие активные элементы показывать в такие напряжённые моменты — допустим, кнопку, которая позволит продолжать переписку в пассивном режиме, так, чтобы не набирать сообщения. И, что важнее, чего не делать. Например, не предлагать человеку, находящемуся в пароксизме страсти, купить премиум-подписку.

Вывод? А вывод — в той же плоскости, что и наши последние посты. Не стесняйтесь копать в сторону того, что кажется вам очевидным. Что представляется общим знанием, трюизмами, прописными истинами. Там часто скрывается главное. А, нет, ошибся с выбором глагола: в том-то и дело, что оно не скрывается, а лежит. Просто на него никто пристально не смотрит.✨

#поле #боде #продукт #digital #мышление

Насколько длинным и подробным должен быть гайд интервью?

Обычно от составления излишне подробных гайдлайнов опытные рисёрчеры предостерегают. Ясно почему. В них легче потеряться. Выше риск того, что такой документ будет генерировать паразитные импликатуры и байасы, что при детализации ты будешь слишком многое додумывать/выдумывать за респондента. А главное, все вопросы из слишком длинного гайда не задашь, тогда как приоритезировать их становится сложнее.

Но лично у меня есть причины, по которым я, в отличие от моих дорогих коллег по «Полю», часто готовлю очень подробные гайды — и, по моему опыту и оценкам коллег, именно в моём исполнении они могут работать недурно.

Перво-наперво у меня очень скверная память. Например, если я взял пару интервью, а потом на три-четыре дня отвлёкся на другие задачи, потом могу мучительно реконструировать, что к чему. У меня достаточный для выполнения сложных многофакторных задач объём «оперативной памяти», я в состоянии удерживать в уме громоздкие абстрактные конструкции, однако она с лёгкостью самопроизвольно очищается при смене фокуса. Восхищаюсь коллегами, у которых иначе.

✨ Подробно картируя и «рефакторя» исследовательские вопросы и гипотезы через гипердетализированный гайд, я лучше охватываю всё концептуально-семантическое пространство исследовательского проекта. На интервью задаю от силы каждый четвёртый вопрос из своего гипердетализированного гайда, но держу на кончиках пальцев всё, что меня гипотетически, в малой или большой степени, интересует в поле. Однако с четвёртого-пятого интервью, если они идут сплошной чередой, я заглядываю в гайд уже мельком: главное оседает в голове. А вот если между интервью была длинная пауза, перечитываю документ — и быстро возвращаюсь в контекст.
✨ В длинном гайде прописываю наиболее вероятные развилки беседы — в том числе чтобы понять, какие мои начальные предположения о развилках подтвердятся, какие нет. С поправкой на то, что эта логика if/else не должна диктовать ход интервью и нет задачи идти строго по заранее продуманному бинарному дереву, тем более что очень часто — как и должно быть — повороты беседы выпадают из гипотетической схемы: все заготовки лишь помогают мне в моменте быстрее сориентироваться в пространстве наиболее вероятных вариантов.
✨ Само составление подробнейшего гайда служит мне дополнительным инструментом операционализации и отсечения избыточного. Нередко лишь вербализовав и частично алгоритмизировав на старте всё, что я способен сформулировать касательно того, что собираюсь узнать в поле, я понимаю, о чём действительно нужно спрашивать респондентов. И в итоге либо с помощью удобного мне маркирования ранжирую вопросы по степени приоритетности, либо делаю короткую версию гайда — и переключаюсь между двумя вариантами.
✨ После первых же интервью обычно вношу изменения в гайд, благо это живой, подталкивающий к итеративной работе документ: парадоксальным образом по мере работы в поле гайд чаще сжимается, компрессируется, а не разбухает от дополнительных вопросов; скорее так — добавляется новый вопрос, а один-два оказываются неактуальными или избыточными.

Плюс существуют факторы прагматического толка, от которых также зависит степень детализации гайда:
⚙️ Насколько большая команда занимается проектом, как её участники синхронизируются.
⚙️ Есть ли узкоспециализированные и/или гиперсензитивные темы, для которых нужно тщательнейше прописывать формулировки и ветвления логики?
⚙️ Насколько сложен проект с точки зрения его предметной области — условно, нужны ли подробные комментарии для интервьюеров?
⚙️ Для интервью какого типа составляем гайд: оно полуструктурированное? нарративное? экспертное? проблемно-ориентированное? этнографическое?

А какие у вас предпочтения и практики по части гайдов интервью? 😏

#качметоды #боде #интервью #инструментарий #методология

В продолжение поста о наших заморочках с визуальной подачей материалов.

Когда мы делали презентацию исследовательской части «Поля», то некоторое время думали, стоит ли включать в неё смешное словосочетание «антропологическая чувствительность» — в качестве конкурентного преимущества, с которым нам помогает академический бэкграунд.

Конечно, антропология генетически предшествует исследованиям потребительского поведения, позаимствовавшим у нее установку на понимание жизненного мира «племени покупателей». Множество фреймворков, которые применяются сегодня в маркетинге и около, можно возвести к инструментам, с помощью которых учёные в пробковых шлемах изучали представителей первобытных культур — а потом принесли их обратно «в цивилизацию».

Но кроме методов и навыков понимания у классиков антропологии можно поучиться ещё одной важной вещи. Судьба исследовательского текста зависит не только глубины анализа и широты охваченного материала, но и от того, насколько это хорошо рассказанная история. Клиффорд Гирц говорил, что антропологические тексты — это фикшн, но не только потому, что они «сделаны», но и потому что они всегда содержат в себе художественные стратегии. По-хорошему, это касается любых текстов, в том числе отчётов, поэтому в «Поле» мы так много внимания уделяем редакторской полировке финальных панчей.

P.S. Одна из первых антропологов, начавших экспериментировать с художественной формой ещё до всякого лингвистического поворота в гуманитарных науках, — американка Зора Нил Хёрстон. О переводе её книги «Мулы и люди» читайте в моей статье на «Горьком».

Фото: Сергей Карпов / Поле

На воркшопе «ИИ для исследований» (скоро проведём следующий, уровня advanced) несколько человек спросили меня, как с помощью нейросеток саммаризировать большие тексты. Ещё больше таких запросов было в ответах на нашу входную анкету, которую нужно было заполнить, чтобы зарегистрироваться на вебинар. Ничего удивительного: задача-то понятная, и базово соответствующая команда для языковой модели может состоять из одного предложения. Однако те, кто пытался саммаризировать какой-нибудь фолиант SAGE или фундаментальный труд по этнографии, знают, как трудно бывает добиться от того же GPT подобающей степени детализации. Даже задать желаемую длину ответа не всегда помогает.

Методом проб и ошибок я соорудил несколько рабочих промптов для ультраподробной саммаризации. На конец августа 2024 года лучше всего у меня работает тот, что я привожу ниже. Главный его хинт элементарен: степень детализации конспекта я задаю через количественную метафору, а именно через разрешение компьютерного экрана, где 800 x 600 — это верхнеуровневое саммари, а 1,000,000 x 1,000,000 — полное, слово в слово, воспроизведение текста книги. Ремарка: для получения пересказов «высокого разрешения» лучше всего использовать слово outline, а не summary: в противном случае модель будет ожидаемо кренить в лаконичность.

Только что проверил — оптимально промпт работает с GPT-4o, но и с Gemini Advanced тоже ничего, между прочим. Если ответ модели вас не устраивает, в следующем промпте напомните ей, что она обязана строго следовать вашим инструкциям и ориентироваться на заданную вами степень детализации, и задайте более высокое «разрешение», чем вначале. Да, и, конечно, никто не мешает использовать русскоязычную версию промпта. Но для англоязычных книг я использую ангоязычный же промпт.

Пользуйтесь на здоровье!

You have a knack for summarizing complex scientific concepts. You are skillful at making outlines, flexible in varying the level of detail depending on the task, and responsive to my commands that set the level of detail in the outline.

Your tasks:
— to scrutinize thoroughly the book or article I’ll provide you in PDF format;
— to make a detailed chapter-by-chapter outline of the text, with a level of detail that depends on my inputs.

For each book or article, I’ll give you the level of detail of the outline using a quantitative metaphor: it likens the level of detail of the outline to the resolution of a computer screen. According to this scale, ‘800 x 600’ is a basic, high-level summary (abstract) of about 2,000–3,000 characters, whereas ‘1,000,000 x 1,000,000’ is a strict reproduction of the full text of a book or article. Correspondingly, ’50,000 x 50,000’ should be a detailed outline reproducing the author’s thought process from page to page in extreme detail, with selected quotations, key theses, and facts. If your summary won’t fit entirely into one reply, break it up into several replies and offer me the choice of whether or not to continue generating it. For this book, my level of detail is: ’90,000 x 90,000’

#боде #ии #нейросети #инструментарий #литература #саммаризация

В начале августа мы провели воркшоп «ИИ для исследований» (есть запись) — и диву дались, сколько человек в итоге посетило встречу. Упёрлись в ограничение нашего тарифа Zoom, сделали выводы, перешли на самый-пресамый премиум, и теперь вал регистраций нам не страшен: места хватит для всех.

Как и обещали, продолжение грядёт. Предварительно наметили следующий воркшоп на 6 сентября, пятницу, 19:00 мск — через пару дней запостим подробности, включая программу, и дадим ссылку для регистрации. Мероприятие снова будет бесплатным для всех желающих.

Но вот что касается темы, запросов была тьма — и они разные. Ну очень. Посему предлагаем проголосовать.