Artificial stupidity
1.5K subscribers
165 photos
21 videos
1 file
272 links
Пишу об анализе данных и Data Science (и не только о них).
Связь с автором @gofat
Download Telegram
Переслали мне корпоративную методичку по управлению продуктовым портфелем

Итак, если бы пожарную команду создавали по этой методичке:

1. Ideation (оценка идеи)
Варианты:
За месяц не произошло ни одного пожара, потенциальных клиентов нет — закрываем продукт (KILL)
или
Один пожар был, но с погорельцев особо ничего взять — MERGE с водовозами, водовозы — жизнеспособный продукт с устойчивой клиентской базой и выраженной сезонностью.
Но перед тушением пожара необходимо будет производить расчет эффекта от тушения и сравнение с прямыми продажами воды клиентам
Или
Было несколько пожаров — когда пришли опрашивать клиентов получили люлей как поджигатели, глаз подбит 🤕, но зерно есть — PIVOT. Будем дистанционно (чтобы снова не получить) продавать палатки жертвам пожаров

2. Concept Validation — подтвердить жизнеспособность концепции
Продуктовый комитет затребовал дорожную карту по тушению пожаров на следующий год
Необходимо рассчитать точное время и место пожаров, затраты на тушение, экономический эффект
Ок, провернули фокус из финала The Incredible Burt Wonderstone и прошли дальше

3. Prototype Development
Сделали пожарную машину на деньги, выделенные на этапе 2.
Машиной сложно назвать — поэтому скорее получилась пожарная тачка.
Комитет отправил нас на Technical Pivot, без доп финансирования конечно же
На остатки финансирования получилось сделать лейку-поливалку

А дальше пришла летняя жара , и пол-города сгорело вместе с продуктовым комитетом 😂😂😂

PS: для тех кто не в курсе — частная пожарная охрана есть и вполне благополучно работает (например) и в нашей стране и в других

PPS: у любого инструмента есть своя область применения, даже у продуктовых методичек, и вот уж методички неплохо бы начинать с описания к чему их следует применять
8🤣6
#llm #paper

Прочитал на досуге статью "Beyond Benchmarking: A New Paradigm for Evaluation and Assessment of Large Language Models".

Достаточно короткая статья. Идея тоже обычная, но хорошо, что ее явно вытащили и прописали, т.к. часто вроде у всех это крутится где-то на границе сознания, а вот когда явно кто-то написал или проговорил - все становится на свои места.

Итак, в чем смысл стать? Авторы рассматривают типичный процесс бенчмаркинга LLM, а именно засилие "тестов" в бенчмарках. Что неплохо, но просто дает ряд циферок, но не отражает всей сложности процесса оценки и проверки качества работы LLM.

Потому авторы предлагают трехступенчатый процесс оценки LLM (Benchmarking-Evaluation-Assessment), который сравнивают с медицинским осмотром. Получается такой подход:
1. Benchmarking. Его мы не откладываем в сторону, но считаем первым шагом. Условно, оцениваем какие-то базовые параметры (как на осмотре - давление померить, общий анализ крови сделать и вот это все). По факту смотрим, где есть проблемы;
2. Evaluation. На основе выявленных проблемных зон делаем более глубокие исследования (медицинский аналог - более сложное исследование выписывается, например, УЗИ);
3. Assessment. Пытаемся интерпретировать результаты детальных исследований с помощью "модели-доктора", вместе с которой разрабатывается "план лечения" (то есть, направления и шаги по исправлению проблем на прошлых шагах).

В итогу, много где так и работает, просто это формально не фиксировали в таком процессе. Так что заслуга авторов тут, как я сказал, именно в том, что вытащили общую идею на свет и формально описали.

Но, на самом деле, есть и вопросы к такому формату:
1. А заметим ли мы важные проблемы на первом этапе (вроде в анализах все ок, а челу все хуже и хуже)?
2. Как подобрать эти более предметные исследования? Ок, модель на чем-то не очень хорошо справляется, но как мне набрать данные, чтобы более детально понять проблемы в работе LLM.
3. А судьи кто? Ок, человек может что-то попробовать понять (но с интерпретацией могут быть вопросики), а если использовать именно "модель-доктора", то на чем ее учить и как понять, что она корректно предлагает решение?

Итог.

Хорошо, что написали, но пока выглядит больше "за все хорошее и против всего плохого". Надеюсь, что авторы накинут в будущих работах еще деталей по пунктам, может тогда будет полезнее.
🔥3
💊 Интенсивность имеет значение: как оценить эффект, если воздействие имеет разную силу?

Недавно мы обещали рассказать вам, как оценивать эффекты, если воздействие непрерывное -- пришло время этой темы!

Обычно для оценки влияния политик или другого воздействия используется метод разность разностей (Difference-in-Differences, DiD), но он работает хорошо, когда можно разделить наблюдаемые единицы на две группы: тех, кто подвергся воздействию, и тех, кто нет

В реальности же воздействие часто имеет не бинарную, а непрерывную природу — то есть разную интенсивность (dose):
🟤уровень загрязнения воздуха в регионах
🟤доля пациентов с ДМС в больнице
🟤количество символов в посте 😁 и т.д.

Во всех этих случаях вопрос звучит не "было ли воздействие?", а "насколько интенсивным оно было?"

🆕 Не скоро дело делается... Спустя 5 лет эти вопросы снова подняли в своём препринте известные исследователи DiD — Брэнтли Кэллоуэй (Университет Джорджии), Эндрю Гудман-Бейкон (Федеральный резервный банк Миннеаполиса) и Педро Сант'Анна (Университет Эмори) (Callaway et al., 2025)
Авторы переосмысливают классический DiD и показывают, что при непрерывном воздействии привычные методы могут давать некорректные оценки

В чём проблема?
Во многих прикладных работах исследователи используют стандартную модель с фиксированными эффектами (TWFE) и включают переменную интенсивности воздействия, умноженную на бинарную переменную пост-периода. Но такая оценка:
🟤не равна среднему причинному эффекту
🟤не отражает отклик на изменение интенсивности
🟤может быть смещенной из-за гетерогенных эффектов в разных группах и при разных интенсивностях
🟤складывается из эффектов при разных уровнях интенсивности с непрозрачными, иногда отрицательными весами

Авторы показывают, что даже в простой ситуации 2×2 DiD (две группы, два периода), коэффициент TWFE не имеет корректной причинной интерпретации, если интенсивность воздействия варьируется

Что и как нужно оценивать на самом деле?
Авторы вводят два типа причинных эффектов:
🟤Уровневый эффект (Level Effect) — показывает, как изменяется результат при переходе от нулевой интенсивности к заданной
🟤Причинный отклик (Causal Response) — описывает, как результат реагирует на небольшое изменение интенсивности. Это аналог производной или эластичности, но в причинном смысле

Что делать?
🟤Если вы хотите понять, что даёт воздействие при конкретной интенсивности — ищите уровневый эффект
🟤Если хотите знать, как результат реагирует на рост интенсивности — ищите причинный отклик
🟤Если нужно усреднённое значение по всей выборке — считайте агрегаты с корректными весами

Какие нужны предпосылки?
🟤Параллельные претренды (Parallel Trends) - предположение, что без воздействия все группы развивались бы одинаково
→ Позволяет идентифицировать уровневый эффект при заданной интенсивности
🟤Сильные параллельные претренды (Strong Parallel Trends) - предположение, что результат при одинаковой интенсивности развивался бы одинаково у всех групп
→ Необходимо для корректной оценки причинного отклика

Действительно разные результаты? Medicare и капиталоёмкость
🟤Дарон Аджемоглу и Эми Финкельштейн (Acemoglu, Finkelstein, 2008), используя TWFE показали, что после отмены трудовых субсидий по Medicare больницы стали больше инвестировать в капитал
🟤Авторы новой статьи применили свой подход к тем же данным — и получили иные результаты: уровень эффекта оказался на 50% выше, чем в TWFE; причинный отклик был положительным при низкой интенсивности, но негативным при высокой
🟤Это означает, что TWFE не просто занижал эффект, но и менял его знак при попытке оценить маржинальный отклик

🖥 Открытый пакет contdid
Авторы статьи разработали R-пакет contdid. Это пока альфа-версия, но она уже поддерживает непрерывное воздействие, ступенчатое воздействие (staggered adoption), агрегации по интенсивности и времени
🔗 Документация пакета: Github и RD Packages

Заинтересованным в теме предлагаем также заглянуть в препринт (Zhang, 2025), где автор пытается решить похожую задачу с помощью double/debiased machine learning

#канал_обозревает
#канал_рекомендует
@causal_channel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥41🤨1
#random

Пока ездил в Псков и Великий Новгород и ходил по музеям, мне в голову пришла забавная мысль. Средневековые художники часто не видели зверей из других частей света, которых рисовали в бестиариях, а только лишь слышали описания (причем, далеко не всегда точные описания и не всегда существующих животных). Потому я решил сделать симуляцию такого художника.

Итак:
1. Попросил perplexity собрать средневековые описания животных из книг (как настоящих, так и выдуманных);
2. Написал коротенький промпт для генерации изображения в средневековом стиле (пришлось тут поиграться с промптами, чтобы модель не вспоминала реальное животное, но она все равно вспоминает немного);
3. Сгенерировал изображения по описанию из бестиариев.

Кстати, будет еще забавнее, если при генерации текста LLM будет галлюцинировать. Это еще более подходящий опыт (но это оставлю самой LLM). Как будто средневековый автор что-то где-то еще читал и добавил эти обрывки воспоминаний в свой процесс рисования зверя в бестиарии.

Результаты в посте. Попробуйте отгадать, что за звери изображены. Ответы будут завтра.

P.S. На первой картинке справа мандрагора на дереве (а то мало ли, что тут кто навоображает).
🔥10
#random

Продолжаем наше страдающее средневековье. Что же это были за покемоны фантастические (и не очень) звери?

1. Слон. Животное это очень велико. Имеют они живой ум и долгую память; ходят стадами; бегут от мыши; совокупляются спина к спине. Живут триста лет. Если хочет иметь сыновей, идет на восток, близ рая; там растет дерево, называемое мандрагора. Идет к нему со своей самкой, которая первая берет плод с дерева и дает своему самцу. Самец охраняет ее, пока она в родах, потому что у них есть враг - дракон.
2. Лев. Царь зверей. Имеет три главных свойства. Первое: когда ходит по дорогам и приходит к нему запах охотников, то хвостом своим заметает следы свои, чтобы охотники не нашли логова его. Второе: когда спит в пещере, бодрствуют очи его, ибо открыты они. Третье: когда львица рождает детеныша, мертвым рождает его, и охраняет детеныша, пока не придет отец. на третий день и не дунет в лицо ему и не пробудит его.
3. Единорог. Чудовище с ужасным ревом, телом коня, ногами как у слона и хвостом очень похожим на оленя.
4. Еж. Поросенок с шипами, скрипящий как телега. Когда созревает виноград, подползает к виноградной лозе и, трясясь, сбрасывает ягоды на землю, затем катается по ним, пока они не насадятся на иглы.
5. Олень. Плачет, объевшись ядовитых змей. Когда чувствует в себе болезнь от яда, бегут к источнику и пьют воду. Враждебен змеям, выгоняет их из нор дыханием через ноздри.
6. Кот. Представляет угрозу для мыши. Ловит предметы. Ловит мышей с помощью своего острого зрения. Способен видеть в полной тьме, без малейших проблесков света.
7. Дракон. Обвивает хвостом жертву и может убить даже слонов удушением. Подстерегает на тропах, по которым привыкли проходить слоны, опутывает их ноги узлами и убивает удушением.
8. Левкрота (есть такое мифическое животное). Величиной с осла, с задними частями оленя, грудью и ногами льва, головой лошади и ртом, разорванным до самых ушей.

Вот такой вот нейронный бестиарий вышел. Кто теперь ваше любимое животное из тех, что были на картинках?

Мне нравятся кот, еж, олень и мандрагора (она реально забавная). Львенок в пещере тоже мемный вышел.
👍41
#music

А у меня тут вышел dark ambient альбом. Надеюсь, что любителям зайдет. Я туда даже добавил концептуальности в названия и порядок песен.

В общем, enjoy!
🔥12
А что тут у нас? Вышел мой хоррор-монолог в озвучке (называется "Колыбельная").

Послушать его (как и другие) можно по ссылке. При авторизации каждый день дают бонусы за вход, вот их можно как раз потратить на прослушивание ;)

В комментах пишите ваше мнение по поводу монолога и задавайте вопросы, если будут.
❤‍🔥31👏1
This media is not supported in your browser
VIEW IN TELEGRAM
#конкурсхорроров #релиз #одиннаодинсострахом

А тепер работа из ТОП-3 нашего конкурса!

"Колыбельная"🤱💀 по сценарию Артёма Ерохина уже на Фабуле!
22👍1