А ещё, а ещё, а ещё! Я (уже месяц назад) пообщалась с DLS (обожаю их!) и совсем скоро выпустим лекцию и семинар по XAI! ❤️‍🔥

Stay here!

P.S на лекции будет Честер.

📏 Гипотеза линейности в действии.

Очень большое эстетическое удовольствие мне доставляют чтение статей и попытки проследить, как обычные подходы пробивают себе место в более высокоуровневых вещах.

И самый частый встречный гость — это линейность.

Сегодня меня очень вдохновила пара работ и я решила зафиксировать ряд работ по ней тут.

Классика и будто бы начало — работа Linguistic Regularities in Continuous Space Word Representations, где показано, что комбинация векторных представлений vector(”King”) - vector(”Man”) + vector(”Woman”) на самом деле равна vector(Queen) (и продолжения, которые тоже сохраняют линейные закономерности между словами CBOW и SKIP-Gram).

Продолжение и актуальность линейности можно увидеть и в свежих/актуальных работах:

— LIME — объясняет предсказания модели как локальную линейную аппроксимацию сложной функции в окрестности точки.
— SAE (где мы представляем эмбеддинг в виде разреженной линейной комбинации);
— Оценка мнения модели на основе зондов (где мы оцениваем мнение модели на основе линейного классификатора на residual stream)
— Разложение модели на интерпретируемые концепции — например, можно перевести концепты в виде текстовых эмбеддингов CLIP в линейную комбинацию признаков, обучив линейную суррогатную модель с использованием KL-дивергенции.

Что самое интересное, находят подтверждения не только гипотезы о том, что представления линейны в рамках одной модели, но и о том, что между представлениями достаточно больших моделей существует линейное (и ортогональное) преобразование. То есть (в частности показано) можно взять концепт в GPT-J, линейно перенести его в LLaMA и он продолжает быть справедливым.

Ограничения:

Конечно, они есть:
— нелинейные взаимодействия между признаками никуда не исчезают;
— полисемантичность нейронов (один активационный канал кодирует несколько смыслов);
— требуется разреживание или ортогонализация, чтобы выделить чистые направления.

Но мне очень греет душу мысль, что можно работать с линейностью и вот тут-то любовь к векторной алгебре пригодится :)

Если вы видели работы, связанные с линейностью или у вас есть мысли — можете докинуть в комментарии)

Всем привет!

В этом семестре мы подготовили ещё один, дополнительный модуль, посвящённый Explainable AI для моделей машинного обучения. В этом модуле вы познакомитесь с основами интерпретируемости (объяснимости) моделей. В течение занятий вы реализуете различные методы интерпретации, изучите их применимость и ограничения.

Материал подготовила и записала Садиех Сабрина, AI исследователь, автор канала https://t.iss.one/jdata_blog

Лекцию и семинар можно найти на Stepik!

Ещё одна библиотека, до которой у меня (пока) не доходят руки, но новая, свежая, как булочки в пекарне.

Привет, друзья!
🔠 ICX360 — ещё одна библиотека для in-context объяснений LLM. In-context здесь — отсылка на то, что объяснения привязываются к input — к словам, предложениям или частям промпта, на основании которых LLM сгенерировала output.

Что внутри:

• Pertubation-based методы (то есть — методы на основе вмешательства — заменяем, убираем, искажаем часть и смотрим, как меняется выход);
• Contrastive explanations (ссылаясь на CELL your Model) — автоматически созданные «отредактированные» промпты. Идея: найти «слегка изменённую» версию промпта, при которой модель даёт заметно другой ответ по заданной метрике.
• Реализация Token Highlighter — метод, унифицированный на анализ токенов, которые могут вести к jailbreak-поведению.

И ещё:
• Поддерживают большие inputs на основе уровневых объяснений — от крупных частей входа (предложений) до слов и фраз (App. C. 3)

В комплекте:
Методы, документация, тесты и быстрые стартовые ноутбуки (Colab прямо сразу). Ноутбуки я потрогала — классные! Хочу сделать что-то интересное.

В общем, делаем

uv pip install icx360
uv run python -m spacy download en_core_web_sm
uv run python -m spacy download en_core_web_trf

и +1 в копилку исследования моделей)