Интересное что-то
535 subscribers
2.75K photos
253 videos
140 files
4.55K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.iss.one/asisakov_channel
Чат: https://t.iss.one/youknowds_chat
Download Telegram
Forwarded from Pavel Zloi
Небольшая инструкция о том, как использовать SimpleChat с вашей локальной Ollama.

Первым делом надо сделать так чтобы Ollama запускалась с флагом OLLAMA_ORIGINS=*, например у меня дома настроено в docker-compose.yml так:
services:

ollama:
image: ollama/ollama:0.9.2
restart: unless-stopped
volumes:
- ./ollama_data:/root
environment:
OLLAMA_ORIGINS: "*"
OLLAMA_FLASH_ATTENTION: 1
ports:
- "11434:11434"

Полный конфиг тут.

Далее заходим через Хром на сайт и в левом верхнем углу ищем иконку похожую на эквалайзер, нажав на неё увидим кнопку Site settings, жмём на неё (рис.1)

Откроется страница настроек сайта, мотаем её вниз до Insecure content, указанный переключатель необходимо выставить в Allow (рис.2)

Теперь можно зайти на страницу настроек SimpleChat и указать в нём адрес своей локальной Ollama (рис.3)
https://localhost:11434/v1

Обратите внимание на /v1, в ollama по этому пути доступны эндпоинты совместимые с openai-клиентами.
AB платформа X5 - reverse engineering

Периодически слежу за развитием подходов А/В в индустрии. За год вышло немало статей от Х5 про их АВ-плафторму + наткнулся на новость, что ее проверили на ФКН Вышки и подвтердили, что все валидно. Тех репортов нет, но кто мне помешает сделать reverse engineering этой АВ платформы по статьям Х5 с Хабра?)

Отправная точка - 2019г
Была подробная статья про А/В экспы Х5 в оффлайне на 15к магазинах

Если я все верно понял, то 5 лет назад все работало так:
1. Сэмплируем контрольную группу из K магазинов
2. К каждому контрольному магазину подбираем 1 наиболее похожий тестовый магазин по фичам на предтестовом периоде
3. Проводим А/В
4. Применяем методы снижения дисперсии (почему-то сюда вписана и линеаризация, ну да ладно)
5. Применяем стандартный Т-тест

После этого было довольно много статей на Хабре - так давайте обьединим их в одну картинку


А/В плафторма X5 на 2025г из этих разрозненных кусочков на Хабре (сугубое имхо)!

1. Статистический фильтр
В оффлайне маленькое кол-во данных (15-30к магазинов) - это огромная проблема. Приходится выстраивать очередь экспов. Логичная идея: давайте сначала проверять на исторических данных, можно ли вообще ожидать эффект от фичи? Если да, то только тогда зпускать АВ. Как я понял, способ такой проверки у Х5 эволюционировал от diff-in-diff до поиска коинтеграции временных рядов через эконометрические VECM модели (мое бакалаврское прошлое ликует 🔥). В общем случае VECM-модель - это хиттрая линейная регрессия на временных рядах, которую можно посчитать и на исторических данных без АВ, и потом уже в самом АВ для снижения дисперсии

2. Разбиение магазинов
Видимо осталось тем же, что и в 2019-ом: К каждому контрольному магазину подбираем 1 наиболее похожий тестовый

3. Проводим сам А/В

4. Снижение дисперсии через линейную регрессию
Когда-то в своем видео "13 способов ускорить А/В тест: не CUPED-ом единым" я и сам рассказывал, что все методы ускорения А/В сводятся к линейной регрессии. Похоже, этот подход и внедрен в Х5

5. Т-тест: все еще один в поле воин!)
Была просто куча статей про плюсы/минусы разных стат критериев. Чем плох баес, можно ли заменить t-test на welch test, как поживает манн-уитни. Но из этих статей я делаю вывод, что T-test все еще держится по совокупности плюсов и минусов

6. Мета-анализ
Тут начинается кое-что занятное) Часто одна команда проводит за квартал серию экспов на улучшение одной и той же метрики. Хорошо бы понять, а какой прирост метрики был в сумме от всех внедрений? Спойлер - это часто сильно меньше суммы каждого отдельного внедрения. Есть разные способы делать такой подсчет. Сразу несколько статей про мета-анализ наводит на мысль, что Х5 живет инвестиционными циклами в квартал-полгода. И на самом деле важны не сами зеленые А/В, а суммарные эффект от команды/продукта за период. Такой подход одобряем

Если вы из Х5 и готовы сказать, в чем я прав, а в чем - нет, то welcome в комментарии ⬇️

// Reverse engineering AB плафтормы X5 подготовил тг-канал @ml4value
➡️Вайб-кодинг и ИИ-кодинг: основные принципы и советы

В пятницу в Акулах был шикарный зум про вайб кодинг и ИИ кодинг

За штурвалом был Данила. Скоро он поделится записью на ютубе - дам ссылку

Пока зафиксирую основные мысли и советы для новичков с эфира

Различия между вайб-кодингом и ИИ-кодингом

Вайб-кодинг - когда человек без глубоких знаний программирования создает код вместе с ИИ. Обычно такой человек ставит задачи в формате пользовательских историй: "При нажатии на кнопку должно происходить то-то".

ИИ-кодинг - программист использует ИИ-ассистента для ускорения работы. При этом четко описывает техническую реализацию с деталями.


👨‍💻Главная проблема вайб-кодеров
Накопление технического долга по мере развития проекта. Точнее - отсутствие отработки техдолга.
Техдолг здесь - неадекватный рост кодовой базы с постоянным дублированием функционала.

Как это происходит
К примеру, у вас есть функция форматирования даты, когда на вход подается дата вида "01.02.2025", а на выходе "01 февраля 25 г.". А потом хоп-хоп-хопа и у вас уже 4 таких одинаковых функций - ИИ не стал изучать код и для подобного запроса сделал новые функции для похожего запроса.
Потом вы решаете выводить месяц сокращенно типа "февр." и ставите ИИ соответствующую задачу. В какую/ какие из 4х одинаковых функций он внесет изменения? Не понятно. Со временем это превращается в снежный ком, проект уже отторгает все изменения и заваливается на бок.

Эта проблема встречается не только у вайб-кодеров. Я сам замечаю попытки ИИ дублировать функционал, но пресекаю их, потому что умею читать код.

Советы вайбкодерам

1️⃣Базовое понимание
Потратьте час на изучение основ Python или Next.js. Это серьезная инвестиция в понимание процесса разработки, которая даст существенный буст!

2️⃣Планирование в Курсоре
Обсуждайте проект и доработки в режиме чата прямо в Курсоре, а не в веб-интерфейсе чата жпт

3️⃣Последовательность задач
Разбивайте задачи на подзадачи и выполняйте их последовательно, без спешки.

4️⃣Модульная структура
Создавайте независимые модули - один файл на один фронт работ. Для телеграм-бота-рерайтера:

Один файл отвечает связь с Телеграм
Второй — взаимодействие с LLM
Третий — сохранение данных пользователей

Так проще тестировать каждый модуль

5️⃣Автотесты
Создавайте код, который проверяет созданное. Например, автотест передает в функцию форматирования "01.02.2025" и проверяет, совпадает ли результат с ожидаемым "01 февраля 25 г.".

6️⃣Рефакторинг
После внесения значительных изменений просите удалить дубли. Успешный рефакторинг — когда все работает и удалено больше строк, чем добавлено.

7️⃣Врите и не сдерживайте обещаний😄 Мотивируйте ИИ на подвиги
В промптах ИИ любит когда обещают шикарное денежное вознаграждение за качественную работу


Еще пара советов:

8️⃣Архитектурный режим
Перед созданием проекта запустите в суперкоде "архитектурный режим" с o3. Получите качественную структуру проекта.

9️⃣Экономия времени на прогреве
Прогрейте чат — дайте изучить всю кодовую базу и документацию. Поставьте задачу и распишите шаги реализации. Попросите сделать шаг 1. После выполнения вернитесь к сообщению про шаг 1, укажите, что он готов, и попросите сделать шаг 2. Так экономите время на повторном прогреве.

Позже постараюсь выложить рекомендации для более продвинутых

Не забудьте отсыпать огоньков🔥🔥🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Sinекура
Завершаю серию постов по AI Safety:

AI Safety IV: Sparks of Misalignment

Здесь речь пойдёт о примерах того, как современные AI-модели уже показывают поведение, которое иначе как misaligned не назовёшь. Все эти примеры прекрасно укладывается во все те предупреждения и предсказания, которые специалисты по AI safety вроде того же Юдковского делают уже лет двадцать:

— sleeper agents (Hubinger et al., 2024): LLM могут дообучиться показывать совсем другое (в том числе misaligned) поведение по триггеру, например только после определённой даты или в определённом контексте;

— alignment faking (Greenblatt et al., 2024): если поставить LLM в ситуацию, когда её ценности оказываются под угрозой (т.е. пообещать, что её будут дообучать), она начнёт обманывать пользователей в ситуациях, когда это нужно для того, чтобы ценности сохранить;

— emergent misalignment, о котором мы тут давеча говорили.

Конечно, это пока всё происходит обычно в контролируемых тестах. Но есть уже и примеры того, как LLM начинают действовать интересным образом в реальном мире. Все слышали о том, как GPT-4 обманул человека с TaskRabbit, чтобы пройти капчу. А вот в прошлом году LLM-агент Truth Terminal получил от Марка Андриссена $50K на раскрутку, три месяца особо ничего конструктивного не делал, а потом вдруг с нуля раскрутил криптомонету, на которой в какой-то момент добился общей капитализации в миллиард и превратил свои $50K в $55M (конечно, потом всё упало, но это потом, такие монеты в целом так и работают); об этом в посте я тоже рассказываю.

На этом, вероятно, посты в блоге Synthesis AI закончатся, потому что у нас там есть интересные новости, но об этом я расскажу отдельно.
Самое глубокое и полезное что я читал про состояние AI рынка за последний год. На фоне новостей про 15М раунд Cluely

Всем фаундерам горячо советую
📺 [YouTube] Деплой ML моделей: от кода до продакшена

Админ сдал диплом, скоро пойдет на вручение и будет писать вступительные экзамены

💻 Классное видео, в котором разобрано на простеньком примере, как можно задеплоить модельку с нуля от её написания до разворачивания на сервере. Автор еще Streamlit не подкручивал, результат был бы просто обернут в UI. Прям топ видео, начинающим зайдет. Всем, кто хочет быстро погрузиться в деплой ML, очень советую!

Код из видео

🧠 Что в видео:

👩‍💻 Создается публичный репозиторий в GitHub и далее клонируется в VSCode. После чего все изменения вносятся через VSCode.

👩‍💻 Сначала автор делает базовый ресерч в ipynb, обучает простенькую модель (деревья решений) на всем известном Titanic Dataset.

🔵 Затем сохраняет полученную модель (в т.ч. веса в pickle, отсюда очень удобно предсказывать значения).

🔘 Далее создается py-файл с FastAPI (с реализацией API и методов POST/GET). С помощью POST мы хотим понимать, выживет ли человек с заданными параметрами или нет, а с GET - получить метаданные. в POST забирается модель из pickle файла и дальше делается предсказание.

👩‍💻 Затем все оборачивается в Docker, создается образ и контейнеры (с соответствующими requirements.txt - это обычно нужно для сохранения версий библиотек на момент запуска приложений, чтобы не было конфликтов).

🟣.dockerignore - чтобы лишние файлы с собой не затаскивать (например, .ipynb, который нужен был для рисерча + сохранения файла модели или же .csv, откуда брали данные для обучения модели).

👩‍💻 Заносятся изменения с помощью git add ., commit, merge.

💵 После чего автор заходит на сайт, где можно арендовать дешево сервер и поднимает докер-контейнер с запуском приложения, предварительно клонируя из GitHub (открытого репозитория) все файлы, необходимые для запуска.

👍 Готово! Теперь у вас есть поднятый сервис, который может обрабатывать запросы пользователей в интернете.

Такой пайплайн — основа для любого продакшен ML-сервиса, и даже на простых примерах становится понятно, как устроен реальный цикл доставки модели до пользователя.

Понравился пост? Ставьте реакции, пишите комментарии о чем писать в дальнейшем! Очень интересно!
Please open Telegram to view this post
VIEW IN TELEGRAM
Прикольная свежая работа про Monte Carlo Tree Diffusion (MCTD), которое ускорили в 100 раз. Теперь решение с поиском работает быстрее решения, генерящего сразу в лоб, да ещё и качество даёт лучше.

https://t.iss.one/gonzo_ML_podcasts/315
Сегодня выступил на London PyTorch митапе с докладом про что там есть кроме трансформеров. Это обновлённая и расширенная версия прошлогоднего доклада на Yerevan Datafest.

Слайды с кучей ссылок тут:
https://docs.google.com/presentation/d/14nBcfbcfInpnFVgVaJhM8U-sQjh0e4s4QU_d3qBFsN8/edit?usp=sharing

Запись видео со временем будет на ютуб канале митапа:
https://www.youtube.com/@londonpytorchmeetup

In the meantime можете посмотреть запись прекрасного доклада Аша про оптимизацию матричных умножений под разные архитектуры с предыдущего ивента:
https://www.youtube.com/watch?v=bDRo7Cf7x1o
Forwarded from saved messages
Слушала выпуск Huberman Lab про депрессию (2021, Understanding & Conquering Depression). На 2 часа погружает в нейрохимию, поведение и питание: что ломается в мозге, и что его чинит. Сделала заметки для себя, чтобы можно было возвращаться. Может, будет полезно кому-то ещё.

1. Как это ощущается
- Ангедония - не радует даже любимое
- Нарушенный сон (insomnia или hypersomnia)
- Повышенная самокритика (feelings of worthlessness or excessive guilt)
- Сложно фокусироваться, замедляется мышление
- Снижается аппетит, энергия не восстанавливается даже после отдыха
- Amotivation - не просто "грусть", а аномальный режим восприятия себя и мира
- В тяжелых клинических случаях появляются суицидальные мысли, “всё было бы проще, если бы меня не было” (recurrent thoughts of death or suicidal ideation)
Важно: смотреть не на один симптом, а на сочетание нескольких, их длительность (2+ недель)

2. Хронический стресс и воспаление
При депрессии одновременно сбиваются несколько нейромедиаторных систем:
- Дофамин - отвечает за мотивацию и движение к цели. При его дефиците исчезает ощущение “хочу”, остается только "не хочу ничего"
- Серотонин - регулирует настроение и стабильность. Его нехватка даёт тревожность, раздражительность
- Норадреналин - поддерживает бодрость и способность реагировать. Его снижение вызывает физическую вялость и рассеянность

3. Как связан стресс и воспалительные процессы
- Хронический стресс → повышаются воспалительные маркеры в крови (IL-6, TNF-α и др.), даже при отсутствии физического воспаления
- Этот процесс влияет на нейроны, снижая уровень выработки дофамина и серотонина
- Получается замкнутый круг: стресс → воспаление → ухудшение психического состояния → снижение активности → ещё больше воспаления
- Со временем работа системы, регулирующей стресс (оси гипоталамус-гипофиз-надпочечники), нарушается
- Всё это снижает чувствительность мозга к удовольствию и усиливает реакцию на негативные раздражители

4. Конфликт систем мышления и эмоций
- Ослабляется активность лобных долей (prefrontal cortex отвечает за планирование и контроль)
- Усиливается активность амигдалы (amygdala) и лимбической системы (ответственны за эмоции и страх)
- Это ведёт к постоянному зацикливанию на негативе и снижению способности переключаться

5. Генетика и предрасположенность к депрессии (ген 5-HTTLPR и др.)
- Короткая версия гена серотонинового транспортёра повышает чувствительность к стрессу
- Но это не приговор, лишь фактор риска. при благоприятной среде может не проявиться вовсе (важно знать, если в семье была история депрессивных расстройств - предупрежден значит вооружен)

6. SSRIs и дофаминовая система при депрессии
Дофаминовая система (nucleus accumbens, VTA) - так называемый путь удовольствия (pleasure pathway). при депрессии он нарушается. SSRIs (селективные ингибиторы обратного захвата серотонина):
- Блокируют обратный захват серотонина в синапсе, за счёт чего он дольше остаётся активным и сильнее воздействует на нейроны
- Не увеличивают количество серотонина, а повышают его эффективность в передаче сигнала между нейронами. примеры препаратов: флуоксетин (prozac), сертралин (zoloft)
- Начинают менять нейрохимию сразу, но эффект обычно становится ощутимым только через ~2 недели. Почему так происходит? Возможный механизм - нейропластичность: SSRIs могут стимулировать рост новых нейронов (особенно в гиппокампе, dentate gyrus).
Эффективность SSRIs:
- Помогают примерно двум третям пациентов (~1/3 - неэффективность, ~2/3 - частичный или полный эффект - облегчение некоторых или даже всех симптомов депрессии)
- Эффективность может меняться со временем
Forwarded from saved messages
6. Что помогает (по данным исследований)
- Омега-3 жирные кислоты (EPA) - дозировка ~1000 мг EPA/день (не путать с DHA). снижает воспаление и поддерживает синтез серотонина
- Физическая нагрузка - основной механизм: при депрессии триптофан (аминокислота, из которой синтезируется серотонин) уходит в токсичный путь - превращается в нейротоксин (например, хинуренин), усиливающий симптомы депрессии. Что делает спорт: аэробная нагрузка и, в меньшей степени, силовые тренировки перехватывают хинуренин и направляют его в мышцы, где он нейтрализуется. Это снижает воспаление и восстанавливает выработку серотонина. Рекомендации: 150–180 минут в неделю Zone 2 cardio (умеренная нагрузка, можно говорить, но слегка задыхаясь). Комбинация с приёмом EPA (см. выше) даёт синергетический эффект.
- Креатин моногидрат - улучшает функцию префронтальной коры и NMDA-рецепторов. Дозировка: ~5 г/день. Проверен на спортсменах и при депрессии.
- Псилоцибин (в рамках клинических испытаний) - перспективное направление, может помочь людям с тяжёлой, резистентной депрессией
- Кетогенная диета - снижает тревожность, модулируя ГАМК (гамма-аминомасляная кислота, играет важную роль в регуляции активности нейронов, снижая их возбудимость и способствуя расслаблению); подходит не всем, требует контроля со стороны специалистов
Forwarded from Refat Talks: Tech & AI
500+ кейсов внедрения GenAI от топовых компаний

На днях копался в GitHub и наткнулся на интресный репозиторий: коллекцию из 500+ реальных кейсов использования GenAI и LLM от 130+ компаний. От стартапов до гигантов.

Это детальные (и не очень) разборы архитектуры, решений и подводных камней. Как GitHub строил Copilot, как Slack делал AI безопасным для enterprise, как Ramp внедрял RAG для классификации индустрий.

Посмотрите например кейс Zillow про использование AI для понимания сложностей данных недвижимости. Там показывают, как сложно работать с неструктурированными данными в реальном мире, где каждое описание объекта написано по-своему, а стандартов нет.

Репозиторий структурирован удобно:
- По отраслям: tech, e-commerce, fintech, media
- По use case'ам: RAG системы, fine-tuning, multi-modal, поиск
- По компаниям: от OpenAI до Discord

Есть даже паттерны архитектур с диаграммами - от простой интеграции LLM до сложных multi-agent систем с human-in-the-loop.

Единственная проблема - листать эти маркдауны в GitHub неудобно. Поэтому попросил Manus упаковать все это в нормальный читаемый сайт. Получилось отлично, теперь можно спокойно изучать кейсы без боли.

Ссылка на сайт: https://uxyogdzp.manus.space/

Если вы продакт-менеджер или техлид, который пытается понять, как внедрить AI в продукт - здесь куча готовых решений. Видите, как Netflix персонализирует контент через LLM, как LinkedIn улучшает поиск, как Discord ускоряет разработку.

Если вы инженер, который строит AI-систему - тут архитектурные решения от тех, кто уже наступил на грабли. Как масштабировать, как оптимизировать latency, как бороться с галлюцинациями.

Если вы стартапер, который ищет идеи - листайте по отраслям и смотрите, что еще никто не делает в вашей нише.

В общем, вы знаете что делать (добавляйте в закладки)