Интересное что-то
530 subscribers
2.75K photos
253 videos
140 files
4.55K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.iss.one/asisakov_channel
Чат: https://t.iss.one/youknowds_chat
Download Telegram
📺 [YouTube] Деплой ML моделей: от кода до продакшена

Админ сдал диплом, скоро пойдет на вручение и будет писать вступительные экзамены

💻 Классное видео, в котором разобрано на простеньком примере, как можно задеплоить модельку с нуля от её написания до разворачивания на сервере. Автор еще Streamlit не подкручивал, результат был бы просто обернут в UI. Прям топ видео, начинающим зайдет. Всем, кто хочет быстро погрузиться в деплой ML, очень советую!

Код из видео

🧠 Что в видео:

👩‍💻 Создается публичный репозиторий в GitHub и далее клонируется в VSCode. После чего все изменения вносятся через VSCode.

👩‍💻 Сначала автор делает базовый ресерч в ipynb, обучает простенькую модель (деревья решений) на всем известном Titanic Dataset.

🔵 Затем сохраняет полученную модель (в т.ч. веса в pickle, отсюда очень удобно предсказывать значения).

🔘 Далее создается py-файл с FastAPI (с реализацией API и методов POST/GET). С помощью POST мы хотим понимать, выживет ли человек с заданными параметрами или нет, а с GET - получить метаданные. в POST забирается модель из pickle файла и дальше делается предсказание.

👩‍💻 Затем все оборачивается в Docker, создается образ и контейнеры (с соответствующими requirements.txt - это обычно нужно для сохранения версий библиотек на момент запуска приложений, чтобы не было конфликтов).

🟣.dockerignore - чтобы лишние файлы с собой не затаскивать (например, .ipynb, который нужен был для рисерча + сохранения файла модели или же .csv, откуда брали данные для обучения модели).

👩‍💻 Заносятся изменения с помощью git add ., commit, merge.

💵 После чего автор заходит на сайт, где можно арендовать дешево сервер и поднимает докер-контейнер с запуском приложения, предварительно клонируя из GitHub (открытого репозитория) все файлы, необходимые для запуска.

👍 Готово! Теперь у вас есть поднятый сервис, который может обрабатывать запросы пользователей в интернете.

Такой пайплайн — основа для любого продакшен ML-сервиса, и даже на простых примерах становится понятно, как устроен реальный цикл доставки модели до пользователя.

Понравился пост? Ставьте реакции, пишите комментарии о чем писать в дальнейшем! Очень интересно!
Please open Telegram to view this post
VIEW IN TELEGRAM
Прикольная свежая работа про Monte Carlo Tree Diffusion (MCTD), которое ускорили в 100 раз. Теперь решение с поиском работает быстрее решения, генерящего сразу в лоб, да ещё и качество даёт лучше.

https://t.iss.one/gonzo_ML_podcasts/315
Сегодня выступил на London PyTorch митапе с докладом про что там есть кроме трансформеров. Это обновлённая и расширенная версия прошлогоднего доклада на Yerevan Datafest.

Слайды с кучей ссылок тут:
https://docs.google.com/presentation/d/14nBcfbcfInpnFVgVaJhM8U-sQjh0e4s4QU_d3qBFsN8/edit?usp=sharing

Запись видео со временем будет на ютуб канале митапа:
https://www.youtube.com/@londonpytorchmeetup

In the meantime можете посмотреть запись прекрасного доклада Аша про оптимизацию матричных умножений под разные архитектуры с предыдущего ивента:
https://www.youtube.com/watch?v=bDRo7Cf7x1o
Forwarded from saved messages
Слушала выпуск Huberman Lab про депрессию (2021, Understanding & Conquering Depression). На 2 часа погружает в нейрохимию, поведение и питание: что ломается в мозге, и что его чинит. Сделала заметки для себя, чтобы можно было возвращаться. Может, будет полезно кому-то ещё.

1. Как это ощущается
- Ангедония - не радует даже любимое
- Нарушенный сон (insomnia или hypersomnia)
- Повышенная самокритика (feelings of worthlessness or excessive guilt)
- Сложно фокусироваться, замедляется мышление
- Снижается аппетит, энергия не восстанавливается даже после отдыха
- Amotivation - не просто "грусть", а аномальный режим восприятия себя и мира
- В тяжелых клинических случаях появляются суицидальные мысли, “всё было бы проще, если бы меня не было” (recurrent thoughts of death or suicidal ideation)
Важно: смотреть не на один симптом, а на сочетание нескольких, их длительность (2+ недель)

2. Хронический стресс и воспаление
При депрессии одновременно сбиваются несколько нейромедиаторных систем:
- Дофамин - отвечает за мотивацию и движение к цели. При его дефиците исчезает ощущение “хочу”, остается только "не хочу ничего"
- Серотонин - регулирует настроение и стабильность. Его нехватка даёт тревожность, раздражительность
- Норадреналин - поддерживает бодрость и способность реагировать. Его снижение вызывает физическую вялость и рассеянность

3. Как связан стресс и воспалительные процессы
- Хронический стресс → повышаются воспалительные маркеры в крови (IL-6, TNF-α и др.), даже при отсутствии физического воспаления
- Этот процесс влияет на нейроны, снижая уровень выработки дофамина и серотонина
- Получается замкнутый круг: стресс → воспаление → ухудшение психического состояния → снижение активности → ещё больше воспаления
- Со временем работа системы, регулирующей стресс (оси гипоталамус-гипофиз-надпочечники), нарушается
- Всё это снижает чувствительность мозга к удовольствию и усиливает реакцию на негативные раздражители

4. Конфликт систем мышления и эмоций
- Ослабляется активность лобных долей (prefrontal cortex отвечает за планирование и контроль)
- Усиливается активность амигдалы (amygdala) и лимбической системы (ответственны за эмоции и страх)
- Это ведёт к постоянному зацикливанию на негативе и снижению способности переключаться

5. Генетика и предрасположенность к депрессии (ген 5-HTTLPR и др.)
- Короткая версия гена серотонинового транспортёра повышает чувствительность к стрессу
- Но это не приговор, лишь фактор риска. при благоприятной среде может не проявиться вовсе (важно знать, если в семье была история депрессивных расстройств - предупрежден значит вооружен)

6. SSRIs и дофаминовая система при депрессии
Дофаминовая система (nucleus accumbens, VTA) - так называемый путь удовольствия (pleasure pathway). при депрессии он нарушается. SSRIs (селективные ингибиторы обратного захвата серотонина):
- Блокируют обратный захват серотонина в синапсе, за счёт чего он дольше остаётся активным и сильнее воздействует на нейроны
- Не увеличивают количество серотонина, а повышают его эффективность в передаче сигнала между нейронами. примеры препаратов: флуоксетин (prozac), сертралин (zoloft)
- Начинают менять нейрохимию сразу, но эффект обычно становится ощутимым только через ~2 недели. Почему так происходит? Возможный механизм - нейропластичность: SSRIs могут стимулировать рост новых нейронов (особенно в гиппокампе, dentate gyrus).
Эффективность SSRIs:
- Помогают примерно двум третям пациентов (~1/3 - неэффективность, ~2/3 - частичный или полный эффект - облегчение некоторых или даже всех симптомов депрессии)
- Эффективность может меняться со временем
Forwarded from saved messages
6. Что помогает (по данным исследований)
- Омега-3 жирные кислоты (EPA) - дозировка ~1000 мг EPA/день (не путать с DHA). снижает воспаление и поддерживает синтез серотонина
- Физическая нагрузка - основной механизм: при депрессии триптофан (аминокислота, из которой синтезируется серотонин) уходит в токсичный путь - превращается в нейротоксин (например, хинуренин), усиливающий симптомы депрессии. Что делает спорт: аэробная нагрузка и, в меньшей степени, силовые тренировки перехватывают хинуренин и направляют его в мышцы, где он нейтрализуется. Это снижает воспаление и восстанавливает выработку серотонина. Рекомендации: 150–180 минут в неделю Zone 2 cardio (умеренная нагрузка, можно говорить, но слегка задыхаясь). Комбинация с приёмом EPA (см. выше) даёт синергетический эффект.
- Креатин моногидрат - улучшает функцию префронтальной коры и NMDA-рецепторов. Дозировка: ~5 г/день. Проверен на спортсменах и при депрессии.
- Псилоцибин (в рамках клинических испытаний) - перспективное направление, может помочь людям с тяжёлой, резистентной депрессией
- Кетогенная диета - снижает тревожность, модулируя ГАМК (гамма-аминомасляная кислота, играет важную роль в регуляции активности нейронов, снижая их возбудимость и способствуя расслаблению); подходит не всем, требует контроля со стороны специалистов
Forwarded from Refat Talks: Tech & AI
500+ кейсов внедрения GenAI от топовых компаний

На днях копался в GitHub и наткнулся на интресный репозиторий: коллекцию из 500+ реальных кейсов использования GenAI и LLM от 130+ компаний. От стартапов до гигантов.

Это детальные (и не очень) разборы архитектуры, решений и подводных камней. Как GitHub строил Copilot, как Slack делал AI безопасным для enterprise, как Ramp внедрял RAG для классификации индустрий.

Посмотрите например кейс Zillow про использование AI для понимания сложностей данных недвижимости. Там показывают, как сложно работать с неструктурированными данными в реальном мире, где каждое описание объекта написано по-своему, а стандартов нет.

Репозиторий структурирован удобно:
- По отраслям: tech, e-commerce, fintech, media
- По use case'ам: RAG системы, fine-tuning, multi-modal, поиск
- По компаниям: от OpenAI до Discord

Есть даже паттерны архитектур с диаграммами - от простой интеграции LLM до сложных multi-agent систем с human-in-the-loop.

Единственная проблема - листать эти маркдауны в GitHub неудобно. Поэтому попросил Manus упаковать все это в нормальный читаемый сайт. Получилось отлично, теперь можно спокойно изучать кейсы без боли.

Ссылка на сайт: https://uxyogdzp.manus.space/

Если вы продакт-менеджер или техлид, который пытается понять, как внедрить AI в продукт - здесь куча готовых решений. Видите, как Netflix персонализирует контент через LLM, как LinkedIn улучшает поиск, как Discord ускоряет разработку.

Если вы инженер, который строит AI-систему - тут архитектурные решения от тех, кто уже наступил на грабли. Как масштабировать, как оптимизировать latency, как бороться с галлюцинациями.

Если вы стартапер, который ищет идеи - листайте по отраслям и смотрите, что еще никто не делает в вашей нише.

В общем, вы знаете что делать (добавляйте в закладки)
Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
(Сделайте потише динамики)

Google выкатил MagentaRT модельку для генерации музыки в реальном времени – я поигрался и прям залип; запускается она сейчас не очень удобно, но будет очень классно когда кто-то обернет это в простой интерфейс

Как в видео, модель может играть бесконечно, сама меняя рисунок композиции – ждем новый уровень музыки для лифтов / магазинов / кафе

Модель | Google Colab для запуска | Анонс
Forwarded from Denis Sexy IT 🤖
Типичный_совет_от_онлайн курсов_по_чатгпт.jpg
Forwarded from Daniilak — Канал
6 инструментов для преобразования кода в диаграммы

Diagrams — универсальный инструмент для создания различных диаграмм с использованием текстового кода, поддерживающий Python и JavaScript
Mermaid — использует синтаксис, похожий на Markdown, для генерации блок-схем, последовательностных диаграмм и диаграмм Ганта
Markmap — использует Markdown-синтаксис для визуализации структуры и связей идей или кода
ASCIIFlow — инструменты для создания диаграмм в формате ASCII-арта с использованием обычного текста, такие как asciiflow и Monodraw
PlantUML — популярный инструмент с открытым исходным кодом для создания диаграмм классов, активности и развертывания, поддерживающий множество языков программирования
GoDiagram — аналог Diagrams, но на языке Go

#сервисы@daniilak