Что такое RAG
Последнее время в sprouty.app мы изучаем RAG в LLM. Что это такое, почему не подходит метод fine tuning модели, а также зачем нам это, разберу в это посте.
Если просто, то у LLM есть 3 проблемы:
- Размер контекстного окна;
- Устаревание информации;
- Отсутствие информации в обучающем датасете.
Fine tuning или дообучение унаследывает их, при этом также дообучение стоит немалых денег.
Что же делать, если к примеру, мы хотим добавить в ответ от LLM данные каждого пользователя о его малыше (режим сна, основные этапы роста) или персонализированный контент (как спать, как кормить, как гулять, как купать и тд)? В этом случае на помощь приходит RAG (Retrieval Augmented Generation). В случае RAG можно при каждом запросе доставать нужные актуальные данные из своей базы в реал-тайме, причем уникальные данные для каждого пользователя, чтобы устранять все три проблемы выше.
Вот базовый видосик с разбором как работает RAG.
Думаю, что по мере погружения в тему, и по мере внедрения этой технологии в наш продукт буду писать подробнее как это работает и в каких случаях это стоить использовать.
Последнее время в sprouty.app мы изучаем RAG в LLM. Что это такое, почему не подходит метод fine tuning модели, а также зачем нам это, разберу в это посте.
Если просто, то у LLM есть 3 проблемы:
- Размер контекстного окна;
- Устаревание информации;
- Отсутствие информации в обучающем датасете.
Fine tuning или дообучение унаследывает их, при этом также дообучение стоит немалых денег.
Что же делать, если к примеру, мы хотим добавить в ответ от LLM данные каждого пользователя о его малыше (режим сна, основные этапы роста) или персонализированный контент (как спать, как кормить, как гулять, как купать и тд)? В этом случае на помощь приходит RAG (Retrieval Augmented Generation). В случае RAG можно при каждом запросе доставать нужные актуальные данные из своей базы в реал-тайме, причем уникальные данные для каждого пользователя, чтобы устранять все три проблемы выше.
Вот базовый видосик с разбором как работает RAG.
Думаю, что по мере погружения в тему, и по мере внедрения этой технологии в наш продукт буду писать подробнее как это работает и в каких случаях это стоить использовать.
YouTube
Что такое RAG в LLM и причём тут векторные базы данных
В этом видео я простым языком рассказываю, что такое RAG-система (Retrieval Augmented Generation) — один из самых эффективных способов интеграции актуальных данных в LLM-модели (например, ChatGPT). На практических примерах показываю, как работает поиск и…
❤10👍6🔥6🎉4
Если каждый созвон в вашей команде — это уже кейс на разбор, пора отказаться от старых подходов.
Современным компаниям сегодня важно не просто заменить иностранное на российское, а выбрать то, что реально работает и упрощает процессы.
🔥 🔥 🔥 🔥 🔥 — это платформа корпоративных коммуникаций, которая объединяет видеозвонки, совместную работу с документами и проведение онлайн-конференций с числом участников до 100 тысяч человек. Решение изначально спроектировано с прицелом на безопасность: предусмотрены шифрование, гибридные сценарии использования, а также интеграция с DLP- и SIEM-системами.
Как DION используют лидеры рынка:
— Один из ТОП-5 банков проводит 15 000+ защищенных конференций ежедневно.
— Крупнейший медиахолдинг использует DION для организации прямых включений своих корреспондентов.
— Ведущая авиакомпания сократила время на переключение между разными каналами коммуникаций и бронирует переговорные комнаты с помощью DION.Rooms.
— Российский разработчик инфраструктурного ПО выбрал DION как основную платформу для корпоративных коммуникаций.
Платформа масштабируется до 100 тысяч пользователей, выдерживает одновременную работу более 5000 человек, поддерживает катастрофоустойчивые конфигурации и доступна как в облаке, так и в гибридном или on-premises-режиме.
Платформа доступна для бесплатного тестирования → diongo.ru
Для компаний от 120+ пользователей предусмотрены спецусловия.
Информация о рекламодателе.
Современным компаниям сегодня важно не просто заменить иностранное на российское, а выбрать то, что реально работает и упрощает процессы.
Как DION используют лидеры рынка:
— Один из ТОП-5 банков проводит 15 000+ защищенных конференций ежедневно.
— Крупнейший медиахолдинг использует DION для организации прямых включений своих корреспондентов.
— Ведущая авиакомпания сократила время на переключение между разными каналами коммуникаций и бронирует переговорные комнаты с помощью DION.Rooms.
— Российский разработчик инфраструктурного ПО выбрал DION как основную платформу для корпоративных коммуникаций.
Платформа масштабируется до 100 тысяч пользователей, выдерживает одновременную работу более 5000 человек, поддерживает катастрофоустойчивые конфигурации и доступна как в облаке, так и в гибридном или on-premises-режиме.
Платформа доступна для бесплатного тестирования → diongo.ru
Для компаний от 120+ пользователей предусмотрены спецусловия.
Информация о рекламодателе.
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉6👍5❤1🔥1👏1
a16z speedrun
Мы второй раз подались на программу a16z speedrun. Это новая программа, которую совсем недавно запустил фонд a16z для стартапов, которые переросли стадию YC комбинатора (5% за $150к, то есть оценка в $3млн max). Сейчас идет сбор заявок на 6й батч программы.
И меня привлекла статья от Andrew Chan (управляющего партнера этой программы и a16z фонда в целом).
В ней он рассказывает, что ценит фонд на разных стадиях развития стартапа. Добавлю от себя также комментарии к каждому раунду.
- Pre-seed - Bet on the team. Основная ставка идет только на команду. Предпочтение отдается командам, где есть серийные предприниматели, которые уже делали успешный exit из предыдущих компаний. Либо фаундерам у которых глубокая экспертиза в домене стартапа. То есть вы работали 20 лет в финтехе и начали делать финтех стартап.
- Seed - Bet on the product. На seed'е ставка уже делается на сам продукт. TAM/SAM/SOM, какая ниша и т.д. Есть ли конкуренты и какие перспективы.
- Series A - Bet on the traction. Ключевая метрика это month-over-month рост. Показываете +100% и все фонды у ваших ног. Хороший пример - это cursor, там проценты фантастические были на раунде A.
- Series B - Bet on the revenue. Раунд А должен быть взять чтобы максимально разогнать выручку и маркетинг, для максимального захвата рынка. Revenue/ARR/MAU - это метрики этого раунда.
- Series C - Bet on the unit economics. Самый интересный раунд о который многие споткнулись. Продавать рубль за 90 копеек можно с огромным revenue, но положительной юнит-экономикой тут и не пахнет. А перестроить всю компанию и продукт часто не получается. Многие стартапы живут годы с отрицательной юнит экономикой. Примеры: Uber/y.taxi до захвата монополии.
Мы второй раз подались на программу a16z speedrun. Это новая программа, которую совсем недавно запустил фонд a16z для стартапов, которые переросли стадию YC комбинатора (5% за $150к, то есть оценка в $3млн max). Сейчас идет сбор заявок на 6й батч программы.
И меня привлекла статья от Andrew Chan (управляющего партнера этой программы и a16z фонда в целом).
В ней он рассказывает, что ценит фонд на разных стадиях развития стартапа. Добавлю от себя также комментарии к каждому раунду.
- Pre-seed - Bet on the team. Основная ставка идет только на команду. Предпочтение отдается командам, где есть серийные предприниматели, которые уже делали успешный exit из предыдущих компаний. Либо фаундерам у которых глубокая экспертиза в домене стартапа. То есть вы работали 20 лет в финтехе и начали делать финтех стартап.
- Seed - Bet on the product. На seed'е ставка уже делается на сам продукт. TAM/SAM/SOM, какая ниша и т.д. Есть ли конкуренты и какие перспективы.
- Series A - Bet on the traction. Ключевая метрика это month-over-month рост. Показываете +100% и все фонды у ваших ног. Хороший пример - это cursor, там проценты фантастические были на раунде A.
- Series B - Bet on the revenue. Раунд А должен быть взять чтобы максимально разогнать выручку и маркетинг, для максимального захвата рынка. Revenue/ARR/MAU - это метрики этого раунда.
- Series C - Bet on the unit economics. Самый интересный раунд о который многие споткнулись. Продавать рубль за 90 копеек можно с огромным revenue, но положительной юнит-экономикой тут и не пахнет. А перестроить всю компанию и продукт часто не получается. Многие стартапы живут годы с отрицательной юнит экономикой. Примеры: Uber/y.taxi до захвата монополии.
🔥8👍6❤5🎉3