Forwarded from Neural Kovalskii
Удивил меня Github отсутствием адекватных готовых серверов под Т5 модели с поддержкой OpenAI API
vLLM вообще решил не выпускать поддержку
Спасибо Никите подкинул пример я дописал через Cursor и упаковал в docker-compose
Запустил на своем сервере в 3 инстанса модель
Без токена можно попробовать протестировать свой RAG или один из доступных кейсов:
API: https://emb-frida.neuraldeep.tech/docs#/
Префиксы
API полностью совместим с OpenAI embeddings API, что позволяет легко интегрировать модель с существующими RAG-системами и LangChain/LlamaIndex фреймворками.
vLLM вообще решил не выпускать поддержку
Спасибо Никите подкинул пример я дописал через Cursor и упаковал в docker-compose
Запустил на своем сервере в 3 инстанса модель
Без токена можно попробовать протестировать свой RAG или один из доступных кейсов:
API: https://emb-frida.neuraldeep.tech/docs#/
curl -X 'POST' \
'https://emb-frida.neuraldeep.tech/embed_batch' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"texts": [
"Кошка", "Cобака", "Птичка"
],
"prompt_name": "paraphrase"
}'
Префиксы
1. Семантический поиск - создание поисковых систем с пониманием контекста на русском и английском языках (используя префиксы search_query/search_document)
2. Определение дубликатов контента - автоматическое выявление похожих текстов с разными формулировками (paraphrase)
3.Классификация документов - автоматическое определение тематик документов или категоризация текстов (categorize_topic)
4. Анализ тональности - определение эмоциональной окраски текстов (categorize_sentiment)
5. NLI (определение логических взаимосвязей) - установление логических отношений между текстами (categorize_entailment)
API полностью совместим с OpenAI embeddings API, что позволяет легко интегрировать модель с существующими RAG-системами и LangChain/LlamaIndex фреймворками.
🔥2❤🔥1
Получилось сделать интересный прототип агента с возможностью получить csv таблицу из изображения по запросу пользователя в чат режиме.
1. Агент понимает потребность, использует инструмент для передачи изображения в модель распознавания текста на картинке и передает ему путь к файлу.
2. Инструмент распознавания возвращает агенту markdown текст таблицы.
3. Агент передает этот результат к следующему инструменту,
Который преобразует этот markdown текст в подходящий формат для сохранения в CSV и сохраняет в папку.
Чертовски рад)
"Преобразуй изображение в таблицу: ./images/cartochka.png"
1. Агент понимает потребность, использует инструмент для передачи изображения в модель распознавания текста на картинке и передает ему путь к файлу.
2. Инструмент распознавания возвращает агенту markdown текст таблицы.
3. Агент передает этот результат к следующему инструменту,
Который преобразует этот markdown текст в подходящий формат для сохранения в CSV и сохраняет в папку.
Чертовски рад)
🔥6
Сегодня у меня был первый этап собеседования в Яндекс.
Впечатления весьма размыты.
Мне очень понравился человек, с кем я общался, очень приятный и добрый парень.
Помогал наводящими вопросами, крайними случаями для алгоритмов и вообще мы в диалоге хорошо провели время решая задачу.
Это в целом необычный опыт, когда на собеседовании вообще никакого стресса.
Из смешанного:
1. Мы должны были пройти 2 задачи, а прошли только 1, но с расширенными изменениями и несколькими подходами, Но всё равно считаю, что это мой минус.
2. Я подаюсь на должность в сфере ML AI, но собес всё же был алгоритмический, видать у Яндекса этого не отнять)
В целом считаю опыт полезным и важным.
Я точно начал себя увереннее чувствовать. Последний месяц с собесами очень сильно меня аппнул в коммуникации.
Впечатления весьма размыты.
Мне очень понравился человек, с кем я общался, очень приятный и добрый парень.
Помогал наводящими вопросами, крайними случаями для алгоритмов и вообще мы в диалоге хорошо провели время решая задачу.
Это в целом необычный опыт, когда на собеседовании вообще никакого стресса.
Из смешанного:
1. Мы должны были пройти 2 задачи, а прошли только 1, но с расширенными изменениями и несколькими подходами, Но всё равно считаю, что это мой минус.
2. Я подаюсь на должность в сфере ML AI, но собес всё же был алгоритмический, видать у Яндекса этого не отнять)
В целом считаю опыт полезным и важным.
Я точно начал себя увереннее чувствовать. Последний месяц с собесами очень сильно меня аппнул в коммуникации.
🔥3
Китайская модель умеет в реальном времени по промпту генерировать изображения. За референс использовал голубя и медведя-упорыша.
Как же это быстро и классно. Даже страшно представить, что ребята будут уметь делать через год.
Как же это быстро и классно. Даже страшно представить, что ребята будут уметь делать через год.
1😁1
Продолжаем про Промпты.
5. Chain of Thought (CoT) Промптинг
Эта техника, которая улучшает способность языковых моделей к рассуждению, генерируя промежуточные шаги. Помогает модели давать более точные ответы.
CoT можно комбинировать с few-shot промптингом для достижения лучших результатов на более сложных задачах, требующих рассуждений.
Преимущество CoT:
- Интерпретируемость: можно увидеть шаги рассуждений модели.
Недостатки CoT:
Увеличивает количество выходных токенов(текста), что может повысить стоимость и время выполнения.
Пример без CoT:
Очевидно, что это неправильный ответ. LLM часто ошибаются в математических задачах.
Пример с CoT:
Теперь ответ правильный! А надо то было всего лишь указать, как размышлять, чтоб минимизировать шанс ошибок.
Вот такую классную технику вы теперь тоже знаете🕺
И рекомендую попробовать в любой используемой тобой LLM данный подход. Всё как всегда.⌨️
5. Chain of Thought (CoT) Промптинг
Эта техника, которая улучшает способность языковых моделей к рассуждению, генерируя промежуточные шаги. Помогает модели давать более точные ответы.
CoT можно комбинировать с few-shot промптингом для достижения лучших результатов на более сложных задачах, требующих рассуждений.
Преимущество CoT:
- Интерпретируемость: можно увидеть шаги рассуждений модели.
Недостатки CoT:
Увеличивает количество выходных токенов(текста), что может повысить стоимость и время выполнения.
Пример без CoT:
Вопрос: Когда мне было 3 года, моему партнёру было 3 раза больше моего возраста. Сейчас мне 20 лет. Сколько лет моему партнёру?
Ответ: 63 года.
Очевидно, что это неправильный ответ. LLM часто ошибаются в математических задачах.
Пример с CoT:
Вопрос: Когда мне было 3 года, моему партнёру было 3 раза больше моего возраста. Сейчас мне 20 лет. Сколько лет моему партнёру? Давайте думать по шагам.
Ответ:
Моя текущая возраст — 20 лет.
Когда мне было 3 года, моему партнёру было 3 * 3 = 9 лет.
С тех пор прошло 20 - 3 = 17 лет.
Возраст партнёра увеличился на 17 лет.
Текущий возраст партнёра: 9 + 17 = 26 лет.
Теперь ответ правильный! А надо то было всего лишь указать, как размышлять, чтоб минимизировать шанс ошибок.
Вот такую классную технику вы теперь тоже знаете
И рекомендую попробовать в любой используемой тобой LLM данный подход. Всё как всегда.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
А вот и Claude обновили пулл своих моделей и это будет огромной новостной бомбой.
Так что кратко о произошедшем:
Сильный упор на агентские системы, выпустили инструмент в OpenSource для построения агентов самостоятельно.
Звучит круто!
Так что кратко о произошедшем:
Claude Opus 4 — лучшая в мире модель кодирования, обеспечивающая устойчивую производительность при выполнении сложных, длительных задач и рабочих процессов агентов. Claude Sonnet 4 — это значительное обновление Claude Sonnet 3.7, обеспечивающее превосходное кодирование и обоснование, а также более точную реакцию на ваши инструкции.
Сильный упор на агентские системы, выпустили инструмент в OpenSource для построения агентов самостоятельно.
Звучит круто!
claude.ai
Talk with Claude, an AI assistant from Anthropic
❤3
SimpleAGI
А вот и Claude обновили пулл своих моделей и это будет огромной новостной бомбой. Так что кратко о произошедшем: Claude Opus 4 — лучшая в мире модель кодирования, обеспечивающая устойчивую производительность при выполнении сложных, длительных задач и рабочих…
Я попробовал Claude Opus 4 в Copilot VSCode.
Друзья, Я в ауте. Уверен, что это новая веха в индустрии.
Ставлю на то, что телеграмм несколько месяцев не будет утихать!
Я пол дня писал проект про сбору страниц с сайтов документаций библиотек.
Opus Исправил все мои ошибки буквально за 2 промпта без использования каких-либо системных сообщений, просто в режиме чата.
Это что-то на уровне мечтаний.
Друзья, Я в ауте. Уверен, что это новая веха в индустрии.
Ставлю на то, что телеграмм несколько месяцев не будет утихать!
Я пол дня писал проект про сбору страниц с сайтов документаций библиотек.
Opus Исправил все мои ошибки буквально за 2 промпта без использования каких-либо системных сообщений, просто в режиме чата.
Это что-то на уровне мечтаний.
🤔4🔥2
6. Tree of Thoughts
Техника, где LLM строит целое дерево рассуждений, а не одну прямую цепочку. Смотри картинку выше: слева — привычный CoT, справа — ToT со множеством веток.
Почему это важно?
Когда задача сложная и требует поиска, одной тропинки мало. ToT даёт модели:
- Исследование: несколько параллельных путей → больше шансов найти правильное решение.
- Оценку: можно “проголосовать”, какая ветка логичнее.
- Гибкость: легко обрубить бесперспективные ветки и углубиться в перспективные.
Как работает ToT (упрощённо)
Плюсы
- Более точные решения на задачах с поиском (головоломки, планирование, код).
- Возможность визуализировать ход мысли — полезно для дебага.
Вот пример использования и ответ.
Запрос
Ответ длинный и интересный, так что прикладываю ссылку на него, открывать с VPN
Тык
Техника, где LLM строит целое дерево рассуждений, а не одну прямую цепочку. Смотри картинку выше: слева — привычный CoT, справа — ToT со множеством веток.
Почему это важно?
Когда задача сложная и требует поиска, одной тропинки мало. ToT даёт модели:
- Исследование: несколько параллельных путей → больше шансов найти правильное решение.
- Оценку: можно “проголосовать”, какая ветка логичнее.
- Гибкость: легко обрубить бесперспективные ветки и углубиться в перспективные.
Как работает ToT (упрощённо)
1. Стартуем с входа (Input)
2. Генерируем 3-5 «мыслей» = промежуточных шагов
3. Для каждой мысли снова рожаем варианты
4. Повторяем, пока не дойдём до глубины N
5. Сравниваем листовые узлы, берём самый адекватный
6. Выводим ответ
Плюсы
- Более точные решения на задачах с поиском (головоломки, планирование, код).
- Возможность визуализировать ход мысли — полезно для дебага.
Вот пример использования и ответ.
Запрос
Ты — эксперт-логист. Реши задачу
Используй Tree of Thoughts с k=3, max_depth=4
На каждом узле выводи краткую оценку
В финале дай оптимальный маршрут и поясни выбор
Задача: найти кратчайший путь между двумя городами.
ToT: модель сразу предлагает 3 маршрута, на втором уровне уточняет расстояния, на третьем сравнивает пробки и стоимость, в финале выдаёт оптимальный.
Ответ длинный и интересный, так что прикладываю ссылку на него, открывать с VPN
Тык
🔥6👏2
За последние дни я раскрыл серию постов, которые раз и навсегда изменят твой подход к работе с нейросетями! Ты узнаешь:
✅ Что такое Zero-shot, One-shot и Few-shot промпты — и почему от них зависит точность модели.
Пост №1
✅ Чем Системный промпт отличается от Контекстного промпта и как использовать оба, чтобы получать идеально подходящие ответы.
Пост №2
✅ Почему Chain of Thought (CoT) — настоящий прорыв, который поможет тебе не только получить точный ответ, но и понять ход рассуждений модели.
Пост №3
✅ И самое продвинутое — Tree of Thoughts, техника, которая заставит твою модель мыслить многомерно и выдавать решения даже для самых сложных задач.
Пост №4
Поверь, после этой серии твоя продуктивность и качество общения с нейросетями взлетят до небес.
Рекомендую пройти весь цикл постов, чтобы не упустить важнейшие детали!
Пост "Кто я такой", будем дружить)
✅ Что такое Zero-shot, One-shot и Few-shot промпты — и почему от них зависит точность модели.
Пост №1
✅ Чем Системный промпт отличается от Контекстного промпта и как использовать оба, чтобы получать идеально подходящие ответы.
Пост №2
✅ Почему Chain of Thought (CoT) — настоящий прорыв, который поможет тебе не только получить точный ответ, но и понять ход рассуждений модели.
Пост №3
✅ И самое продвинутое — Tree of Thoughts, техника, которая заставит твою модель мыслить многомерно и выдавать решения даже для самых сложных задач.
Пост №4
Поверь, после этой серии твоя продуктивность и качество общения с нейросетями взлетят до небес.
Рекомендую пройти весь цикл постов, чтобы не упустить важнейшие детали!
Пост "Кто я такой", будем дружить)
🔥5
Прошел интересный курс от IBM.
Можно сказать что прослушал и поотвечал на тесты успешно.
Всё же не поддается мне математика ну никак. В моменте понимаю, что происходит и буквально через мгновение - пустота)
Вообще считаю, что даже слушать курсы полезно, какая-то часть новой информации трансформируется в знания.
Можно сказать что прослушал и поотвечал на тесты успешно.
Всё же не поддается мне математика ну никак. В моменте понимаю, что происходит и буквально через мгновение - пустота)
Вообще считаю, что даже слушать курсы полезно, какая-то часть новой информации трансформируется в знания.
🔥5❤2
Последние дни разбирался с библиотекой Qdrant.
Это векторная база данных для работы с текстом(и не только).
Нужна для поиска и хранения текстов и последующим поиском релевантных фрагментов.
Написал проект с ней и намучился вдоволь⌨️
Ругался, матерился, отвлекался, ну всё, что происходит с каждым из нас. Чувство горящей жопы и чтение документации и соседних проектов в GitHub.
А чего мне не хватало? Так простого мануала для старта, что делать, чтоб посмотреть на быстрые результаты и закрепить мысль
"Это действительно удобно и практично, Я смогу разобраться!"
Так о чем я?
Написал такой мануал и предлагаю вам ознакомиться.
Даже если ты далек от подобного, посмотри на вывод кода и ячеек и станет понятно, что это за технологии такие и из чего строится процесс "программирования"
Это не так страшно, как кажется на берегу.
Возможно на базе этого мануала начнется твоя личная история погружения.
По крайней мере я на это надеюсь)
Всё же хочется делать что-то полезное для людей, а не только для работодателя.
Вот такое "Доброе утро, друзья"
❤️
Мануал
Это векторная база данных для работы с текстом(и не только).
Нужна для поиска и хранения текстов и последующим поиском релевантных фрагментов.
Написал проект с ней и намучился вдоволь
Ругался, матерился, отвлекался, ну всё, что происходит с каждым из нас. Чувство горящей жопы и чтение документации и соседних проектов в GitHub.
А чего мне не хватало? Так простого мануала для старта, что делать, чтоб посмотреть на быстрые результаты и закрепить мысль
"Это действительно удобно и практично, Я смогу разобраться!"
Так о чем я?
Написал такой мануал и предлагаю вам ознакомиться.
Даже если ты далек от подобного, посмотри на вывод кода и ячеек и станет понятно, что это за технологии такие и из чего строится процесс "программирования"
Это не так страшно, как кажется на берегу.
Возможно на базе этого мануала начнется твоя личная история погружения.
По крайней мере я на это надеюсь)
Всё же хочется делать что-то полезное для людей, а не только для работодателя.
Вот такое "Доброе утро, друзья"
Мануал
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
Qdrant_tutor/notebook.ipynb at main · nikitaCodeSave/Qdrant_tutor
Contribute to nikitaCodeSave/Qdrant_tutor development by creating an account on GitHub.
1❤5👏4❤🔥3
Сегодня столкнулся с до боли знакомой всем ситуацией.
В процессе работы над проектом, он тебе как родной и ты понимаешь каждую строчку. Пархаешь, как бабочка. Руки бегут быстрее мысли, фичи пилятся, баги фиксятся.
Но стоит только "забыть" о проекте на месяц - ВСЁ. Смотришь на код и вообще не в зуб ногой.
Надеюсь у тебя такое будет как можно реже)
В процессе работы над проектом, он тебе как родной и ты понимаешь каждую строчку. Пархаешь, как бабочка. Руки бегут быстрее мысли, фичи пилятся, баги фиксятся.
Но стоит только "забыть" о проекте на месяц - ВСЁ. Смотришь на код и вообще не в зуб ногой.
Надеюсь у тебя такое будет как можно реже)
1😁2
На ближайшее время (Возможно месяц-два), планы такие:
- не забить на изучение волшебного фреймворка pydantic-ai и написать еще пару домашних проектов. Про взаимодействие агентской системы я обязательно вам расскажу.
- Продолжить изучение Qdrat . Написать проект использующий гибридный поиск для работы с документами.
Это "домашние планы". А по работе:
- Развить задачу автоматизированного RAG для отделов менеджеров. Поиск и генерация ответов должны быть настроены максимально просто в рамках допущенных критериев точности. Это та самая задача, где нужно постараться не лезть на вершину передовых технологий, а использовать "старичков" с упором на стабильность.
Надеюсь, что после озвучивания планов вам, у меня появится ещё один пункт в мотивации этим заниматься⌨️
- не забить на изучение волшебного фреймворка pydantic-ai и написать еще пару домашних проектов. Про взаимодействие агентской системы я обязательно вам расскажу.
- Продолжить изучение Qdrat . Написать проект использующий гибридный поиск для работы с документами.
Это "домашние планы". А по работе:
- Развить задачу автоматизированного RAG для отделов менеджеров. Поиск и генерация ответов должны быть настроены максимально просто в рамках допущенных критериев точности. Это та самая задача, где нужно постараться не лезть на вершину передовых технологий, а использовать "старичков" с упором на стабильность.
Надеюсь, что после озвучивания планов вам, у меня появится ещё один пункт в мотивации этим заниматься
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤4🔥3
Я уже рассказывал про французскую модель Mistral.
Так вот в неё завезли агентов!
Это специализированные помощники на какие-то отдельные области\задачи.
Вот пример агента писателя)
Так еще есть возможность своих создавать.
И, судя по всему, это обновление уже доступно каждому.
Так что добро пожаловать в мир агентов!
Так вот в неё завезли агентов!
Это специализированные помощники на какие-то отдельные области\задачи.
Вот пример агента писателя)
Так еще есть возможность своих создавать.
И, судя по всему, это обновление уже доступно каждому.
Так что добро пожаловать в мир агентов!
1❤4
Предполагаю, что на этой неделе будут новости о новых RAG подходах завязанных на самообучении ретривера вне зависимости от модели генерации.
Либо я прав, либо нет) НО я прям верю!
RAG - Генерация с дополненным поиском. В целом - один из подходов промптинга, что мы обсуждали выше. Насыщаем промпт релевантным контекстом по вопросу, чтоб ответ модели был точнее.
Либо я прав, либо нет) НО я прям верю!
RAG - Генерация с дополненным поиском. В целом - один из подходов промптинга, что мы обсуждали выше. Насыщаем промпт релевантным контекстом по вопросу, чтоб ответ модели был точнее.
1