Chat with RTX - настольное приложение от NVIDIA, которое позволяет запустить локальную LLM на видеокартах NVIDIA GeForce RTX 30 серии и выше, которая работает с вашими локальными данными при помощи RAG

Работает на Windows 11. Для работы приложение также требуется видеокарта RTX 3000 или 4000 серии с минимум 8 Гб видеопамяти, а также 16 гигабайт оперативной памяти.

Интересно было бы попробовать в связке с second brain, я давно думал об этом, но не хотелось раскрывать свои личные данные OpenAI и другим публичным LLM.

Скачать можно с официального сайта Nvidia

@devstryai

📝Usecase: Writing code annotations

У нас новый юзкейс, спасибо @melko_u за контрибьюцию.

Проблема:
Модель дает слишком абстрактные и водянистые аннотации.

Что сработало:

Во-первых базовые рекомендации типа разбивать задачу на подзадачи и контролировать контекст.

Во-вторых проработка примеров итеративно. Сначала взять рузультат от LLM как есть, подправить его, и приложить его к следующему запросу. LLM выдаст результат лучше, но не идеально, поправить его еще раз и приложить к следующему запросу как второй пример, и с двумя примерами модель начинает работать отлично.

В-третьих итеративно сокращать результат. Очень часто GPT уносит в глубокие рассуждения и он генерирует много воды. Слова "keep short" and "be concise" не всегда работают. Тогда мы применяем суммаризующий промпт итеративно несколько раз до получения нужного результата.

Полное описание можно найти тут

@devstryai

📝 UPD: Контрибьюторы, бизнес кейс, продакт менеджмент

На этой неделе начинаю активно общаться и искать контрибьютеров. Уже четыре человека выразили желание помочь с проектом, пообщаюсь сначала с ними.

Чтоб не приходить с пустыми руками к людям, я начал описывать бизнес кейс. Описал там общую идею проекта, ценности, цели и примерный роадмеп.

Самое главное - проект будет разрабатываться по принципам Open Startup и с упором на зарабатываение денег.

🫡 Вынес 4 главные ценности:

1. Compensation for Work: We don't work for free and never request others to do so. We aim to make money from day 1.
2. AI-Driven Development: We practice what we preach. Every task begins with the question, "How can we use AI here?"
3. Open Startup: We adhere to principles of transparency, community engagement, and open metrics.
4. Feedback and Continuous Improvement: We actively seek feedback, understanding that negative responses can often be more valuable than positive ones.

💰 По поводу денег - в понедельник презентую коммерческое предложение первому клиенту, до конца месяца планирую найти еще.

Помимо очевидной функции бизнес кейса - радовать глаз любого проджекта, я хочу его использовать активно как контекст для ChatGPT в рамках AI Driven Product Management для всех последующих запросов.

👉 Почитать документ можно тут, как всегда, жду вашей критики и комментариев.

Если вы заинтересованы в участии в проекте, пишите @romankaganov

@devstryai

🤖Технологическая сингулярность

Прочитал тут 3 научных публикации в которых ученые озадачивались когнитивными функциями LLM и их способностью думать как человек.

Using Large Language Models to Simulate Multiple Humans
and Replicate Human Subject Studies:

В этом исследовании ученые предложили новый тип теста - Эксперимент Тьюринга, в отличии от Теста Тьюринга он проверяет может ли машина симулировать поведение групп людей, а не индивидумов.

Например, в эксперименте Ultimatum Game, где одному “человеку” предлагалось сделать предложение, а второму либо принять его, либо нет. Машина вела себя как человек, хотя математически верное решение - принимать каждое предложения. Даже больше, в эксперименте машина показывала корреляцию с человеческим поведением и по гендерному признаку, если давать ей мужские или женские имена!

Но есть один тест, который машина завалила - она палится, когда начинаешь спрашивать ее про какое то точное знание. Типа “ты 5 летняя девочка, представь свой полет на Луну. Сколько он займет?” Машина начинает доставать свои энциклопедические знания и щеголять ими.

Large Language Models Show Human Behavior
Это препринт, и в целом он повторяет сказанное выше, но мне понравилось что “процесс кодирования информации в таких моделях на основе AI приводит к ошибкам, которые также распространены среди людей, таким как уязвимость к вводящим в заблуждение вопросам, амнезия источника и чувствительность к небольшим изменениям в формулировке”

Emergent Analogical Reasoning in Large Language Models

В этой статье исследователи доказывают, что GPT-3 имеет способность абстрактно думать и проводить аналогии и справляется с этой задачей “лучше студентов колледжа в большинстве случаев, без какого либо предварительного обучения задаче”. Тут было была надежда, что человечество не в сухую проиграло битву, GPT-3 проиграла человеку в построении сложных аналогий между длинными историями, где нужно было выстраивать взаимосвязи между взаимосвязями и событиями. Но GPT-4 переиграло человека и тут, увы.

Что можно делать со знаниями выше?

Как писал раньше, можно создавать себе сколько угодно сабличностей и целые группы людей и обкатывать на них свои идеи, материалы, предложения. Я так, например, на днях обкатывал коммерческое предложение перед его презентацией клиенту. Очень полезно.

Ну что, напряглись?

Я вот напрягся, недавно пересматривал фильм Терминатор, он начинается с вида разрушенного Лос Анджелеса 2029 года.

А вообще мы входим в такую сингулярность, что не успели мы еще познать все глубины GPT-4, как выходит новая Gemini 1.5 Pro с просто невероятным контекстным окном, и которая работает тем лучше, чем больше контекст ты ей дашь. В чате @devstryai_chat скидывают ссылки на другую модель - Mistral, еще один новый зверь.

Как ни крути, либо вы осваиваете искусство владения AI и будете давать ему команды, либо вы в постепенно станете физическим интерфейсом aka ”агентом” AI. Первое, кстати, не исключает второе.

Если вам интересно внедрение AI в свою работу или бизнес, напишите мне @romankaganov

Иллюстрациии в комментариях 👇

@ctobuddy

#вакансия

Есть небольшой магазин одежды, которому требуется профессиональный контент. Сейчас схема стандартная - студия, модель, часы съемок. Но хочется ускорить и удешевить этот процесс.

Необходимо
1) Используя всю мощь современных нейросетей генерировать картинки с нашей одеждой, достойные промо кампаний. Не просто апскейл, а именно сюжетно, с виртуальной моделью.
2) Генерировать короткие вертикальные видосики с тем же контентом.

Кто-то знает таких специалистов?

Писать @eugenenikishov

🙈 Атаки на приватность в ML

Около года назад писал обзорную статью о различных атаках против на публичные/статистические данные.

Если коротко, то даже публикуя "обезличенные" и статистические данные, вы расскрываете какую то частичку персональных данных пользователей, и, используя статисчические данные в связке с другими данными, можно деанонимизировать пользователя.

Коротко я затронул в этой статье тему атак на приватность в Machine Learning.

Можно выделить 4 основных типа атак(источник):

- Membership inference attacks являются наиболее распространенным типом атаки, направлены на определение, использовался ли входной образец (например, индивидуум) в качестве части обучающего набора.

- Reconstruction attacks направлены на воссоздание одного или нескольких обучающих образцов и/или их соответствующих атрибутов. Некоторые атаки также используют общедоступные данные для выявления чувствительных атрибутов целевых лиц.

- Property inference attacks направлены на извлечение информации, которая была неумышленно изучена моделью и которая не связана с задачей обучения. Например, обученная модель выполняет классификацию по полу и может быть использована для определения, носят ли люди в обучающем наборе очки или нет; однако эта информация не была закодирована в качестве атрибута или метки набора данных.

- Model extraction attacks направлены на полное воссоздание атакуемой модели и ее замену. Эта модель может быть использована позже для выполнения других атак, например, Membership inference attacks, более эффективно с меньшим количеством запросов.

Те, кто дочитал до конца, найдут ссылку на Awesome Attacks on Machine Learning Privacy, там очень много конкретных примеров атак.

А если вы обучаете собственные модели и озадачились решением этой проблемы, то вам стоит почитать про дифференциальную приватность. У ребят из Гарварда есть целый набор инструментов для решения этой проблемы.

@devstryai

📝 Гайз, давайте коллективно наполним страничку про автокомплит.

Какие у вас есть советы/трюки по улучшению качества автокомплита. Что работает/не работает? Любые мысли

Сам Github вот советует подробно описывать задачу текстово аля промпт и вставлять его в начало файла или функции с которой работаешь. Тут есть резонный консерн, что часто кодом написать быстрее, чем словами, из которых потом генерируется код.

Но недавно в команде обсуждали, что чат не всегда улавливает контекст, даже когда ты его явно указываешь, и тогда задачу легче решить через автокомплит - скопировать нужные куски кода и вставить их комментарием перед функцией, которую пишешь. Тогда копайлот начинает давать релевантные предложения и функция пишется довольно быстро.

#вакансия

Дорогие друзья, наша команда @devstryai растет. На днях, когда все соберутся, я сделаю анонс.

Сейчас мы ищем дизайнера на парт-тайм работу.

Главные требования:
- Применение AI на всех этапах работы
- Работа на околосветовых скоростях

Задачи:
- Разработка корпоративного стиля
- Коммуникационный дизайн(обложки постов для разные соцсетей, иллюстрации к постам и тд)
- Разработка вебсайта на ноукод утилитах.

У нас тут в основном разработчики, но вы знаете кому пошерить.

Писать @romankaganov

@devstryai

#новости

Microsoft представляет Copilot AI чат-бот для Excel

- Microsoft представляет Copilot для финансов в наборе Microsoft 365, направленный на автоматизацию финансовых задач, таких как дисперсионный анализ, ускорение сборов и управление счетами-фактурами, чтобы облегчить и сделать более эффективной роль финансовых специалистов.

- Copilot для финансов использует обработку естественного языка для задач, таких как дисперсионный анализ в Excel, предлагая просмотр финансовых результатов и упрощение аудитов и финансовой отчетности путем извлечения данных из ERP и финансовых систем.

- Инструмент является частью расширения Microsoft генеративного ИИ по всему своему набору продуктов, включая Microsoft 365 и Dynamics 365, с общедоступным предварительным просмотром для пользователей, для изучения возможностей.

https://siliconangle.com/2024/02/29/microsoft-introduces-generative-ai-copilot-finance-teams/

Царь-промпт: Meta-prompting

Совсем недавно(23 Jan 2024) вышла бумага с новым подходом к промптингу для решения сложных задач - Meta-prompting.

Meta-prompting - это мета эксперт во всех областях, который разбивает задачу на подзадачи, создает себе других доменных экспертов, которых посчитает нужными для решения задачи, и оркестрирует коммуникацию между ними.

Такой подход бьет как простые техники промптинга типа Chain-of-Thoughts, Expert prompting, так и более продвинутую Multi-persona prompting, в особенности если у мета-эксперта также есть доступ к интерпретатору Python кода.

В Multi-persona prompting, агенты общаются напрямую друг с другом, в Meta-prompting все диалоги проходят через главного оркестратора. Все как в реальной жизни - топим за Agile и самоорганизующиеся команды, но хорошо, когда есть проджект 🙂

Авторы статьи утверждают, что такой подход освобождает пользователей от необходимости предоставлять подробные примеры или конкретные инструкции для каждой отдельной задачи, делая работу с ИИ гораздо более удобной и эффективной.

Если интересно почитать про разные техники промптинга, то рекомендую хороший ресурс.

Ну и конечно же рекомендую перейти на оригинальную статью, там есть пример такого мета-промпта.

@ctobuddy

😎 Про тип для промптинга

Проводил сегодня воркшоп по решению конкретного узкоспециализированного кейса с использованием LLM.

Пришел интересный инсайт:

Сложные промпты желательно писать вдвоем. Один - специалист в области, второй - вообще ничего не знает по теме и задаче.

Как мы уже писали, ChatGPT - это сообразительный джун после универа, который все знает, все умеет, но ничего не знает о вашей задачe. Важно описать эту задачу как можно более подробно. У профильного специалиста могут возникнуть с этим сложности из за professional bias.

Тут на помощь приходит второй человек, который выступает в роли джуна и может сказать: "вот тут я не понял, давай перефразируем", другими словами, заменяет обратную связь от LLM.

Если у вас есть кейс, который у вас не получается решить самому, записывайтесь на разбор с @romankaganov

@devstryai

📢 Важная информация! Европейский союз готовится к выпуску первого полноценного закона для регулирования ИИ


Мы подготовили краткий разбор (Полная версия доступна по ссылке.

🔍 Цели и ответственность:
- Штрафы могут достигать 7% от годового оборота или €35 млн за нарушения в области ИИ.
- Цели закона включают обеспечение безопасности и соблюдения прав человека, а также стимулирование инвестиций и инноваций в области ИИ.

📋 Основные тезисы:
1. Классификация ИИ по уровню риска.
2. Большинство обязательств по Закону о ИИ лежат на поставщиках (разработчиках) систем ИИ с высоким риском
3. Общецелевые модели ИИ (GPAI) не подлежат жесткому регулированию.
4. Пользователи (развертыватели) систем ИИ с высоким риском также имеют определенные обязательства.

🔗 Полезные ссылки:
- Разобранный текст закона и интерпретация статей.
- Инструмент для проверки соответствия.

Если вы заинтересованы в безопасном и понятном внедрении ИИ в свои процессы записывайтесь на разбор с @romankaganov 🤖

📝 Use case: Autocomplete using Local Language Model (LLM) and Open-Source Tools

Хороший человек @Sovamorco последнее время экспериментировал с опенсорс утилитами и моделями для автодополнения кода и поделился с нами своим сетапом.

TLDR: Ollama+Continue+deepseek-coder 6.7b+open-webui

Накидайте огонечков 🔥 за проделанную работу. Если вам есть что добавить, то обязательно оставляйте комментарии 👇

🗜Tool: Deepinfra

Еще один хороший человек @grayskripko проделал большую работу по анализу инфраструктуры для деплоя опенсорсных и собственных LLM и поделился с нами своим выбором - Deepinfra.

TLDR:
- У Deepinfra уже задеплоены наиболее популярные опенсорс модели любых размеров. Можно быстро экспериментировать с нужными
- Хорошие цены за 1м токенов, и что самое важное - цены одинаковы за входящие и исходящие токены
- Они используют интерфейс OpenAI SDK, не нужно изучать новую документацию

Страница в базе

Накидайте классов этому господину 👍

@devstryai

🗜Tool: Continue

Гайз, я тут делаю сравнение по всем IDE плагинам для автокомплита, и опенсорсный Continue выглядит просто лидером по управлению контекста. Мало того, что у них просто куча готовых провайдеров, включая поиск в гугле, джире, схемы SQL и тд, так можно еще и свои добавлять.

- Git Diff: Retrieves all changes made to the current branch.
- Terminal: Brings the IDE's terminal contents into context.
- Documentation: Indexes and retrieves snippets from documentation sites.
- Open Files: References contents from all open files or only pinned ones.
- Codebase Retrieval: Automatically retrieves the most relevant code snippets from your codebase.
- Folders: Works like codebase retrieval but is limited to a single folder.
- Exact Search: Uses ripgrep-powered search results from the codebase as context.
- File Tree: Displays the project's nested directory structure.
- Google: Uses Google search results as context.
- GitHub Issues: Includes conversations from GitHub issues.
- Jira Issues: Includes conversations from Jira issues.
- Code Outline: References the outline of all currently open files, including function and class definitions.
- Code Highlights: Refers to 'highlights' from open files, computed using the 'repomap' technique.
- PostgreSQL: References the schema and sample rows from PostgreSQL tables.
- Database Tables: References table schemas from various databases, including PostgreSQL, MySQL, SQLite.

@devstryai

🏆 Друзья, подготовил сравнительную табличку по AI ассистентам.

В первую очередь смотрел на возможности чата по управлению контекстом и используемые модели. И для бизнеса также важна возможность развернуть локально.

Есть у вас что добавить по критериям сравнения?

@devstryai

#вакансия

На большой энтерпрайз проект требуется ML эксперт

“Поразмыслив, я предлагаю сфокусироваться на, фактически, единственном бизнес-кейсе, который внутри в нашей компании понятен абсолютно всем, и с которым никто не будет спорить. Это кейс переписывания скрипта SQL с одного диалекта (PL/SQL, T-SQL, вариант SQL в Vertica, вариант SQL в Teradata) на другой (PL/pgSQL, вариант SQL в Clickhouse, Spark SQL). Возможно, для правильной реализации этого кейса потребуется реализовать также миграцию модели данных из одного диалекта в другой (по большому счёту это подзадача, т.к. любой диалект содержит как DML, так и DDL-нотации). Желательно разбить этот кейс на понятные шаги - согласование целевых показателей производительности и параллелизма, сайзинг и развёртывание модели, согласование списка источников информации для добучения и тюнинга, и их проведение, реализацию RAG, интеграция в GUI какого-нибудь нашего портала поддержки, создание документации решения, создание инструкции по добавлению новых диалектов, проведение приёмо-сдаточных испытаний, включающих функциональное и нагрузочное тестирования.”

Ограничения:
1. Только локальные модели можно использовать, опенсорсные соответственно
2. Проблема в том что у нас нет опыта файнтюнинга модель через перестановку весов модели
3. Необходимо большое контекстное меню, непонятно как заэмбедить документы

*Предстоит выбор: самой LLM, модели для эмбеддинга, настройки параметров для токенизации, параметры эмбеддинга, промпт-инжиниринга.

За деталями пишите в личку @romankaganov