Участник канала прислал интересный материал.

Ребята из Codium провели исследование и создали довольно длинную цепочку из моделек для написания кода, во время которой система понимает задачу, дописывает под нее тесты, генерирует решения, выбирает лучшее, а потом подгоняет его под тесты(человеческие+ машинные)

Мы использовали Codium для написания юнит тестов, он справляется гораздо лучше Copilot, как раз за счет разбития задачи на шаги - сначала генирируются тесткейсы, а потом каждый тест генерируется отдельным запросом.

Пока что это только эксперимент на простых задачах из датасета, но уже можно делать определенные выводы и брать себе на заметку подход. Мы как раз хотели протестировать создание тесткейсов из документов, записей разговоров и тд, а по тесткейсам генерировать сами тесты и дальше код.

Что еще интересного можно взять:

- Semantic reasoning via bullet points analysis: Bullet points analysis encourages an in-depth understanding of the problem, and forces the model to divide the output into logical semantic sections, leading to improved results

- LLMs do better when generating a modular code: when asking the model to: "divide the generated code into small sub-functions, with meaningful names and functionality", we observe a better-produced code, with fewer bugs, and higher success rates for the iterative fixing stages.

@devstryai

📝 Шаблон описания тулзы

На примере Github Copilot хочу создать шаблон описания AI тулзы, чтоб под него описать все остальные и новые утилиты. Тогда будут понятные критерии сравнения похожих продуктов между собой.

Прошу посмотреть и дать свою обратную связь. Может что-то можно добавить, как в шаблон, так и по самому Copilot. Вы это можете сделать как в чате, так и в режиме комментирования в Notion.

@devstryai

📝 UPD Контекст в VSCode

Обновил описания работы контекста в VSCode(v1.86.0) c Github Copilot Chat(v0.12.0), в этой версии копайлот работает совершенно по другому по сравнению с предыдущей версией и JetBrains-like IDE.

В 0.12 версии нужно указывать контекст принудительно с помощью команд.

@devstryai

AI Driven Product Management

Проходил сегодня курс по продуктовому менеджменту с помощью AI от Игоря Акимова.

Я не профессиональный продакт, и для меня это было еще полезнее, ведь мы знаем, что AI помогает в освоении новой области знаний и позволяет джунам быть на уровень выше, чем они есть.

👉 Главный инсайт, который я получил

Есть исследование(Игорь обещал мне скинуть ссылку), где ученые психологи задавали вопросы ИИ и человеку. И их ответы коррелировали на 95%.

Что это значит? Что мы можем нагенерировать столько персон, сколько нам нужно и задавать им сколько угодно вопросов. Прощай эра кастдевов в том виде, как это было раньше. Я не перестану говорить с людьми, но скорее буду это делать вторым шагом.

Что дальше?

На курсе мы создали цепочку вызовов от проработки, юзкейса, создания персоны, анализа CJM, генерации и задавания вопросов, до анализа ответов. Все это сопровождалось постоянным ручным копипейстом контекста в chatGPT. Это дело и будем автоматизировать с помощью Langchain, добавлять в цепочку учителя, подключать внешний интернет и RAG с внутренней документацией.

Обкатывать хочу как на основном проекте, там у нас сложная задача по интеграции с американской банковской системой, так и на проекте @devstryai, где нужно находить product market fit.

Дополнительно для себя еще узнал как круто делать обучение с большим количеством практики и интерактивом. Беру на карандашик, когда нибудь запущу свой курс.

@devstryai

Chat with RTX - настольное приложение от NVIDIA, которое позволяет запустить локальную LLM на видеокартах NVIDIA GeForce RTX 30 серии и выше, которая работает с вашими локальными данными при помощи RAG

Работает на Windows 11. Для работы приложение также требуется видеокарта RTX 3000 или 4000 серии с минимум 8 Гб видеопамяти, а также 16 гигабайт оперативной памяти.

Интересно было бы попробовать в связке с second brain, я давно думал об этом, но не хотелось раскрывать свои личные данные OpenAI и другим публичным LLM.

Скачать можно с официального сайта Nvidia

@devstryai

📝Usecase: Writing code annotations

У нас новый юзкейс, спасибо @melko_u за контрибьюцию.

Проблема:
Модель дает слишком абстрактные и водянистые аннотации.

Что сработало:

Во-первых базовые рекомендации типа разбивать задачу на подзадачи и контролировать контекст.

Во-вторых проработка примеров итеративно. Сначала взять рузультат от LLM как есть, подправить его, и приложить его к следующему запросу. LLM выдаст результат лучше, но не идеально, поправить его еще раз и приложить к следующему запросу как второй пример, и с двумя примерами модель начинает работать отлично.

В-третьих итеративно сокращать результат. Очень часто GPT уносит в глубокие рассуждения и он генерирует много воды. Слова "keep short" and "be concise" не всегда работают. Тогда мы применяем суммаризующий промпт итеративно несколько раз до получения нужного результата.

Полное описание можно найти тут

@devstryai

📝 UPD: Контрибьюторы, бизнес кейс, продакт менеджмент

На этой неделе начинаю активно общаться и искать контрибьютеров. Уже четыре человека выразили желание помочь с проектом, пообщаюсь сначала с ними.

Чтоб не приходить с пустыми руками к людям, я начал описывать бизнес кейс. Описал там общую идею проекта, ценности, цели и примерный роадмеп.

Самое главное - проект будет разрабатываться по принципам Open Startup и с упором на зарабатываение денег.

🫡 Вынес 4 главные ценности:

1. Compensation for Work: We don't work for free and never request others to do so. We aim to make money from day 1.
2. AI-Driven Development: We practice what we preach. Every task begins with the question, "How can we use AI here?"
3. Open Startup: We adhere to principles of transparency, community engagement, and open metrics.
4. Feedback and Continuous Improvement: We actively seek feedback, understanding that negative responses can often be more valuable than positive ones.

💰 По поводу денег - в понедельник презентую коммерческое предложение первому клиенту, до конца месяца планирую найти еще.

Помимо очевидной функции бизнес кейса - радовать глаз любого проджекта, я хочу его использовать активно как контекст для ChatGPT в рамках AI Driven Product Management для всех последующих запросов.

👉 Почитать документ можно тут, как всегда, жду вашей критики и комментариев.

Если вы заинтересованы в участии в проекте, пишите @romankaganov

@devstryai

🤖Технологическая сингулярность

Прочитал тут 3 научных публикации в которых ученые озадачивались когнитивными функциями LLM и их способностью думать как человек.

Using Large Language Models to Simulate Multiple Humans
and Replicate Human Subject Studies:

В этом исследовании ученые предложили новый тип теста - Эксперимент Тьюринга, в отличии от Теста Тьюринга он проверяет может ли машина симулировать поведение групп людей, а не индивидумов.

Например, в эксперименте Ultimatum Game, где одному “человеку” предлагалось сделать предложение, а второму либо принять его, либо нет. Машина вела себя как человек, хотя математически верное решение - принимать каждое предложения. Даже больше, в эксперименте машина показывала корреляцию с человеческим поведением и по гендерному признаку, если давать ей мужские или женские имена!

Но есть один тест, который машина завалила - она палится, когда начинаешь спрашивать ее про какое то точное знание. Типа “ты 5 летняя девочка, представь свой полет на Луну. Сколько он займет?” Машина начинает доставать свои энциклопедические знания и щеголять ими.

Large Language Models Show Human Behavior
Это препринт, и в целом он повторяет сказанное выше, но мне понравилось что “процесс кодирования информации в таких моделях на основе AI приводит к ошибкам, которые также распространены среди людей, таким как уязвимость к вводящим в заблуждение вопросам, амнезия источника и чувствительность к небольшим изменениям в формулировке”

Emergent Analogical Reasoning in Large Language Models

В этой статье исследователи доказывают, что GPT-3 имеет способность абстрактно думать и проводить аналогии и справляется с этой задачей “лучше студентов колледжа в большинстве случаев, без какого либо предварительного обучения задаче”. Тут было была надежда, что человечество не в сухую проиграло битву, GPT-3 проиграла человеку в построении сложных аналогий между длинными историями, где нужно было выстраивать взаимосвязи между взаимосвязями и событиями. Но GPT-4 переиграло человека и тут, увы.

Что можно делать со знаниями выше?

Как писал раньше, можно создавать себе сколько угодно сабличностей и целые группы людей и обкатывать на них свои идеи, материалы, предложения. Я так, например, на днях обкатывал коммерческое предложение перед его презентацией клиенту. Очень полезно.

Ну что, напряглись?

Я вот напрягся, недавно пересматривал фильм Терминатор, он начинается с вида разрушенного Лос Анджелеса 2029 года.

А вообще мы входим в такую сингулярность, что не успели мы еще познать все глубины GPT-4, как выходит новая Gemini 1.5 Pro с просто невероятным контекстным окном, и которая работает тем лучше, чем больше контекст ты ей дашь. В чате @devstryai_chat скидывают ссылки на другую модель - Mistral, еще один новый зверь.

Как ни крути, либо вы осваиваете искусство владения AI и будете давать ему команды, либо вы в постепенно станете физическим интерфейсом aka ”агентом” AI. Первое, кстати, не исключает второе.

Если вам интересно внедрение AI в свою работу или бизнес, напишите мне @romankaganov

Иллюстрациии в комментариях 👇

@ctobuddy

#вакансия

Есть небольшой магазин одежды, которому требуется профессиональный контент. Сейчас схема стандартная - студия, модель, часы съемок. Но хочется ускорить и удешевить этот процесс.

Необходимо
1) Используя всю мощь современных нейросетей генерировать картинки с нашей одеждой, достойные промо кампаний. Не просто апскейл, а именно сюжетно, с виртуальной моделью.
2) Генерировать короткие вертикальные видосики с тем же контентом.

Кто-то знает таких специалистов?

Писать @eugenenikishov

🙈 Атаки на приватность в ML

Около года назад писал обзорную статью о различных атаках против на публичные/статистические данные.

Если коротко, то даже публикуя "обезличенные" и статистические данные, вы расскрываете какую то частичку персональных данных пользователей, и, используя статисчические данные в связке с другими данными, можно деанонимизировать пользователя.

Коротко я затронул в этой статье тему атак на приватность в Machine Learning.

Можно выделить 4 основных типа атак(источник):

- Membership inference attacks являются наиболее распространенным типом атаки, направлены на определение, использовался ли входной образец (например, индивидуум) в качестве части обучающего набора.

- Reconstruction attacks направлены на воссоздание одного или нескольких обучающих образцов и/или их соответствующих атрибутов. Некоторые атаки также используют общедоступные данные для выявления чувствительных атрибутов целевых лиц.

- Property inference attacks направлены на извлечение информации, которая была неумышленно изучена моделью и которая не связана с задачей обучения. Например, обученная модель выполняет классификацию по полу и может быть использована для определения, носят ли люди в обучающем наборе очки или нет; однако эта информация не была закодирована в качестве атрибута или метки набора данных.

- Model extraction attacks направлены на полное воссоздание атакуемой модели и ее замену. Эта модель может быть использована позже для выполнения других атак, например, Membership inference attacks, более эффективно с меньшим количеством запросов.

Те, кто дочитал до конца, найдут ссылку на Awesome Attacks on Machine Learning Privacy, там очень много конкретных примеров атак.

А если вы обучаете собственные модели и озадачились решением этой проблемы, то вам стоит почитать про дифференциальную приватность. У ребят из Гарварда есть целый набор инструментов для решения этой проблемы.

@devstryai

📝 Гайз, давайте коллективно наполним страничку про автокомплит.

Какие у вас есть советы/трюки по улучшению качества автокомплита. Что работает/не работает? Любые мысли

Сам Github вот советует подробно описывать задачу текстово аля промпт и вставлять его в начало файла или функции с которой работаешь. Тут есть резонный консерн, что часто кодом написать быстрее, чем словами, из которых потом генерируется код.

Но недавно в команде обсуждали, что чат не всегда улавливает контекст, даже когда ты его явно указываешь, и тогда задачу легче решить через автокомплит - скопировать нужные куски кода и вставить их комментарием перед функцией, которую пишешь. Тогда копайлот начинает давать релевантные предложения и функция пишется довольно быстро.

#вакансия

Дорогие друзья, наша команда @devstryai растет. На днях, когда все соберутся, я сделаю анонс.

Сейчас мы ищем дизайнера на парт-тайм работу.

Главные требования:
- Применение AI на всех этапах работы
- Работа на околосветовых скоростях

Задачи:
- Разработка корпоративного стиля
- Коммуникационный дизайн(обложки постов для разные соцсетей, иллюстрации к постам и тд)
- Разработка вебсайта на ноукод утилитах.

У нас тут в основном разработчики, но вы знаете кому пошерить.

Писать @romankaganov

@devstryai

#новости

Microsoft представляет Copilot AI чат-бот для Excel

- Microsoft представляет Copilot для финансов в наборе Microsoft 365, направленный на автоматизацию финансовых задач, таких как дисперсионный анализ, ускорение сборов и управление счетами-фактурами, чтобы облегчить и сделать более эффективной роль финансовых специалистов.

- Copilot для финансов использует обработку естественного языка для задач, таких как дисперсионный анализ в Excel, предлагая просмотр финансовых результатов и упрощение аудитов и финансовой отчетности путем извлечения данных из ERP и финансовых систем.

- Инструмент является частью расширения Microsoft генеративного ИИ по всему своему набору продуктов, включая Microsoft 365 и Dynamics 365, с общедоступным предварительным просмотром для пользователей, для изучения возможностей.

https://siliconangle.com/2024/02/29/microsoft-introduces-generative-ai-copilot-finance-teams/

Царь-промпт: Meta-prompting

Совсем недавно(23 Jan 2024) вышла бумага с новым подходом к промптингу для решения сложных задач - Meta-prompting.

Meta-prompting - это мета эксперт во всех областях, который разбивает задачу на подзадачи, создает себе других доменных экспертов, которых посчитает нужными для решения задачи, и оркестрирует коммуникацию между ними.

Такой подход бьет как простые техники промптинга типа Chain-of-Thoughts, Expert prompting, так и более продвинутую Multi-persona prompting, в особенности если у мета-эксперта также есть доступ к интерпретатору Python кода.

В Multi-persona prompting, агенты общаются напрямую друг с другом, в Meta-prompting все диалоги проходят через главного оркестратора. Все как в реальной жизни - топим за Agile и самоорганизующиеся команды, но хорошо, когда есть проджект 🙂

Авторы статьи утверждают, что такой подход освобождает пользователей от необходимости предоставлять подробные примеры или конкретные инструкции для каждой отдельной задачи, делая работу с ИИ гораздо более удобной и эффективной.

Если интересно почитать про разные техники промптинга, то рекомендую хороший ресурс.

Ну и конечно же рекомендую перейти на оригинальную статью, там есть пример такого мета-промпта.

@ctobuddy

😎 Про тип для промптинга

Проводил сегодня воркшоп по решению конкретного узкоспециализированного кейса с использованием LLM.

Пришел интересный инсайт:

Сложные промпты желательно писать вдвоем. Один - специалист в области, второй - вообще ничего не знает по теме и задаче.

Как мы уже писали, ChatGPT - это сообразительный джун после универа, который все знает, все умеет, но ничего не знает о вашей задачe. Важно описать эту задачу как можно более подробно. У профильного специалиста могут возникнуть с этим сложности из за professional bias.

Тут на помощь приходит второй человек, который выступает в роли джуна и может сказать: "вот тут я не понял, давай перефразируем", другими словами, заменяет обратную связь от LLM.

Если у вас есть кейс, который у вас не получается решить самому, записывайтесь на разбор с @romankaganov

@devstryai

📢 Важная информация! Европейский союз готовится к выпуску первого полноценного закона для регулирования ИИ


Мы подготовили краткий разбор (Полная версия доступна по ссылке.

🔍 Цели и ответственность:
- Штрафы могут достигать 7% от годового оборота или €35 млн за нарушения в области ИИ.
- Цели закона включают обеспечение безопасности и соблюдения прав человека, а также стимулирование инвестиций и инноваций в области ИИ.

📋 Основные тезисы:
1. Классификация ИИ по уровню риска.
2. Большинство обязательств по Закону о ИИ лежат на поставщиках (разработчиках) систем ИИ с высоким риском
3. Общецелевые модели ИИ (GPAI) не подлежат жесткому регулированию.
4. Пользователи (развертыватели) систем ИИ с высоким риском также имеют определенные обязательства.

🔗 Полезные ссылки:
- Разобранный текст закона и интерпретация статей.
- Инструмент для проверки соответствия.

Если вы заинтересованы в безопасном и понятном внедрении ИИ в свои процессы записывайтесь на разбор с @romankaganov 🤖