#вакансия

Есть небольшой магазин одежды, которому требуется профессиональный контент. Сейчас схема стандартная - студия, модель, часы съемок. Но хочется ускорить и удешевить этот процесс.

Необходимо
1) Используя всю мощь современных нейросетей генерировать картинки с нашей одеждой, достойные промо кампаний. Не просто апскейл, а именно сюжетно, с виртуальной моделью.
2) Генерировать короткие вертикальные видосики с тем же контентом.

Кто-то знает таких специалистов?

Писать @eugenenikishov

🙈 Атаки на приватность в ML

Около года назад писал обзорную статью о различных атаках против на публичные/статистические данные.

Если коротко, то даже публикуя "обезличенные" и статистические данные, вы расскрываете какую то частичку персональных данных пользователей, и, используя статисчические данные в связке с другими данными, можно деанонимизировать пользователя.

Коротко я затронул в этой статье тему атак на приватность в Machine Learning.

Можно выделить 4 основных типа атак(источник):

- Membership inference attacks являются наиболее распространенным типом атаки, направлены на определение, использовался ли входной образец (например, индивидуум) в качестве части обучающего набора.

- Reconstruction attacks направлены на воссоздание одного или нескольких обучающих образцов и/или их соответствующих атрибутов. Некоторые атаки также используют общедоступные данные для выявления чувствительных атрибутов целевых лиц.

- Property inference attacks направлены на извлечение информации, которая была неумышленно изучена моделью и которая не связана с задачей обучения. Например, обученная модель выполняет классификацию по полу и может быть использована для определения, носят ли люди в обучающем наборе очки или нет; однако эта информация не была закодирована в качестве атрибута или метки набора данных.

- Model extraction attacks направлены на полное воссоздание атакуемой модели и ее замену. Эта модель может быть использована позже для выполнения других атак, например, Membership inference attacks, более эффективно с меньшим количеством запросов.

Те, кто дочитал до конца, найдут ссылку на Awesome Attacks on Machine Learning Privacy, там очень много конкретных примеров атак.

А если вы обучаете собственные модели и озадачились решением этой проблемы, то вам стоит почитать про дифференциальную приватность. У ребят из Гарварда есть целый набор инструментов для решения этой проблемы.

@devstryai

📝 Гайз, давайте коллективно наполним страничку про автокомплит.

Какие у вас есть советы/трюки по улучшению качества автокомплита. Что работает/не работает? Любые мысли

Сам Github вот советует подробно описывать задачу текстово аля промпт и вставлять его в начало файла или функции с которой работаешь. Тут есть резонный консерн, что часто кодом написать быстрее, чем словами, из которых потом генерируется код.

Но недавно в команде обсуждали, что чат не всегда улавливает контекст, даже когда ты его явно указываешь, и тогда задачу легче решить через автокомплит - скопировать нужные куски кода и вставить их комментарием перед функцией, которую пишешь. Тогда копайлот начинает давать релевантные предложения и функция пишется довольно быстро.

#вакансия

Дорогие друзья, наша команда @devstryai растет. На днях, когда все соберутся, я сделаю анонс.

Сейчас мы ищем дизайнера на парт-тайм работу.

Главные требования:
- Применение AI на всех этапах работы
- Работа на околосветовых скоростях

Задачи:
- Разработка корпоративного стиля
- Коммуникационный дизайн(обложки постов для разные соцсетей, иллюстрации к постам и тд)
- Разработка вебсайта на ноукод утилитах.

У нас тут в основном разработчики, но вы знаете кому пошерить.

Писать @romankaganov

@devstryai

#новости

Microsoft представляет Copilot AI чат-бот для Excel

- Microsoft представляет Copilot для финансов в наборе Microsoft 365, направленный на автоматизацию финансовых задач, таких как дисперсионный анализ, ускорение сборов и управление счетами-фактурами, чтобы облегчить и сделать более эффективной роль финансовых специалистов.

- Copilot для финансов использует обработку естественного языка для задач, таких как дисперсионный анализ в Excel, предлагая просмотр финансовых результатов и упрощение аудитов и финансовой отчетности путем извлечения данных из ERP и финансовых систем.

- Инструмент является частью расширения Microsoft генеративного ИИ по всему своему набору продуктов, включая Microsoft 365 и Dynamics 365, с общедоступным предварительным просмотром для пользователей, для изучения возможностей.

https://siliconangle.com/2024/02/29/microsoft-introduces-generative-ai-copilot-finance-teams/

Царь-промпт: Meta-prompting

Совсем недавно(23 Jan 2024) вышла бумага с новым подходом к промптингу для решения сложных задач - Meta-prompting.

Meta-prompting - это мета эксперт во всех областях, который разбивает задачу на подзадачи, создает себе других доменных экспертов, которых посчитает нужными для решения задачи, и оркестрирует коммуникацию между ними.

Такой подход бьет как простые техники промптинга типа Chain-of-Thoughts, Expert prompting, так и более продвинутую Multi-persona prompting, в особенности если у мета-эксперта также есть доступ к интерпретатору Python кода.

В Multi-persona prompting, агенты общаются напрямую друг с другом, в Meta-prompting все диалоги проходят через главного оркестратора. Все как в реальной жизни - топим за Agile и самоорганизующиеся команды, но хорошо, когда есть проджект 🙂

Авторы статьи утверждают, что такой подход освобождает пользователей от необходимости предоставлять подробные примеры или конкретные инструкции для каждой отдельной задачи, делая работу с ИИ гораздо более удобной и эффективной.

Если интересно почитать про разные техники промптинга, то рекомендую хороший ресурс.

Ну и конечно же рекомендую перейти на оригинальную статью, там есть пример такого мета-промпта.

@ctobuddy

😎 Про тип для промптинга

Проводил сегодня воркшоп по решению конкретного узкоспециализированного кейса с использованием LLM.

Пришел интересный инсайт:

Сложные промпты желательно писать вдвоем. Один - специалист в области, второй - вообще ничего не знает по теме и задаче.

Как мы уже писали, ChatGPT - это сообразительный джун после универа, который все знает, все умеет, но ничего не знает о вашей задачe. Важно описать эту задачу как можно более подробно. У профильного специалиста могут возникнуть с этим сложности из за professional bias.

Тут на помощь приходит второй человек, который выступает в роли джуна и может сказать: "вот тут я не понял, давай перефразируем", другими словами, заменяет обратную связь от LLM.

Если у вас есть кейс, который у вас не получается решить самому, записывайтесь на разбор с @romankaganov

@devstryai

📢 Важная информация! Европейский союз готовится к выпуску первого полноценного закона для регулирования ИИ


Мы подготовили краткий разбор (Полная версия доступна по ссылке.

🔍 Цели и ответственность:
- Штрафы могут достигать 7% от годового оборота или €35 млн за нарушения в области ИИ.
- Цели закона включают обеспечение безопасности и соблюдения прав человека, а также стимулирование инвестиций и инноваций в области ИИ.

📋 Основные тезисы:
1. Классификация ИИ по уровню риска.
2. Большинство обязательств по Закону о ИИ лежат на поставщиках (разработчиках) систем ИИ с высоким риском
3. Общецелевые модели ИИ (GPAI) не подлежат жесткому регулированию.
4. Пользователи (развертыватели) систем ИИ с высоким риском также имеют определенные обязательства.

🔗 Полезные ссылки:
- Разобранный текст закона и интерпретация статей.
- Инструмент для проверки соответствия.

Если вы заинтересованы в безопасном и понятном внедрении ИИ в свои процессы записывайтесь на разбор с @romankaganov 🤖

📝 Use case: Autocomplete using Local Language Model (LLM) and Open-Source Tools

Хороший человек @Sovamorco последнее время экспериментировал с опенсорс утилитами и моделями для автодополнения кода и поделился с нами своим сетапом.

TLDR: Ollama+Continue+deepseek-coder 6.7b+open-webui

Накидайте огонечков 🔥 за проделанную работу. Если вам есть что добавить, то обязательно оставляйте комментарии 👇

🗜Tool: Deepinfra

Еще один хороший человек @grayskripko проделал большую работу по анализу инфраструктуры для деплоя опенсорсных и собственных LLM и поделился с нами своим выбором - Deepinfra.

TLDR:
- У Deepinfra уже задеплоены наиболее популярные опенсорс модели любых размеров. Можно быстро экспериментировать с нужными
- Хорошие цены за 1м токенов, и что самое важное - цены одинаковы за входящие и исходящие токены
- Они используют интерфейс OpenAI SDK, не нужно изучать новую документацию

Страница в базе

Накидайте классов этому господину 👍

@devstryai

🗜Tool: Continue

Гайз, я тут делаю сравнение по всем IDE плагинам для автокомплита, и опенсорсный Continue выглядит просто лидером по управлению контекста. Мало того, что у них просто куча готовых провайдеров, включая поиск в гугле, джире, схемы SQL и тд, так можно еще и свои добавлять.

- Git Diff: Retrieves all changes made to the current branch.
- Terminal: Brings the IDE's terminal contents into context.
- Documentation: Indexes and retrieves snippets from documentation sites.
- Open Files: References contents from all open files or only pinned ones.
- Codebase Retrieval: Automatically retrieves the most relevant code snippets from your codebase.
- Folders: Works like codebase retrieval but is limited to a single folder.
- Exact Search: Uses ripgrep-powered search results from the codebase as context.
- File Tree: Displays the project's nested directory structure.
- Google: Uses Google search results as context.
- GitHub Issues: Includes conversations from GitHub issues.
- Jira Issues: Includes conversations from Jira issues.
- Code Outline: References the outline of all currently open files, including function and class definitions.
- Code Highlights: Refers to 'highlights' from open files, computed using the 'repomap' technique.
- PostgreSQL: References the schema and sample rows from PostgreSQL tables.
- Database Tables: References table schemas from various databases, including PostgreSQL, MySQL, SQLite.

@devstryai

🏆 Друзья, подготовил сравнительную табличку по AI ассистентам.

В первую очередь смотрел на возможности чата по управлению контекстом и используемые модели. И для бизнеса также важна возможность развернуть локально.

Есть у вас что добавить по критериям сравнения?

@devstryai

#вакансия

На большой энтерпрайз проект требуется ML эксперт

“Поразмыслив, я предлагаю сфокусироваться на, фактически, единственном бизнес-кейсе, который внутри в нашей компании понятен абсолютно всем, и с которым никто не будет спорить. Это кейс переписывания скрипта SQL с одного диалекта (PL/SQL, T-SQL, вариант SQL в Vertica, вариант SQL в Teradata) на другой (PL/pgSQL, вариант SQL в Clickhouse, Spark SQL). Возможно, для правильной реализации этого кейса потребуется реализовать также миграцию модели данных из одного диалекта в другой (по большому счёту это подзадача, т.к. любой диалект содержит как DML, так и DDL-нотации). Желательно разбить этот кейс на понятные шаги - согласование целевых показателей производительности и параллелизма, сайзинг и развёртывание модели, согласование списка источников информации для добучения и тюнинга, и их проведение, реализацию RAG, интеграция в GUI какого-нибудь нашего портала поддержки, создание документации решения, создание инструкции по добавлению новых диалектов, проведение приёмо-сдаточных испытаний, включающих функциональное и нагрузочное тестирования.”

Ограничения:
1. Только локальные модели можно использовать, опенсорсные соответственно
2. Проблема в том что у нас нет опыта файнтюнинга модель через перестановку весов модели
3. Необходимо большое контекстное меню, непонятно как заэмбедить документы

*Предстоит выбор: самой LLM, модели для эмбеддинга, настройки параметров для токенизации, параметры эмбеддинга, промпт-инжиниринга.

За деталями пишите в личку @romankaganov

Робот с мозгами ChatGPT

Выглядит впечатляюще и одновременно пугающе, но не speach-to-speach часть и reasoning, сколько возможности робота манипулировать предметами.

https://www.youtube.com/watch?v=Sq1QZB5baNw

Изучил подробно пресс-релиз Devin

Просмотрел покадрово все их видео с юзкейсами, перешел по всем ссылочкам из видео.
Что можно сказать? Работы хватит на всех! Но на ближайшие пол года 😁

До давайте разбираться. Выглядит впечатляюще, не хочется принижать чужую работу, она великолепна. Ребята доказали на практике, что ИИ может помогать решать любые задачи в программировании. Мне частно приходится сталкиваться с возражениями разработчиков, что "AI еще не так хорош, чтоб рассматривать его серьезно". Ребят, все очень даже серьезно.

НО! Не могу не отметить высоченный уровень маркетинга. Ребята не просто так подняли $21м. Могут себе позволить и хороший маркетинг.

🤔Давайте посмотрим на их юзкейсы(ролики длинной от 50 сек до 3х минут):

Devin can learn how to use unfamiliar technologies. Девушка дает ссылку на блогпост в котором описывается как генерировать картинку с помощью ИИ. Круто! Но на самом деле статья уже содержит ссылку на гитхаб репу с готовым скриптом. И девушка даже указывает это в промпте. Все что делает Девин - клонит и запускает репу.

Devin can build and deploy apps end to end. Чел просит Девина написать Game of live и он справляется. Я думаю, это одна из тех задачек, наравне со змейкой, на которой обучились миллионы джунов и в интеренете полно готовых гайдов и реализаций.

Devin can autonomously find and fix bugs in codebases. Чел пишет юниттест для своего ПРа, при этом довольно подробно описывает, что тест должен делать. Потом он просит написать больше тестов и по упавшему тесту фиксит функцию.

Devin can train and fine tune its own AI models. Опять же, звучит круто, как будто бы он такой крутой, что может сам себе натренировать модель для решения конкретных задач. Но по факту Девин клонит репу и следует README, чтоб ее запустить.

Devin can address bugs and feature requests in open source repositories. Тут мне даже понравилось, Девин пофиксил багу и поработал в нескольких файлах, в одном даже очень большом. У нас, например были проблемы с большими файлами в Copilot. Но стоит отметить, что по их же отчету. Девин может решить 13.86% Github issues.

Devin can contribute to mature production repositories. ‍ Еще один красивый пример с Github issues.

We even tried giving Devin real jobs on Upwork and it could do those too! Вот это, наверное, самый хайповый юзкейс. Девиан зарабатывает деньги на Upwork! Но задача опять состоит из клонирования и запуска гитхаб репы и устранения проблем с зависимостями.

👉 Итог

Я думаю, что ребята сделали действительно круто - это клонирование репозитория и его запуск. Каждая задача, которую они показали, начинается именно с этого. И это вау! Я думаю каждый из нас потратил сотни и тысячи часов на танцы с бубнами, которые теперь может делать машина. Ура, товарищи!

Что еще мне понравилось, так это автопоиск багов. Я подобную фичу видел только в Cursor и она меня очень сильно впечатлила. Ребята говорят, что у них работают разработчики из Cursor. В Devian пошли на шаг дальше и добавили изменение кода по найденным рекомендациям.

Интегрируя AI тулзы в команду, и пользуясь AI для решения бизнесовых задач. И у меня все больше и больше складывается впечатление, что мы превращаемся в операторов AI, который перекладывает промпты из одного места в другое. Редактирует их, комбинирует, отправляет обратно в AI, и так по кругу. Devin автоматизирует эту работу.

Дальнейшим шагом мне видится то, что люди будут сначала руками проделывать какую то работу с ИИ. Потом, после валидации гипотезы и подготовки промптов, кодить ее с помощью Langchain.

Это, кстати, то что мы делали с Requirements Elaboration юзкейсом - Проверили гипотезу руками на маленьком кусочке данных, показали специалисту, он подтвердил качество, и теперь мы кодим это с помощью Langchain. Если вы хотите присоединиться к нашей песочнице и получить практический опыт, напишите мне @romankaganov

На этом пока все, буду держать в курсе. Пишите ваши мысли 👇

@devstryai

📝 Use case: Write Meeting Notes Like PMP

Контекст - самый ценный ресурс для решения задач с помощью LLM. Если у вас не получается решить какую то задачу - это значит, что вы не дали модели нужный контекст. Контекст - это не только описание функции, которую вы хотите чтоб AI за вас написал, это и контекст задачи в которой вы работаете, он в свою очередь является частью контекста какого-то эпика и смежных задач, которые являются частью бизнес контекста в организации, которая работает в контексте юридических регуляций и бизнес среды.

Фраза "данные - это новая нефть" звучит еще более актуальнее, когда AI стал доступен даже пенсионерам. Вам не нужны миллионные датасеты, чтоб натренировать собственные модели, вам нужен zero-shot промптинг, а это значит, что сойдут любые данные, в любой форме.

Именно поэтому у нас в команде теперь правило - записывать любые звонки. Это один из основных источников контекста организации, и единственный для молодых стартапов как мы.

Звонки хорошо бы интерпретировать. Выделять из них задачи, идентифицировать риски, стейкхолдеров, констрейнты и тд. Обычно этим занимается проджект менеджер, небывалая роскошь для стартапов.

Мы попробовали утилиту TL;DV, она хорошо распознает речь, в том числе русский. Но дает очень абстрактные meeting notes, которые практически бесполезны для таких задротов(PMP) проджект менеджмента как мы. Поэтому мы решили попробовать обработать звонки через gpt-4-turbo и получили хорошие результаты, которые сейчас будем автоматизировать.

Об этом наш новый юзкейс, там же можно найти и финальный промпт.