Devs try AI
350 subscribers
17 photos
35 links
Комьюнити, где софтверные инженеры пробуют различные AI утилиты в работе и делятся опытом. Чат @devstryai_chat

Для связи @romankaganov
Канал автора: @ctobuddy
Download Telegram
📢 Важная информация! Европейский союз готовится к выпуску первого полноценного закона для регулирования ИИ


Мы подготовили краткий разбор (Полная версия доступна по
ссылке.

🔍 Цели и ответственность:
- Штрафы могут достигать 7% от годового оборота или €35 млн за нарушения в области ИИ.
- Цели закона включают обеспечение безопасности и соблюдения прав человека, а также стимулирование инвестиций и инноваций в области ИИ.

📋 Основные тезисы:
1. Классификация ИИ по уровню риска.
2. Большинство обязательств по Закону о ИИ лежат на поставщиках (разработчиках) систем ИИ с высоким риском
3. Общецелевые модели ИИ (GPAI) не подлежат жесткому регулированию.
4. Пользователи (развертыватели) систем ИИ с высоким риском также имеют определенные обязательства.

🔗 Полезные ссылки:
- Разобранный текст закона и интерпретация статей.
- Инструмент для проверки соответствия.

Если вы заинтересованы в безопасном и понятном внедрении ИИ в свои процессы записывайтесь на разбор с @romankaganov 🤖
👍2
📝 Use case: Autocomplete using Local Language Model (LLM) and Open-Source Tools

Хороший человек @Sovamorco последнее время экспериментировал с опенсорс утилитами и моделями для автодополнения кода и поделился с нами своим сетапом.

TLDR: Ollama+Continue+deepseek-coder 6.7b+open-webui


Накидайте огонечков 🔥 за проделанную работу. Если вам есть что добавить, то обязательно оставляйте комментарии 👇
🔥24
🗜Tool: Deepinfra

Еще один хороший человек @grayskripko проделал большую работу по анализу инфраструктуры для деплоя опенсорсных и собственных LLM и поделился с нами своим выбором - Deepinfra.

TLDR:
- У Deepinfra уже задеплоены наиболее популярные опенсорс модели любых размеров. Можно быстро экспериментировать с нужными
- Хорошие цены за 1м токенов, и что самое важное - цены одинаковы за входящие и исходящие токены
- Они используют интерфейс OpenAI SDK, не нужно изучать новую документацию


Страница в базе

Накидайте классов этому господину 👍

@devstryai
👍24
🗜Tool: Continue

Гайз, я тут делаю сравнение по всем IDE плагинам для автокомплита, и опенсорсный Continue выглядит просто лидером по управлению контекста. Мало того, что у них просто куча готовых провайдеров, включая поиск в гугле, джире, схемы SQL и тд, так можно еще и свои добавлять.

- Git Diff: Retrieves all changes made to the current branch.
- Terminal: Brings the IDE's terminal contents into context.
- Documentation: Indexes and retrieves snippets from documentation sites.
- Open Files: References contents from all open files or only pinned ones.
- Codebase Retrieval: Automatically retrieves the most relevant code snippets from your codebase.
- Folders: Works like codebase retrieval but is limited to a single folder.
- Exact Search: Uses ripgrep-powered search results from the codebase as context.
- File Tree: Displays the project's nested directory structure.
- Google: Uses Google search results as context.
- GitHub Issues: Includes conversations from GitHub issues.
- Jira Issues: Includes conversations from Jira issues.
- Code Outline: References the outline of all currently open files, including function and class definitions.
- Code Highlights: Refers to 'highlights' from open files, computed using the 'repomap' technique.
- PostgreSQL: References the schema and sample rows from PostgreSQL tables.
- Database Tables: References table schemas from various databases, including PostgreSQL, MySQL, SQLite.

@devstryai
👍7❤‍🔥2
🏆 Друзья, подготовил сравнительную табличку по AI ассистентам.

В первую очередь смотрел на возможности чата по управлению контекстом и используемые модели. И для бизнеса также важна возможность развернуть локально.

Есть у вас что добавить по критериям сравнения?

@devstryai
🔥14
😦 Вебинар по AI утилитам для софтверных команд

Друзья, приглашаю вас завтра в среду 13 Марта в 19:00 по Таллину послушать мою лекцию и пообщаться на тему применения AI в разработке и не только.

Расскажу
- О реальных кейсах применения, где мы получили буст продуктивности в 3 и более раза
- О кейсах с которыми играемся прямо сейчас
- Какие показатели команды улучшает ИИ
- Какие утилиты существуют, одних только ассистентов 6 штук разберем
- Какие LLM модели бывают, чем друг от друга отличаются, какими писюнами бенчмарками меряются

Ну и побеседуем во время и после. Я себе взял безалкогольного пивка, а вы уж что хотите 😉

Добавляйте событие к себе в календарик, шарьте с друзьями и коллегами
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
#вакансия

На большой энтерпрайз проект требуется ML эксперт

“Поразмыслив, я предлагаю сфокусироваться на, фактически, единственном бизнес-кейсе, который внутри в нашей компании понятен абсолютно всем, и с которым никто не будет спорить. Это кейс переписывания скрипта SQL с одного диалекта (PL/SQL, T-SQL, вариант SQL в Vertica, вариант SQL в Teradata) на другой (PL/pgSQL, вариант SQL в Clickhouse, Spark SQL). Возможно, для правильной реализации этого кейса потребуется реализовать также миграцию модели данных из одного диалекта в другой (по большому счёту это подзадача, т.к. любой диалект содержит как DML, так и DDL-нотации). Желательно разбить этот кейс на понятные шаги - согласование целевых показателей производительности и параллелизма, сайзинг и развёртывание модели, согласование списка источников информации для добучения и тюнинга, и их проведение, реализацию RAG, интеграция в GUI какого-нибудь нашего портала поддержки, создание документации решения, создание инструкции по добавлению новых диалектов, проведение приёмо-сдаточных испытаний, включающих функциональное и нагрузочное тестирования.”


Ограничения:
1. Только локальные модели можно использовать, опенсорсные соответственно
2. Проблема в том что у нас нет опыта файнтюнинга модель через перестановку весов модели
3. Необходимо большое контекстное меню, непонятно как заэмбедить документы

*Предстоит выбор: самой LLM, модели для эмбеддинга, настройки параметров для токенизации, параметры эмбеддинга, промпт-инжиниринга.

За деталями пишите в личку @romankaganov
Робот с мозгами ChatGPT

Выглядит впечатляюще и одновременно пугающе, но не speach-to-speach часть и reasoning, сколько возможности робота манипулировать предметами.

https://www.youtube.com/watch?v=Sq1QZB5baNw
Изучил подробно пресс-релиз Devin

Просмотрел покадрово все их видео с юзкейсами, перешел по всем ссылочкам из видео.
Что можно сказать? Работы хватит на всех! Но на ближайшие пол года 😁

До давайте разбираться. Выглядит впечатляюще, не хочется принижать чужую работу, она великолепна. Ребята доказали на практике, что ИИ может помогать решать любые задачи в программировании. Мне частно приходится сталкиваться с возражениями разработчиков, что "AI еще не так хорош, чтоб рассматривать его серьезно". Ребят, все очень даже серьезно.

НО! Не могу не отметить высоченный уровень маркетинга. Ребята не просто так подняли $21м. Могут себе позволить и хороший маркетинг.

🤔Давайте посмотрим на их юзкейсы(ролики длинной от 50 сек до 3х минут):

Devin can learn how to use unfamiliar technologies. Девушка дает ссылку на блогпост в котором описывается как генерировать картинку с помощью ИИ. Круто! Но на самом деле статья уже содержит ссылку на гитхаб репу с готовым скриптом. И девушка даже указывает это в промпте. Все что делает Девин - клонит и запускает репу.

Devin can build and deploy apps end to end. Чел просит Девина написать Game of live и он справляется. Я думаю, это одна из тех задачек, наравне со змейкой, на которой обучились миллионы джунов и в интеренете полно готовых гайдов и реализаций.

Devin can autonomously find and fix bugs in codebases. Чел пишет юниттест для своего ПРа, при этом довольно подробно описывает, что тест должен делать. Потом он просит написать больше тестов и по упавшему тесту фиксит функцию.

Devin can train and fine tune its own AI models. Опять же, звучит круто, как будто бы он такой крутой, что может сам себе натренировать модель для решения конкретных задач. Но по факту Девин клонит репу и следует README, чтоб ее запустить.

Devin can address bugs and feature requests in open source repositories. Тут мне даже понравилось, Девин пофиксил багу и поработал в нескольких файлах, в одном даже очень большом. У нас, например были проблемы с большими файлами в Copilot. Но стоит отметить, что по их же отчету. Девин может решить 13.86% Github issues.

Devin can contribute to mature production repositories. ‍ Еще один красивый пример с Github issues.

We even tried giving Devin real jobs on Upwork and it could do those too! Вот это, наверное, самый хайповый юзкейс. Девиан зарабатывает деньги на Upwork! Но задача опять состоит из клонирования и запуска гитхаб репы и устранения проблем с зависимостями.

👉 Итог

Я думаю, что ребята сделали действительно круто - это клонирование репозитория и его запуск. Каждая задача, которую они показали, начинается именно с этого. И это вау! Я думаю каждый из нас потратил сотни и тысячи часов на танцы с бубнами, которые теперь может делать машина. Ура, товарищи!

Что еще мне понравилось, так это автопоиск багов. Я подобную фичу видел только в Cursor и она меня очень сильно впечатлила. Ребята говорят, что у них работают разработчики из Cursor. В Devian пошли на шаг дальше и добавили изменение кода по найденным рекомендациям.

Интегрируя AI тулзы в команду, и пользуясь AI для решения бизнесовых задач. И у меня все больше и больше складывается впечатление, что мы превращаемся в операторов AI, который перекладывает промпты из одного места в другое. Редактирует их, комбинирует, отправляет обратно в AI, и так по кругу. Devin автоматизирует эту работу.

Дальнейшим шагом мне видится то, что люди будут сначала руками проделывать какую то работу с ИИ. Потом, после валидации гипотезы и подготовки промптов, кодить ее с помощью Langchain.

Это, кстати, то что мы делали с Requirements Elaboration юзкейсом - Проверили гипотезу руками на маленьком кусочке данных, показали специалисту, он подтвердил качество, и теперь мы кодим это с помощью Langchain. Если вы хотите присоединиться к нашей песочнице и получить практический опыт, напишите мне @romankaganov

На этом пока все, буду держать в курсе. Пишите ваши мысли 👇

@devstryai
🔥17👍3🍾1
🤵 Eсть запрос на спикера по безопасности ИИ

Конференция для энтерпрайзов и застройщиков: https://digitaldeveloper.ru/meetup_ai_proptech

Ищу спикера, который сможет сделать секцию на тему формата «безопасность в ИИ, обзор для новичков»

На паре кейсов объяснить, какие риски для безопасности представляет ИИ — и как можно хеджировать эти риски

Конференция будет 28 марта

Выступление на 15-20 минут + ответы на вопросы

Написать мне и выразить желание выступить нужно в идеале до понедельника 18 марта: @iam_ik
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
📝 Use case: Write Meeting Notes Like PMP

Контекст - самый ценный ресурс для решения задач с помощью LLM. Если у вас не получается решить какую то задачу - это значит, что вы не дали модели нужный контекст. Контекст - это не только описание функции, которую вы хотите чтоб AI за вас написал, это и контекст задачи в которой вы работаете, он в свою очередь является частью контекста какого-то эпика и смежных задач, которые являются частью бизнес контекста в организации, которая работает в контексте юридических регуляций и бизнес среды.

Фраза "данные - это новая нефть" звучит еще более актуальнее, когда AI стал доступен даже пенсионерам. Вам не нужны миллионные датасеты, чтоб натренировать собственные модели, вам нужен zero-shot промптинг, а это значит, что сойдут любые данные, в любой форме.

Именно поэтому у нас в команде теперь правило - записывать любые звонки. Это один из основных источников контекста организации, и единственный для молодых стартапов как мы.

Звонки хорошо бы интерпретировать. Выделять из них задачи, идентифицировать риски, стейкхолдеров, констрейнты и тд. Обычно этим занимается проджект менеджер, небывалая роскошь для стартапов.

Мы попробовали утилиту TL;DV, она хорошо распознает речь, в том числе русский. Но дает очень абстрактные meeting notes, которые практически бесполезны для таких задротов(PMP) проджект менеджмента как мы. Поэтому мы решили попробовать обработать звонки через gpt-4-turbo и получили хорошие результаты, которые сейчас будем автоматизировать.

Об этом наш новый юзкейс, там же можно найти и финальный промпт.
🔥11👍3
📝 Use case: Write content as Persona follow Tone of Voice

Забавно, но я вторую неделю общаюсь с руководителями/фаундерами, которые заинтересованы во внедрении ИИ в свою команду, и пока абсолютное большинство заинтересовано во внедрении ИИ в маркетинг и продажи.

В связи с этим у нас в базе знаний появился первый не разработческий юзкейс - написание контента по заметкам с помощью LLM.

Описание можно найти тут

Если коротко
- Вырабатываем Tone of Voice Автора
- Вырабатываем персону Автора и Аудитории
- Автор надиктовывает свои заметки или мы проводим интервью под запись, парсим транскрипт
- Соединяем все воедино промптом

Act as PERSONA write a blogpost following TONE OF VOICE for AUDIENCE and using the information provided in RAW TRANSCRIPT.

- PROFITT!!!

Забавный факт, мы с этим человеком, которому я делал этот юзкейс, писали совместный материал в двух частях на одну тему. Я свою статью написал сам, а он с помощью промпта. В итоге его пост набрал в 3 раза больше охватов. Время потрачено 3 часа vs 15 минут.

Мне было обидно. ☹️

P.S. Этот пост все еще написан человеком, поэтому поставьте 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥291😁1
#вакансия

Помогите найти человека

Backend Engineer

💸 cash + option (6000$+)
⌚️ full-time
🌏 remote/hybrid

🙋‍♂️ Who they are:
An aspiring team building novel crypto investment instruments. The founders are tech universities alumni with broad cross-product experience in TradFi (structured products & financial engineering) and Tech (Revolut & Yandex) under their belt.

They are backed by good names and have an ambition to become a key player in the industry ✌️

🥷Who we are looking for:
We are currently seeking talented and experienced backend engineer with domain expertise in fintech to join our strong tech team. This will be one of the core backend roles in the company, so the responsibility is high. But it's also a lot of fun!

We'd love to hear from you if you have the following superpowers:
* 5+ years of backend experience, and at least some years within financial domain (for example payments, trading, accounting etc.);
* Deep understanding of modern Java and JVM technologies or other OOP languages (Go, C++ etc) and readiness to learn and dive deeper into JVM domain;
* Proficiency working with different cloud infrastructure;
* Understanding of code quality principles & testing techniques
* Practical experience with Domain-Driven Design principles, practices, and patterns;
* Practical experience with scalable distributed systems is a plus;
* Knowledge of different architectural patterns;
* Startup experience / Ability to work well as a part of the team in a fast-paced environment;
* Blockchain (DeFi) and related tech stack experience is highly preferable, but not necessary.

You are definitely a good fit if you have experience in the following domains:
Finance: Do you know how an in-house ledger or order books could be beneficial and how to build them? Did you have dedicated experience in trading and hedging systems? That’s what would help a lot along our journey!
Integrations: Making and maintaining high quality integrations with external systems is always hard. They need someone who can bring good experience and who can establish right practices and processes in that domain. If you also had EVM blockchains related experience - it is a big plus.

Our Tech stack:
Java
Postgres
AWS infra (ECS, ECR, RDS, S3 buckets etc.) managed by Terraform

🍿 Why they:
They are explorers - do things that have not been done before, which makes it much more fun;
They are professionals, ambitious but realistic about goals and opportunities;
They are people! The key value is to maintain healthy and fun productivity vibes in what they do.

P.S. - won't be diving into perks, company swag, or fancy brunches just yet. But don't worry, they'll work the way there together!

Speak with @kidwhizchains (Telegram) if you like the above and consider joining the noble clan!
Подробно описали кейс, как мы обучили психолога пользоваться chatGTP, чтобы писать статьи на VC.

Кратко о кейсе: наш знакомый, психолог, консультирует компании и их сотрудников. Ему нужно писать статьи о своей работе и он ненавидит это делать.

За два часа консультации мы составили промпт почти на 20 000 символов, которые генерирует пост буквально за несколько минут. С сохранением Tone of voice автора, качественным, кратким и понятным текстом.

Подробнее про то, как писать такие промпты в статье:

https://www.reddit.com/r/EntrepreneurRideAlong/comments/1boyyr9/how_i_helped_my_fellow_entrepreneur_to_fire_his/

Это наша первая статья на Reddit и мы будем благодарны вам за апвоут 🙏
🔥15👍1
👍 LLM Агенты в массы

На днях во второй раз наткнулся на утилиту n8n - аналог утилит автоматизации типа Zapier, Make и тд. Которые дают визуальный инструментарий для программирования пайплайнов типа того, что на картинке.

Я давно пробовал этот сервис, мне понравилось, что он больше ориентирован на программистов, чем на среднего пользования без навыков программирования. Там есть и кастомные блоки с JS кодом, и вызовы bash скриптов, и кастомного API.

А недавно обнаружил там целую пачку компонент по работе с AI агентами. Ребята просто сделали свою обертку над библиотекой Langchain и добавили компоненты типа векторных баз данных, ретриверов, сплиттеров текста и даже внешние тулзы типа поиска в гугле или википедии.

Также можно и кастомный Langchain код запускать, ну и конечно оно поддерживает подключение любых моделей включая Olamma.

Короче, LLM агенты еще никогда не были так близки к тому, чтоб взять и попробовать прямо сейчас собрать своего собственного покемона.

Но есть одно но, как и везде в программировании, все еще придется потанцевать с бубнами, приловчиться к особенностям и ограничениям.

👇 В комментариях будет еще пара скриншотов с компонентами

@devstryai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍2
📝 Use case: Automated Proposal Generation Tailored for Each Client

Давно у нас не было постов и на то было две причины.

Во-первых, мы начали общаться с потенциальными клиентами и практически сразу уперлись в ограничение, что написание кастомных коммерческих предложений под каждого клиента занимает несколько часов, и это легко может превратиться в фулл-тайм работу.

А до этого мне показалось интересным протестирвоать возможности N8N по созданию AI приложений и автоматизаций. Что мы и сделали:

- Развернули свой инстанс N8N, чтоб не платить $20 за пользователя.
- Автоматизировали парсинг транскриптов клиентских звонков в осознанные заметки. Подробнее об этом тут(для клиентских звонков используется свой шаблон). Тут вскрылось большинство ограничений и нюансов N8N.
- Написали длиннющий пайплайн создания пропосала. Поняли, что это плохая идея, N8N начал тормозить и крашиться, контролировать качество полученного материала было неудобно.
- Разбили длиннющий пайплайн на отдельные секции. Получился кайф. Теперь можно генерировать каждую секцию пропосала из Notion отдельно, редактировать ее там же, запускать генерацию новой секции.
- Провалидировали качество у профессионального sales in IT.
- Отправили пропосалы всем ожидающим клиентам
- PROFIT

Подробное описание кейса можно найти у нас в базе.

А пример AI сгенерированного пропосала можно посмотреть тут

Вторая причина, почему не писали - у нас в команде появился профессиональный маркетолог, она создавала нашу редакционную политику и скоро мы запустим тут что-то интересное и регулярное. Не буду лишать ее удовольствия сделать анонс. Следите за новостями 😉
🔥10👍1
#вакансия

Делаем Datastep (ML products хаб для энтерпрайзов) — гоу билдить с нами 🤘
Ищу ребят совместно разрабатывать ML / DL решения для российских энтерпрайзов.
👀 Дико круто если ты хочешь расти в бизнес партнера / tech-энтрепренера / тимлида

Делаем в Datastep что-то типо стартап хаба для застройщиков: стараемся заменить как можно больше людей решаем разные задачи цифровизации при помощи машинного обучения, трансформеров, GPT и прочих ML тулзов

Что уже успели:
- Сделали классификатор номенклатур между застройщиком и поставщиком. Делаем еще 3 разных классификатора для оптимизации бизнес процессов
- Сделали GPT-ассистентов по базам данным и документам для застройщиков
- Запустили даббер видео на американском рынке

Хочу затащить в Datastep команду пару увлеченных билдеров хаслеров и вырастить их сквозь время в team лидов / tech-энтрепренеров

Если все сложится — обретёшь рок звезд напарников/напарниц, менторов по технологиям и бизнесу. Сможешь запускать свои технические проекты с нашей поддержкой

Чему можно у нас научиться:
https://www.notion.so/5d92bb9c326b414ab400e3bf3fc8a966?pvs=21

Кто такие:
Смотри закреп в @abouthub и почитай наши каналы, например Виталия - @krenels

Если цепляет, что мы рассказываем про людей/скиллы/ситуации в бизнесе — пиши @slavocado

А еще немного name-dropping’а
Работаем с топовыми застройщиками в РФ - МСУ, А101, Унистрой
Дружим с ребятами из Вышки, ЮФУ
Раскачиваем бренд Датастепа с @digital_developer и startum.ru

Что дальше
👉 Пиши @slavocado
— закидывай интро сообщение про себя в оригинальном формате или по схеме: «1) кто ты? 2) твой опыт? 3) почему решил[а] написать?»]
Если у тебя мало опыта в DS/ML - тоже смело пиши, не парься, у нас развитая культура менторинга 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
2
🔫 Ищу AI Дизайнера на 5 проектов!

🚀 Join OneCraft.AI! We're looking for an AI-Powered Creative Designer on a part-time project basis. If you love AI, are a Figma whiz, and can work at lightning speed, we want you! Work remotely, be part of a dynamic team, and push boundaries with us.

🌟 Key Responsibilities:

Create Brand Identities
Design Social Media Kits
Build Websites & Landing Pages
Craft Design Templates
Generate Engaging Videos

🔗 Apply Now

Email: [email protected]
Telegram: @romankaganov

Let's create something amazing together! 🌍

Full description
🚀 Founding Engineer Opportunity - AI Startup 🚀

We’re a New York-based AI startup developing innovative voice-to-action solutions, and we're looking for a Founding Engineer to be part of our mission!

🔥 Why You Should Join Us:

- Equity opportunity in an exciting AI startup
- Several investors are already interested
- Remote work with relocation assistance to the US available
- Opportunity to lead the tech and help us bring our solution to life

If you're an AI enthusiast with expertise in Python, AWS, Langchain, and AI-driven development using tools like GitHub Copilot, we’d love to hear from you! 💡

More details

💸 Refferal fee available for a good recomendation! 💸

DM us: @romankaganov