Градиентное погружение
4.61K subscribers
179 photos
11 videos
10 files
164 links
Обсуждаем новости, рассказываем про ML с кодом и колабом, выигрываем соревы 🏆

Контакты: @Cene655, @Cucu_LaPraline
Download Telegram
Forwarded from AbstractDL
Longformer-tiny для русского языка

Друг скрестил Longformer и BERT-tiny, получив крошечную модель с контекстом в 16к токенов. Детали танцев с бубном и обучения есть на хабре. А картинку нарисовала моя сестра ☺️

Хабр, Huggingface
👍23🔥81
Forwarded from Дата-Утренник (Максим Герасимов)
Сморите что нашел

👉DragDiffusion - модель, способная редактировать изображения на основе точек, заданных юзером. Есть примеры использования, руководство по настройке и запуску модели.

@data_morning

github
примеры
👍11🔥41
Forwarded from Awesome DL
Всем привет 👋

Продолжаем серию постов под авторством @TimeEscaper, посвященную применению ML в Robotics. В данном рассказе мы осветили вопрос того, как применять языковые модели для обучения роботов:

- Как использовать LLM для генерации reward?
- Как переводить языковые команды в действия робота?
- Как использовать LLM для генерации алгоритмов роботов?

Приятного чтения 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71
Forwarded from Complete AI (Andrey Kuznetsov)
⚡️Началось открытое голосование за номинантов премии HighLoad++. Среди прочих достойных номинантов представлена и модель Kandinsky!

Верю, что команда заслуженно сможет получить эту награду😉

Спасибо всем за фидбэки, участие в развитии модели и её применении, ценные советы🙏 Все ваши комментарии не остаются не учтёнными, мы всё внимательно собираем и постепенно стараемся исправлять.

Голосовать
👍6
Forwarded from Dealer.AI
Всем привет, мы строили строили и наконец построили!

Первая супер-библиотека по spelling corruption SAGE.

Работа была не простой, вместе с ребятами из команды AGI NLP- мои герои снова:
@alenusch, @qwertysobaka, @go_bobert.
мы сделали оч крутой инструмент. Он позволяет атаковать тексты при помощи добавления опечаток, перестановок и пр., а также делать обратное - фиксить их.

Интересно?
Го читать на хабр!


https://habr.com/ru/companies/sberdevices/articles/763932/

Наша библиотека SAGE:
https://github.com/ai-forever/sage

AI-service в Клауде:
https://cloud.ru/ru/datahub/generative-spell-checking
👍14🔥32🥰1
Forwarded from Complete AI (Andrey Kuznetsov)
🏅А кто сегодня молодец и взял Trending paper на Hugging Face, обогнав Google DeepMind и Carnegie Mellon?

Правильный ответ: статья про нашу модель Kandinsky, которую мы выложили на arxiv.

А среди отметивших статью Julien Chaumond (CTO Hugging Face) и Patrick von Platten (Team lead Diffusers)! Со вторым мы активно сотрудничаем по внедрению модели в их самый крупный фреймворк генеративных моделей diffusers (18.2k на GitHub).

Ссылка на hf

P.S. Trending paper — лучшая статья дня в одном из крупнейших мировых комьюнити исследователей и ML разработок Hugging Face.

@complete_ai
🔥104❤‍🔥10👍8🤡65🤯41
Forwarded from Дата-Утренник (Максим Герасимов)
This media is not supported in your browser
VIEW IN TELEGRAM
🧹Scrapper

Инструмент для парсинга страниц с JS.

Работает в докере, можно обращаться по апи, сложнее детектируется как бот, может парсить в режиме просмотра (только текст), может использовать прокси и многое другое.

@data_morning

Github
👍24🔥51
🔥TensorRT-LLM

👉Ваш любимый нейронный ускоритель получил расширение!

TensorRT - движок, который применяет оптимизации для эффективного использования NVIDIA-GPU в Deep Learning.

Что интересного?

💡Интеграция с NVIDIA Triton Inference Server
💡Поддержка Multiple GPU
💡Python API (очень напоминает API HF)
💡Есть поддержка 17 моделей (с примерами): Blib2, LLaMa 1/2, GPT-like, StarCoder, Bert, etc
💡Поддержка квантизации: FP32, FP16, BF16, FP8, INT8, INT4
💡Beam-search & Greedy-search
... и многое другое!

Multi-head Attention (MHA), Multi-query Attention (MQA), Group-query Attention (GQA), In-flight Batching, Paged KV Cache for the Attention, Tensor Parallelism, Pipeline Parallelism, INT4/INT8 Weight-Only Quantization (W4A16 & W8A16), SmoothQuant, GPTQ, AWQ, RoPE

@gradientdip

Конечно, сейчас проект сыроват, но все впереди

Github
Performance (не нашел сравнения с обычным TensorRT)
Документация
🔥21👍41
Инженер LLM (Оптимизация и RL Alignment)
Стартап в области безопасности ИИ

Чем предстоит заниматься:

Дообучение и Оценка Sota llm, аттаки на blackbox модели

Улучшение RL для аттак на модели, настройки моделей (PPO, RLHF, стабильность обучения).

Бенчмаркинг и оценка качества моделей (ELO-метрики, alignment).

Оптимизация инференса (vLLM, SGLang, TRT).

Требования:

Опыт работы с LLM (архитектуры, RL, alignment).

Знание PyTorch/JAX.

Реальная практика с RL методами (DPO, RLHF — плюс).

Опыт с системами инференса (vLLM, kuber, docker).

Публикации в NeurIPS/ICML/ICLR и др. — сильный плюс.

Преимущество:

Экспертиза в байесовской оптимизации, эволюционных алгоритмах, гиперпараметрическом поиске, автоматической оптимизации промптов.

Условия:

Зарплата: 80K–130K usd + опционы.

Релокация в Париж🥐, полная занятость.

Работа с передовым стеком (AI research, model alignment).

Отклик:
https://forms.gle/z45WwdBTRHrd8inM9
🔥142👍1