Forwarded from Complete AI (Andrey Kuznetsov)
🔥Не перестаю гордиться нашей командой, которая заряжена строить крутые решения с горящими глазами и испытывать восхищение от получающихся результатов. Продолжаем подогревать Kandinsky 2.1😊
🤫Скоро раскроем подробности!
🤫Скоро раскроем подробности!
❤36🤡13🔥5🤯2🥱2👎1
Forwarded from DL in NLP (Vlad Lialin)
PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
Но по-настоящему самая главная фича (потому что её я написал) это что
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.Но по-настоящему самая главная фича (потому что её я написал) это что
__repr__ ModuleList теперь выглядит компактно когда модули повторяются.🔥39👍9⚡1❤1
YTsaurus
Яндекс выпустил в открытый доступ «Вайтизавр» - платформу распределённого хранения и обработки больших данных, которую они делали почти 10 лет.
Вычислительный кластер YTsaurus способен:
-> хранить эксабайты данных
-> использовать HDD, SSD и RAM для хранения данных
-> обрабатывать данные на сотнях тысяч Hyper Threading ядер
-> решать задачи машинного обучения на тысячах GPU
-> хранить и обрабатывать данные десятков тысяч пользователей
Топовые кейсы:
— Показ рекламы
— Обучение моделей на суперкомпьютерах
— Построение поискового индекса
— Построение хранилища данных
Github | Сайт
Яндекс выпустил в открытый доступ «Вайтизавр» - платформу распределённого хранения и обработки больших данных, которую они делали почти 10 лет.
Вычислительный кластер YTsaurus способен:
-> хранить эксабайты данных
-> использовать HDD, SSD и RAM для хранения данных
-> обрабатывать данные на сотнях тысяч Hyper Threading ядер
-> решать задачи машинного обучения на тысячах GPU
-> хранить и обрабатывать данные десятков тысяч пользователей
Топовые кейсы:
— Показ рекламы
— Обучение моделей на суперкомпьютерах
— Построение поискового индекса
— Построение хранилища данных
Github | Сайт
🔥38🤡3👍1
Forwarded from Love. Death. Transformers.
Поддержим опенсурс, тут делается важная штука - открытая русскоязычная инструктивная модель, ребята нагенерили через gpt инструкцй и теперь просят вашей помощи в фильтрации!
Вот небольшая инструкцич по использованию:
Когда задание можно считать плохим:
- Из него непонятно, что нужно делать.
- Оно невыполнимо языковой моделью. Например, описание несуществующей картинки.
- Задание и вход не согласуются. Например, задание предполагает предложение на русском, а подаётся предложение на английском.
Если задание написано просто неграмотным русским языком, но из него ясно, что нужно делать - это ок.
Когда ответ можно считать плохим:
- Когда ответ некорректный или неполный.
- Когда модель в ответ на личные вопросы притворяется человеком. Например, говорит, что она вчера была в Париже.
- Когда ответ написан неграмотно.
Бот где размечать: @InstructAnnotBot
Уже готовый грязный сет:
https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca
Вот небольшая инструкцич по использованию:
Когда задание можно считать плохим:
- Из него непонятно, что нужно делать.
- Оно невыполнимо языковой моделью. Например, описание несуществующей картинки.
- Задание и вход не согласуются. Например, задание предполагает предложение на русском, а подаётся предложение на английском.
Если задание написано просто неграмотным русским языком, но из него ясно, что нужно делать - это ок.
Когда ответ можно считать плохим:
- Когда ответ некорректный или неполный.
- Когда модель в ответ на личные вопросы притворяется человеком. Например, говорит, что она вчера была в Париже.
- Когда ответ написан неграмотно.
Бот где размечать: @InstructAnnotBot
Уже готовый грязный сет:
https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca
huggingface.co
IlyaGusev/ru_turbo_alpaca · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👏23❤7😐2👎1😁1