Ноутбук для семинара, в котором мы обучим поверх кодов Mimi кодека классификатор голосов на мужской и женский 😄

Используем 8 кодбуков, обучаем 8 трансформер-энкодеров, делаем темпоральный пулинг по токенам, а затем атеншн пулинг между энкодерами. Потом обычный классификатор. Из прикольного - визуализация атеншна на разные уровни RVQ.

Научились работать с RVQ и в качестве упражнения можете посчитать разные статистики для кодовых книг, например perpexity по кодбуку (покажет насколько равномерно используются коды) или утилизацию кодов на разных уровнях/на первом. Или попробовать другую простенькую задачу и посмотреть как интерпретируются уровни RVQ, вероятно на разных уровнях содержится разная семантика/смысл.

https://colab.research.google.com/drive/1L6sTCrpdxybkSOOrc4G2E4AuRnQLWZQj#scrollTo=cHGzcgj8oRVi

12го ноября прилечу в Питер к Сергею Николенко (@sinecor), буду рассказывать в главном здании СПбГУ все, что знаю про дискретные репрезентации и выбор между непрерывными фичами, это будет экстраполяция семинара про аудио кодеки на весь ML

Пишите/заходите на огонек, запись будет на ютубе у Сергея

Очень я рад, именно лекции Сергея Николенко дали мне лучшую теорию и погружение в математику ML. Безусловно этот человек мой кумир. Очень классно совмещает знание истории и математики в своих лекциях. Впрочем, Сергей чемпион мира по ЧГК и автор множества книг :)

В команду успешной музыкальной платформы с 15-летней историей ищем талантливого ML-разработчика, для качественного усиления, в связи с ростом. Плеер гитарных табов (https://www.songsterr.com/) — наш основной продукт, которым ежемесячно пользуются миллионы.

Мы работаем над сложными задачами в ML, включая разработку моделей для автоматической транскрипции музыки. Наши модели уже успешно создают табулатуры из аудио — вот пример результата (https://www.youtube.com/watch?v=rM4nAZOJoTQ). Это лишь часть наших проектов в области AI и музыки.

Требуемые навыки:
• Разработка и оптимизация DL-моделей, внедрение в прод
• Глубокое знание современных DL-архитектур
• Опыт тренировки на multi-GPU, оптимизация гиперпараметров
• Работа с грязными user-generated датасетами: фильтрация, очистка
• Желательно: аудиообработка и music information retrieval

Стек:
• Python + PyTorch
• Accelerate/DeepSpeed/W&B
Проекты завязаны на музыке и обучении — интерес к темам плюс. Главное — умение выдавать результат.

Условия:
• Полностью удалёнка, ставка от $9900/mo gross.
• Оформление на контракт, можно из РФ/РБ.
• Предпочитаем фулл-тайм, но график гибкий, сами выбираете когда работать. Хотите больше — допчасы с пропорциональной оплатой. В годовой уже ставке учтены месяц отпуска, 7 дней больничных, 14 праздников и компенсация техники, потому отдельно не оплачиваются.

Процесс отбора:
• Код-тест
• Фидбек по тесту от нас
• Если все ок — оплачиваемое тестовое (испытательный срок парт-тайм): реальная задача, график свободный, можно совмещать с текущей работой — никаких рисков

Связь: @rammusin

Мои друзья в поиске MLщиков, ребята тоже делают транскрипцию музыки и много чего еще, попробуйте податься!) Мои доклады и посты в помощь 🤭

Позвольте похвастаться

А писать посты с разборами статей как то приелось, также есть нейронки, да и хочется делиться тем, что я знаю на практике длиною в год и более. Я в этом году много говорил про кодеки и авторегрссию в домене аудио (музыка, речь). Дальше будет порционно что-то иное, в течение года.

Я просто выложу список самых интересных и ценных работ.

По вопросам моей деятельности/таким-то инсайдам всегда можете обращаться в коменты/лс.

С наступающим, всех благ!)