Масштабируемое языковое моделирование без MatMul

Наши эксперименты показывают, что предлагаемые нами модели без MatMul достигают производительности на уровне современных трансформаторов, которым требуется гораздо больше памяти во время вывода в масштабе как минимум до 2,7B параметров.

https://github.com/ridgerchu/matmulfreellm

Практическое руководство по масштабированию обучения модели машинного обучения

https://blog.dailydoseofds.com/p/a-practical-guide-to-scaling-ml-model

Warp — это среда Python для написания высокопроизводительного кода моделирования и графики.

https://github.com/NVIDIA/warp

Модель авторегрессии превосходит диффузию: лама для создания масштабируемых изображений

Мы представляем LlamaGen, новое семейство моделей генерации изображений, которые применяют оригинальную парадигму «предсказания следующего токена» больших языковых моделей к области визуальной генерации.

https://github.com/foundationvision/llamagen

🧵 Блокнот Jupyter на базе искусственного интеллекта, созданный с использованием React. 🧵
Блокнот Python на базе искусственного интеллекта, встроенный в React: создавайте и редактируйте ячейки кода, автоматически исправляйте ошибки и общайтесь с вашим кодом. Самое приятное то, что Thread работает локально и его можно бесплатно использовать с вашим собственным ключом API…

https://github.com/squaredtechnologies/thread

Воспроизводим GPT-2 (124М) с нуля. В этом видео показан весь процесс

https://www.youtube.com/watch?v=l8pRSuU81PU

Написание быстрых строковых функций для NumPy 2.0

https://labs.quansight.org/blog/numpy-string-ufuncs

Эмпирическое исследование использования энергии и производительности библиотек Python для анализа данных Pandas и Polars [PDF]
Мы стремимся оценить энергопотребление Pandas, широко используемой библиотеки манипулирования данными Python, и Polars, библиотеки на основе Rust, известной своей производительность. Целью исследования является предоставление аналитикам данных информации путем определения сценариев, в которых одна библиотека превосходит другую с точки зрения энергопотребления, а также изучения возможных корреляций между показателями энергопотребления и производительности… https://www.ivanomalavolta.com/files/papers/EASE_2024.pdf

Справочник по генеративному искусственному интеллекту: план учебных ресурсов

https://genai-handbook.github.io/

Уроки, извлеченные из масштабирования до многотерабайтных наборов данных.
Этот пост предназначен для того, чтобы познакомить вас с некоторыми уроками, которые я усвоил при работе с многотерабайтными наборами данных…

https://v2thegreat.com/2024/06/19/lessons-learned-from-scaling-to-multi-terabyte-datasets/

Развертывание моделей машинного обучения: пошаговое руководство
Давайте рассмотрим процесс развертывания моделей в производстве.

https://www.kdnuggets.com/deploying-machine-learning-models-a-step-by-step-tutorial

Хотите изучить квантование в модели большого языка?
Простое руководство, которое научит вас интуитивному квантованию с помощью простого математического вывода и кодирования в PyTorch.

https://pub.towardsai.net/want-to-learn-quantization-in-the-large-language-model-57f062d2ec17

Я тебя с вертухи сломаю, если ещё раз заговоришь об ИИ

Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от монотонного труда до антиутопического ущерба для работы художников в капиталистическом обществе, а также до экзистенциальных угроз самому человечеству.

Лично я получил формальное образование дата-саентиста, даже выиграв в высококонкурентном конкурсе по машинному обучению в одном из лучших университетов Австралии и написав магистерскую, для которой создал в MATLAB с нуля собственные библиотеки. Я не гений в этой сфере, но, очевидно, лучше большинства конкурентов, то есть практиков вроде меня; я не могу, сидя в пещере, создавать собственные библиотеки на C, но умею читать учебники, реализовывать готовые решения на языках высокого уровня и использовать библиотеки, написанные элитными организациями.

Поэтому с глубочайшим сожалением должен объявить, что следующий человек, который начнёт говорить мне о реализации ИИ, получит от меня сеанс живительных процедур над позвоночником; иными словами, я сломаю ему нафиг шею. Мне очень-очень жаль. https://habr.com/ru/articles/823584/

🎯Ищете работу в ИТ? Присоединяйтесь к нашему тг-каналу EKLEFT JOB и будьте в курсе лучших вакансий!

В нашем канале вы найдете:
- Эксклюзивные вакансии в ТОП компаниях из производственной, банковской и сферы ритейла
- Свежие вакансии, срок каждой не более 1-2 дней

Откликаясь на вакансию, вы попадаете сразу к нашему рекрутеру, который сразу расскажет подробности вакансии.
Подпишитесь на канал и начните карьеру в ведущих ИТ-компаниях уже сегодня.

Ваше будущее в ИТ начинается здесь!

Эта работа представляет Depth Anything V2. Он значительно превосходит V1 по детализации и надежности. По сравнению с моделями на основе SD, он имеет более высокую скорость вывода, меньшее количество параметров и более высокую точность глубины.

https://github.com/DepthAnything/Depth-Anything-V2

Оптимизация машинного обучения с помощью Optuna
Как точно настроить каждый алгоритм машинного обучения в Python. Полное руководство по оптимизации машинного обучения с помощью Optuna для достижения отличных характеристик моделей.

https://towardsdatascience.com/machine-learning-optimization-with-optuna-57593d700e52

Unique3D: высококачественное и эффективное создание 3D-сетки из одного изображения

https://github.com/AiuniAI/Unique3D

Короткие размышления об инженерии ИИ и «проваленных проектах ИИ»
Традиционная инженерия ML была очень сложной. Она все еще очень сложная. Я думаю, что одной из самых сложных задач в традиционном жизненном цикле ML является подготовка данных… Сегодня прототипирование приложений ИИ происходит быстрее, чем когда-либо, и гораздо больше людей могут создавать приложения ИИ. Можно утверждать, что LLM предложили (несколько обманчивую) возможность упростить подготовку данных — полностью обойдя ее… Генеративный ИИ и LLM немного интереснее в том смысле, что у большинства людей нет никакой формы систематической оценки перед отправкой

https://www.sh-reya.com/blog/ai-engineering-short/

Наслаждайтесь волшебством моделей Diffusion!

DiffSynth Studio — это движок Diffusion. Мы реструктурировали архитектуры, включая Text Encoder, UNet, VAE и другие, сохранив совместимость с моделями сообщества открытого исходного кода и одновременно повысив вычислительную производительность. Мы предоставляем много интересных функций. Наслаждайтесь волшебством моделей Diffusion!

https://github.com/modelscope/DiffSynth-Studio

Яндекс разработал и опубликовал библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей.

При обучении LLM возникает проблема сложности вычислений и коммуникаций GPU в кластере. Большие расчёты должны синхронизироваться на разных видеокартах, а для этого сами устройства должны обмениваться информацией, чтобы не считать два раза одно и то же. Если GPU делают это неэффективно, то они теряют до 30% недоутилизированной мощности.

Библиотека YaFSDP позволяет ускорить обучение больших языковых моделей до 25%. С её помощью можно тратить меньше времени на обучение и расходовать меньше ресурсов графических процессоров (GPU). Подробнее о том, как менялись подходы к оптимизации ресурсов можно прочитать в статье на «Хабре».

Реклама. ООО "ЯНДЕКС". ИНН 7736207543.

Обнаружение галлюцинаций в больших языковых моделях с использованием семантической энтропии
Большие языковые модели (LLM), такие как ChatGPT и Gemini, часто генерируют ложные или необоснованные результаты, создавая риски в таких областях, как юриспруденция, журналистика и медицина. Новый статистический метод, использующий оценщики неопределенности на основе энтропии, может обнаруживать эти «галлюцинации», оценивая неопределенность сгенерированного значения, а не конкретные последовательности слов, что повышает надежность, не требуя данных, специфичных для конкретной задачи. https://www.nature.com/articles/s41586-024-07421-0

Регрессия Пуассона против линейной регрессии
Линейная регрессия — не единственная линейная модель.

https://blog.dailydoseofds.com/p/poisson-regression-vs-linear-regression