📌Mixture-of-Depths: распределение вычислений в LLM на основе трансформеров

Это совершенно гениальная идея сделать модели на основе трансформеров более эффективными.

Немного деталей:
⏩Mixture-of-Depths уменьшает объем внимания, доступного каждому уровню, и заставляет нейронную сеть обращать внимание на важную информацию.

⏩Использование Mixture-of-Depths минимизирует потери вычислений и обеспечивает динамическое распределение вычислений на основе входной последовательности.

⏩Mixture-of-Depths ограничивает количество токенов, которые могут участвовать в вычислениях self-attention и MLP на данном уровне.

⏩Токены, подлежащие обработке, определяются сетью с использованием механизма маршрутизации top-k.

⏩Метод Mixture-of-Depths использует статический граф вычислений с известными размерами тензора.

⏩Вычислительные затраты в целом предсказуемы, но динамичны и зависят от контекста на уровне токенов.

📎 Исследование, посвящённое Mixture-of-Depths

@data_analysis_ml

🖥 Задачи ML на Swift без Python, нейронных сетей и библиотек

⏩Для решения задач ML большинство разработчиков предпочитают интегрировать библиотеки Python в свой язык/среду, вместо рассмотрения альтернативных решений (а они есть).

⏩В статье предлагается решить классическую задачу ML, используя язык Swift без использования библиотек.

⏩Статья не является руководством по написанию на Swift, а показывает, что ML задачи можно решать не только с помощью Python, и в этом даже есть плюсы

📎 Статья

@data_analysis_ml

⚡️ Млн+ часов YouTube для обучения GPT-4

⏩OpenAI расшифровала более миллиона часов видео с YouTube для обучения GPT-4, воспользовавшись лазейкой в законе об авторском праве. Компания использовала свою модель транскрипции аудио Whisper. Президент OpenAI Грег Брокман лично участвовал в сборе видео.

⏩Представитель OpenAI Линдси Хелд сообщила, что компания использует «многочисленные источники, включая общедоступные данные и партнёрские отношения», а также изучает возможность создания собственных синтетических данных.

⏩Представитель Google Мэтт Брайант отметил, что «как файлы robots.txt, так и Условия обслуживания запрещают несанкционированное сканирование или загрузку контента YouTube». По его словам, Google принимает «технические и юридические меры» для предотвращения такого использования. При этом сама компания обучала свои модели «на некотором контенте YouTube в соответствии с соглашениями с авторами».

⏩В статье The New York Times говорится, что OpenAI исчерпала запасы полезных данных в 2021 году. К тому времени она обучила модели на данных, которые включали компьютерный код из Github, базы данных шахматных ходов и материалы школьных заданий из Quizlet. Эксперты считают, что запас доступного для обучения контента иссякнет к 2028 году. После этого оно будет производиться на синтетических данных, созданных другим ИИ. Эксперты допускают, что некоторые компании также могут преднамеренно пойти на нарушение авторских прав.

@data_analysis_ml

📌Модель машинного обучения Ferret-UI от Apple

⏩Apple представила модель машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса. В исследовании компания отметила, что практически все доступные мультимодальные языковые модели плохо работают с интерфейсами. Нейросети не отличают кнопки от полей ввода и других элементов.

⏩Компания собрала большой датасет для обучения Ferret-UI, что значительно улучшило распознавание. Отмечается, что нейросеть превосходит не только открытые MLLM, но и GPT-4. Модель можно использовать для реализации новых функций доступности. К примеру, нейросеть сможет управлять мобильным устройством, опираясь на запросы пользователя.

📎Инженеры компании опубликовали исследование на портале Arxiv.

@data_analysis_ml

🔜 Парадоксы в данных, и почему визуализация бывает необходима

В этой статье несколько «парадоксов» в данных, о которых полезно знать как начинающему аналитику данных, так и любому человеку, кто не хочет быть введенным в заблуждение некорректными статистическими выводами.

За рассматриваемыми примерами не кроется сложной математики помимо базовых свойств выборки (таких, как среднее арифметическое и дисперсия), зато такие кейсы могут встретиться и на собеседовании в сфере Data Science, и в жизни.

📎 Статья

@data_analysis_ml

⚡️ LLMWare — open-souce проект для разработки LLM-инструментов корпоративного уровня

Для чего LLMWare?
⏩Позволяет создавать llmware slims — это небольшие специализированные модели, которые оптимизированы для использования с процессорами и позволяют автоматизировать задачи без дорогостоящего оборудования.

⏩llmware slims могут выполнять различные задачи, такие как обобщение текста, извлечение тегов, определение тем, анализ намерений, классификация контента и распознавание именованных объектов.

⏩Эти llmware slims легко настраиваются с помощью языка Python и веб-фреймворка Streamlit для создания удобного интерфейса

Вообще, вариантов использования масса, с чем можно ознакомиться в GitHub

🖥 GitHub
📎 Обзор

@data_analysis_ml