Apple представляет новый фреймворк MLX для машинного обучения

Apple раскрывает MLX - специализированный фреймворк для Apple Silicon.
Улучшенное машинное обучение: высокая производительность и легкость в использовании.
MLX поддерживает популярные языки программирования, облегчая интеграцию.
Эффективность: единая модель памяти минимизирует затраты на обработку данных.
Примеры возможностей: генерация изображений, языковые модели, распознавание речи.
Стратегия Apple: сделать машинное обучение доступней для исследователей.
Apple Silicon способствует высокой эффективности работы моделей ML, одновременно защищая данные пользователей.

Apple незаметно присоединяется :)

#Apple #MLX #MachineLearning

Hugging Face аналог GPT Store

Hugging Face запустила Spaces, платформу для быстрого создания и размещения ML-приложений.
Теперь реализовать проекты в сферах NLP, компьютерного зрения или аудио стало проще.
Созданные приложения отображаются в профиле пользователя или организации.
В Spaces встроен контроль версий и работа над проектами в команде через Git.
Платформа предлагает интерактивные демонстрации для ваших моделей и доступ к 6500 готовым Spaces.

кому нужен этот ваш GPT Store от OpenAI когда в Huggingface уже такое есть.

#HuggingFace #Spaces #MachineLearning

Китайские ученые обучают ИИ быть настоящими учеными

Обычно модели обучаются на данных без учета предварительных знаний, например, физических законов.
Китайские исследователи предлагают концепцию 'осведомленного машинного обучения', совмещая данные и предметные знания.
Внедрение предметных знаний улучшает эффективность ИИ и его способность делать выводы.
Основная сложность - выбор полезных знаний и предотвращение сбоев моделей при внедрении множества правил.
Разработана система оценки правил для определения лучших ответов.
Обучение ИИ законам физики, например, делает его более реалистичным и полезным в науке.
Оптимизировано для решения многофакторных уравнений и предсказания результатов химических экспериментов.
Цель - позволить ИИ самостоятельно идентифицировать знания и правила из данных.

#AI #MachineLearning #Science
-------
@tsingular

Эндрю Нг 🧠💻 назначен в Совет директоров Amazon

Доктор Эндрю Нг, ведущий эксперт в области ИИ, машинного обучения и онлайн-образования, назначен в Совет директоров Amazon с 9 апреля 2024 года.
Он является управляющим генеральным партнером AI Fund, поддерживающей предпринимателей в сфере ИИ, лидером образовательной компании DeepLearning.AI, основателем Landing AI (ПО для компьютерного зрения), председателем и соучредителем онлайн-платформы Coursera.
Богатый академический и практический опыт Нга, включая более 200 научных работ по машинному обучению, робототехнике и смежным областям, поможет Amazon в решении перспектив и проблем, связанных с развитием ИИ.

Мощное усиление! Привлечение светил ИИ в топ-менеджмент - 🦾

#AndrewNg #AmazonBoard #MachineLearning
-------
@tsingular

KAN - новая архитектура нейросетей на основе теоремы Колмогорова-Арнольда

KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧

Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊

#KAN #NeuralNetworks #MachineLearning
-------
@tsingular

MLaaS делает ИИ доступным для любого бизнеса

Объемы неструктурированных данных растут, превышая возможности простой аналитики.
ИИ, машинное обучение и когнитивные вычисления 🤖 - новый must have.
MLaaS (Machine Learning as a Service) - подписная модель доступа к ИИ, аналогично SaaS.
MLaaS делает когнитивные вычисления доступными для организаций любого размера 📈.
Можно легко масштабировать вычислительные ресурсы по требованию ⚙️.
MLaaS расширит применение ИИ для разных ролей и навыков 👥.
Это откроет новую волну инноваций 💡 для компаний с ограниченными ресурсами.
Появятся готовые ИИ-функции, доступные через API 🔌.
No-code ИИ-системы позволят создавать ИИ-решения даже неспециалистам 🙌.

Больше аббревиатур богу аббревиатур.
MLaaS, штука полезная и понятная, в принципе, вопрос что с конфиденциальностью данных.

#MachineLearning #Analytics #MLaaS
-------
@tsingular

AGREE - cамообоснование и цитирование у LLM

Google представила AGREE - ИИ-фреймворк машинного обучения, обучающий большие языковые модели самообоснованию и цитированию точных ссылок в ответах.
Это решает проблему "галлюцинаций" LLM - генерации правдоподобной, но недостоверной информации.
В основе - 2 этапа:
1) Обучение настройке LLM на добавление цитат на основе синтетических данных.
2) Итеративная адаптация во время тестов для улучшения ответов.
Эксперименты показали значительное улучшение обоснований и точности цитирования.

Самурай с мечом подобен самураю без меча, но с мечом! :)

#Google #AGREE #MachineLearning

Примеры атак на модели ИИ через небезопасный формат Pickle

Разработана новая техника эксплуатации "Сонный Пикл" (Sleepy Pickle), которая внедряет вредоносный код в файлы моделей машинного обучения, использующие небезопасный формат Python pickle.
При загрузке такого файла выполняется вредоносный код, модифицирующий модель для генерации опасного контента, кражи данных пользователей и фишинга.
"Липкий Пикл" (Sticky Pickle) - продвинутый вариант с самовоспроизведением, автоматически заражающий будущие версии модели и маскирующий вредоносный код.
Это показывает широкую поверхность атаки при взаимодействия ИИ-моделей с базовым ПО.
Рекомендуется использовать безопасные форматы вроде SafeTensors, сканировать pickle-файлы и внедрять проверенные ML-технологии, которые уже успели доказать свою безопасность.

Ч1: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-1/
Ч2: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-2/

#MachineLearning #CyberSecurity #PickleExploit
-------
@tsingular

Использование ИИ для рассекречивания документов

Исследование, проведённое в Мэриленде по заказу Минобороны США показало успешное применение ИИ для рассекречивания документов.
Ключевой момент - сопоставление процессных правил с моделями контекстуального понимания.
Алгоритмы способны различать контекст терминов в разных сферах (например, «килотонна» в сельском хозяйстве и обороне).
Планируется создание руководства по использованию ИИ для поддержки решений о рассекречивании в госструктурах.
Технология применима к различным типам проверки информации, включая FOIA и проверку безопасности.

В данном конкретном случае это больше про сортировку документов, чтобы лишнее не опубликовать, но в целом интересна методика подхода по снижению неопределённостей.

#Pentagon #declassification #machinelearning
-------
@tsingular

Роботы учатся самостоятельно по принципу «тренировка ведет к совершенству»

Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.

Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.

#robotics #machinelearning #automation
-------
@tsingular

Эволюция RLHF: CLoud - модель для самокритики

Новая модель Critique-out-Loud (CLoud) улучшает технологию Reinforcement Learning from Human Feedback (RLHF).

CLoud генерирует детальную критику ответов ИИ-ассистента перед выставлением оценки.

Обучение происходит на наборах данных с запросами, ответами и экспертной критикой.
Применяется многовыборочный вывод и самосогласованность для повышения точности.
CLoud-модели значительно превзошли классические аналоги в тестах и на бенчмарке ArenaHard.
Технология объединяет генерацию языка с моделированием предпочтений, открывая новые горизонты.

Настоящая ценность от технологии появляется, когда можешь позволить себе избыточное использование.
Одно из них - самооценка и самокритика.
Нужно больше GPU.

#RLHF #CLoud #MachineLearning
-------
@tsingular

Гарвард представил ML-модель для точного прогноза энергетических уровней

Ученые Гарварда разработали инновационный метод машинного обучения на базе гауссовских процессов для повышения точности функционалов плотности.

Новый подход нацелен на улучшение прогнозирования энергетических щелей и энергий реакций молекул.

Модель CIDER24X интегрирует нелокальные особенности матрицы плотности, используя теорему Янака и концепцию разрывности производной.

Созданы две версии: CIDER24X-e (с данными об уровнях энергии) и CIDER24X-ne (без них).

Метод демонстрирует улучшенную точность для молекулярных энергий и HOMO-LUMO щели, приближаясь к точности гибридной теории функционала плотности при меньших вычислительных затратах.

Теперь учёные смогут точнее предсказывать свойства молекул, не разоряясь на суперкомпьютеры. 🧪💻

paper

#HarvardUniversity #MachineLearning #QuantumChemistry
-------
@tsingular

Google проапгрейдила Gemini: мощнее, дешевле, быстрее

Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002.
Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании.
Модели стали лаконичнее в ответах.

Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!).

Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM.

Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией.

Обновления доступны через Google AI Studio и Gemini API.

Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷

#Gemini #GoogleAI #MachineLearning
-------
@tsingular

OpenR: фреймворк для управления рассуждениями ИИ

Представлен OpenR - открытый фреймворк для продвинутого рассуждения с использованием больших языковых моделей.

Эффективность повышена через интеграцию поиска, обучения с подкреплением и контролем ответа.

Фокусируется на трёх направлениях: сбор данных, обучение и генерация.

Включает собственный набор данных MATH-APS и модель вознаграждения MATH-psa.

Позволяет выбирать различные базовые модели и настраивать процесс вывода.

Своего рода открытый аналог O1. 🤔💡

#OpenR #MachineLearning #ReasoningAI
———
@tsingular

Google разработал PAV для улучшения рассуждений LLM

Google AI Research представила Process Advantage Verifiers (PAV) - новый подход к совершенствованию логических способностей больших языковых моделей.
PAV оценивают каждый шаг в процессе рассуждения, а не только итог, измеряя прогресс на основе вероятности верного решения.
Результаты впечатляют: точность возросла на 8%, эффективность обучения - в 5-6 раз, а поиска - в 1.5-5 раз.
Особенно заметны улучшения в сложных многошаговых задачах, включая математические, с повышением точности более чем на 6%.
Эффективность PAV подтверждена на моделях различного масштаба - от 2 до 27 миллиардов параметров.

Теперь ИИ будет не просто выдавать ответ, но и объяснять, как он до него дошёл.
Актуальный тренд,- самоанализ на ходу.
Не хватает ещё переобучения по выводам. Чтобы решения закреплялись и уходили в "подсознание" на скоростной слой принятия решений.

#Google #ProcessAdvantageVerifiers #MachineLearning
-------
@tsingular

Причина и следствие: метод SURD от CalTech

Учёные Caltech представили революционный метод SURD для анализа причинно-следственных связей в сложных системах.

Новый подход делит факторы на уникальные, избыточные и синергетические компоненты.

В сфере ИИ метод позволит оптимизировать нейросети, улучшить интерпретируемость моделей и повысить эффективность обучения с подкреплением.

Особенно ценна способность SURD минимизировать ложные идентификации и анализировать данные при ограниченной выборке.

Источник в Nature

Хотелось бы, конечно, готовые библиотеки уже, а то вечная проблема с false-positive у всех.
Интересно если скормить целиком метод Клоду, - напишет же?

UPD: закинул статью в 4о, Claude код в разных вариантах на Nodejs и Python в комментарии.
ИМХО лучший - Claude. Кто на чём пишет, - выбирайте.

Мы живём в реальности, где за 5 минут научную статью можно превратить в код.
Поздравляю!

#Caltech #SURD #MachineLearning
-------
@tsingular

Всё, что нужно знать об Обучении с Подкреплением (Reinforcement Learning) в 2024

Интересная работа с детальным описанием подходов к RL.

Reinforcement Learning использует принципы обучения через взаимодействие со средой, получая положительную или отрицательную обратную связь.

Рассмотрены:
- Состояния (s): Текущая ситуация/наблюдение
- Действия (a): Возможные выборы агента
- Награды (r): Сигналы обратной связи
- Политика (π): Стратегия отображения состояния в действии
- Функция ценности (V/Q): Оценка будущих наград

Методы:
- По ценности: Q-learning, SARSA
- По политике: REINFORCE, PPO
- По модели: Планирование через симуляцию

Рассмотрены методы оценки результатов и эффективности обучения, а так же:
Офлайн RL: Обучение на готовых данных
Мульти-агенты: Командное обучение
Мета-RL: Быстрое адаптивное обучение
Безопасность: Контроль рисков

Вы это никогда не прочитаете, но этим можно накормить бота и дальше с ним консультироваться :)

#ReinforcementLearning #MachineLearning #DeepLearning #обучение
------
@tsingular

🚀 Обновление LLM Course 2025 от Maxime Labonne

Максим Лабонн, глава направления пост-тренинга в Liquid AI, выкатил масштабное обновление своего мега-популярного курса по LLM (уже 41.3k звёзд на GitHub! 🌟).

Главные изменения коснулись раздела LLM Scientist - и это просто 🔥
Что добавили в программу:

Предтренинг на стероидах
- Как готовить данные для обучения (Llama 3.1 тренировалась на 15 триллионах токенов 🤯)
- Распределённый тренинг на кластерах GPU
- Современные оптимизаторы типа Lion

Пост-тренинг стал умнее
- Новые техники генерации синтетических датасетов
- Улучшение существующих сэмплов через Chain-of-Thought
- Фильтрация качества с помощью моделей-судей

Квантизация и оптимизация
- GGUF & llama.cpp для запуска на обычном железе
- Продвинутые техники типа GPTQ/EXL2 и AWQ
- SmoothQuant для борьбы с выбросами

Горячие тренды 2025
- Слияние моделей без файнтюна (mergekit)
- Мультимодальные модели
- Интерпретируемость через Sparse Autoencoders
- Test-time compute scaling

Что дальше?
Автор обещает в 2025 году сфокусироваться на обновлении раздела LLM Engineer - ждём новых материалов про практическое применение моделей в продакшене.

Кстати, курс остаётся полностью бесплатным 🎁 Автор говорит, что получает множество сообщений о том, как курс помог людям в карьере - и это главная мотивация продолжать развивать проект.

Для тех, кто хочет копнуть глубже - есть платная книга "LLM Engineer's Handbook", написанная вместе с Полом Юзстином. Но основной курс всегда будет бесплатным! 📚

#LLM #AI #MachineLearning #обучение #Education
———
@tsingular

🚀 AI от Sakana AI пишет оптимизированный код для CUDA-ядрер для ускорения ИИ!

🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.

CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.

Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!

Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML

▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive

@data_analysis_ml

Machine Learning Visualized — интерактивные уроки по машинному обучению

Некий студент из University of Maryland создал открытый ресурс для изучения ML-алгоритмов через интерактивную визуализацию.

Проект состоит из Jupyter Notebooks с математическими выводами и наглядными примерами обучения моделей.

На данный момент включает 4 главы: оптимизация, кластеризация, линейные модели и нейросети.

Каждый алгоритм показан от теории до практики с визуализацией процесса обучения и поиска оптимальных весов.

Есть проект в GitHub.
Все блокноты можно скачать и запустить локально или в Google Colab.

#MachineLearning #обучение #OpenSource
———
@tsingular