🌟 AQLM․rs: сокращаем расходы на нейросети

Исследователь Яндекса разработал сервис для запуска языковых моделей с 8 млрд параметров на пользовательских девайсах.

Автор написал инференс модели Llama 3.1 8B, работающий в браузере на WebAssembly без использования GPU. Для этого он применил технологию сжатия нейросетей AQLM, которую разработала команда Yandex Research вместе с университетами ISTA и KAUST.

Для примера, скорость ответов нейросети на MacBook Pro M1 составила 1,5 токена в секунду или 3–4 символа.

🟡Статья
🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM

✔️ Венчурный фонд a16z представил прогноз ключевых технологических трендов на 2025 год.

Эксперты Andreessen Horowitz ожидают рост спроса на ядерную энергию для обеспечения растущих потребностей центров обработки данных искусственного интеллекта. Появятся новые профессии, требующие навыков в области аппаратного и программного обеспечения, робототехники и автоматизации.

XR-устройства получат развитие как инструменты для разработчиков, создающих приложения для реального мира. В сфере здравоохранения ИИ будет использоваться для демократизации доступа к медицинской информации и решения кадрового кризиса. Ожидается рост популярности периферийного ИИ и создание крупных вычислительных центров для обучения и развертывания моделей ИИ.
a16z.com

✔️ В Китае создан ИИ для написания политически корректных документов.

Китайский интернет-гигант Baidu совместно с партийным приложением Xuexi разработал инструмент на основе искусственного интеллекта, который помогает чиновникам создавать политически корректные документы. Xuexi – это приложение, посвященное жизни и идеям Си Цзиньпина.

Новый инструмент проверяет документы на соответствие идеям Си Цзиньпина и гарантирует, что ссылки на его высказывания взяты из проверенных источников. Инструмент также может использоваться для создания документов с цитированием государственной статистики и политики.
theregister.com

✔️ Бывший сотрудник OpenAI создает стартап в области AI-аудио.

Алексис Конно, один из разработчиков Advanced Voice Mode для ChatGPT, основал стартап WaveForm, который занимается созданием системы AI-аудио, способной улавливать больше нюансов речи, чем существующие технологии. WaveForm, получивший начальное финансирование в размере 40 млн. долл. от Andreessen Horowitz, стремится создать систему, которая пройдет "речевой тест Тьюринга", то есть сможет имитировать человеческую речь настолько точно, что пользователи не смогут отличить ее от живого собеседника. В настоящее время WaveForm, состоящий из 5 сотрудников, находится на стадии разработки своих моделей.
axios.com

✔️ Ultralytics YOLO11 была взломана и содержит криптомайнер.

Ultralytics YOLO11, модель, предназначенная для обнаружения объектов, была скомпрометирована в результате атаки на цепочку поставок. Вредоносный код, внедренный в версии 8.3.41 и 8.3.42, устанавливал криптомайнер на устройства пользователей, скачавших библиотеку с через Python Package Index (PyPI). Ultralytics, используемая в популярных проектах SwarmUI и ComfyUI, загружалась более 260 000 раз за сутки. Вредоносный код запускал майнер XMRig, подключающийся к пулу "connect.consrensys[.]com:8080".

Разработчики Ultralytics удалили скомпрометированные версии и выпустили обновление 8.3.43, устраняющее уязвимость. Расследование показало, что атака, возможно, была осуществлена через два вредоносных запроса на внесение изменений в код от пользователя из Гонконга. В настоящее время проводится полный аудит безопасности для предотвращения подобных инцидентов в будущем.
bleepingcomputer.com

✔️ OpenAI представила Sora: новую модель для создания видеороликов по текстовому описанию.

Компания OpenAI на онлайн-стриме анонсировала запуск Sora – инструмента для создания видео по текстовому запросу. Sora доступна подписчикам ChatGPT Plus и Pro, с ограничениями по региону (недоступна на территории ЕС и Великобритании), количеству генераций и качеству видео. Plus-пользователи смогут создавать до 5 видео в месяц длиной до 5 секунд в разрешении до 720p.

Pro-подписка позволяет сгенерировать до 500 коротких видео длиной до 20 секунд в разрешении до 1080p. Sora предлагает различные инструменты для редактирования и управления процессом создания видео: Storyboard для покадровой режиссуры и функции для добавления начала, концовки и объединения нескольких видео.
openai.com

@ai_machinelearning_big_data

#news #ai #ml

📌Интерактивное руководство по Prompt Engineering для Ollama.

Репозиторий на Github c набором ipynb-туториалов по Prompt Engineering для освоения методов создания оптимальных промптов для модели Qwen2.5-14B.

Руководство разделено на 9 глав с практическими упражнениями и приложением с "продвинутыми" методами. В каждой главе есть "Example Playground" для экспериментов с примерами и наблюдения за изменениями в инференсе Ollama.

Руководство использует модель Qwen 2.5-14B, но все материалы подходят и для модели Qwen 2.5-7B.

▶️Содержание:

Начальный уровень

🟢Глава 1: Базовая структура промпта.
🟢Глава 2: Ясность и прямота.
🟢Глава 3: Назначение ролей.

Средний уровень

🟢Глава 4: Отделение данных от инструкций.
🟢Глава 5: Форматы данных инференса и речь для Ollama.
🟢Глава 6: Рассуждение (шаг за шагом).
🟢Глава 7: Использование примеров.

Продвинутый уровень

🟠Глава 8: Избегание галлюцинаций.
🟠Глава 9: Создание сложных промптов (примеры использования для реальных задач):

🟢Сложные промпты с нуля - чатбот;
🟢Сложные промпты с нуля по юридическим услугам;
🟢Упражнение: Сложные промпты для финансовых услуг;
🟢Упражнение: Сложные промпты для программирования.

Приложение: За пределами стандартных подсказок

🟠Цепочка промптов.
🟠Использование инструментов.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Tutorial #Ollama

📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

🌟 Text-to-Speech в браузере на безе OuteTTS.

Простое приложение React + Vite для запуска OuteTTS с помощью Transformers.js и WebGPU.

Попробовать демо можно на HuggingSpace. При первом запуске модель загружается в кэш браузера, это занимает какое-то время.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/huggingface/transformers.js-examples.git

# Go to project dir
cd transformers.js-examples/text-to-speech-webgpu

# Install the dependencies via npm
npm i

# Run dev server
npm run dev

# Open your browser and go to https://localhost:5173

🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #TTS #WebGPU #TransfomersJS

🌟 DeepSeek-V2.5-1210: файнтюн базовой DeepSeek-V2.5.

Файнтюн модели DeepSeek-V2.5 с 236 млрд. параметров с улучшенными показателями в математических вычислениях, программировании, генерации текста и рассуждении. В модели также оптимизированы функции загрузки файлов и обобщения веб-страниц.

Точность решения задач с DeepSeek-V2.5-1210 на LiveCodebench выросла с 29,2% до 34,38% относительно родительской DeepSeek-V2.5, в математических тестах MATH-500 с 74.8% до 82.8%.

DeepSeek-V2.5-1210 поддерживает function calling и использует обновленный шаблон чата для расширения возможностей модели.

⚠️ Чтобы использовать модель в инференсе с BF16 требуется 8 GPU c 80 GB VRAM каждый.


▶️Пример инференса DeepSeek-V2.5-1210 на Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2.5-1210"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` should be set based on your devices
max_memory = {i: "75GB" for i in range(8)}
# `device_map` cannot be set to `auto`
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "Write a piece of quicksort code in C++"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

📌Лицензирование: MIT License.


🟡Модель


@ai_machinelearning_big_data

#AI #ML #LLM #DeepSeek

✔️ Проект vLLM присоединился к экосистеме PyTorch.

vLLM, движок для запуска LLM, стал частью экосистемы PyTorch. vLLM обеспечивает высокую пропускную способность и эффективное использование памяти при работе с моделями, содержащими сотни миллиардов параметров. vLLM поддерживает аппаратные платформы NVIDIA, AMD, Google Cloud TPU, Intel и AWS. Установить vLLM теперь можно простой командой: pip install vllm.
pytorch.org

✔️ OpenAI запускает Canvas для совместной работы с ChatGPT.

Canvas предоставляет возможность совместного редактирования текстов и кода в режиме реального времени. Новая функция позволяет пользователям добавлять текст, вносить изменения и давать обратную связь ChatGPT. Интеграция с Python позволяет запускать код непосредственно в Canvas и визуализировать результаты, включая графику. OpenAI также объявила о поддержке Canvas в пользовательских GPT, что позволит расширить их функциональность и адаптировать к конкретным задачам.
openai.com

✔️ MIT разработал инструмент для отслеживания источников информации, используемых ИИ.

Исследователи из МIT создали ContextCite – инструмент, который отслеживает источники информации, применяемые ИИ при создании текста. ContextCite позволяет пользователям проверять достоверность информации, предоставляемой ИИ, выделяя фрагменты текста, на которых основан ответ.

В случае ошибки ContextCite помогает определить источник недостоверных данных и понять логику работы ИИ. Инструмент также способен выявлять «атаки отравления», когда злоумышленники пытаются исказить информацию, вводя ложные данные в источники, используемые ИИ.
news.mit.edu

✔️ DIMON: Нейросетевой оператор для решения дифференциальных уравнений в частных производных на различных геометрических областях.

Ученые из Университета Джонса Хопкинса разработали новый метод машинного обучения DIMON (Diffeomorphic Mapping Operator Learning), который способен эффективно обучаться и решать дифференциальные уравнения в частных производных (PDE) значительно быстрее, чем суперкомпьютеры.

DIMON основан на использовании диффеоморфизмов для преобразования функций, заданных на различных областях, в единую эталонную область. Это позволяет обучить нейросетевой оператор, способный аппроксимировать решение PDE на любой области из семейства диффеоморфных областей. DIMON успешно протестирован на решении уравнения Лапласа и моделировании динамики реакции-диффузии. Он был использован для прогнозирования распространения электрического сигнала в левом желудочке сердца на основе данных 1006 пациентов. DIMON продемонстрировал высокую точность, сократив время прогнозирования с нескольких часов до менее чем одной секунды.
nature.com

✔️ Reddit запускает инструмент поиска с ИИ.

Инструмент автоматически генерирует ответы на запросы пользователей и предоставляет ссылки на релевантные источники информации. Ключевой особенностью Reddit Answers является использование данных, собранных непосредственно с платформы Reddit, что позволяет находить нужную информацию без обращения к внешним поисковым системам.

В настоящее время доступ к Reddit Answers ограничен: им могут воспользоваться только пользователи из США через веб-интерфейс или приложение iOS и только на английском языке. В планах - расширить доступность сервиса для других языков и регионов. На данный момент Reddit Answers находится на стадии тестирования.
redditinc.com

✔️ Swift Ventures создает новый индекс для оценки инвестиций в ИИ.

Индекс использует систему оценки, основанную на анализе инвестиций в исследования ИИ, количество специалистов по ИИ в штате и доходы от операций, связанных с ИИ. Этот подход позволяет определить, какие компании действительно инвестируют в ИИ, а не просто используют модный термин.

Анализ отслеживаемых 90 компаний показал, что только небольшая часть компаний, упомянувших ИИ в своих отчетах, вкладывает значительные средства в развитие этой технологии.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml