✔️ "Speech and Language Processing": 3-е издания книги

Этот открытый учебник считается де-факто стандартом и одним из самых авторитетных и всеобъемлющих ресурсов для изучения областей обработки естественного языка (NLP), вычислительной лингвистики и обработки речи.

🌟 Авторы: Дэн Джурафски и Джеймс Х. Мартин - известные фигуры в области NLP и вычислительной лингвистики. Книга считается классическим текстом, обновленным для включения современных методов, таких как трансформеры, которые доминируют в области NLP.

Книга разделена на три части, включающие 24 основные главы и 8 приложений.

Темы охватывают широкий спектр, включая:
😶Фундаментальные алгоритмы
😶Приложения NLP (Обработки Естественного Языка)
😶Регулярные выражения
😶Нейронные сети и трансформеры,
😶Машинный перевод и другие аспекты NLP
😶Аннотирование (или Разметка) лингвистической структуры.

Для каждой главы доступны слайды в форматах PPTX и PDF, что делает ресурс полезным для преподавателей.

Для всех, кто заинтересован в изучении NLP это фантастически полезный ресурс.

🟡Книга в PDF
🟡Все Главы
🟡Еще книги по NLP

@ai_machinelearning_big_data


#freebook #opensource #nlp

✔️ Qwen3, по слухам, будет представлена на следующей неделе.

Китайский медиапортал Sina.com.cn сообщил, что в его распоряжении есть информация, указывающая на то, что Alibaba Group планирует выпуск новой модели Qwen3 следующей неделе (7- 11 апреля). По словам экспертов медиаресурса Huxiu.com , это будет самый важный модельный продукт Alibaba в первой половине 2025 года, после выпуска DeepSeek-R1 команда Alibaba Cloud Basic Model Team еще больше сместила вектор разработки в сторону способности модели к рассуждениям.

Sina Technology обратилась за подтверждением к Alibaba Cloud, но на момент публикации официального ответа не последовало.
sina.com.cn

✔️ Microsoft закрывает ИИ-лабораторию в Шанхае.

Microsoft свернула работу своей лаборатории IoT и ИИ в технологическом кластере Чжанцзян (Шанхай), следуя стратегии сокращения присутствия в Китае. Объект, открытый в 2019 году для поддержки местных стартапов уже опустел: логотип демонтирован, оборудование вывезено. За 5 лет лаборатория помогла реализовать 258 проектов, привлекла 9,4 млрд юаней инвестиций и обучила около 10 тыс. специалистов.

Решение закрыть центр стало частью плана ухода Microsoft с китайского рынка. В 2023 году компания предложила сотрудникам, работающим над ИИ, переехать за рубеж, а также закрыла все розничные магазины в стране. По словам президента Microsoft Брэда Смита, на Китай приходится всего 1,5% глобальной выручки.
scmp.com

✔️ Руководитель отдела исследований FAIR Жоэль Пино покинет свой пост в мае.

Жоэль Пино, вице-президент по исследованиям в области ИИ компании Марка Цукерберга и глава группы FAIR, объявила о своих планах покинуть компанию в мае после почти 8 лет работы. Пино возглавляла FAIR с начала 2023 года и курировала разработку моделей Llama.

Ожидается, что уход Пино приведет к появлению вакансии высокого уровня в подразделении ИИ компании, но непосредственный преемник пока не назван.
wsj.com

✔️ Все SOTA-модели провалились на матолимпиаде-2025.

Тесты топовых LLM, проведенные matharena.ai на сложных задачах математической олимпиады США (USAMO-2025) показали печальные результаты. Модели решали 6 доказательных задач — каждая оценивалась в 7 баллов, высший балл - 42. Лидеры теста (DeepSeek-R1 и Gemini-2.0-flash-thinking) набрали меньше 5%, что ставит под сомнение их способность к глубокому математическому анализу.

Несмотря на провал, часть специалистов уверена — прогресс LLM в математике всё же есть, и он не сводится к «загрязнению» данных. Исследование, в рамка которого проводилось тестирование - «Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad» подытоживает: LLM, даже лучшим, пока далеко до уровня человека в соревновательных дисциплинах.
matharena.ai

✔️ OpenAI представила новый голос ChatGPT "Shade".

OpenAI добавила новую голосовую опцию для ChatGPT под кодовым названием "Shade". Этот голос, описанный как "Поговори с понедельником", имеет характерную визуализацию "угрюмого черного" в расширенном голосовом режиме.

Новая опция доступна в приложении для iOS, и пользователи отмечают его уникальное звучание и эстетику "тяжелого понедельника".
OpenAI в X (ex-Twitter)

@ai_machinelearning_big_data

#news #ai #ml

🔥 ​GemmaCoder3-12B — это дообученная версию Gemma-3 на датасете codeforces-cots.

После файнтюнинга демонстрирует значительное улучшение результатов на бенчмарке LiveCodeBench, увеличивая точность с 21,9% до 32,9% по сравнению с базовой моделью.

​GemmaCoder3-12B принимает текстовые запросы, связанные с программированием, и генерирует готовый код.​
▪ В 8 бит отлично работает на 32 ГБ
▪Длина контекста 128k

В целом, проект подчёркивает простую истин - дообучение моделей на специализированных датасетах может значительно повысить их эффективность в узкоспециализированных задачах.

Подхходит для:
😶Генерации кода: Написание фрагментов кода или целых функций по текстовому описанию.
😶Автодополнения кода: Предложение вариантов завершения строки или блока кода (по аналогии с IntelliSense или GitHub Copilot, но на базе этой модели).
😶Объяснения кода: Генерация описания того, что делает заданный фрагмент кода, на естественном языке.
😶Перевода кода: Конвертация кода с одного языка программирования на другой (с переменным успехом в зависимости от сложности и языков).
😶 Помощь в поиске багов или предложение вариантов их исправления.
😶Ответов на вопросы по коду: Предоставление информации по синтаксису, библиотекам, алгоритмам.

🟡HF
🟡Статья

@ai_machinelearning_big_data


#codegeneration #ml #gemma

✔️ Transformers & LLMs cheatsheet for Stanford's CME 295

Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM).

🌟 Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.

Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.

✔️Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:
✔️Механизм внимания (Attention Mechanism)
✔️Архитектура Трансформера (Transformer Architecture)
✔️Позиционное кодирование (Positional Encoding)
✔️Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)
✔️Дообучение (Fine-tuning) для конкретных задач
✔️Промптинг (Prompting) и различные его техники
✔️Оценка (Evaluation) LLM
✔️Другие важные концепции в этой области.

Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.

🟡Github
🟡Multi-Head Attention Shape Transformations

#ml #cheatsheets #transformers

✔️ ​PaperBench — это новый бенчмарк, выпущенный OpenAI для оценки способности ИИ-агентов воспроизводить передовые исследования в области ИИ.

В рамках этого проекта агентам предлагается воспроизвести 20 статей, представленных на конференции ICML 2024 в категориях Spotlight и Oral.

Для каждой статьи разработаны детальные рубрики, разбивающие задачу воспроизведения на более мелкие подзадачи с четкими критериями оценки. Всего в PaperBench содержится 8 316 индивидуально оцениваемых задач.

Создан судья на основе LLM, который автоматически оценивает попытки воспроизведения, сравнивая их с установленными рубриками. Производительность этого судьи проверяется с помощью отдельного бенчмарка.


Результаты оценки:
Тестирование нескольких передовых моделей показало, что лучшим из протестированных агентов является Claude 3.5 Sonnet (New) с использованием открытого исходного кода, который достиг среднего показателя воспроизведения в 21,0%. Однако модели пока даже не приближаются к человеческому уровеню, установленным группой ведущих докторантов в области машинного обучения.

OpenAI занял 2-е место на собствем собственном бенчмарке)

🟡Github
🟡Paper

#openai #Benchmark

✔️ Google обновляет ряды руководителей ИИ-проектов.

Google объявила о смене руководства в подразделении потребительских приложений искусственного интеллекта: Josh Woodward сменил Sissie Hsiao на посту главы этого подразделения.

Hsiao, который возглавлял потребительские приложения ИИ, в том числе проект Gemini, покидает свой пост с сегодняшнего дня. Согласно инсайду, Sissie возьмет небольшой перерыв, после чего перейдет на новую должность в компании. Woodward, который ранее возглавлял Google Labs и контролировал запуск NotebookLM, продолжит проекты в Google Labs, одновременно взяв на себя новые обязанности. Это изменение происходит по мере того, как в гонке ИИ основное внимание уделяется не базовым моделям, а продуктам, созданным на их основе.
semafor.com

✔️ Nomic выпустила мультимодальные эмбединги для визуального поиска.

Nomic представила Nomic Embed Multimodal — набор опенсорсных эмбединг-моделей для создания векторных представлений текста, изображений, PDF и графиков. Флагманская модель ColNomic Embed Multimodal 7B показала 62.7 NDCG@5 на бенчмарке Vidore-v2, опережая предыдущие решения на 2.8 пункта.

Модели Nomic обрабатывают текст и изображения совместно, избегая сложных пайплайнов с OCR. Это особенно полезно для научных статей, технической документации или мультиязычных документов, где важен контекст.

Модели доступны в двух вариантах: ColNomic (многокомпонентные векторы) для максимальной точности и Nomic (одновекторные) для экономии ресурсов. Модели доступны на Hugging Face, а разобраться помогут гайды и ноутбуки Google Colab.
nomic.ai

✔️ Китайские ИТ-гиганты заказали чипов Nvidia на 16 млрд. долларов в первом квартале 2025 года.

ByteDance, Alibaba Group и Tencent Holdings разместили заказы на общую сумму более 16 миллиардов долларов на серверные чипы H20 AI от Nvidia в первом квартале 2025 года. Такой резкий рост спроса происходит на фоне опасений, что администрация США может наложить запрет на продажу этих чипов в Китай, ссылаясь на вопросы национальной безопасности.

H20 - самый доступный чип Nvidia для продажи в рамках действующих экспортных ограничений, которые запрещают передачу более мощных моделей китайским компаниям. Значительные заказы из Китая ставят Nvidia в сложное положение, поскольку она лавирует между возможностями для бизнеса и потенциальными геополитическими рисками.
theinformation.com

✔️ Google DeepMind опубликовали 145-страничный документ об ответственном развитии ИИ.

Google DeepMind выпустила подробный документ "Ответственный путь к AGI", в котором излагается технический план безопасного развития искусственного интеллекта общего назначения.

В документе подчеркивается важность устранения потенциальных рисков неправильного использования и несоответствия, связанных с технологией AGI. Несмотря на детальный подход, некоторые аналитики полагают, что документ может не полностью убедить скептиков в надежности и безопасности разработки AGI.
deepmind.google

✔️ Epic Games купит стартап Loci чтобы автоматизировать разметку 3D-контента.

Epic Games объявила о приобретении стартапа Loci, чья ИИ-платформа упрощает работу с 3D-ассетами. Технология автоматически генерирует теги для моделей, экономя время создателей на ручную разметку. Это особенно актуально для проектов с тысячами объектов — например, в Fortnite, где игроки добавляют элементы из популярных франшиз, провоцируя споры об авторских правах.

ИИ Loci не только ускоряет поиск и организацию контента, но и помогает выявлять нарушения интеллектуальной собственности. Loci будет интегрирован в экосистему Epic, в том числе в Unreal Editor для Fortnite и маркетплейс Fab, где продаются цифровые активы. Таким образом, разработчики получат инструменты для предотвращения юридических конфликтов и упрощения рабочих процессов.
epicgames.com

@ai_machinelearning_big_data

#news #ai #ml

👍 Marimo — это блокнот с реактивным исполнением кода, обеспечивающий автоматическое обновление зависимых ячеек при изменении данных или кода.

По сути это улучшенная альтернатива Jupyter.​
​
Как работает Marimo?

▪️ При изменении значения переменной или взаимодействии с UI-элементом, Marimo автоматически выполняет все ячейки, зависящие от этой переменной, поддерживая консистентность кода и результатов. ​

Отличия от Jupyter:

▪️ Формат файлов: Marimo сохраняет блокноты как чистые Python-файлы (.py), облегчая интеграцию с системами контроля версий, в отличие от Jupyter, использующего формат JSON (.ipynb). ​

▪️ Реактивность: В Marimo изменение данных автоматически обновляет все связанные ячейки, тогда как в Jupyter это требует ручного выполнения. ​

Основные преимущества Marimo:

▪️ Интерактивность: Встроенные UI-элементы, такие как слайдеры и выпадающие списки, синхронизируются с кодом без необходимости в дополнительных настройках. ​

▪️ Отсутствие скрытых состояний и детерминированный порядок выполнения обеспечивают надежность результатов. ​

▪️ Поддерживает возможность исполнять блокноты как скрипты, импортировать их в другие проекты и разворачивать как веб-приложения. ​

Marimo представляет собой мощный инструмент для разработчиков и исследователей, стремящихся к более эффективной и надежной работе с Python-блокнотами.

В галерее Marimo представлены блокноты на все случае жизни, созданные сообществом, демонстрирующие различные возможности и сценарии использования Marimo.​

🟡Еще примеры
🟡Документация
🟡Канал Marimo
🟡Видеообзор
🟡Урок по работе с Marimo

@ai_machinelearning_big_data


#marimo #ds #ml #tools #opensource #datascience

🖥 ​Physics Simulations — это проект, который предоставляет интерактивные физические симуляции, сгенерированные с помощью Gemini 2.5 Pro . ​

👉 Cимуляции в проекте:

🟡Earth's Magnetic Field: Моделирует магнитное поле Земли как диполь, наклоненный на 11 градусов относительно оси вращения планеты. ​

🟡EM Solenoid: Классическая демонстрация в области электричества и магнетизма, показывающая создание магнитного поля заряженным соленоидом. ​

🟡General Relativity: Иллюстрирует теорию общей относительности Эйнштейна через визуализацию кривизны пространства-времени. ​
GitHub

🟡Planetary Orbit: Демонстрирует орбитальное движение планет и маневр Хоумана для перехода между орбитами. ​

Выглядит очень завораживающее и залипательно.

🟡Симуляции
🟡Github

@ai_machinelearning_big_data

#Gemini #threejs #Physics