✔️ "Speech and Language Processing": 3-е издания книги

Этот открытый учебник считается де-факто стандартом и одним из самых авторитетных и всеобъемлющих ресурсов для изучения областей обработки естественного языка (NLP), вычислительной лингвистики и обработки речи.

🌟 Авторы: Дэн Джурафски и Джеймс Х. Мартин - известные фигуры в области NLP и вычислительной лингвистики. Книга считается классическим текстом, обновленным для включения современных методов, таких как трансформеры, которые доминируют в области NLP.

Книга разделена на три части, включающие 24 основные главы и 8 приложений.

Темы охватывают широкий спектр, включая:
😶Фундаментальные алгоритмы
😶Приложения NLP (Обработки Естественного Языка)
😶Регулярные выражения
😶Нейронные сети и трансформеры,
😶Машинный перевод и другие аспекты NLP
😶Аннотирование (или Разметка) лингвистической структуры.

Для каждой главы доступны слайды в форматах PPTX и PDF, что делает ресурс полезным для преподавателей.

Для всех, кто заинтересован в изучении NLP это фантастически полезный ресурс.

🟡Книга в PDF
🟡Все Главы
🟡Еще книги по NLP

@ai_machinelearning_big_data


#freebook #opensource #nlp

✔️ Qwen3, по слухам, будет представлена на следующей неделе.

Китайский медиапортал Sina.com.cn сообщил, что в его распоряжении есть информация, указывающая на то, что Alibaba Group планирует выпуск новой модели Qwen3 следующей неделе (7- 11 апреля). По словам экспертов медиаресурса Huxiu.com , это будет самый важный модельный продукт Alibaba в первой половине 2025 года, после выпуска DeepSeek-R1 команда Alibaba Cloud Basic Model Team еще больше сместила вектор разработки в сторону способности модели к рассуждениям.

Sina Technology обратилась за подтверждением к Alibaba Cloud, но на момент публикации официального ответа не последовало.
sina.com.cn

✔️ Microsoft закрывает ИИ-лабораторию в Шанхае.

Microsoft свернула работу своей лаборатории IoT и ИИ в технологическом кластере Чжанцзян (Шанхай), следуя стратегии сокращения присутствия в Китае. Объект, открытый в 2019 году для поддержки местных стартапов уже опустел: логотип демонтирован, оборудование вывезено. За 5 лет лаборатория помогла реализовать 258 проектов, привлекла 9,4 млрд юаней инвестиций и обучила около 10 тыс. специалистов.

Решение закрыть центр стало частью плана ухода Microsoft с китайского рынка. В 2023 году компания предложила сотрудникам, работающим над ИИ, переехать за рубеж, а также закрыла все розничные магазины в стране. По словам президента Microsoft Брэда Смита, на Китай приходится всего 1,5% глобальной выручки.
scmp.com

✔️ Руководитель отдела исследований FAIR Жоэль Пино покинет свой пост в мае.

Жоэль Пино, вице-президент по исследованиям в области ИИ компании Марка Цукерберга и глава группы FAIR, объявила о своих планах покинуть компанию в мае после почти 8 лет работы. Пино возглавляла FAIR с начала 2023 года и курировала разработку моделей Llama.

Ожидается, что уход Пино приведет к появлению вакансии высокого уровня в подразделении ИИ компании, но непосредственный преемник пока не назван.
wsj.com

✔️ Все SOTA-модели провалились на матолимпиаде-2025.

Тесты топовых LLM, проведенные matharena.ai на сложных задачах математической олимпиады США (USAMO-2025) показали печальные результаты. Модели решали 6 доказательных задач — каждая оценивалась в 7 баллов, высший балл - 42. Лидеры теста (DeepSeek-R1 и Gemini-2.0-flash-thinking) набрали меньше 5%, что ставит под сомнение их способность к глубокому математическому анализу.

Несмотря на провал, часть специалистов уверена — прогресс LLM в математике всё же есть, и он не сводится к «загрязнению» данных. Исследование, в рамка которого проводилось тестирование - «Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad» подытоживает: LLM, даже лучшим, пока далеко до уровня человека в соревновательных дисциплинах.
matharena.ai

✔️ OpenAI представила новый голос ChatGPT "Shade".

OpenAI добавила новую голосовую опцию для ChatGPT под кодовым названием "Shade". Этот голос, описанный как "Поговори с понедельником", имеет характерную визуализацию "угрюмого черного" в расширенном голосовом режиме.

Новая опция доступна в приложении для iOS, и пользователи отмечают его уникальное звучание и эстетику "тяжелого понедельника".
OpenAI в X (ex-Twitter)

@ai_machinelearning_big_data

#news #ai #ml

🔥 ​GemmaCoder3-12B — это дообученная версию Gemma-3 на датасете codeforces-cots.

После файнтюнинга демонстрирует значительное улучшение результатов на бенчмарке LiveCodeBench, увеличивая точность с 21,9% до 32,9% по сравнению с базовой моделью.

​GemmaCoder3-12B принимает текстовые запросы, связанные с программированием, и генерирует готовый код.​
▪ В 8 бит отлично работает на 32 ГБ
▪Длина контекста 128k

В целом, проект подчёркивает простую истин - дообучение моделей на специализированных датасетах может значительно повысить их эффективность в узкоспециализированных задачах.

Подхходит для:
😶Генерации кода: Написание фрагментов кода или целых функций по текстовому описанию.
😶Автодополнения кода: Предложение вариантов завершения строки или блока кода (по аналогии с IntelliSense или GitHub Copilot, но на базе этой модели).
😶Объяснения кода: Генерация описания того, что делает заданный фрагмент кода, на естественном языке.
😶Перевода кода: Конвертация кода с одного языка программирования на другой (с переменным успехом в зависимости от сложности и языков).
😶 Помощь в поиске багов или предложение вариантов их исправления.
😶Ответов на вопросы по коду: Предоставление информации по синтаксису, библиотекам, алгоритмам.

🟡HF
🟡Статья

@ai_machinelearning_big_data


#codegeneration #ml #gemma

✔️ Transformers & LLMs cheatsheet for Stanford's CME 295

Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM).

🌟 Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.

Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.

✔️Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:
✔️Механизм внимания (Attention Mechanism)
✔️Архитектура Трансформера (Transformer Architecture)
✔️Позиционное кодирование (Positional Encoding)
✔️Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)
✔️Дообучение (Fine-tuning) для конкретных задач
✔️Промптинг (Prompting) и различные его техники
✔️Оценка (Evaluation) LLM
✔️Другие важные концепции в этой области.

Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.

🟡Github
🟡Multi-Head Attention Shape Transformations

#ml #cheatsheets #transformers

✔️ ​PaperBench — это новый бенчмарк, выпущенный OpenAI для оценки способности ИИ-агентов воспроизводить передовые исследования в области ИИ.

В рамках этого проекта агентам предлагается воспроизвести 20 статей, представленных на конференции ICML 2024 в категориях Spotlight и Oral.

Для каждой статьи разработаны детальные рубрики, разбивающие задачу воспроизведения на более мелкие подзадачи с четкими критериями оценки. Всего в PaperBench содержится 8 316 индивидуально оцениваемых задач.

Создан судья на основе LLM, который автоматически оценивает попытки воспроизведения, сравнивая их с установленными рубриками. Производительность этого судьи проверяется с помощью отдельного бенчмарка.


Результаты оценки:
Тестирование нескольких передовых моделей показало, что лучшим из протестированных агентов является Claude 3.5 Sonnet (New) с использованием открытого исходного кода, который достиг среднего показателя воспроизведения в 21,0%. Однако модели пока даже не приближаются к человеческому уровеню, установленным группой ведущих докторантов в области машинного обучения.

OpenAI занял 2-е место на собствем собственном бенчмарке)

🟡Github
🟡Paper

#openai #Benchmark

✔️ Google обновляет ряды руководителей ИИ-проектов.

Google объявила о смене руководства в подразделении потребительских приложений искусственного интеллекта: Josh Woodward сменил Sissie Hsiao на посту главы этого подразделения.

Hsiao, который возглавлял потребительские приложения ИИ, в том числе проект Gemini, покидает свой пост с сегодняшнего дня. Согласно инсайду, Sissie возьмет небольшой перерыв, после чего перейдет на новую должность в компании. Woodward, который ранее возглавлял Google Labs и контролировал запуск NotebookLM, продолжит проекты в Google Labs, одновременно взяв на себя новые обязанности. Это изменение происходит по мере того, как в гонке ИИ основное внимание уделяется не базовым моделям, а продуктам, созданным на их основе.
semafor.com

✔️ Nomic выпустила мультимодальные эмбединги для визуального поиска.

Nomic представила Nomic Embed Multimodal — набор опенсорсных эмбединг-моделей для создания векторных представлений текста, изображений, PDF и графиков. Флагманская модель ColNomic Embed Multimodal 7B показала 62.7 NDCG@5 на бенчмарке Vidore-v2, опережая предыдущие решения на 2.8 пункта.

Модели Nomic обрабатывают текст и изображения совместно, избегая сложных пайплайнов с OCR. Это особенно полезно для научных статей, технической документации или мультиязычных документов, где важен контекст.

Модели доступны в двух вариантах: ColNomic (многокомпонентные векторы) для максимальной точности и Nomic (одновекторные) для экономии ресурсов. Модели доступны на Hugging Face, а разобраться помогут гайды и ноутбуки Google Colab.
nomic.ai

✔️ Китайские ИТ-гиганты заказали чипов Nvidia на 16 млрд. долларов в первом квартале 2025 года.

ByteDance, Alibaba Group и Tencent Holdings разместили заказы на общую сумму более 16 миллиардов долларов на серверные чипы H20 AI от Nvidia в первом квартале 2025 года. Такой резкий рост спроса происходит на фоне опасений, что администрация США может наложить запрет на продажу этих чипов в Китай, ссылаясь на вопросы национальной безопасности.

H20 - самый доступный чип Nvidia для продажи в рамках действующих экспортных ограничений, которые запрещают передачу более мощных моделей китайским компаниям. Значительные заказы из Китая ставят Nvidia в сложное положение, поскольку она лавирует между возможностями для бизнеса и потенциальными геополитическими рисками.
theinformation.com

✔️ Google DeepMind опубликовали 145-страничный документ об ответственном развитии ИИ.

Google DeepMind выпустила подробный документ "Ответственный путь к AGI", в котором излагается технический план безопасного развития искусственного интеллекта общего назначения.

В документе подчеркивается важность устранения потенциальных рисков неправильного использования и несоответствия, связанных с технологией AGI. Несмотря на детальный подход, некоторые аналитики полагают, что документ может не полностью убедить скептиков в надежности и безопасности разработки AGI.
deepmind.google

✔️ Epic Games купит стартап Loci чтобы автоматизировать разметку 3D-контента.

Epic Games объявила о приобретении стартапа Loci, чья ИИ-платформа упрощает работу с 3D-ассетами. Технология автоматически генерирует теги для моделей, экономя время создателей на ручную разметку. Это особенно актуально для проектов с тысячами объектов — например, в Fortnite, где игроки добавляют элементы из популярных франшиз, провоцируя споры об авторских правах.

ИИ Loci не только ускоряет поиск и организацию контента, но и помогает выявлять нарушения интеллектуальной собственности. Loci будет интегрирован в экосистему Epic, в том числе в Unreal Editor для Fortnite и маркетплейс Fab, где продаются цифровые активы. Таким образом, разработчики получат инструменты для предотвращения юридических конфликтов и упрощения рабочих процессов.
epicgames.com

@ai_machinelearning_big_data

#news #ai #ml

👍 Marimo — это блокнот с реактивным исполнением кода, обеспечивающий автоматическое обновление зависимых ячеек при изменении данных или кода.

По сути это улучшенная альтернатива Jupyter.​
​
Как работает Marimo?

▪️ При изменении значения переменной или взаимодействии с UI-элементом, Marimo автоматически выполняет все ячейки, зависящие от этой переменной, поддерживая консистентность кода и результатов. ​

Отличия от Jupyter:

▪️ Формат файлов: Marimo сохраняет блокноты как чистые Python-файлы (.py), облегчая интеграцию с системами контроля версий, в отличие от Jupyter, использующего формат JSON (.ipynb). ​

▪️ Реактивность: В Marimo изменение данных автоматически обновляет все связанные ячейки, тогда как в Jupyter это требует ручного выполнения. ​

Основные преимущества Marimo:

▪️ Интерактивность: Встроенные UI-элементы, такие как слайдеры и выпадающие списки, синхронизируются с кодом без необходимости в дополнительных настройках. ​

▪️ Отсутствие скрытых состояний и детерминированный порядок выполнения обеспечивают надежность результатов. ​

▪️ Поддерживает возможность исполнять блокноты как скрипты, импортировать их в другие проекты и разворачивать как веб-приложения. ​

Marimo представляет собой мощный инструмент для разработчиков и исследователей, стремящихся к более эффективной и надежной работе с Python-блокнотами.

В галерее Marimo представлены блокноты на все случае жизни, созданные сообществом, демонстрирующие различные возможности и сценарии использования Marimo.​

🟡Еще примеры
🟡Документация
🟡Канал Marimo
🟡Видеообзор
🟡Урок по работе с Marimo

@ai_machinelearning_big_data


#marimo #ds #ml #tools #opensource #datascience

🖥 ​Physics Simulations — это проект, который предоставляет интерактивные физические симуляции, сгенерированные с помощью Gemini 2.5 Pro . ​

👉 Cимуляции в проекте:

🟡Earth's Magnetic Field: Моделирует магнитное поле Земли как диполь, наклоненный на 11 градусов относительно оси вращения планеты. ​

🟡EM Solenoid: Классическая демонстрация в области электричества и магнетизма, показывающая создание магнитного поля заряженным соленоидом. ​

🟡General Relativity: Иллюстрирует теорию общей относительности Эйнштейна через визуализацию кривизны пространства-времени. ​
GitHub

🟡Planetary Orbit: Демонстрирует орбитальное движение планет и маневр Хоумана для перехода между орбитами. ​

Выглядит очень завораживающее и залипательно.

🟡Симуляции
🟡Github

@ai_machinelearning_big_data

#Gemini #threejs #Physics

✔️ ИИ-терапевт Therabot сократил симптомы депрессии и тревоги в первом клиническом испытании.

Исследователи Дартмутского университета провели первое клиническое испытание чат-бота Therabot на основе генеративного ИИ, который показал значительные улучшения у пациентов с депрессией, тревогой и расстройствами пищевого поведения. Участники, взаимодействуя с ботом через приложение, в среднем на 51% снизили симптомы депрессии, на 31% — тревоги, а в группе с риском расстройств питания прогресс превысил контрольные показатели на 19%, что соответствует результатам, полученным от лучших терапевтов.

Therabot, обученный на методах когнитивно-поведенческой терапии, адаптировал диалоги под пользователей, предлагая стратегии в реальном времени. За 8 недель участники провели с ботом около 6 часов — эквивалент 8 сеансов терапии.
dartmouth.edu

✔️ В честь своего 50-летия Microsoft опубликовала исходный код Altair BASIC.

Microsoft празднует 50-летие своей деятельности, отмечая путь от небольшого стартапа в Альбукерке, основанного Биллом Гейтсом и Полом Алленом в 1975 году, до мирового технологического лидера со штаб-квартирой в Редмонде, штат Вашингтон.

В честь этого знаменательного события соучредитель компании Билл Гейтс опубликовал исходный код Altair BASIC, первого продукта компании, который сыграл решающую роль в запуске революции персональных компьютеров. Гейтс назвал код "самым крутым из всего, что я когда-либо писал".
news.microsoft.com

✔️ Google запускает функцию 'Discover Sources' в NotebookLM.

Google представила новую функцию "Discover Sources" для сервиса NotebookLM, позволяющую пользователям искать в Интернете релевантную информацию по запросу. Она позволяет задать целевую тему, после чего NotebookLM формирует коллекцию из 10 релевантных источников со всего интернета.

Discover Sources доступно для всех пользователей. Оно расширяет функциональность NotebookLM, интегрируя веб-поиск непосредственно в проекты пользователя.
blog.google

✔️ ​Midjourney выпустила альфа-версию своего нового AI-модели генерации изображений — V7.

Эта версия представляет собой полную переработку предыдущей архитектуры, включая обновленные наборы данных и улучшенные методы обработки языка. ​

Улучшенное понимание текстовых запросов: Модель стала точнее интерпретировать пользовательские промпты, что приводит к более релевантным результатам. ​

Повышенное качество изображений: Благодаря новой архитектуре и обновленным наборам данных, изображения стали более детализированными и эстетически привлекательными. ​

- Режим Draft Mode: Этот новый режим позволяет создавать изображения в 10 раз быстрее и вдвое дешевле стандартного режима, что особенно полезно для быстрого прототипирования. ​
- Персонализация: V7 впервые вводит возможность настройки модели под индивидуальные визуальные предпочтения пользователя, что достигается путем оценки около 200 изображений для создания персонального профиля. ​
Midjourney

✔️ OpenAI: опубликовали статистку: 700+ млн изображений было сгенерировано за неделю в Sora

За первую неделю после запуска новой функции генерации изображений:
Функцию 130 протестировали уже человек
Создано более 700 млн изображений.
📈 Рекордный рост пользователей:
+1 млн новых юзеров в час на пике (для сравнения: такой рост при запуске ChatGPT занял 5 дней).
Индия — лидер по темпам роста интереса к ChatGPT.

✔️2027 Intelligence Explosion: Month-by-Month Model

Новый подкаста, в котором Скотт Александер и Дэниел Кокотайло обсуждают сценарий развития искусственного интеллекта вплоть до предполагаемого "интеллектуального взрыва" в 2027 году. Скотт Александер известен своими блогами Slate Star Codex и Astral Codex Ten, а Дэниел Кокотайло ранее работал в OpenAI, но ушел оттуда в 2024 году, отказавшись от соглашения о неразглашении. В подкасте они подробно рассматривают события, которые могут произойти в сфере ИИ в ближайшие годы.​
Youtube

@ai_machinelearning_big_data

#news #ai #ml