Аналитик данных
6.06K subscribers
215 photos
27 videos
2 files
199 links
Аналитика данных, Дата Сеанс

@workakkk - по всем вопросам
Download Telegram
✔️ Математика в машинном обучении» - бесплатный курс, который предназначен для тех, кто хочет углубить свои знания в области математики, необходимой для понимания и применения методов машинного обучения и искусственного интеллекта.

Этот курс охватывает ключевые математические концепции, лежащие в основе современных алгоритмов машинного обучения, таких как линейная алгебра, теория вероятностей, статистика и оптимизация.

Курс
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ RAG - как GPT перестал галлюцинировать и научился думать с источниками

Классические LLM ограничены собственным контекстом: они выдают только то, что успели "запомнить" при обучении.
RAG (Retrieval-Augmented Generation) ломает эту границу — модель получает доступ к внешним данным и способна подгружать нужные факты *в момент запроса*.

Механика проста, но мощна:
LLM → делает эмбеддинг запроса → ищет близкие документы в векторном хранилище → получает top-k контексты → формирует ответ на их основе.
В итоге модель не "вспоминает", а всегда рассуждает на свежих данных.

Где это реально работает:
- в Copilot для кода, когда модель тянет сниппеты из корпоративных репозиториев;
- в внутренних чатах компаний - поиск по Confluence, Notion, Jira и документации;
- в R&D и науке - динамическая генерация отчётов с ссылками на реальные статьи;
- в юридических и медтех-системах, где каждый ответ должен быть подтверждён источником.

RAG - это уже не просто “надстройка над GPT”.
Это новая архитектура, где память отделена от рассуждения, и ИИ получает навык работы с контекстом, как человек с поисковиком.

Видео: https://www.youtube.com/watch?v=WsXOUxFl4D8
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21
Forwarded from Machinelearning
✔️ Сооснователь Anthropic Джек Кларк опубликовал сильное эссе о природе современных ИИ-систем.

Он пишет: «То, с чем мы имеем дело, - это настоящее и загадочное существо, а не простая и предсказуемая машина».

Он сравнивает человечество 2025 года с ребёнком из старой истории: мы включаем свет в тёмной комнате и видим не груду одежды на стуле, а живые, мощные и во многом непредсказуемые существа — современные ИИ-системы и те, что ещё впереди.

Многие, по его словам, отчаянно хотят поверить, что это лишь иллюзия, что перед нами не новая форма разума, а просто набор инструментов для экономики. Некоторые даже тратят огромные деньги, чтобы убедить нас, будто «это не интеллект, готовящийся к стремительному взлёту, а всего лишь машина, которой мы управляем».

«Но не обманывайтесь, - пишет Кларк.Мы имеем дело с настоящим и загадочным существом, а не с простой и предсказуемой машиной».
Полное эссе

✔️ Google обновила NotebookLM Video Overviews, добавив него Nano Banana.

Благодаря этому обновлению инструмент теперь создаёт более выразительные и визуально насыщенные видео-саммари. Можно выбрать один из шести художественных стилей оформления - от акварели и бумажной аппликации до аниме, рисованной доски, ретро-печати и культурного оформления.

Кроме того, появились два формата генерации роликов: Explainer для подробных объяснений и Brief для коротких, лаконичных обзоров. Обновление уже начали получать владельцы Pro-подписки, а в ближайшее время функция станет доступна всем пользователям.
X

✔️ Ring-1T-FP8 - открытая модель на триллион параметров.

Ring-1T-FP8 - модель на архитектуре Ling 2.0, которая содержит 1 триллион параметров( 50 миллиардов активных).

Ring-1T обучалась с применением RLVR (reinforcement learning with verifiable rewards) - техники, направленной на повышение точности рассуждений и самопроверку ответов. В процессе использовались собственные методы ASystem и Icepop, уменьшающие разрыв между обучением и инференсом.

Модель решает задачи уровня математических олимпиад (IMO 2025), сохраняет контекст до 128 000 токенов, что вдвое больше предыдущей версии.
HF

✔️ NVIDIA представила исследование NVFP4: новый формат чисел для обучения больших языковых моделей, который использует всего 4 бита на число вместо привычных 8 или 16.

При этом точность почти не теряется, а вычисления становятся в 2–3 раза быстрее, а потребление памяти снижается на 50%.

В эксперименте NVIDIA обучила 12-миллиардный Mamba Transformer на 10 триллионах токенов, и модель с 4-битным NVFP4 показала почти такую же точность, как и FP8:
на тесте MMLU Pro - 62.58% против 62.62%,
а по коду (MBPP+) - 55.91% против 59.11%.

NVFP4 группирует значения в блоки по 16 чисел. Для каждого блока хранится небольшой масштаб в 8 битах, а для всего тензора - глобальный масштаб в 32 битах. Такая структура сохраняет точность локальных и экстремальных значений, позволяя использовать сверхкомпактное 4-битное хранение без потери устойчивости обучения.

На GPU Blackwell операции FP4 выполняются в 2 раза быстрее на GB200 и в 3 раза 0 на GB300, по сравнению с FP8. Потери точности при валидации не превышают 1–1.5%.

Метод также использует стохастическое округление, чтобы избежать накопления ошибок, а переход на BF16 в последних итерациях обучения полностью убирает оставшуюся разницу.

Поддержка NVFP4 уже встроена в Transformer Engine и новое поколение GPU Blackwell.
arxiv

✔️OpenAI и Broadcom объявили о стратегическом партнёрстве для разработки и производства кастомных AI-ускорителей общей мощностью 10 гигаватт.

OpenAI будет отвечать за архитектуру и проектирование чипов, а Broadcom - за производство и развёртывание систем. Масштаб проекта колоссален: 10 ГВт — это примерно столько же энергии, сколько требуется, чтобы обеспечить электричеством 7–10 миллионов домов.

Главная цель - уменьшить зависимость от NVIDIA и создать собственную, независимую инфраструктуру.
OpenAi

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
Media is too big
VIEW IN TELEGRAM
🔥 Дженсен Хуанг демонстрирует NVIDIA GB200 NVL72: суперчип для центров обработки данных с 72 графическими процессорами Blackwell, 1,4 эксафлопс вычислений и 130 триллионами транзисторов!
Please open Telegram to view this post
VIEW IN TELEGRAM
LMMs-Engine - это лёгкий, модульный и гибкий фреймворк для обучения унифицированных моделей, поддерживающих несколько типов данных (текст, изображение, звук и др.).

💡 Что делает:
- Работает с мультимодальными входами и выходами - от autoregressive и diffusion-моделей до гибридных архитектур.
- Поддерживает унифицированные модели вроде BAGEL, где разные типы данных обрабатываются одной сетью.
- Ориентирован на исследователей и инженеров, кому нужно быстро экспериментировать и масштабировать обучение.
- Простая структура кода — можно легко адаптировать под свои пайплайны и GPU-кластер.


Современные LMM (Large Multimodal Models) требуют единого подхода к данным. LMMs-Engine решает эту задачу - одна платформа для всего цикла: от прототипа до тренировки на уровне лаборатории.

Репозиторий: https://github.com/EvolvingLMMs-Lab/lmms-engine
1
Nvidia первой в мире достигла $5 трлн капитализации

Капитализация Nvidia превысила 5 триллионов долларов — это рекорд в истории. Компания растёт благодаря ажиотажу вокруг искусственного интеллекта и огромному спросу на её видеочипы.

Но аналитики предупреждают: рост может быть искусственным. Nvidia инвестирует в AI-компании, которые потом покупают её же оборудование. Получается замкнутый круг — деньги гоняются по кругу, а реального результата может и не быть.
👍1
📚 Курс, который прокачает твои AI-скиллы в BigQuery

Этот курс учит работать с Gemini прямо внутри BigQuery и закрывает полный набор практических навыков:

- генерация и отладка SQL-запросов с помощью Gemini
- анализ тональности текста
- автоматические суммари и выделение ключевых слов
- генерация эмбеддингов
- построение RAG-пайплайна
- мультимодальный векторный поиск

Если хочешь уверенно использовать AI-инструменты в аналитике и продуктах — этот курс даёт полный набор необходимых умений.

https://www.skills.google/paths/1803/course_templates/1232
3
⚡️ Бесплатный 7-часовой курс MIT по генеративному ИИ

MIT выложил полный интенсив по современным генмоделям — от LLM до диффузионных моделей. Разбирают архитектуры, принципы обучения, практические применения и ключевые идеи, которые лежат в основе сегодняшних систем.

Подойдёт тем, кто хочет быстро собрать цельную картину без воды.

Курс: https://www.youtube.com/playlist?list=PLXV9Vh2jYcjbnv67sXNDJiO8MWLA3ZJKR
1
🔥 Подборка полезных ресурсов для программистов.

Здесь ты найдёшь всё это - коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Devops: t.iss.one/DevOPSitsec
Собеседования DS: t.iss.one/machinelearning_interview
C++ t.iss.one/cpluspluc
Docker: t.iss.one/DevopsDocker
Хакинг: t.iss.one/linuxkalii
Data Science: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/java_library
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Физика: t.iss.one/fizmat

💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Папка Linux:https://t.iss.one/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

Сохрани себе, чтобы не потерять!
🧠 Amplifier: Ускорение разработки AI-инструментов

Amplifier позволяет автоматизировать сложные рабочие процессы, превращая ваши идеи в AI-инструменты без необходимости программирования. Опишите свои шаги мышления, и Amplifier создаст инструмент, который выполняет задачу. С каждым новым инструментом система накапливает опыт и улучшает автоматизацию.

🚀Основные моменты:
- Превращает идеи в AI-инструменты без кода.
- Использует "метакогнитивные рецепты" для автоматизации.
- Позволяет комбинировать инструменты для создания более сложных решений.
- Подходит для исследовательских проектов и экспериментов.

📌 GitHub: https://github.com/microsoft/amplifier

#python
📊 Подробный практический гайд по статистике на Python

Этот практический гайд по статистике на Python - ваш надёжный проводник в мир анализа, визуализации и интерпретации данных.

От простых описательных показателей до регрессий и временных рядов — с примерами, кодом и реальными задачами. Всё, что нужно, чтобы уверенно применять статистику на практике.

🟠Гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
💘1
Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчетности с помощью ИИ 🤖

Когда документация устаревает, аналитика перестает работать. Метаданные разбросаны, отчеты описываются вручную, а поиск нужной таблицы превращается в квест.

📆 25 ноября в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар с Павлом Хамриным (Lasmart).

Разберем:
— почему документация по данным всегда отстает от реальности;
— как AI помогает описывать таблицы, отчеты и процедуры за минуты;
— как «научить» модель понимать корпоративные термины;
— как DataDesc автоматизирует документацию и интегрируется с data-catalog.

👨‍💻 Кому будет полезно: data-инженерам, аналитикам, архитекторам DWH, BI-руководителям — и всем, кто отвечает за достоверность данных.

Павел Хамрин — руководитель направления AI в Lasmart. Более 10 лет опыта во внедрении аналитических решений: DWH, OLAP и BI-систем. В компании отвечает за развитие продуктов в области автоматизации работы с данными и AI-документации.

🎁 Бонус всем участникам: сравнение ИИ-моделей для формирования документации.

📎 Ссылка на регистрацию

Реклама. ООО "ЛАСМАРТ"
ИНН 7814186283. erid: 2VtzqvQcAob
Forwarded from Machinelearning
🌟 RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena.

Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень.

Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.

Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.

🟡Технические детали.

Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с torch.compile.

Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.

Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.

🟡Стабильность.

Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.

В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RL #Miles #LMSYS
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Вышел новый ИИ-учёный от легендарного Эндрю Ына, сооснователя Coursera и преподавателя Стэнфорда.

Он делает точнейшие исследования уровня PhD по любой теме.

• Проверяет даже целую диссертацию за секунды — находит ошибки, недочёты, проверяет факты, ссылки и оформление по требованиям вашего университета. Научрук примет работу без мучений, а вы забудете про бесконечные правки.
• ИИ-агент максимально «живой» — работает так, будто это дотошный профессор, который правит всё до последней буквы.
• Итог — пишете быстрее, успеваете больше, и можете публиковаться чаще. Больше никаких месяцев ожидания рецензии — он проверяет и «принимает» работу мгновенно.

https://paperreview.ai/
3🔥1
Forwarded from Machinelearning
📊 Google стала главным двигателем роста S&P 500 в 2025 году

Alphabet в одиночку дала 19.4% всего роста S&P 500, это около $1.3 трлн рыночной капитализации.

Nvidia добавила 16.0% еще $1.05 трлн, индекс теперь почти напрямую следует за AI гигантами.

Broadcom и Microsoft внесли 7.8% и 5.7%, а остальные компании из топ 10 еще 10.6%.

Итог: топ 10 компаний показывают 59.4% всего роста рынка тогда как остальные 490 лишь 40.6%.

S&P 500 все меньше отражает состояние экономики и все больше коррелирует с узким сегментом крупнейших AI корпораций.

https://x.com/KobeissiLetter/status/1993359777062436902

@ai_machinelearning_big_data
2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ PANDAS-ТРЮК

Если нужно быстро найти дубликаты, но сразу увидеть, *чем* именно строки отличаются — используй сравнение через groupby + nunique.

Это позволяет ловить «почти одинаковые» строки без сложных проверок.


import pandas as pd

df = pd.DataFrame({
"name": ["Tom", "Tom", "Alice", "Alice"],
"age": [25, 25, 30, 31],
"city": ["NY", "NY", "LA", "LA"]
})

diff = (df
.groupby("name")
.nunique()
.reset_index())

print(diff)

# Показывает, какие поля у одинаковых ключей различаются
👍3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Интеграция ИИ-агентов в GitHub и GitLab небезопасна.

Подключение ИИ-инструментов к рабочим процессам разработки открывает новый вектор атак. Проблема затрагивает Gemini CLI, Claude Code и OpenAI Codex.

Механизм взлома основан на внедрении скрытых инструкций в issues, пулл-реквесты или коммиты. Когда агент считывает этот текст для анализа, он может ошибочно интерпретировать его как прямую команду, а не как пассивные данные.

Тестирование, проведенное Aikido Security показало, что уязвимость актуальна как минимум для 5 компаний из списка Fortune 500. Google оперативно устранила брешь в Gemini CLI, однако эксперты настоятельно рекомендуют инженерам ограничивать полномочия ИИ-агентов и внедрять строгую валидацию входных данных.
aikido.dev

✔️ Google представила архитектуру Titans.

Google Research анонсировала Titans — новую архитектуру, которая решает проблему эффективности обработки огромных массивов данных. Фишка - в механизме «глубокой обучаемой памяти», которая обновляется непосредственно в процессе инференса, превращая работу сети в непрерывный цикл онлайн-обучения.

Вместо сохранения всего контекста Titans использует градиенты как индикатор неожиданности: модель запоминает только те токены, которые несут новую информацию и отсеивает предсказуемые данные. Это позволяет поддерживать контекстные окна объемом более 2 млн. токенов при сохранении линейной скорости вычислений, свойственной RNN.

В тестах на длинный контекст и ризонинг архитектура обошла по производительности Transformer++ и Mamba 2.
research.google

✔️ Отчет OpenRouter: генерация кода и ризонинг-модели захватили 50% мирового ИИ-трафика.

OpenRouter совместно с фондом a16z опубликовали исследование «State of AI», основанное на анализе 100 триллионов обработанных токенов. Главный инсайт — рост популярности рассуждающих моделей: во второй половине 2025 они уже генерируют половину всего трафика платформы.

Драйвером индустрии остается разработка ПО: на задачи по написанию и отладке кода приходится более 50% всех запросов. Одновременно растет доля open-source решений, открытые модели занимают уже треть рынка, локомотивами выступают китайские DeepSeek и Qwen.

Эксперты прогнозируют скорый переход к прокси-инференсу, когда сложные задачи будут автоматически распределяться между несколькими специализированными моделями.
openrouter.ai

✔️ Компания Марка Цукерберга купила стартап Limitless.

Техногигант приобрел компанию Limitless (ранее Rewind), создателя умного кулона, который записывает, транскрибирует и индексирует разговоры пользователя в реальном времени.

Устройство Limitless позиционировалось как аппаратный «расширитель памяти», позволяющий мгновенно находить информацию в прошлых диалогах. Это направление сейчас переживает бум: ранее стартап привлек более $33 млн. инвестиций, в том числе от фонда a16z и Сэма Альтмана.

Согласно заявлению, продажи устройств Limitless новым клиентам будут прекращены. Текущие владельцы гаджетов продолжат получать поддержку, но для дальнейшего использования сервиса им придется принять новые условия конфиденциальности.
reuters.com

✔️ В MIT создали летающего микро-робота с ИИ.

MIT представила устройство размером с насекомое. В основе разработки лежат мягкие приводы и двухуровневый ИИ-контроллер, объединяющий методы предиктивного планирования и имитационного обучения. Такая архитектура позволяет роботу мгновенно адаптироваться к внешним возмущениям.

На тестах микро-бот показал уверенную маневренность, выполнив 10 непрерывных сальто за 11 секунд в условиях сильных порывов ветра. Проект планирует создавать автономные рои для поисково-спасательных миссий: благодаря миниатюрным размерам и ударопрочности, они смогут проникать в узкие расщелины завалов при ЧС.

Следующим этапом станет интеграция бортовых камер и сенсоров для полноценной навигации вне помещений.
news.mit.edu

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🖼️ EditThinker: теперь редакторы изображений могут «думать» итеративно!

Новая рамка от Meituan добавляет в любые модели редактирования изображений способность рассуждать: модель критикует результат, уточняет инструкции и повторяет цикл, пока не получит удовлетворяющий итог. Это имитация человеческого процесса мышления - Critique → Refine → Repeat.

EditThinker учится анализировать собственные ошибки, улучшать запросы и идти по итерациям, что значительно повышает качество следования инструкциям.

📌 Liquid AI представила LFM2 - семейство Liquid Foundation Models (350M–8.3B), оптимизированное для работы на устройствах: до 2× быстрее на CPU при префилле и декоде, при этом показывает сильные результаты на бенчмарках. Подходит для edge-приложений с ограниченной памятью.

https://huggingface.co/papers/2512.05965
2
🚀 Model Context Protocol (MCP) - протокол, который с самого начала развивался открыто, делает большой шаг.


Теперь MCP официально переходит под крыло Linux Foundation.

Это важный момент для будущего агентов, инструментов и всей экосистемы разработки ИИ:
стандарт становится независимым, управляемым сообществом и готовым к масштабному принятию.

https://github.blog/open-source/maintainers/mcp-joins-the-linux-foundation-what-this-means-for-developers-building-the-next-era-of-ai-tools-and-agents/
3