Анализ данных (Data analysis)
46.3K subscribers
2.29K photos
264 videos
1 file
2.03K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Сооснователь Anthropic Бен Манн:

🧠 «Вероятность того, что суперинтеллект появится в ближайшие годы — около 50%.
И это не просто спекуляция — за этим стоят данные, законы масштабирования и чёткие научные тренды».

Он подчёркивает: даже если технический прорыв случится быстро,
его влияние на общество может проявиться с задержкой — через годы.

📌 Вопрос уже не в том, "если", а "как скоро" — и что мы с этим сделаем.
👍1611🤨9🔥4🍌2🎉1
🚀 Команда Qwen только что представила новую модель: Qwen3‑235B‑A22B‑Thinking‑2507, нацеленную на глубокие рассуждения.

За последние 3 месяца модель была масштабирована и доработана специально для задач логики, математики, науки и программирования. Среди ключевых улучшений:

Улучшенные способности к рассуждению, решению задач и анализу
Повышенная точность в следовании инструкциям и использовании инструментов
Поддержка нативного 256K контекста — для полноценной работы с длинными цепочками мыслей

🧠 Модель изначально работает в режиме reasoning — включать ничего не нужно. Она самостоятельно строит длинные логические цепочки, обеспечивая максимальную глубину и точность.

🟡Hugging Face: https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
or https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507-FP8
🟡ModelScope: https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
or https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507-FP8
🟡API Doc: https://alibabacloud.com/help/en/model-studio/models#16ff9753e1ctz

🧩 Новый Thinking‑режим поднимает планку для reasoning‑моделей в открытом доступе.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍5🔥3
🔮 SuperDuperDB — фреймворк для создания AI-приложений, напрямую интегрированных с базами данных. Позволяет развертывать модели машинного обучения и векторные поиски прямо в MongoDB, SQL, Snowflake или Redis, избегая сложных ETL-процессов.

Вместо выгрузки данных в отдельные ML-пайплайны, вы добавляете AI-функциональность поверх существующей БД через простые Python-декораторы. Поддерживает популярные библиотеки вроде PyTorch и Hugging Face, что упрощает переход от прототипа к продакшену.

🤖 GitHub

@data_analysis_ml
🔥10👍4🥰4🤔2🤣2
Андрей Рыбинцев из Авито стал управляющим директором по ИИ

Также в компании будет сформирован новый кластер AI Experience. В этой роли вместе с командой из 900 специалистов он будет работать над развитием ассистентов на базе генеративных моделей, внедрение агентского ИИ и интеграцию ML в бизнес-процессы. Эти структурные изменения — сигнал, что компания настроена серьезно качнуть ИИ-направление.

За 10 лет в компании Рыбинцев курировал ключевые технологии: антифрод, автоматическую модерацию, IMV, A-Vibe, A-Vision. Сейчас фокус — системное масштабирование.
👍6🔥5🥱4🙏2🥰1🤔1👌1🌭1
📊 Argilla — инструмент для создания качественных датасетов под AI. Проект помогает разработчикам и экспертам совместно работать над разметкой данных для NLP, LLM и мультимодальных моделей.

Платформа предлагает удобный интерфейс для аннотирования с фильтрами, семантическим поиском и AI-подсказками. Argilla используют в Red Cross и других организациях для задач классификации, RAG и тонкой настройки моделей.

🤖 GitHub

@data_analysis_ml
13🔥4👍3
✔️ Новый крутой выпуск 3Blue1Brown о диффузионных моделях!

Популярный ютубер (совместно с Welch Labs) простыми словами и красивой анимацией объяснил, как работают генераторы изображений и видео.

40 минут — от основ до тонкостей
Для новичков + русские субтитры

P.S. Отличный вариант для первого знакомства с технологией и анимация на канале вышла реально на новый уровень!

🟠 Смотрим: тут
🟠 Смотрим в телеграм

@data_analysis_ml

#ИИ #ДиффузионныеМодели #МашинноеОбучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍54
🤖 Mcp-telegram* — Telegram-клиент для AI-агентов

Этот проект позволяет подключить LLM-агента к Telegram через простую оболочку. По сути, это каркас, который превращает любую LLM (через API) в полноценного Telegram-бота.

🧩 Особенности:
— Поддержка OpenAI API (можно подключить GPT-4, GPT-3.5 и др.)
— Хранение диалогов в SQLite
— История чатов и контекст сохраняются между сообщениями
— Обработка команд и markdown-разметки
— Поддержка нескольких пользователей (по Telegram ID)

📦 Используется:
— Python
python-telegram-bot
openai
sqlite3

👨‍💻 Подходит для:
— Быстрого запуска собственного GPT-бота в Telegram
— MVP-прототипов
— Экспериментов с интерфейсами тг

uv tool install mcp-telegram

🔗 GitHub

@data_analysis_ml
👍117🔥5🥱3
⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Devops: t.iss.one/DevOPSitsec
Базы данных: t.iss.one/sqlhub
Мл собес t.iss.one/machinelearning_interview
C++ t.iss.one/cpluspluc
Docker: t.iss.one/devops_teleg
Хакинг: t.iss.one/linuxkalii
МЛ: t.iss.one/machinelearning_ru
Data Science: t.iss.one/datascienceiot
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/java_library
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Физика: t.iss.one/fizmat
SQL: t.iss.one/databases_tg

Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🖥 Chatgpt для кода в тг: @Chatgpturbobot -

📕Ит-книги: https://t.iss.one/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.iss.one/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Pusa 1.0 — простой и быстрый способ превращать картинки в видео

Это новая модель на основе Wan2.1-T2V-14B, специально обученная для задач image-to-video. По сравнению с предыдущей версией (Wan-I2V-14B), она показывает заметные улучшения:

– Обучение обошлось всего в $500 (в 200 раз дешевле)
– Генерация видео работает в 5 раз быстрее
– Поддерживает задание начального и конечного кадра, продление видео и его «достраивание»

Модель получилась компактной, дешёвой в обучении и удобной для реального использования.

📌 Идеально подойдёт для визуальных историй, коротких видео и экспериментов с генерацией.

🟢project page: https://yaofang-liu.github.io/Pusa_Web/
🟢code: https://github.com/Yaofang-Liu/Pusa-VidGentd
🟢 model: https://huggingface.co/RaphaelLiu/PusaV1
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍4
🚀 GSPO: Group Sequence Policy Optimization — новый прорыв в RL-обучении больших языковых моделей!

Что делает GSPO особенным:

🔹 Последовательностная оптимизация (sequence-level RL), строго согласованная с функцией награды
🔹 Высочайшая стабильность — даже на больших MoE-моделях, без коллапса
🔹 Без костылей вроде Routing Replay — обучение стало проще и чище
🔹 Легко масштабируется: больше вычислений = лучше результат

🔥 Используется в новых Qwen3 (Instruct, Coder, Thinking)
📉 Дает более чистые градиенты, быструю сходимость и меньшие требования к инфраструктуре по сравнению с GRPO

🧠 GSPO = стабильно, масштабируемо, идеально для продакшна.

📄 Статья: https://huggingface.co/papers/2507.18071
10👍6🔥4
✔️ Быстрый LoRA-инференс для моделей Flux с Diffusers и PEFT

LoRA-модули давно стали стандартом для кастомизации моделей генерации изображений. Но большинство гайдов не показывают, как эффективно запускать *LoRA-инференс* в проде.

Новая статья от команды HuggingFace раскрывает, как добиться ускорения LoRA-инференса на моделях семейства *Flux*.

Что в рецепте оптимизации:
1. torch.compile() — ускорение инференса на уровне графа
2. *Flash Attention 3* — если модель поддерживает
3. Динамическая *FP8-квантизация весов* — если совместимо с GPU
4. *Hotswapping LoRA* — смена адаптеров без полной перекомпиляции 🤯

📊 Тестировали на:
— Flux.1-Dev
— NVIDIA H100 и RTX 4090
— Ускорение минимум в 2 раза

Подход в целом применим и к AMD‑GPU.

🔗 Читайте статью и смотрите код:
https://huggingface.co/blog/lora-fast
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍5🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🎨 Встречайте Neta Lumina — самую продвинутую open-source модель для генерации аниме-артов!

Это уже 4-я модель в линейке, и она впечатляет:

🔹 Точная настройка под 200+ аниме-стилей: от Guofeng и Furry до пейзажей и редких тем
🔹 Хорошая согласованность промптов, даже при длинных описаниях на естественном языке
🔹 Мультиязычная поддержка

🔥 Идеальный выбор для художников, аниматоров и фанатов генеративного арта.

🔹 Model on Hugging Face (Commercial use allowed):https://huggingface.co/neta-art/Neta-Lumina
🔹 Playground (Free to test):https://huggingface.co/spaces/neta-art/NetaLumina_T2I_Playground
⚙️ Supports ComfyUI, LoRA tutorial https://docs.google.com/document/d/1fSp8wgraQeeaM58DVbnFoRULyyhPvt3MgY0Qja0Otc0/edit?tab=t.0

@data_analysis_ml
👍85🔥4
🚨 GLM‑4.5 и GLM‑4.5‑Air от Zai_org — открытые MoE‑модели, способные тягаться с Claude 4 Opus и обгоняющие Gemini 2.5 Pro.

🔹 GLM‑4.5: 355B параметров (32B активных)
🔹 GLM‑4.5‑Air: 106B параметров (12B активных)
🔹 Поддержка *128K контекста* + *function calling*
🔹 Два режима работы:
🧠 «Thinking mode» — для сложных задач
«Non-thinking mode» — для мгновенных ответов

📊 Бенчмарки:
– AIME24: 91.0 (vs. Claude Opus — 75.7)
– MATH 500: 98.2 (vs. GPT‑4.1 — 96.7)
– GPQA: 79.1 (vs. Gemini 2.5 Pro — 84.4)
– SWE‑bench: 64.2 (vs. Claude Sonnet — 70.4)
– Terminal‑Bench: 37.5 (vs. Claude Opus — 43.2)

🧬 Архитектура:
– MoE с балансирующим роутингом без потерь
– Больше слоёв, меньше экспертов → глубже и «умнее»
– GQA с Partial RoPE и 96 голов внимания
– Обучена на 15T общих + 7T кода и reasoning‑токенов

MIT‑лицензия 🔥

🟢 Модель: https://huggingface.co/zai-org/GLM-4.5
🟢 Попробовать: https://chat.z.ai/


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥8👍41
E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы

Решайте ML-задачи в стиле Ozon Tech и узнайте, как работают ML-инженеры в e-com бигтехе. Девять победителей разделят призовой фонд — 7 200 000 рублей 🔥

🗓 Регистрация: https://cnrlink.com/ecup25da
💻 Формат участия: онлайн
👥 Команда: от 1 до 5 человек
🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS.

Что вас ждёт:
🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России.
🔹 Обмен опытом с экспертами Ozon Tech.
🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку.

Каждый трек E-CUP — реальная e-com задача, как в настоящей продуктовой ML-команде.
1️⃣ Рекомендации: предсказание следующей покупки пользователя
2️⃣ Логистика: автопланирование курьеров
3️⃣ Контроль качества: автоматическое выявление поддельных товаров

Регистрация на платформе Codenrock: https://cnrlink.com/ecup25da
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥3
Forwarded from Machinelearning
🌟 GLM-4.5 и GLM-4.5-Air: релиз гибридных моделей, заточенных под агентные задачи.

В новом семействе GLM, Z.AI объединили в одной модели возможности для рассуждений, кодинга и агентных сценариев. Семейство построено на архитектуре MoE и может работать в двух режимах: thinking mode для сложных задач с использованием инструментов и non-thinking mode для быстрых ответов.

🟡В релиз вошли:

🟢GLM-4.5 с 355 млрд. общих параметров (32 млрд активных) и ее облегченная версия;

🟠GLM-4.5-Air, облегченная версия со 106 млрд. общих параметров (12 млрд активных).

Интересно, что разработчики пошли по пути увеличения глубины модели (количества слоев), а не ширины (скрытого измерения), так как обнаружили, что модели с большим количеством слоев лучше справляются с рассуждениями.

🟡 Для эффективного RL таких крупных моделей был разработан и открыт собственный фреймворк slime.

Он поддерживает как синхронное, так и асинхронное обучение, что критически важно для агентных задач. Его инфраструктура полностью разделяет движки для роллаутов (сбора опыта) и движки для обучения, которые могут работать на разном железе.

🟡Главный акцент GLM-4.5 - агентные возможности.

Для их оценки использовались 3 бенчмарка. На TAU-bench модель GLM-4.5 показала результат в 70.1 балла, что практически идентично Claude 4 Sonnet (70.3) и заметно лучше, чем у o3 (61.2).

На бенчмарке для вызова функций Berkeley Function Calling Leaderboard v3 результат составил 77.8, снова опережая Claude 4 Sonnet с ее 75.2 баллами.

Но самый показательный результат был на BrowseComp, сложном тесте для веб-браузинга. В нем GLM-4.5 набрала 26.4, что выше, чем у Claude-4-Opus (18.8) и почти как у o4-mini-high (28.3).

Что касается классических задач на рассуждения, здесь модели показывают уверенные, хотя и не рекордные, результаты.

На MMLU Pro у GLM-4.5 84.6 балла, чуть меньше, чем у Claude 4 Opus (87.3) и Grok 4 (86.6).

В математическом тесте AIME24 модель набрала 91.0, ближайшие лидеры Qwen3 и Grok 4 - 94.1 и 94.3 соответственно.

На GPQA разрыв побольше: 79.1 у GLM-4.5 против 87.7 у Grok 4, а на сложном тесте по научной литературе HLE модель получила 14.4 балла, уступив Gemini 2.5 Pro (21.1) и Grok 4 (23.9).

В задачах, связанных с кодом, на тесте SWE-bench Verified модель набрала 64.2 балла, немного уступая Claude 4 Sonnet (70.4) и o3 (69.1), но опережая многие другие.

А вот в агентном кодинге, который оценивался людьми с помощью Claude Code, картина иная. В прямом сравнении GLM-4.5 выигрывает у Kimi K2 в 53.9% случаев и обходит Qwen3-Coder с винрейтом 80.8%.

Самый важный показатель - успешность вызова инструментов, где GLM-4.5 достигла 90.6%, опередив Claude-4-Sonnet (89.5%) и Kimi-K2 (86.2%).


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Набор моделей
🟡Demo
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #GLM #MoE #ZAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3🔥3
🏅 Gemini 2.5 Pro на уровне золотой медали IMO 2025

Исследователи из UCLA показали, что открытая модель Gemini 2.5 Pro от Google способна решить 5 из 6 задач Международной математической олимпиады 2025 — это соответствует золотой медали среди участников‑людей.

📌 Как это сделали:
— Использовали уже опубликованные задачи IMO 2025
— Дали минимальные подсказки (например: “попробуем решить через индукцию”) только для первых 2 задач
— Построили итеративный цикл: генерация → критика → исправление, имитируя то, как думают и переписывают доказательства настоящие математики

🤖 Модель сначала генерирует черновики решений, затем сама их перечитывает, указывает на слабые места и переписывает до финального варианта.

⚠️ Модель не участвовала официально в IMO. Это эксперимент, показывающий, насколько далеко уже ушёл reasoning у LLM.

📎 Статья независимая, авторы — не из Google.

https://github.com/lyang36/IMO25/blob/main/code/agent.py
6👍5😁4❤‍🔥1🔥1
 Архив, который не требует обслуживания

ЭЛАРобот НСМ — долгосрочное хранение на оптических носителях. Решение, которое уже сегодня исключает из повестки:

— замену накопителей
— регулярную миграцию данных
— риски утери и компрометации данных
— избыточную инфраструктуру под "архив"

 Факты для расчёта:
Срок хранения — 50+ лет
100% защита от перезаписи
• 0 затрат на апгрейды и плановую замену носителей
• ИИ для “умного” копирования данных
• Отечественное производство
📉 HDD и SSD — постоянные вложения.
📈 ЭЛАРобот НСМ — актив с фиксированной стоимостью и предсказуемой нагрузкой.

 Решение уже доказало свою эффективность в задачах долговременного хранения в корпоративных и государственных системах.

👉  Запросить бесплатный расчет 
3👍2🔥2
📊 Metabase Learn — лучший старт для изучения аналитики и дашбордов

🔥 Официальный обучающий портал от Metabase: от первых шагов до продвинутых сценариев с embedding и администрированием.

Что внутри:
Подключение БД и создание запросов без кода
Визуализация данных, фильтры, метрики, дашборды
SQL-гайды, объединение данных, отладка
Встраивание аналитики в свои продукты через SDK
Управление пользователями и масштабирование
Бонус: советы по аналитике для команд и стартапов

https://github.com/metabase/metabase
7❤‍🔥4👍4🤔2💔1
I let the cursor cook, now I am cooked.

@data_analysis_ml
🤣5115🔥7👍5🙏1
Российские эксперты по ИИ выступили на WAIC 2025 в Шанхае

С 26 по 29 июля в Шанхае проходит World Artificial Intelligence Conference (WAIC) — одна из крупнейших мировых конференций по искусственному интеллекту.
В этом году в программе впервые прошли сессии с участием российских учёных:
🔹 AI Journey — с докладами выступили представители науки и эксперты из России и Китая: Андрей Белевцев (Сбер), Максим Ерёменко (Сбер), Иван Оселедец (AIRI), Ю Кай (профессор университета Цзяотун) и другие.
🔹 AI Horizons — международная научная форсайт-сессия, организованная AI Alliance Network с участием российских и китайских AI-экспертов.

На выставочном стенде AI Journey × AI Alliance Network были представлены новейшие российские разработки в области GenAI, включая GigaChat, Kandinsky, SymFormer.
➡️ Подробнее — по ссылке.
👍117🔥4
✔️ Higgs Audio: открытая платформа для обучения и экспериментов с аудио-LLM

Higgs Audio от boson-ai — репозиторий для исследователей и разработчиков, которые хотят быстро собирать, обучать и тестировать аудио-модели: распознавание речи, аудио-вопрос-ответ, мультимодальные voice-агенты и кастомные эксперименты с эмбеддингами.

Ключевые идеи
• Единый каркас: структура проекта упрощает работу с датасетами, препроцессингом и запуском тренинга.
• Гибкие конфиги: переключайте модели, размеры батча, аугментации и стратегии оптимизации через настраиваемые YAML/JSON-параметры.
• Модульные блоки: энкодеры, декодеры, адаптеры подсказок (prompts) и head’ы задач можно комбинировать без переписывания ядра.
• Быстрый старт: готовые скрипты для подготовки данных и запуска обучения на одной или нескольких GPU-нодах.
• Экспериментальный playground: удобно пробовать fine-tune под вашу доменную акустику (подкасты, звонки, стримы, шумные датасеты).

Типовые сценарии использования
1. Обучить небольшую модель распознавания речи на своём корпусе.
2. Создать voice-бота: аудио-ввод → текст → LLM → аудио-ответ.
3. Тонкая настройка эмбеддинг-модели для поиска по звуку (похожие сигналы, музыкальные фрагменты, события).
4. Исследования zero-shot / few-shot адаптации аудио-моделей под новые языки или акценты.

https://github.com/boson-ai/higgs-audio
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65🔥4