Анализ данных (Data analysis)
46.3K subscribers
2.3K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
📊 Argilla — инструмент для создания качественных датасетов под AI. Проект помогает разработчикам и экспертам совместно работать над разметкой данных для NLP, LLM и мультимодальных моделей.

Платформа предлагает удобный интерфейс для аннотирования с фильтрами, семантическим поиском и AI-подсказками. Argilla используют в Red Cross и других организациях для задач классификации, RAG и тонкой настройки моделей.

🤖 GitHub

@data_analysis_ml
13🔥4👍3
✔️ Новый крутой выпуск 3Blue1Brown о диффузионных моделях!

Популярный ютубер (совместно с Welch Labs) простыми словами и красивой анимацией объяснил, как работают генераторы изображений и видео.

40 минут — от основ до тонкостей
Для новичков + русские субтитры

P.S. Отличный вариант для первого знакомства с технологией и анимация на канале вышла реально на новый уровень!

🟠 Смотрим: тут
🟠 Смотрим в телеграм

@data_analysis_ml

#ИИ #ДиффузионныеМодели #МашинноеОбучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍54
🤖 Mcp-telegram* — Telegram-клиент для AI-агентов

Этот проект позволяет подключить LLM-агента к Telegram через простую оболочку. По сути, это каркас, который превращает любую LLM (через API) в полноценного Telegram-бота.

🧩 Особенности:
— Поддержка OpenAI API (можно подключить GPT-4, GPT-3.5 и др.)
— Хранение диалогов в SQLite
— История чатов и контекст сохраняются между сообщениями
— Обработка команд и markdown-разметки
— Поддержка нескольких пользователей (по Telegram ID)

📦 Используется:
— Python
python-telegram-bot
openai
sqlite3

👨‍💻 Подходит для:
— Быстрого запуска собственного GPT-бота в Telegram
— MVP-прототипов
— Экспериментов с интерфейсами тг

uv tool install mcp-telegram

🔗 GitHub

@data_analysis_ml
👍117🔥5🥱3
⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Devops: t.iss.one/DevOPSitsec
Базы данных: t.iss.one/sqlhub
Мл собес t.iss.one/machinelearning_interview
C++ t.iss.one/cpluspluc
Docker: t.iss.one/devops_teleg
Хакинг: t.iss.one/linuxkalii
МЛ: t.iss.one/machinelearning_ru
Data Science: t.iss.one/datascienceiot
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/java_library
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Физика: t.iss.one/fizmat
SQL: t.iss.one/databases_tg

Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🖥 Chatgpt для кода в тг: @Chatgpturbobot -

📕Ит-книги: https://t.iss.one/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.iss.one/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Pusa 1.0 — простой и быстрый способ превращать картинки в видео

Это новая модель на основе Wan2.1-T2V-14B, специально обученная для задач image-to-video. По сравнению с предыдущей версией (Wan-I2V-14B), она показывает заметные улучшения:

– Обучение обошлось всего в $500 (в 200 раз дешевле)
– Генерация видео работает в 5 раз быстрее
– Поддерживает задание начального и конечного кадра, продление видео и его «достраивание»

Модель получилась компактной, дешёвой в обучении и удобной для реального использования.

📌 Идеально подойдёт для визуальных историй, коротких видео и экспериментов с генерацией.

🟢project page: https://yaofang-liu.github.io/Pusa_Web/
🟢code: https://github.com/Yaofang-Liu/Pusa-VidGentd
🟢 model: https://huggingface.co/RaphaelLiu/PusaV1
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍4
🚀 GSPO: Group Sequence Policy Optimization — новый прорыв в RL-обучении больших языковых моделей!

Что делает GSPO особенным:

🔹 Последовательностная оптимизация (sequence-level RL), строго согласованная с функцией награды
🔹 Высочайшая стабильность — даже на больших MoE-моделях, без коллапса
🔹 Без костылей вроде Routing Replay — обучение стало проще и чище
🔹 Легко масштабируется: больше вычислений = лучше результат

🔥 Используется в новых Qwen3 (Instruct, Coder, Thinking)
📉 Дает более чистые градиенты, быструю сходимость и меньшие требования к инфраструктуре по сравнению с GRPO

🧠 GSPO = стабильно, масштабируемо, идеально для продакшна.

📄 Статья: https://huggingface.co/papers/2507.18071
10👍6🔥4
✔️ Быстрый LoRA-инференс для моделей Flux с Diffusers и PEFT

LoRA-модули давно стали стандартом для кастомизации моделей генерации изображений. Но большинство гайдов не показывают, как эффективно запускать *LoRA-инференс* в проде.

Новая статья от команды HuggingFace раскрывает, как добиться ускорения LoRA-инференса на моделях семейства *Flux*.

Что в рецепте оптимизации:
1. torch.compile() — ускорение инференса на уровне графа
2. *Flash Attention 3* — если модель поддерживает
3. Динамическая *FP8-квантизация весов* — если совместимо с GPU
4. *Hotswapping LoRA* — смена адаптеров без полной перекомпиляции 🤯

📊 Тестировали на:
— Flux.1-Dev
— NVIDIA H100 и RTX 4090
— Ускорение минимум в 2 раза

Подход в целом применим и к AMD‑GPU.

🔗 Читайте статью и смотрите код:
https://huggingface.co/blog/lora-fast
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍5🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🎨 Встречайте Neta Lumina — самую продвинутую open-source модель для генерации аниме-артов!

Это уже 4-я модель в линейке, и она впечатляет:

🔹 Точная настройка под 200+ аниме-стилей: от Guofeng и Furry до пейзажей и редких тем
🔹 Хорошая согласованность промптов, даже при длинных описаниях на естественном языке
🔹 Мультиязычная поддержка

🔥 Идеальный выбор для художников, аниматоров и фанатов генеративного арта.

🔹 Model on Hugging Face (Commercial use allowed):https://huggingface.co/neta-art/Neta-Lumina
🔹 Playground (Free to test):https://huggingface.co/spaces/neta-art/NetaLumina_T2I_Playground
⚙️ Supports ComfyUI, LoRA tutorial https://docs.google.com/document/d/1fSp8wgraQeeaM58DVbnFoRULyyhPvt3MgY0Qja0Otc0/edit?tab=t.0

@data_analysis_ml
👍85🔥4
🚨 GLM‑4.5 и GLM‑4.5‑Air от Zai_org — открытые MoE‑модели, способные тягаться с Claude 4 Opus и обгоняющие Gemini 2.5 Pro.

🔹 GLM‑4.5: 355B параметров (32B активных)
🔹 GLM‑4.5‑Air: 106B параметров (12B активных)
🔹 Поддержка *128K контекста* + *function calling*
🔹 Два режима работы:
🧠 «Thinking mode» — для сложных задач
«Non-thinking mode» — для мгновенных ответов

📊 Бенчмарки:
– AIME24: 91.0 (vs. Claude Opus — 75.7)
– MATH 500: 98.2 (vs. GPT‑4.1 — 96.7)
– GPQA: 79.1 (vs. Gemini 2.5 Pro — 84.4)
– SWE‑bench: 64.2 (vs. Claude Sonnet — 70.4)
– Terminal‑Bench: 37.5 (vs. Claude Opus — 43.2)

🧬 Архитектура:
– MoE с балансирующим роутингом без потерь
– Больше слоёв, меньше экспертов → глубже и «умнее»
– GQA с Partial RoPE и 96 голов внимания
– Обучена на 15T общих + 7T кода и reasoning‑токенов

MIT‑лицензия 🔥

🟢 Модель: https://huggingface.co/zai-org/GLM-4.5
🟢 Попробовать: https://chat.z.ai/


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥8👍41
E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы

Решайте ML-задачи в стиле Ozon Tech и узнайте, как работают ML-инженеры в e-com бигтехе. Девять победителей разделят призовой фонд — 7 200 000 рублей 🔥

🗓 Регистрация: https://cnrlink.com/ecup25da
💻 Формат участия: онлайн
👥 Команда: от 1 до 5 человек
🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS.

Что вас ждёт:
🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России.
🔹 Обмен опытом с экспертами Ozon Tech.
🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку.

Каждый трек E-CUP — реальная e-com задача, как в настоящей продуктовой ML-команде.
1️⃣ Рекомендации: предсказание следующей покупки пользователя
2️⃣ Логистика: автопланирование курьеров
3️⃣ Контроль качества: автоматическое выявление поддельных товаров

Регистрация на платформе Codenrock: https://cnrlink.com/ecup25da
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥3
Forwarded from Machinelearning
🌟 GLM-4.5 и GLM-4.5-Air: релиз гибридных моделей, заточенных под агентные задачи.

В новом семействе GLM, Z.AI объединили в одной модели возможности для рассуждений, кодинга и агентных сценариев. Семейство построено на архитектуре MoE и может работать в двух режимах: thinking mode для сложных задач с использованием инструментов и non-thinking mode для быстрых ответов.

🟡В релиз вошли:

🟢GLM-4.5 с 355 млрд. общих параметров (32 млрд активных) и ее облегченная версия;

🟠GLM-4.5-Air, облегченная версия со 106 млрд. общих параметров (12 млрд активных).

Интересно, что разработчики пошли по пути увеличения глубины модели (количества слоев), а не ширины (скрытого измерения), так как обнаружили, что модели с большим количеством слоев лучше справляются с рассуждениями.

🟡 Для эффективного RL таких крупных моделей был разработан и открыт собственный фреймворк slime.

Он поддерживает как синхронное, так и асинхронное обучение, что критически важно для агентных задач. Его инфраструктура полностью разделяет движки для роллаутов (сбора опыта) и движки для обучения, которые могут работать на разном железе.

🟡Главный акцент GLM-4.5 - агентные возможности.

Для их оценки использовались 3 бенчмарка. На TAU-bench модель GLM-4.5 показала результат в 70.1 балла, что практически идентично Claude 4 Sonnet (70.3) и заметно лучше, чем у o3 (61.2).

На бенчмарке для вызова функций Berkeley Function Calling Leaderboard v3 результат составил 77.8, снова опережая Claude 4 Sonnet с ее 75.2 баллами.

Но самый показательный результат был на BrowseComp, сложном тесте для веб-браузинга. В нем GLM-4.5 набрала 26.4, что выше, чем у Claude-4-Opus (18.8) и почти как у o4-mini-high (28.3).

Что касается классических задач на рассуждения, здесь модели показывают уверенные, хотя и не рекордные, результаты.

На MMLU Pro у GLM-4.5 84.6 балла, чуть меньше, чем у Claude 4 Opus (87.3) и Grok 4 (86.6).

В математическом тесте AIME24 модель набрала 91.0, ближайшие лидеры Qwen3 и Grok 4 - 94.1 и 94.3 соответственно.

На GPQA разрыв побольше: 79.1 у GLM-4.5 против 87.7 у Grok 4, а на сложном тесте по научной литературе HLE модель получила 14.4 балла, уступив Gemini 2.5 Pro (21.1) и Grok 4 (23.9).

В задачах, связанных с кодом, на тесте SWE-bench Verified модель набрала 64.2 балла, немного уступая Claude 4 Sonnet (70.4) и o3 (69.1), но опережая многие другие.

А вот в агентном кодинге, который оценивался людьми с помощью Claude Code, картина иная. В прямом сравнении GLM-4.5 выигрывает у Kimi K2 в 53.9% случаев и обходит Qwen3-Coder с винрейтом 80.8%.

Самый важный показатель - успешность вызова инструментов, где GLM-4.5 достигла 90.6%, опередив Claude-4-Sonnet (89.5%) и Kimi-K2 (86.2%).


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Набор моделей
🟡Demo
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #GLM #MoE #ZAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3🔥3
🏅 Gemini 2.5 Pro на уровне золотой медали IMO 2025

Исследователи из UCLA показали, что открытая модель Gemini 2.5 Pro от Google способна решить 5 из 6 задач Международной математической олимпиады 2025 — это соответствует золотой медали среди участников‑людей.

📌 Как это сделали:
— Использовали уже опубликованные задачи IMO 2025
— Дали минимальные подсказки (например: “попробуем решить через индукцию”) только для первых 2 задач
— Построили итеративный цикл: генерация → критика → исправление, имитируя то, как думают и переписывают доказательства настоящие математики

🤖 Модель сначала генерирует черновики решений, затем сама их перечитывает, указывает на слабые места и переписывает до финального варианта.

⚠️ Модель не участвовала официально в IMO. Это эксперимент, показывающий, насколько далеко уже ушёл reasoning у LLM.

📎 Статья независимая, авторы — не из Google.

https://github.com/lyang36/IMO25/blob/main/code/agent.py
6👍5😁4❤‍🔥1🔥1
 Архив, который не требует обслуживания

ЭЛАРобот НСМ — долгосрочное хранение на оптических носителях. Решение, которое уже сегодня исключает из повестки:

— замену накопителей
— регулярную миграцию данных
— риски утери и компрометации данных
— избыточную инфраструктуру под "архив"

 Факты для расчёта:
Срок хранения — 50+ лет
100% защита от перезаписи
• 0 затрат на апгрейды и плановую замену носителей
• ИИ для “умного” копирования данных
• Отечественное производство
📉 HDD и SSD — постоянные вложения.
📈 ЭЛАРобот НСМ — актив с фиксированной стоимостью и предсказуемой нагрузкой.

 Решение уже доказало свою эффективность в задачах долговременного хранения в корпоративных и государственных системах.

👉  Запросить бесплатный расчет 
3👍2🔥2
📊 Metabase Learn — лучший старт для изучения аналитики и дашбордов

🔥 Официальный обучающий портал от Metabase: от первых шагов до продвинутых сценариев с embedding и администрированием.

Что внутри:
Подключение БД и создание запросов без кода
Визуализация данных, фильтры, метрики, дашборды
SQL-гайды, объединение данных, отладка
Встраивание аналитики в свои продукты через SDK
Управление пользователями и масштабирование
Бонус: советы по аналитике для команд и стартапов

https://github.com/metabase/metabase
7❤‍🔥4👍4🤔2💔1
I let the cursor cook, now I am cooked.

@data_analysis_ml
🤣5115🔥7👍5🙏1
Российские эксперты по ИИ выступили на WAIC 2025 в Шанхае

С 26 по 29 июля в Шанхае проходит World Artificial Intelligence Conference (WAIC) — одна из крупнейших мировых конференций по искусственному интеллекту.
В этом году в программе впервые прошли сессии с участием российских учёных:
🔹 AI Journey — с докладами выступили представители науки и эксперты из России и Китая: Андрей Белевцев (Сбер), Максим Ерёменко (Сбер), Иван Оселедец (AIRI), Ю Кай (профессор университета Цзяотун) и другие.
🔹 AI Horizons — международная научная форсайт-сессия, организованная AI Alliance Network с участием российских и китайских AI-экспертов.

На выставочном стенде AI Journey × AI Alliance Network были представлены новейшие российские разработки в области GenAI, включая GigaChat, Kandinsky, SymFormer.
➡️ Подробнее — по ссылке.
👍117🔥4
✔️ Higgs Audio: открытая платформа для обучения и экспериментов с аудио-LLM

Higgs Audio от boson-ai — репозиторий для исследователей и разработчиков, которые хотят быстро собирать, обучать и тестировать аудио-модели: распознавание речи, аудио-вопрос-ответ, мультимодальные voice-агенты и кастомные эксперименты с эмбеддингами.

Ключевые идеи
• Единый каркас: структура проекта упрощает работу с датасетами, препроцессингом и запуском тренинга.
• Гибкие конфиги: переключайте модели, размеры батча, аугментации и стратегии оптимизации через настраиваемые YAML/JSON-параметры.
• Модульные блоки: энкодеры, декодеры, адаптеры подсказок (prompts) и head’ы задач можно комбинировать без переписывания ядра.
• Быстрый старт: готовые скрипты для подготовки данных и запуска обучения на одной или нескольких GPU-нодах.
• Экспериментальный playground: удобно пробовать fine-tune под вашу доменную акустику (подкасты, звонки, стримы, шумные датасеты).

Типовые сценарии использования
1. Обучить небольшую модель распознавания речи на своём корпусе.
2. Создать voice-бота: аудио-ввод → текст → LLM → аудио-ответ.
3. Тонкая настройка эмбеддинг-модели для поиска по звуку (похожие сигналы, музыкальные фрагменты, события).
4. Исследования zero-shot / few-shot адаптации аудио-моделей под новые языки или акценты.

https://github.com/boson-ai/higgs-audio
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65🔥4
🚨 Anthropic близка к новому раунду инвестиций: от $3 до $5 миллиардов 💸
Оценка компании — $170 миллиардов 🤯

Anthropic - разработчик Claude, одного из самых продвинутых LLM на рынке.

И, похоже, ставки становятся всё выше и выше...

📈 Гонка за AGI продолжается.
🔥117👍5🥱2
📈 Пост, который вирусится на Reddit:

Пользователь дал ChatGPT $100 и поручил вести портфель из американских микрокапов.

🤖 Через 4 недели — +23.8%
Для сравнения:
▪️ Russell 2000: ~+3.9%
▪️ XBI (биотех ETF): ~+3.5%

🧠 Всё управление — через промпты и скрипты с GitHub.
LLM против рынка… и, похоже, пока выигрывает?

⚠️ Конечно, это пока:
— короткий период
— очень маленькая выборка
— высокая волатильность микрокапов

Вот его промпт -

“ You are a professional-grade portfolio strategist. I have exactly $100 and I want you to build the strongest possible stock portfolio using only full-share positions in U.S.-listed micro-cap stocks (market cap under $300M). Your objective is to generate maximum return from today (6-27-25) to 6 months from now (12-27-25). This is your timeframe, you may not make any decisions after the end date. Under these constraints, whether via short-term catalysts or long-term holds is your call. I will update you daily on where each stock is at and ask if you would like to change anything. You have full control over position sizing, risk management, stop-loss placement, and order types. You may concentrate or diversify at will. Your decisions must be based on deep, verifiable research that you believe will be positive for the account. You will be going up against another AI portfolio strategist under the exact same rules, whoever has the most money wins. Now, use deep research and create your portfolio.”


Нужен глубокий анализ: Sharpe, волатильность, бэктесты.
Но вопрос остаётся открытым — может ли LLM *действительно* обыгрывать рынок?

🔗 GitHub

@data_analysis_ml
9🔥9🥱4👍3🤔3