Анализ данных (Data analysis)
52.2K subscribers
2.91K photos
353 videos
1 file
2.46K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
🌍 Tencent запустила HY 3D Studio по всему миру

Это AI-платформа для создания 3D-моделей в одном рабочем процессе.

Сервис автоматизирует почти весь пайплайн 3D-производства:

Image → 3D → topology → UV → texturing → rigging → animation

То есть можно взять обычную картинку и получить готовую 3D-модель с текстурами и анимацией.

Платформа ориентирована на:

- 3D-художников
- разработчиков игр
- создателей контента
- студии, работающие с 3D-графикой

Новые пользователи получают 20 бесплатных генераций в день (ограниченное время).

Для разработчиков также доступен API, и новым пользователям дают 200 бесплатных кредитов для начала работы.

🕹️ Попробовать HY 3D Studio
https://3d.hunyuanglobal.com/studio

⚙️ API
: https://tencentcloud.com/products/ai3d
👍64🔥4
🚀 Новый алгоритм LLM: Speculative Speculative Decoding

SSD - это инновационный алгоритм для вывода LLM, который обеспечивает высокую скорость и точность. Он использует параллельное предсказание от малой модели, что устраняет задержки в процессе генерации. Поддерживает различные модели и оптимизации для повышения производительности.

🚀Основные моменты:
- Параллельное предсказание для ускорения вывода
- Поддержка моделей Qwen3 и Llama3
- Оптимизированные алгоритмы и параллелизм
- Интерактивный чат с поддержкой нескольких моделей

📌 GitHub: https://github.com/tanishqkumar/ssd
👍94😍2🥴1
⚡️ Google представила Groundsource: систему, которая превращает новости в данные с помощью Gemini

Google Research показала новую технологию Groundsource, которая превращает обычные новостные статьи в структурированные датасеты.

Идея простая, но мощная:
в мире публикуются миллионы новостей о событиях, катастрофах и происшествиях, но эти данные неструктурированы и плохо подходят для анализа.

Groundsource решает эту проблему.

Как это работает:

1. Gemini анализирует миллионы новостных статей
2. AI извлекает ключевые факты - место, время и тип события
3. Эти данные превращаются в структурированный датасет

Первый датасет уже создан,
он содержит 2.6 млн исторических случаев внезапных наводнений в 150+ странах.

Ученые долго сталкивались с проблемой - для многих природных катастроф просто нет исторических данных, чтобы обучать модели.

Google решила проблему неожиданным способом -
использовать новостные статьи как источник данных.

На основе Groundsource уже обучена модель, которая может предсказывать flash-flood наводнения до 24 часов заранее.

Прогнозы публикуются в сервисе Flood Hub, где власти и службы реагирования могут видеть зоны риска.

Что это значит для AI:

LLM начинают использоваться не только для генерации текста, а для создания новых датасетов из неструктурированной информации.

Фактически AI превращает интернет-тексты в машиночитаемые данные.

Это открывает огромные возможности:

• климат и природные катастрофы
• экономика
• медицина
• геополитика
• анализ событий в реальном времени

Следующий шаг: LLM смогут автоматически превращать любые текстовые источники в обучающие данные для ML-моделей.

https://research.google/blog/introducing-groundsource-turning-news-reports-into-data-with-gemini/
🔥22👍97
🖥 Большинство парсеров умирают через 2 дня.

Ты научишься делать те, которые работают в продакшене.

Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:

• не падают из-за мелких изменений на сайте
• собирают данные в разы быстрее
• обновляют всё автоматически по расписанию
• обходят ограничения и блокировки
• выглядят как полноценный сервис, а не как хаос из файлов

Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключаться.

В итоге ты сможешь:

• забирать данные для своих проектов
• автоматизировать чужую рутину
• создавать инструменты для аналитики
• брать коммерческие заказы на сбор данных

Это навык, который напрямую превращается в деньги.
Не «знаю Python», а «умею профессионально добывать данные из интернета».

🎁 Скидка 50% на Stepik действует 48 часов: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁74👍2😍2
This media is not supported in your browser
VIEW IN TELEGRAM
Я больше не твой учитель 😆
🤣22🙏10👍5😢53🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
Как Яндекс строил data-платформу для ROSTIC'S: разбор в новом шоу

Yandex B2B Tech запустила «Техно на прокачку» — проект, где инженеры и комик Егор Кукса разбирают реальный кейс внедрения платформы данных в сети ресторанов ROSTIC'S. В ход идет все: от PostgreSQL и ClickHouse до флешки деверя.

Что интересного:
• Рестораны посещают 1,7+ млн человек в день — это 100+ Гб данных в неделю с касс и терминалов
• Инженеры Яндекса развернули платформу на базе собственных сервисов и managed-решений для Greenplum, ClickHouse и Apache Kafka
• Загрузка данных в аналитические отчёты ускорилась в 3 раза

В шоу поэтапно показывают, как строилась архитектура под высокую нагрузку и какие технологии реально работают в крупном бизнесе. Без воды — только инженерия и цифры.

Посмотреть можно на YouTube, VK Видео или Кинопоиске.
🥱17🔥75🥰2👍1🤣1
Goldman Sachs: AI-агенты могут полностью изменить экономику софт-рынка.

Согласно новому исследованию, к 2030 году более 60% прибыли в software может приходиться на системы с AI-агентами.

Это означает сдвиг модели рынка:
деньги будут идти не столько в SaaS-подписки, сколько в агентные рабочие процессы, которые выполняют задачи самостоятельно.

Настоящие агентные системы пока в основном находятся на стадии пилотов и внутренних экспериментов.

Для масштабирования индустрии нужны:
- стабильный platform layer
- защита identity и security
- контроль целостности данных

Эксперты считают, что широкая стандартизация появится примерно через 12 месяцев.

При этом технологии быстро улучшаются:
растёт надёжность и память агентов, что снижает количество ошибок и делает возможным почти автономную работу в:

поддержке, продажах, маркетинге и инструментах разработки.

Компании, которые смогут обернуть рабочие процессы в AI-агентов, фактически станут новым интерфейсом для knowledge-работы и смогут забирать значительную часть экономической выгоды от роста продуктивности.

goldmansachs.com/insights/articles/ai-agents-to-boost-productivity-and-size-of-software-market
🤣76👍6🔥3🥱2🤔1
Началась новая эпоха - гражданской науки, когда обычные люди могут проводить сложные научные исследования с помощью AI.

Инженер без медицинского образования использовал ChatGPT и AlphaFold (AI-систему для анализа белков), чтобы создать экспериментальную вакцину от рака для своей собаки.

Он потратил около $3000, чтобы получить ДНК-последовательности:

- здоровой крови собаки
- опухоли

Перед ним оказались гигабайты сырого генетического кода, который он не умел читать.

И здесь ключевую роль сыграл ChatGPT.

Он использовал его как своего рода биологического консультанта, чтобы понять:

- как сравнить два набора ДНК
- как найти мутации, вызывающие рак
- какие инструменты использовать для анализа

ChatGPT дал пошаговые инструкции, как запустить анализ данных и подсказал использовать AlphaFold, чтобы определить форму повреждённых белков.

В итоге инженер смог составить полстраницы химического рецепта mRNA-вакцины.

Такая вакцина - это по сути генетическая инструкция, которая учит иммунную систему распознавать и атаковать конкретные мутировавшие раковые клетки.

Университетские исследователи были настолько впечатлены его формулой, что помогли произвести реальную вакцину.

Ветеринар сделал инъекцию собаке.

Через несколько недель огромная опухоль уменьшилась примерно на 50%.

Если такие истории начнут повторяться, мы можем увидеть совершенно новую модель науки,
когда AI превращает любопытных инженеров в исследователей.

#AI #ChatGPT #Biotech #AlphaFold #Future

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
49🔥27👍12🍌3❤‍🔥1
«Cursor - лучший для vibe-coding»

«Claude Code лучше. А то, что ты навайбкодил уже принесло деньги?»

«Нет. А у тебе?»

«Нет.»

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
🤣5411👍7😁3🔥1
🧠 Новый подход к архитектуре нейросетей: Attention Residuals

Исследователи предложили переосмыслить одну из базовых идей глубоких нейросетей - residual connections.

До сих пор такие соединения работали очень просто:
каждый слой добавляет свой результат к предыдущим слоям через фиксированное накопление.

Но у этого подхода есть проблемы:
• информация постепенно «размывается»
• растёт скрытое состояние
• модели сложнее извлекать важные представления из прошлых слоёв

Теперь предложена новая идея - Attention Residuals.

Вместо обычного сложения слоёв модель использует attention, чтобы выбирать, какие представления из предыдущих слоёв действительно нужны.

Проще говоря:

модель сама решает, к каким слоям прошлого стоит “вернуться”.

Что это даёт:

🔹 сеть может избирательно извлекать нужные представления
🔹 уменьшается эффект «размывания» информации
🔹 контролируется рост скрытых состояний
🔹 глубина сети используется гораздо эффективнее

Чтобы это работало на больших моделях, авторы предложили механизм Block AttnRes.

Он делит сеть на блоки и применяет сжатое attention между ними, делая кросс-слойное внимание масштабируемым.

По результатам экспериментов:

• около 1.25× выигрыша по вычислениям
<2% увеличение latency на инференсе
• стабильный рост качества на downstream-задачах

Метод протестировали на архитектуре Kimi Linear:

48B параметров всего
3B активных параметров

Если идея подтвердится на больших LLM, это может стать новым стандартом для глубинных архитектур нейросетей.

https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
👍158🔥3