Big Data AI
16.9K subscribers
875 photos
102 videos
19 files
875 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
🤖 Прорыв в разработке наноботов

Учёные из Penn State сделали важный шаг к созданию настоящих наноботов.

🔬 С помощью нового микро-флюидного устройства они создали крошечные частицы, которые могут обмениваться сигналами и действовать вместе - как муравьи, оставляющие следы для других.
- Одна группа частиц двигалась по химическому градиенту и оставляла «след».
- Другая группа улавливала этот след и шла за ним.

👉 Это выглядит просто, но именно так закладывается основа программируемых роёв наноботов.

💡 Возможные применения:
- наночастицы находят опухоль и зовут другие с лекарством,
- мини-системы доставляют груз в нужную клетку,
- наноботы очищают организм от токсинов или восстанавливают повреждённые ткани.

Раньше учёные могли наблюдать за таким процессом всего несколько секунд. Теперь, с новым инструментом Penn State, поведение можно изучать минутами, что позволяет проводить более сложные эксперименты.

🌱 Вдохновение пришло из природы - у пчёл и муравьёв есть распределение ролей и совместная работа. Если частицы смогут делать то же самое, это приблизит нас к самоорганизующимся автономным наносистемам, которые могут изменить медицину и материалы.

Это пока ранняя стадия, но именно такие шаги строят фундамент для будущих роёв наноботов.

https://www.psu.edu/news/eberly-college-science/story/can-nanobots-play-follow-leader
7👏2🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 obsidian-smart-composer — это ИИ-помощник чата для Obsidian с контекстной осведомленностью, интеллектуальной помощью при написании и редактированием одним кликом! Он включает в себя разговоры с поддержкой хранилища, семантический поиск и поддержку локальной модели.

🔐 Лицензия: MIT

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩32👍2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI выпустила Codex-CLI 0.36 с новым GPT-5-Codex

Теперь система динамически выбирает время «размышлений»: на простые запросы отвечает почти мгновенно, а на сложных проектах может работать часами — вплоть до 7 часов подряд, выполняя рефакторинг, исправляя ошибки и доводя решение до финала.

Одним из главных нововведений стала функция codex resume, позволяющая возобновлять старые сессии. Также обновили интерфейс: появилось анимированное онбординг-руководство, улучшены отображение статусов и обработка прерываний. Важным изменением стала и новая система авторизации с более надёжной работой API-ключей и кастомных провайдеров.

По производительности GPT-5-Codex показывает заметный скачок. На бенчмарке SWE-bench модель набирает 74,5%, обгоняя GPT-5 high. На внутренних тестах по рефакторингу результат вырос с 34% до 51%, что говорит о серьёзном улучшении качества работы с большими кодовыми базами.
OpenAi

✔️ Релиз TimesFM 2.5 от Google

Google Research представила TimesFM 2.5 — обновлённую версию Time Series Foundation Model для прогнозирования временных рядов.

В версии 2.5 разработчики улучшили точность по сравнению с 2.0 и значительно расширили максимальную длину контекста, что позволяет обрабатывать более сложные и длинные временные зависимости.

Особое достижение — первое место в рейтинге GiFT-Eval: TimesFM 2.5 заняла лидирующую позицию сразу по всем метрикам среди zero-shot foundation-моделей, подтвердив статус одной из самых точных систем для анализа временных рядов.
Github

✔️ OpenAI и Anthropic: инструменты используются по-разному и приносят разные результаты

Согласно новому анализу от TipRanks, компании OpenAI и Anthropic показали, что их ИИ-инструменты применяются в существенно разных контекстах — и дают разные эффекты.
OpenAI в основном используется для создания контента, разработки кода и поддержки творческих задач, где гибкость и масштабируемость — ключевые аргументы. Его модели помогают пользователям генерировать текст, автоматизировать рабочие процессы и решать задачи, требующие воображения и нестандартного подхода.

Anthropic, напротив, чаще применяют в областях, где особенно важны точность, контроль бессознательных смещений и высокая надёжность — например, в юридических, медицинских или регулируемых средах. В таких сценариях делают упор на безопасность, на минимизацию ошибок и на возможность аудита и объяснений того, как пришёл к решению ИИ.

Отчёт подчёркивает: разные компании и пользователи выбирают OpenAI или Anthropic не просто на основе производительности, но и в зависимости от ценностей — что важнее: скорость и творческий потенциал или строгие гарантии и прозрачность.

Эксперты TipRanks полагают, что оба подхода — сильны в своих нишах. Поскольку спрос на ИИ-решения растёт, смешанные и гибридные модели применений, вероятно, станут всё более популярными: когда часть задач решается с помощью гибкого и креативного ИИ, а часть — с помощью инструментов повышенной эмпатии и осторожности.
Отчет

✔️ Reve выпустили свой нейрофотошоп

Reve представили AI-редактор изображений, который уже окрестили «текстовым фотошопом». В отличие от конкурентов, здесь почти нет цензуры, а ограничения на генерацию трудно заметить.

Функция Image creator & remixer позволяет создавать и перерабатывать изображения на основе текстовых подсказок. Интерактивный drag-and-drop редактор даёт возможность перемещать, масштабировать и изменять объекты прямо мышкой — так, как в привычных графических редакторах. Вместо стандартного поля для ввода появился чат-ассистент, превращающий взаимодействие в диалог, что облегчает настройку и доработку картинок.
Reve

✔️ Alphabet впервые достигла рыночной капитализации в $3 трлн

Компании Alphabet, материнской структуры Google, впервые удалось преодолеть отметку в $3 трлн стоимости на бирже. Акции выросли на 4 % на фоне судебного решения по антимонопольному делу, по которому не потребовалось разделение бизнеса (Chrome и Android). Сильный рост показали облачная служба и заинтересованность инвесторов в AI-продуктах, особенно модели Gemini.
Новость

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2🥰2
🦀 Rust LLM from Scratch

RustGPT — это реализация языковой модели на основе трансформеров, созданная с нуля на Rust без внешних ML-фреймворков. Проект включает предобучение на фактическом тексте, настройку для диалогового ИИ и интерактивный режим тестирования.

🚀 Основные моменты:
- Полное предобучение и настройка модели
- Модульная архитектура с четким разделением задач
- Использование ndarray для операций с матрицами
- Поддержка градиентного спуска и обрезки градиентов
- Интерактивный режим для тестирования модели

📌 GitHub: https://github.com/tekaratzas/RustGPT

#rust
👍43🔥2
🚀 Новый датасет для исследований в области речи и NLP!

OleSpeech-IV-2025-EN-AR-100 (100 часов)

🎤 Реальные, непоставленные диалоги на английском
🗂️ Человеческие транскрипты с разметкой спикеров
🔎 Отметки времени и пересечения реплик
📂 Сырые, несжатые аудиофайлы

Идеален для задач ASR, диалоговых систем и анализа речи.

https://huggingface.co/datasets/olewave/OleSpeech-IV-2025-EN-AR-100
👍21🔥1
Маршрут построен: в пятницу – на VK JT Meetup!

Это неформальная встреча для ML-инженеров и Java-разработчиков от VK.

О чём расскажут:
• Какие вызовы возникают перед бэкендером в процессе создания B2B-продукта
• Как строят единую инфраструктуру поисковой платформы

А также поделятся пошаговым гайдом по выпуску RAG в прод

Дальше гостей ждут два потока: нетворкинг-зона и групповое решение кейсов по ML и Java.

Мероприятие пройдёт только офлайн — редкий шанс пообщаться с коллегами, задать вопросы экспертам и выиграть призы от VK. Регистрируйтесь!

📍 Нижний Новгород, только офлайн
📅 3 октября, сбор с 18:00
🎟 Вход по регистрации
🧩 Multi-View 3D Point Tracking

MVTracker — это инновационный инструмент для отслеживания 3D-точек с использованием данных с нескольких камер. Он объединяет многоview-функции в единую 3D-точечную облачную модель, применяя корреляцию на основе kNN для учета пространственно-временных взаимосвязей. Модель адаптируется к различным условиям съемки и эффективно справляется с затенениями.

🚀Основные моменты:
- Первое решение для отслеживания 3D-точек с нескольких ракурсов.
- Использует трансформеры для итеративного улучшения треков.
- Поддерживает работу с различными настройками камер без оптимизации для каждой последовательности.
- Доступен через PyTorch Hub для быстрого начала работы.

📌 GitHub: https://github.com/ethz-vlg/mvtracker

#python
1👍1🔥1
🛠️ Интересное исследование от IBM Research

Учёные предложили способ сделать использование инструментов LLM точнее с помощью специального «судьи» для вызовов функций.

Что не так сейчас
Обычные модели-судьи оценивают только текст, а не сами вызовы. Поэтому они не замечают ошибки:
- неправильное имя инструмента,
- неверные или пропущенные параметры,
- лишние вызовы.

⚡️ Что сделали
- Создали датасет из 1,500 запросов, где для каждого есть один правильный и один ошибочный вызов.
- Обучили ToolRM — reward-модель, которая смотрит на список инструментов, диалог и вызов, и выдаёт оценку качества.
- ToolRM превзошёл обычные reward-модели и даже крупные LLM-судьи, оставаясь при этом эффективным.

🧩 Как это работает
- Генератор делает несколько кандидатов-вызовов.
- ToolRM оценивает их и выбирает лучший.
- Этот подход помогает и маленьким, и большим моделям делать точные вызовы.

📊 Бонус: ToolRM может фильтровать тренировочные данные, оставляя качественные примеры. Благодаря этому даже модели, обученные на меньших выборках, показывают уровень, сопоставимый с полными данными.

🔗 Подробнее: arxiv.org/abs/2509.11963v1
3🔥3👍1
⚡️ Предотвращаем потерю данных с ACID-транзакциями в DuckDB!

Без транзакций:
- Списание у Alice прошло
- Пополнение у Bob сломалось
➡️ Итог: деньги «пропали».

С транзакцией (ACID):
- Оба обновления либо проходят вместе, либо откатываются
- Баланс остаётся консистентным
- Никаких «висящих» операций

Пример:

conn.execute("BEGIN TRANSACTION")
try:
conn.execute("UPDATE accounts SET balance = balance - 200 WHERE name = 'Alice'")
conn.execute("UPDATE accounts SET balance = balance + 200 WHERE name = 'Bob'")
conn.execute("COMMIT")
except:
conn.execute("ROLLBACK")


🔹 Atomicity — либо всё, либо ничего
🔹 Consistency — база не ломается
🔹 Isolation — параллельные операции не мешают
🔹 Durability — данные не теряются

🛡 ACID гарантирует надёжность даже при сбоях.
👍21
Канал о серверной и облачной инфраструктуре для ИИ.

Подписывайся на Telegram-канал HOSTKEY — здесь вы найдете:

🔹тесты производительности и бенчмарки GPU-карт и серверного «железа»
🔹новости рынка и технологий
🔹лайфхаки и инструкции по интеграции ИИ в проекты
🔹практические советы для разработчиков и бизнеса

🔥 Последние популярные публикации канала:

🔹 Сравнение NVIDIA RTX 6000 Blackwell 96 ГБ с RTX 5090, A5000 и H100 в задачах LLM и генерации видео — результаты удивляют!
🔹Тестирование NVIDIA GeForce RTX 5090 в задачах ИИ.
🔹10 советов по Open WebUI, которые помогут в работе с нейросетями.
🔹Как добавить генерацию изображений через ComfyUI в Open WebUI.

🎁 А еще мы каждый месяц разыгрываем Telegram Premium среди подписчиков!

Если вы работаете с ИИ и нейросетями — вам точно будет интересно и полезно! 
Подписывайтесь! 

#реклама
О рекламодателе
1
⚡️ FastVGGT: Ускорение 3D-реконструкции без обучения

FastVGGT предлагает метод ускорения для 3D-реконструкции, достигая до 4× более быстрой работы без потери точности. Он использует схожесть карт внимания для оптимизации процесса.

🚀Основные моменты:
- Ускорение работы без необходимости в обучении.
- Поддержка длинных последовательностей.
- Высокая точность при быстром выводе.
- Оценка на наборе данных ScanNet.

📌 GitHub: https://github.com/mystorm16/FastVGGT

#python
⁉️ Как работает алгоритм KNN?

Только начинаете изучать машинное обучение и хотите разобраться в одном из самых простых и эффективных алгоритмов? Присоединяйтесь к открытому вебинару 23 сентября в 20:00 и узнайте, как работает алгоритм K-ближайших соседей (KNN)!

На уроке мы:

- Объясним, как сравниваются объекты и почему важно учитывать «соседей».
- Применим KNN на реальных данных с помощью Python и библиотеки scikit-learn.
- Расскажем, когда KNN работает эффективно, а когда стоит выбрать другой алгоритм.

➡️ Присоединяйтесь к бесплатному вебинару курса «Machine Learning. Basic»: https://tglink.io/597b2927b9f0?erid=2W5zFFv7P9S

#реклама
О рекламодателе
🧠 Qwen3-ASR Toolkit: Умный инструмент для транскрипции аудио

Qwen3-ASR Toolkit — это мощный Python-инструмент для работы с API Qwen-ASR, позволяющий обрабатывать аудио и видео любой длины. Он преодолевает ограничение в 3 минуты, умно разбивая длинные файлы и обрабатывая их параллельно, что значительно ускоряет транскрипцию.

🚀 Основные моменты:
- Обходит 3-минутное ограничение API для транскрипции.
- Умное разделение аудио с использованием детекции активности голоса.
- Параллельная обработка для быстрого получения результатов.
- Автоматическая очистка текста от артефактов ASR.
- Поддержка множества форматов медиа благодаря FFmpeg.

📌 GitHub: https://github.com/QwenLM/Qwen3-ASR-Toolkit

#python
👍31
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Alibaba открыла исходный код модели Qwen3-VL.

Это vision-language модель, которая умеет управлять графическими интерфейсами, писать код, строить диаграммы в Draw.io по макетам и распознавать объекты в самых разных областях - от повседневной жизни до узкоспециализированных сфер. Среди ключевых возможностей: точное определение событий в видео продолжительностью до двух часов, расширение поддержки OCR с 19 до 32 языков с улучшением качества на редких символах и наклонном тексте, работа с контекстом длиной 256 тысяч токенов с возможностью увеличения до миллиона, а также высокая точность в задачах обнаружения рисков в реальных условиях.
HF

✔️ Google Research представил новую работу о моделях для временных рядов.

Исследователи показали, что foundation-модели могут обучаться в стиле few-shot, то есть адаптироваться к новой задаче прямо «на лету», без отдельного переобучения.

В основе подхода лежит TimesFM, расширенный методом in-context fine-tuning (TimesFM-ICF). Модель получает несколько примеров вместе с историей данных и учится делать прогнозы более точно. В экспериментах на 23 датасетах точность выросла на 6,8% по сравнению с базовой моделью, при этом качество оказалось сопоставимо с версиями, обученными специально под каждый набор данных.

Теперь модели временных рядов можно использовать как LLM: им достаточно нескольких примеров в контексте, чтобы подстроиться под задачу. Это открывает путь к более гибкому и простому применению таких систем в бизнесе, финансах, энергетике и других областях.
Google

✔️ Исследователи из MIT, OpenAI и Sakana AI предложили новый метод ASAL (Automated Search for Artificial Life), который автоматизирует поиск «искусственной жизни» с помощью foundation-моделей.

Главная идея в том, что вместо ручного конструирования симуляций теперь можно задавать цель в виде текста, а модель будет находить или создавать такие системы, где возникают жизнеподобные явления.

ASAL работает на разных субстратах - от классических Boids и Game of Life до Lenia, Particle Life и нейронных клеточных автоматов. В ходе экспериментов метод открыл новые формы поведения в Lenia и Boids, а также клеточные автоматы, способные демонстрировать открытое и сложное развитие, сравнимое с «Жизнью» Конвея.

Это открывает путь к ускоренному исследованию искусственной жизни и автоматическому открытию новых «жизнеподобных» систем, которые раньше приходилось искать вручную.

✔️ Еще Qwen представила свою новую флагманскую модель Qwen3-Max, сразу доступную без ограниченного превью. Линейка включает две версии: Qwen3-Max-Instruct, ориентированную на кодинг и агентные задачи, и Qwen3-Max-Thinking, оснащённую инструментальным использованием и «heavy mode» для сложных сценариев.

По результатам тестов Qwen3-Max выходит на уровень топовых моделей на таких бенчмарках, как SWE-Bench, Tau2-Bench, SuperGPQA, LiveCodeBench и AIME25. Модель построена на масштабном датасете и опирается на значительные вычислительные мощности как в предобучении, так и в RL.

Компания позиционирует Qwen3-Max как новый флагман и открывает доступ сразу на нескольких платформах: в Qwen Chat, через API Alibaba Cloud и в блоге разработчиков.
X

✔️ Отчёт Google DORA показал: 90% IT-специалистов уже используют ИИ в работе, что на 14% больше, чем год назад. В опросе участвовало почти 5 тысяч разработчиков, и в среднем они тратят около двух часов в день на взаимодействие с AI-инструментами.

Доверие остаётся ограниченным: 46% доверяют «отчасти», 23% — «немного», и только 20% - «сильно». Это объясняется частыми мелкими исправлениями после автогенерации. Влияние на качество кода оценивается сдержанно: 31% видят лёгкое улучшение, 30% — «без изменений». Зато ощутим рост скорости за счёт снижения рутины.

На рынке труда обстановка сложнее: вакансии для новичков сократились на 71% с 2022 года, а кандидаты подают сотни заявок, прежде чем получить работу.
Report

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1
🤖 Yandex AI Studio: Платформа для создания ИИ-агентов без навыков разработки

Yandex AI Studio — это платформа для быстрого создания ИИ-агентов на базе уже развернутых в облаке моделей. Она позволяет автоматизировать бизнес-процессы без глубоких знаний в программировании.

🚀 Ключевые возможности:

• Инструмент AI Search для поиска по изображениям, таблицам и документам;
• Составление мультиагентных сценариев (например, анализ спроса + планирование закупок);
• Запуск голосовых агентов на базе realtime API, генерирующих ответ в режиме реального времени;
• Быстрая интеграция с внешними сервисами по шаблону через MCP Hub;
• Готовые решения – например, Нейроюрист для ответов на юридические вопросы.

#AI #nocode #automation
3👍2
🧠 MIT: новый подход к созданию AI-агентов для социальных задач

Учёные из MIT предложили метод, который позволяет агентам не просто подстраиваться под одну задачу, а обобщать поведение на новые ситуации.

🔑 Как это работает:

Вместо обычного fine-tuning или промптинга на одном датасете — используют поведенческую теорию как основу подсказок.

Эти подсказки потом проверяют на других, но близких по смыслу задачах.

Такой «двойной шаг» заставляет агентов сохранять только те описания процесса принятия решений, которые реально предсказывают поведение даже при изменении среды.

📊 Результаты:

3,41x выше вероятность правильного ответа по сравнению с базовыми моделями (на 1 490 играх).

53–73% меньше ошибок на новых вариантах игр.

2,44x лучше, чем классические равновесия Харсани–Зельтена.

👉 Идея проста: если описывать процесс решений на человеческом языке и фильтровать его через теорию + проверку в других условиях, агент начинает вести себя более «по-человечески» и лучше справляется с неожиданными ситуациями.

🟠Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
🎮 LLM-бенчмарк в стиле Among Us

Новый тест проверяет модели не на код и задачи, а на социальные навыки: доверие, обман, убеждение и координацию. Для этого их заставляют играть в Among Us в мультиагентной среде.

📊 Результаты:

- GPT-5 реже всего ошибочно исключает игроков в роли члена экипажа.

- Как импостор, модель крайне убедительна и эффективна в обмане.

- GPT-5 гибко адаптируется к роли: минимизирует вред в команде и максимизирует его как предатель.

Такой бенчмарк показывает, как ИИ справляется с социальными динамиками, недоступными для стандартных тестов.

https://www.4wallai.com/amongais
2👍1
Positive Technologies приглашает на онлайн-презентацию нового продукта — PT Data Security*

Решение помогает защитить критически важные данные компании, снижает риски утечек и обеспечивает соответствие требованиям регуляторов.

На онлайн-трансляции вы первыми узнаете:

— Какие задачи и риски сегодня определяют настоящее и будущее рынка защиты данных.
— Какие вызовы стоят перед компаниями на рынке защиты данных.
— О новом подходе Positive Technologies к защите данных.

📅 8 октября, 15:00 мск
📍 Онлайн
👉 Регистрация

*Защита данных
1👍1🔥1
🚀 Вышел Jupyter Agent Dataset!

📊 Обучение на этом датасете значительно улучшает навыки моделей в выполнении кода и анализе данных.

🔍 Из чего он собран:
- 7 ТБ реальных Kaggle-датасетов
- 20k Jupyter-ноутбуков
- Трассы реального исполнения кода, сгенерированные с помощью Qwen3-Coder и E2B

👉 Датасет доступен здесь: https://huggingface.co/datasets/data-agents/jupyter-agent-dataset