Banger report from Microsoft.
They introduce a 4B coding agent trained on roughly 1,500 software engineering environments.
📘 Paper
@datascienceiot
They introduce a 4B coding agent trained on roughly 1,500 software engineering environments.
📘 Paper
@datascienceiot
📘 Hidden Markov Models (HMM)
Короткий материал от Stanford по одной из классических моделей машинного обучения для работы с последовательностями.
Внутри разбираются:
- состояния и наблюдения
- transition и emission probabilities
- вычисление вероятности последовательности
- декодирование скрытых состояний
- обучение параметров HMM
- применение к последовательным данным
Хороший компактный материал, если нужно быстро разобраться, как работают скрытые марковские модели без чтения огромного учебника.
https://web.stanford.edu/~jurafsky/slp3/A.pdf
Короткий материал от Stanford по одной из классических моделей машинного обучения для работы с последовательностями.
Внутри разбираются:
- состояния и наблюдения
- transition и emission probabilities
- вычисление вероятности последовательности
- декодирование скрытых состояний
- обучение параметров HMM
- применение к последовательным данным
Хороший компактный материал, если нужно быстро разобраться, как работают скрытые марковские модели без чтения огромного учебника.
https://web.stanford.edu/~jurafsky/slp3/A.pdf
🔥 DataLens Platform: что происходит, когда data stack собирают в одну систему
Yandex B2B Tech представила платформу, которая объединяет хранение, обработку, визуализацию и ИИ-аналитику данных.
Вместо связки из нескольких инструментов данные можно обрабатывать и анализировать в единой среде. Встроенный ИИ-помощник принимает запросы на обычном языке и помогает получать показатели без ручной сборки отчётов.
Отдельно интересна архитектура: storage и compute масштабируются независимо. Растет объем данных — увеличивается хранилище; растёт нагрузка на расчёты — добавляются вычислительные мощности.
По оценке Yandex B2B Tech, такой подход может сократить затраты на аналитику до 30%, а подготовку отчетов и дашбордов — ускорить в 3–5 раз.
📎 Подробнее о платформе — в материале СМИ.
Yandex B2B Tech представила платформу, которая объединяет хранение, обработку, визуализацию и ИИ-аналитику данных.
Вместо связки из нескольких инструментов данные можно обрабатывать и анализировать в единой среде. Встроенный ИИ-помощник принимает запросы на обычном языке и помогает получать показатели без ручной сборки отчётов.
Отдельно интересна архитектура: storage и compute масштабируются независимо. Растет объем данных — увеличивается хранилище; растёт нагрузка на расчёты — добавляются вычислительные мощности.
По оценке Yandex B2B Tech, такой подход может сократить затраты на аналитику до 30%, а подготовку отчетов и дашбордов — ускорить в 3–5 раз.
📎 Подробнее о платформе — в материале СМИ.
Physics-based Deep Learning: Combining Deep Learning with Physical Simulations
📘 Paper
@datascienceiot
📘 Paper
@datascienceiot
New Stanford+Together AI paper shows teams that learn to check each other's work solve problems none of them got right alone.
📘 Paper
@datascienceiot
📘 Paper
@datascienceiot
ML-проект не заканчивается на обучении модели
В Data Science есть довольно знакомый момент: сначала всё работает почти идеально. Есть датасет, ноутбук, модель и несколько экспериментов. Но когда модель нужно использовать регулярно, внезапно выясняется, что сам алгоритм — только часть задачи.
Данные нужно где-то хранить, регулярно обновлять и обрабатывать. Пайплайны — запускать по расписанию. Результаты — отдавать в аналитические системы. А ещё нужно не потерять воспроизводимость всего процесса, когда экспериментов становится больше. По сути, вокруг модели постепенно появляется полноценная data-платформа.
Один из вариантов собрать такой контур внутри корпоративной инфраструктуры — использовать PaaS-компоненты Yandex Cloud в Stackland. В обновлении платформы появились ClickHouse и PostgreSQL для работы с данными, Object Storage и Trino для аналитического слоя, Airflow для оркестрации и DataLens для визуализации.
При таком подходе ML-процесс выглядит уже не как «модель + ноутбук», а как последовательный конвейер: данные поступают в хранилище, проходят обработку, используются для подготовки признаков и обучения, а результаты возвращаются в аналитический контур.
Таким образом, появляется одна из главных точек перехода от экспериментов к production: сложность постепенно смещается с самой модели на инфраструктуру, которая должна обеспечивать её работу.
В Data Science есть довольно знакомый момент: сначала всё работает почти идеально. Есть датасет, ноутбук, модель и несколько экспериментов. Но когда модель нужно использовать регулярно, внезапно выясняется, что сам алгоритм — только часть задачи.
Данные нужно где-то хранить, регулярно обновлять и обрабатывать. Пайплайны — запускать по расписанию. Результаты — отдавать в аналитические системы. А ещё нужно не потерять воспроизводимость всего процесса, когда экспериментов становится больше. По сути, вокруг модели постепенно появляется полноценная data-платформа.
Один из вариантов собрать такой контур внутри корпоративной инфраструктуры — использовать PaaS-компоненты Yandex Cloud в Stackland. В обновлении платформы появились ClickHouse и PostgreSQL для работы с данными, Object Storage и Trino для аналитического слоя, Airflow для оркестрации и DataLens для визуализации.
При таком подходе ML-процесс выглядит уже не как «модель + ноутбук», а как последовательный конвейер: данные поступают в хранилище, проходят обработку, используются для подготовки признаков и обучения, а результаты возвращаются в аналитический контур.
Таким образом, появляется одна из главных точек перехода от экспериментов к production: сложность постепенно смещается с самой модели на инфраструктуру, которая должна обеспечивать её работу.
"PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research"
📓 Read
@datascienceiot
📓 Read
@datascienceiot
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
"Can a language-model agent improve its future actions by training only on explanations of its own experience? We investigate this question by studying Retrospection-Only Fine-Tuning (ROFT), a minimal online procedure designed to isolate the effect of explanation-only training on subsequent behavior. The agent attempts a task, observes available feedback, generates a retrospective explanation, and is fine-tuned with a next-token prediction loss on the explanation tokens alone."
📓 Read
@datascienceiot
"Can a language-model agent improve its future actions by training only on explanations of its own experience? We investigate this question by studying Retrospection-Only Fine-Tuning (ROFT), a minimal online procedure designed to isolate the effect of explanation-only training on subsequent behavior. The agent attempts a task, observes available feedback, generates a retrospective explanation, and is fine-tuned with a next-token prediction loss on the explanation tokens alone."
📓 Read
@datascienceiot
📚 Классика, которую стоит прочитать: бесплатная книга Давида Кризеля о нейросетях
Если хочется разобраться, как нейросети устроены на уровне основ, а не только вызывать API, есть отличный бесплатный материал: A Brief Introduction to Neural Networks Давида Кризеля. Книга выросла из семинара в Боннском университете, первая версия вышла ещё в 2005 году, и с тех пор её дорабатывали.
Книга разделена на три большие части. Первая ведёт от биологии к формализации: биологический нейрон, компоненты искусственных сетей и основы обучения. Вторая посвящена обучению с учителем: перцептроны, backpropagation, RBF-сети и рекуррентные сети. Третья про обучение без учителя: сети Хопфилда, самоорганизующиеся карты Кохонена и теорию адаптивного резонанса.
Отдельно есть экскурсы в кластеризацию, предсказание временных рядов и обучение с подкреплением.
Главное достоинство книги в подаче. Каждое понятие объясняется сначала простыми словами, а потом строго математически, поэтому её одинаково удобно читать и новичку, и тому, кто хочет формул. Иллюстрации автор рисовал сам, в конце глав есть упражнения, а примеры связаны с его Java-библиотекой SNIPE.
Про трансформеры и LLM здесь ничего нет. Зато это хороший фундамент, без которого современные архитектуры понимаются хуже. Распространяется бесплатно по лицензии Creative Commons.
https://dkriesel.com/_media/science/neuronalenetze-en-zeta2-2col-dkrieselcom.pdf
Если хочется разобраться, как нейросети устроены на уровне основ, а не только вызывать API, есть отличный бесплатный материал: A Brief Introduction to Neural Networks Давида Кризеля. Книга выросла из семинара в Боннском университете, первая версия вышла ещё в 2005 году, и с тех пор её дорабатывали.
Книга разделена на три большие части. Первая ведёт от биологии к формализации: биологический нейрон, компоненты искусственных сетей и основы обучения. Вторая посвящена обучению с учителем: перцептроны, backpropagation, RBF-сети и рекуррентные сети. Третья про обучение без учителя: сети Хопфилда, самоорганизующиеся карты Кохонена и теорию адаптивного резонанса.
Отдельно есть экскурсы в кластеризацию, предсказание временных рядов и обучение с подкреплением.
Главное достоинство книги в подаче. Каждое понятие объясняется сначала простыми словами, а потом строго математически, поэтому её одинаково удобно читать и новичку, и тому, кто хочет формул. Иллюстрации автор рисовал сам, в конце глав есть упражнения, а примеры связаны с его Java-библиотекой SNIPE.
Про трансформеры и LLM здесь ничего нет. Зато это хороший фундамент, без которого современные архитектуры понимаются хуже. Распространяется бесплатно по лицензии Creative Commons.
https://dkriesel.com/_media/science/neuronalenetze-en-zeta2-2col-dkrieselcom.pdf
AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
📓 Read
@datascienceiot
📓 Read
@datascienceiot
📚 Обновили огромный учебник по математике для Computer Science и Machine Learning - 2220 страниц.
Внутри сразу несколько фундаментальных тем:
— алгебра
— топология
— дифференциальное исчисление
— теория оптимизации
— математический аппарат для CS и ML
Хороший вариант, если хочется не просто использовать формулы в ML, а понимать, откуда они берутся и почему работают.
Книга доступна здесь:
https://www.cis.upenn.edu/~jean/gbooks/
@datascienceiot
Внутри сразу несколько фундаментальных тем:
— алгебра
— топология
— дифференциальное исчисление
— теория оптимизации
— математический аппарат для CS и ML
Хороший вариант, если хочется не просто использовать формулы в ML, а понимать, откуда они берутся и почему работают.
Книга доступна здесь:
https://www.cis.upenn.edu/~jean/gbooks/
@datascienceiot