From Worm to Human:
Scaling Brain Emulation


📓 Read

@datascienceiot

Title: "A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing"

arxiv. org/abs/2608.13573

Бесплатная книга по performance engineering

В Algorithmica хорошо разобрали, почему классическая оценка сложности всё хуже отражает реальную производительность на современном железе.

Раньше модель была довольно логичной: процессор выполняет инструкции почти последовательно, у каждой есть своя стоимость, а значит можно примерно оценить время работы алгоритма количеством операций.

Потом всё упростили до асимптотики. Например, вместо точного количества операций в умножении матриц мы просто говорим O(n³) и игнорируем константы. Для сравнения алгоритмов на больших данных это удобно.

Но современные CPU устроены намного сложнее: кэши, конвейеры, параллельное выполнение инструкций, SIMD, prefetching, память с разной задержкой.

Поэтому два алгоритма с одинаковым O(n) могут отличаться по скорости в разы.

А иногда алгоритм с формально «хуже» сложностью на реальных размерах данных оказывается быстрее.

Хорошая серия для тех, кто хочет перейти от «у этого O(n), значит быстро» к пониманию того, как код реально выполняется процессором.

en.algorithmica.org/hpc/complexity/

@machinelearning_books

What Does Context Compression Cost an Agent? Interaction Costs Unrevealed by Task-Completion Metrics

5× context compression did surprisingly little to GPT-5.5’s final task result.

📓 Read

@datascienceiot

10 бесплатных книг по программированию, которые можно читать прямо с GitHub

1. The Rust Programming Language
https://github.com/rust-lang/book

2. Rust by Example
https://github.com/rust-lang/rust-by-example

3. The Little Book of Rust Books
https://github.com/lborb/book

4. Python Data Science Handbook
https://github.com/jakevdp/PythonDataScienceHandbook

5. Dive Into Deep Learning
https://github.com/d2l-ai/d2l-en

6. Probabilistic Machine Learning
https://github.com/probml/pml-book

7. Algorithms for Decision Making
https://github.com/algorithmsbooks/algforopt-notebooks

8. Operating Systems: Three Easy Pieces
https://github.com/remzi-arpacidusseau/ostep-homework

9. Crafting Interpreters
https://github.com/munificent/craftinginterpreters

10. Free Programming Books — огромная библиотека бесплатных книг по Python, Java, C++, Go, AI, SQL, Linux и десяткам других тем
https://github.com/EbookFoundation/free-programming-books

Последний репозиторий особенно полезен: там собрана огромная регулярно обновляемая база легально доступных книг и учебных материалов по программированию.

Mathematical Theory of Deep Learning:

333-page PDF.

📓 Read

@datascienceiot

Towards an AI-Augmented Textbook:


📓 Read

@datascienceiot

📚 Бесплатная книга по выпуклой оптимизации - 130 страниц

"Convex Optimization: Algorithms and Complexity" - хорошее введение в алгоритмы выпуклой оптимизации и их вычислительную сложность.

Внутри:

* градиентные методы
* ускоренные методы
* субградиентная оптимизация
* проксимальные алгоритмы
* first-order methods
* оценки скорости сходимости
* сложность оптимизационных алгоритмов

Полезно для ML, математики и тех, кто хочет глубже понять, что стоит за обучением моделей.

PDF:
https://arxiv.org/abs/1405.4980

Инженеры AI VK отказались от бустинга в финальном ранжировании рекомендаций и перешла на многозадачный нейроранкер DCDN.

Что изменилось:
• вместо одного score модель отдельно предсказывает лайк, дизлайк и Watch Time
• Learning to Rank объединяет эти сигналы в финальную оценку
• CTR и другие отношения сеть учит напрямую из сырых счётчиков - деление встроено в архитектуру
• ручного Feature Engineering стало заметно меньше

Read

Mathematics for Computer Science

Free 920-page PDF download, from MIT:

📓 Read

@datascienceiot

Understanding Attention
From Q, K, V to Modern Transformer Attention

📓 Read

@datascienceiot

When AI Takes the Couch: Psychometric Jailbreaks Reveal Internal Conflict in Frontier Models

Read

Data Science Theories, Models, Algorithms, and Analytics:

FREE PDF Download, 462 pages

Banger report from Microsoft.

They introduce a 4B coding agent trained on roughly 1,500 software engineering environments.

📘 Paper

@datascienceiot

📘 Hidden Markov Models (HMM)

Короткий материал от Stanford по одной из классических моделей машинного обучения для работы с последовательностями.

Внутри разбираются:

- состояния и наблюдения
- transition и emission probabilities
- вычисление вероятности последовательности
- декодирование скрытых состояний
- обучение параметров HMM
- применение к последовательным данным

Хороший компактный материал, если нужно быстро разобраться, как работают скрытые марковские модели без чтения огромного учебника.

https://web.stanford.edu/~jurafsky/slp3/A.pdf

Thinking with Looped Flows

📘 Paper

@datascienceiot