➡️ LEANN — сверхлёгкий локальный векторный поиск

LEANN умеет индексировать и искать по миллионам документов, используя на 97% меньше хранилища, чем традиционные решения — без потери точности.

💡 Это достигается с помощью графовой селективной рекомпутации и high-degree preserving pruning — эмбеддинги вычисляются по запросу, а не хранятся заранее.

Ключевые особенности:
— Приватность — всё работает локально, без облака и скрытых условий.
— Лёгкость — графовая обрезка и CSR-формат уменьшают потребление памяти и места.
— Портативность — легко переносите базу знаний между устройствами.
— Масштабируемость — устойчив к «грязным» данным и памяти агентов, где другие БД падают.
— Точность — качество поиска как у тяжёлых решений, но с минимальными ресурсами.

➡️ Ссылка на репозиторий

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

📂 Анализ и подготовка данных
— Разведочный анализ текстовых данных — как проводить EDA для текстовых данных, извлекать инсайты и выявлять паттерны.
— Статистика под капотом LinearRegression — почему минимизируем именно квадратичную ошибку и как это связано со статистикой.
— Как некачественные данные подтачивают нейросети — разбор влияния плохих данных на обучение моделей и стратегии исправления.

🆕 ML и новые подходы
— Nested Learning: новый ML-парадигм для continual learning — модели рассматриваются как набор вложенных задач оптимизации, что помогает избегать катастрофического забывания.
— Beyond Standard LLMs — обзор альтернатив стандартным autoregressive LLM.

👆 Интересные наблюдения и эксперименты
— В процессе обучения нейросетей получаются красивые фракталы — визуализация внутренней динамики обучения и фрактальных структур, возникающих в слоях нейросети.
— Не верьте AI на слово: эксперимент с оптимизацией — практический кейс, демонстрирующий ограничения моделей и как проверять результаты на практике.
— Забудьте про точность: для трекинга нужны десятки метрик — почему одной метрики мало, и как мульти-метрический подход улучшает оценку качества моделей.

🐸 Библиотека дата-сайентиста

#свежак

📊 Визуальная теория информации

Иногда новые способы думать о мире появляются неожиданно. Особенно классно, когда смутная идея превращается в чёткую концепцию. Информационная теория — отличный пример.

Она даёт точный язык для описания неопределённости, взаимосвязи знаний и степени схожести убеждений. Эти идеи применяются повсюду: от сжатия данных до квантовой физики и машинного обучения.

✅ Хорошая новость: информационная теория вовсе не должна пугать. Многие её основные идеи можно объяснить полностью визуально!

➡️ Подробнее: https://clc.to/LrrdXA

🐸 Библиотека дата-сайентиста

#буст

🦉 Ovis (Open VISion): новая архитектура мультимодальных LLM

Ovis — это новая архитектура Multimodal Large Language Model (MLLM), созданная для структурного выравнивания визуальных и текстовых эмбеддингов.

Модель открывает путь к более глубокому пониманию изображений и текста в едином пространстве представлений — шаг к действительно связным мультимодальным ИИ-системам.

📱 Ссылка на репозиторий

🐸 Библиотека дата-сайентиста

#буст

🧩 Drag-and-drop UI для создания AI-агентов

Langflow — мощный визуальный инструмент для сборки и деплоя AI-агентов и рабочих процессов без единой строки кода.

🈁 Поддерживает все основные LLM, векторные БД и другие инструменты.
🈁 Идеально для быстрого прототипирования и продакшн-воркфлоу.

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст

🤗 Как выбрать правильную модель: теперь можно протестировать всех

Больше выбора — значит, больше решений: какую модель взять?

Но чем больше моделей, тем важнее тестирование.

Теперь это стало проще: вышла новая интеграция с Inspect AI.

С Inspect можно:
— сравнивать модели в агентных сценариях и vision-language задачах
— находить целевые модели из Hub и тестировать их на своих задачах
— запускать сравнения без скачиваний и без GPU — всего за пару строк Python

➡️ Гид по ссылке: https://clc.to/becBlw

🐸 Библиотека дата-сайентиста

#буст

🧠 DeepInverse: библиотека для решения обратных задач в компьютерном зрении с помощью глубокого обучения

DeepInverse — это open-source библиотека на базе PyTorch, созданная для решения обратных задач в области обработки изображений.

Основные цели проекта:
— ускорить исследования в области глубокого обучения для задач восстановления изображений,
— повысить воспроизводимость экспериментов благодаря модульной архитектуре,
— снизить порог входа для новых исследователей и инженеров.

DeepInverse объединяет разные задачи и алгоритмы в единую удобную экосистему — от классических inverse problems до современных нейросетевых подходов.

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

📉 Зачем применять PCA перед K-means кластеризацией

Если хочется сделать кластеризацию точнее, быстрее и понятнее — связка PCA + K-means работает удивительно эффективно.

Что даёт PCA перед кластеризацией:
1️⃣ Упрощение данных — PCA собирает ключевую информацию из множества признаков в несколько главных компонент.
2️⃣ Снижение размерности — убирает лишние и шумовые признаки, оставляя только то, что реально объясняет вариативность данных.
3️⃣ Лучшая интерпретация — новые компоненты не коррелируют между собой, поэтому структура данных становится понятнее.
4️⃣ Оптимизация кластеров — K-means получает «очищенные» данные и формирует более чёткие и осмысленные кластеры.
5️⃣ Рост производительности — меньше измерений → быстрее обучение, особенно на больших датасетах.

Что вы получаете:
✅ Более точные и чистые кластеры.
✅ Быструю работу алгоритма.
✅ Простую визуализацию данных в 2–3 компонентах.
✅ Фокус на действительно важных признаках.

Связка PCA + K-means — отличный инструмент, чтобы преобразовать хаос признаков в чёткие структуры и ускорить анализ.

🐸 Библиотека дата-сайентиста

#буст

🙌 Google Colab теперь в VS Code: лучшее из двух миров

Google официально выпустил расширение Colab для VS Code, позволяя использовать облачные мощности Colab — включая GPU и TPU — прямо в любимом редакторе кода:
🈁 Для пользователей VS Code: привычный workflow + подключение к мощным Colab-рутинам, включая Pro-tier GPU и TPU.
🈁 Для пользователей Colab: IDE-функции VS Code (расширяемость, интеграция с Git) при сохранении облачных вычислений и удобного коллаборационного опыта.

Как начать работу:
1. Установите Colab расширение из VS Code Marketplace.
2. Откройте .ipynb ноутбук и подключитесь к Colab runtime через Google аккаунт.
3. Запускайте ячейки с мощностью облака — всё прямо в VS Code!

Google планирует интегрировать ещё больше возможностей Colab в VS Code, делая разработку AI/ML быстрее и удобнее.

🔗 Попробовать сейчас: https://clc.to/rr53rw

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

🙌 Апдейты
— Google Colab теперь в VS Code: лучшее из двух миров — Google официально выпустил расширение Colab для VS Code.

🚀 AI & LLMs: новые модели и прорывы
— GPT-5.1 — OpenAI представила две обновлённые модели.
— Nano Banana 2 — утекли первые сэмплы следующей версии модели.

🧠 Research
— Google запускает File Search в Gemini API — файл-хранилище, чанкинг, индексация и вставка контекста — всё теперь автоматизировано.
— Nested Learning — Google представила brain-inspired подход, где модель — это не одна задача оптимизации, а множество вложенных.

🐸 Библиотека дата-сайентиста

#свежак

🧪 Методы тестирования ML-моделей перед релизом

Когда выкатываешь новую модель, важно не «сломать прод», поэтому используют разные стратегии тестирования.

Вот 4 самых популярных подхода:

1️⃣ A/B-тестирование

Сервер отправляет, например, 90% запросов старой модели и 10% — новой.

🔛 Так можно безопасно сравнить качество на реальных пользователях.

2️⃣ Канареечное тестирование

Новая модель включается только для небольшой группы пользователей.

🔛 Если всё ок — постепенно расширяем охват. Минимальный риск.

3️⃣ Interleaved Testing

Пользователь видит «смешанные» результаты: часть рекомендаций — от старой модели, часть — от новой.

🔛 Хорошо подходит для ранжирования и рекомендаций, где важны позиции.

4️⃣ Shadow Testing

Пользователь получает ответ только от старой модели, но новая модель работает параллельно, делает предсказания и скрытно собирает статистику.

🔛 Самый безопасный способ протестировать поведение модели под реальной нагрузкой.

🐸 Библиотека дата-сайентиста

#буст