Преобразуй сложные регэкспы в нормальный читаемый Python-код с Pregex

Шаблоны вроде [a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,} выглядят пугающе и плохо читаются. Команде без опыта в регулярках сложно понять и править такие валидации.

Pregex разворачивает regex в понятный питоновский код из описательных компонентов.

Что получаем:
• Код сам объясняет намерение, даже без комментариев
• Можно править без знаний регэкспов
• Компонуешь паттерны для сложной валидации
• При необходимости обратно экспортируешь в обычный regex

Инструмент open source. Установка: pip install pregex

Полная статья: https://bit.ly/3IWAE5O
Запустите этот код: https://bit.ly/4hdQjKM

👉 @DataSciencegx

Это модель, которая умеет находить приватные данные в тексте и автоматически замазывать их, чтобы не утекла лишняя инфа. Весит всего 0.1B, я прогнал у себя — спокойно работает на CPU. На скрине ниже как раз мой тест.

Использование элементарное: автор запаковал всё в питоновский пакет.
Импортируешь и вызываешь метод — и готово:

from artifex import Artifex
Artifex().text_anonymization("твой текст")

Но есть момент — модель из коробки «понимает» только английский. Для других языков придётся подстроить. В комплекте есть тулкит для тонкой настройки даже без датасета для обучения, что удобно.

Модель лежит здесь: https://huggingface.co/tanaos/tanaos-text-anonymizer-v1

👉 @DataSciencegx

Этот open-source репо ужимает 60 млн текстовых чанков с примерно 201 ГБ до примерно 6 ГБ 🤯

Это где-то на 97% меньше, при этом качество ретривала остаётся очень близким к стандартным сетапам.

• Без облака
• Без GPU
• Запускается локально на обычном ноутбуке
• Полная приватность
• 100% open source

LEANN делает это за счёт того, что не хранит эмбеддинги постоянно.

Вместо этого он использует компактный граф и пересчитывает эмбеддинги только когда они реально нужны :))

👉 @DataSciencegx

Финальный набор инструментов для работы с LLM.

Transformer Lab позволяет обучать, дообучать и общаться с любой LLM локально. Есть загрузка моделей в один клик и простой drag-and-drop интерфейс для RAG.

Полностью open source.

👉 @DataSciencegx

Вам следует приобрести GPU и запускать свои модели искусственного интеллекта локально.

👉 @DataSciencegx

Новое исследование подъехало: появился приём, который режет галлюцинации у ИИ примерно на 50%.

Называется Model-First Reasoning.

Смысл простой. Вместо привычного «как решить задачу [xxx]?»

Сначала заставляем модель перечислить:

- что в задаче участвует
- что может меняться
- какие действия вообще допустимы
- что под запретом

И только потом просим решить, опираясь только на этот список.

Чем отличается от Chain-of-Thought?

CoT — модель «думает и решает одновременно». Звучит плавно и умно, но по пути нередко додумывает лишнее.

Model-First Reasoning ставит жёсткую стенку:
сначала определяем правила,
потом решаем.
Без смешивания.

ИИ обязан использовать только то, что сам записал на первом шаге — в этом и фокус.

Тестили на медицинском планировании, маршрутах, распределении ресурсов и логических задачах.

Результат стабилен: меньше нарушений правил, чище ответы.

Почему работает:

• LLM выдумывает детали, потому что предполагает то, чего ты не говорил.
• Когда заставляешь сначала всё выписать, прятаться некуда.
• Это лишний аргумент в пользу «Human-in-the-loop»: проверяем шаги по ходу, не даём модели уехать в фантазии.

Статья тут: https://arxiv.org/pdf/2512.14474

👉 @DataSciencegx

Парень написал GPU-ускоренный решатель задач линейного программирования на PyTorch, который масштабируется до 100k+ переменных и ограничений и по скорости/качеству конкурирует с современными state-of-the-art солверами.

Вся реализация занимает примерно 350 строк кода (без документации и логирования) и сделана максимально простой.

Там реализован алгоритм PDLP, вариант PDHG (primal-dual hybrid gradient). Имплементация довольно близко следует свежим статьям по PDLP. Весь решатель собран в одной функции solve(), в которую ты просто передаешь данные своей задачи.

👉 @DataSciencegx

Hugging Face выпустила 214-страничный МАСТЕР-КЛАСС по обучению LLM

👉 @DataSciencegx

Claude Scientific Skills — это набор навыков, который превращает Claude в исследовательского ассистента для сложных научных задач: многошаговые расчёты, математика, биология, химия, медицина и другие области, где нужен последовательный анализ и аккуратная логика.

Открытый проект, полный доступ к коду. Внутри больше 123 готовых навыков.

👉 @DataSciencegx

Автор собрал все свои посты про AI-инжиниринг в один PDF.

Внутри:

основы LLM
prompt engineering
дообучение
RAG
работа с контекстом
AI-агенты
MCP
оптимизация
деплой
оценка и наблюдаемость

375+ страниц. Скачать бесплатно

👉 @DataSciencegx

А что если просто смена библиотеки разблокировала бы все ядра процессора без переписывания кода?

pandas гоняет join’ы на одном ядре, оставляя остальные простаивать при работе с большими таблицами.

Polars раскидывает операции join по всем доступным ядрам и за счёт этого ощутимо быстрее pandas на крупных данных.

Почему Polars такой быстрый:
• Обрабатывает строки батчами в параллель
• Использует все CPU-ядра
• Не требует никакой настройки

Статья — pandas vs polars vs DuckDB
Запустите этот код

👉 @DataSciencegx

Открыли исходники DeepTutor — AI-ассистента для персонализированного обучения.

Мы экспериментируем с агентными ИИ, которые могут помогать студентам и исследователям на всём пути обучения. DeepTutor объединяет работу с материалами, решение задач, генерацию практики и управление знаниями в одну систему, которая реально понимает твой контекст обучения.

Основные возможности DeepTutor:

» Умный Q&A по документам
Загружаешь учебники, статьи, техдоки — задаёшь вопросы и получаешь развернутые ответы с корректными ссылками на источники.

» Визуализация и объяснения знаний
Превращает сложные темы в наглядные диаграммы и интерактивные страницы, подстраиваясь под темп изучения.

» Генерация практических задач
Создаёт вопросы и мини-тесты на основе твоих материалов. Может подражать формату реальных экзаменов, если загрузить примеры.

» Глубокий ресёрч и генерация идей
Помогает в исследовательской работе, отчётах и брейнстормах. Тянет несколько тем параллельно, не теряя контекст.

👉 @DataSciencegx

А что если можно было бы точно увидеть момент, когда модель начинает переобучаться при подборе гиперпараметров?

Тюнинг гиперпараметров — это поиск баланса между недообучением (модель слишком примитивная) и переобучением (модель запоминает датасет вместо того, чтобы учиться обобщать).

Конечно, можно самому писать цикл, гонять кросс-валидацию по каждому значению, собирать метрики и строить графики. Но это рутинщина, которую придётся повторять из проекта в проект.

Yellowbrick — библиотека визуализации для машинного обучения, которая как раз решает эту задачу.

ValidationCurve показывает, где всё ок, где начинает разваливаться и что стоит поправить, без шаблонного кода и кривых графиков.

Как читать график из примера:

• Метрика на train (синяя) остаётся высокой при росте max_depth
• Метрика на validation (зелёная) падает после глубины 4
• Разрыв между ними растёт — модель запоминает тренировочные данные и плохо обобщает на новых

Что делать: выбрать max_depth примерно 3–4, пока валидационная метрика на пике и разрыв ещё не ушёл в космос.

Полная статья: https://bit.ly/44CBQ62
Запустите этот код: https://bit.ly/48RanQp

👉 @DataSciencegx

Открытый релиз первой единой библиотеки для роутинга LLM

☝️ Встречайте LLMRouter

16+ роутеров в одном фреймворке. Хватит заново переписывать научные работы про роутинг. Просто ставите:

pip install llmrouter-lib

и сразу поднимаете SOTA-роутинг под свои задачи.

Быстрый старт с LLMRouter

Код: [https://github.com/ulab-uiuc/LLMRouter]
Проект: [https://ulab-uiuc.github.io/LLMRouter/]

Зачем это нужно?

Зачем платить тарифы GPT-5 за вопрос уровня "какая погода"
Умный роутинг экономит деньги
Простой запрос → дешёвая модель
Сложный запрос → мощная модель
Экономия 30–50% на инференсе без потери качества

Арсенал из 16+ роутеров

Переключение между SOTA-методами одной флажковой настройкой. Закрыты все подходы:
» Single-Round: от классических ML (KNN, SVM) до нейросетевых (Graph, Contrastive)
» Multi-Round: RL-логика, которая думает перед маршрутизацией
» Agentic: разбивает задачу на шаги и раскидывает по моделям
» Personalized: адаптируется под историю пользователя и его запросы

Полный набор из коробки:

Не просто код, а вся инфраструктура.
» Единый CLI: обучение, инференс и чат на любом роутере
» UI на Gradio: интерактивный интерфейс сразу доступен
» Бенчмарки: 11 готовых датасетов + пайплайн генерации данных

От ресерча по роутингу LLM до продакшена за пару минут

👉 @DataSciencegx

А что если можно определить свои собственные типы сущностей без обучения отдельной модели?

Named Entity Recognition (NER) вытаскивает из текста ключевые данные вроде имен, дат и организаций. Но стандартные модели обычно зашиты под фиксированный набор типов, типа PERSON, ORG, DATE и т.п.

Если надо вытянуть что-то более специфичное, обычно приходится обучать свою модель на тысячах размеченных примеров.

GLiNER решает это за счёт zero-shot извлечения сущностей: можно тащить любые типы без обучения.

Плюсы:
• Сразу работает на любом домене текста, без подготовки
• Поддерживает несколько типов сущностей за один проход
• Возвращает confidence для каждой найденной сущности
• Легко интегрируется в spaCy и другие NLP-пайплайны

Полная статья: https://bit.ly/4pdiNrz
Запустите этот код: https://bit.ly/4s6wEkZ

Кроме того, GLiNER является открытым исходным кодом! Установите его с помощью команды «pip install gliner».

👉 @DataSciencegx

Google обучил модель на миллионах пользовательских сообщений.

Не увидев ни одного сообщения.

Это называется federated learning. Его используют Google, Apple, Meta и почти все крупные техкомпании.

Объясняю, как это работает.

Представь, что ты хочешь сделать клавиатуру, которая предсказывает следующий ввод.

Лучшие данные для обучения — реальные сообщения с миллионов телефонов.
Но собирать их нельзя: приватность, чувствительные данные, пользователи просто взбунтуются.

Federated learning переворачивает подход.
Вместо того чтобы тащить данные к модели, ты тащишь модель к данным.

Вот как это выглядит на практике.

Шаг 1. Отправляем модель на устройства
Телефон скачивает небольшую нейросеть. Она живет локально, прямо на девайсе.

→ это глобальная модель W

Шаг 2. Обучаем там, где живут данные
Пока ты печатаешь, телефон незаметно учится твоим паттернам.
"omw" → "буду через 10 минут".

Он считает, как модель должна улучшиться.

→ это локальные градиенты ΔW

Шаг 3. Возвращаем только обучение, не данные
На сервер уходят обновления весов.
Не сообщения. Не история ввода. Только математика.

→ этап агрегации обновлений

Шаг 4. Усредняем по тысячам устройств
Сервер объединяет апдейты с тысяч телефонов.
Общие паттерны усиливаются, индивидуальные особенности взаимно гасятся.

→ классический FedAvg
W_new = W + (1 / n) × Σ(ΔWₖ)

Четыре шага.
Ни один сырой пользовательский данные не покидает устройство.
Только аккуратная координация.

Самое важное:
это открывает доступ к данным, которые раньше были принципиально недоступны.

Больницы могут обучать модели для диагностики рака, не обмениваясь снимками пациентов.
Банки строят антифрод, не раскрывая транзакции.
Умные дома учатся предпочтениям, не отправляя личные моменты в облако.

Приватность и польза — не взаимоисключающие вещи.
Наоборот: уважение границ данных делает такие модели возможными.

Так что прежде чем централизовать все подряд, стоит задуматься:

лучшие данные для обучения уже существуют — просто они заперты на устройствах, к которым ты никогда не получишь прямой доступ.

👉 @DataSciencegx

Превращай PDF-файлы в чистые данные, готовые для LLM.

Dolphin — это open-source фреймворк для парсинга документов, который конвертирует PDF в структурированные форматы: Markdown, HTML, LaTeX и JSON.

Работает в два этапа.

Этап 1: детальный анализ макета на уровне страницы. Определяются элементы и их порядок в соответствии с естественным порядком чтения.

Этап 2: параллельный парсинг элементов с использованием разных типов якорей и task-специфичных промптов.

Ключевые возможности:

» Двухэтапный подход analyze-then-parse на базе одной VLM
» Обнадёживающая производительность на задачах парсинга документов
» Генерация последовательности элементов в естественном порядке чтения
» Гетерогенные anchor-промпты для разных типов элементов документа
» Эффективный механизм параллельного парсинга

Проект на 100% open source.

👉 @DataSciencegx

Самый ожидаемый модуль по техникам оптимизации в машинном обучении наконец вышел.

В нем разобраны базовые вещи:

варианты SGD
выпуклые и невыпуклые задачи
Momentum и ускорение Нестерова
Adam, RMSprop
ландшафты функции потерь
регуляризация
Batch Normalization
метод Ньютона и множители Лагранжа

Читать здесь — https://www.tensortonic.com/ml-math

👉 @DataSciencegx

12 новых продвинутых типов RAG

▪️ Mindscape-Aware RAG (MiA-RAG)
▪️ Многошаговый RAG с памятью на основе гиперграфов
▪️ QuCo-RAG
▪️ HiFi-RAG
▪️ Двунаправленный RAG
▪️ TV-RAG
▪️ MegaRAG
▪️ AffordanceRAG
▪️ Graph-O1
▪️ SignRAG
▪️ Гибридный RAG для многоязычного question answering по документам
▪️ RAGPart и RAGMask

👉 @DataSciencegx