📌 Статья Google Research предлагает метод генерации синтетических данных с использованием дифференциально приватного вывода LLM, чтобы исключить утечки информации из исходного датасета.

Вот ключевые аспекты:

🎯 Цель
Создание синтетических данных, которые:

Сохраняют полезные статистические свойства оригинальных данных.

Гарантируют, что исходные данные нельзя восстановить из сгенерированных образцов.

🔧 Метод
Дифференциально приватный инференс:

Во время генерации текста LLM к выходным распределениям токенов добавляется шум (например, через механизм Гаусса).

Это гарантирует, что наличие/отсутствие отдельного примера в обучающих данных не влияет на результат.

Контроль приватности:

Параметры ε (эпсилон) и δ (дельта) задают уровень приватности.

Чем меньше ε, тем выше защита (например, ε=1–5).

Адаптация под LLM:
Оптимизация добавления шума для сохранения качества текста (согласованность, грамматика).

Использование калибровки шума в зависимости от чувствительности модели к входным данным.

🚀 Технические детали
Механизм шума: Шум добавляется к логам вероятностей модели перед выборкой токена.

Усечение градиентов: Для ограничения влияния отдельных примеров на обучение (если модель дообучается).

Аггрегирование запросов: Группировка запросов к модели для минимизации утечек через множественные обращения.

📊 Результаты
Качество данных: Синтетические данные сохраняют практическую применимость (например, для обучения downstream-моделей).

Приватность: Гарантируется формальная защита (ε < 5) без значительной деградации качества.

🛠 Применение
Обучение моделей на конфиденциальных данных (медицина, финансы).

Тестирование алгоритмов без доступа к реальным данным.

Совместное использование данных между организациями без риска утечек.

⚖️ Компромиссы
Качество vs. приватность: Чем ниже ε, тем хуже качество текста.

Вычислительные затраты: Добавление шума и проверка приватности увеличивают время инференса.

Итог:
Подход Google позволяет использовать LLM как «дифференциально приватный генератор», что открывает путь к этичному использованию ИИ в sensitive-доменах. Это прорыв в балансировке между полезностью данных и защитой приватности.

Читать

Твой будущий работодатель уже на TechnoCareer! А ты успел зарегистрироваться?

25 марта в Москве — только один день, когда ТОП-компании ищут молодых специалистов. СИБУР, «Росатом», Сколтех, МТС, Марс и другие топ-компании соберутся на TechnoCareer, чтобы найти такого крутого эксперта, как ты! Прийти можно в любое время с 15:00 до 19:00.

• Ты — студент или выпускник технического, промышленного или естественно-научного направления? 
• Хочешь оплачиваемую стажировку?
• Готов пройти тест-драйв собеседований?
• Любишь есть пиццу, получать призы и подарки?

Если ДА, тебе срочно нужно ухватить свой билет на TechnoCareer! Места заканчиваются, участие бесплатное https://vk.cc/cJUSrC?erid=2W5zFHVuVUL

📚 «Линейная алгебра»

Вторая лучшая книга по линейной алгебре с ~1000 практических задач.

Идеально для ИИ и машинного обучения.

Книга полностью бесплатна .

Прекрасно подходит для новичков.

📌 Книга

@machinelearning_books

🔥 «Упражнения по машинному обучению»

В этой книге более 75 упражнений. И она абсолютно БЕСПЛАТНА.

🔗 Книга
🔗 GitHub

@machinelearning_books

⚡️ Implement minimal-GPT from scratch.

MinimalGPT — это небольшое учебное пособие (гайд), в котором демонстрируется «упрощённая» реализация архитектуры GPT. На странице раскрываются основные принципы работы модели и приводится минимально необходимый код для её запуска. Основная идея заключается в том, чтобы показать, как устроена GPT‑модель на базовом уровне, без избыточного усложнения и обилия вспомогательных библиотек.

Внутри гайда обычно можно найти:

▪ Описание основных слоёв GPT (внимание, Feed-Forward блоки и т.д.)
▪ Минимальные примеры кода (часто на Python с использованием PyTorch или аналогичных фреймворков)
▪ Краткие пояснения к каждому этапу (инициализация слоёв, механизм attention, обучение/инференс)
▪ Рекомендации по расширению и дальнейшему совершенствованию кода

Таким образом, MinimalGPT служит отправной точкой для понимания того, как работает GPT, и даёт возможность собрать простейшую версию модели своими руками.

🔗 Читать

@machinelearning_books