Математика Дата саентиста
13.5K subscribers
395 photos
129 videos
37 files
342 links
Download Telegram
⚡️ Крутейший сервис, который поможет понять, как устроены нейросети —

Нашёл отличную вещь, которая поможет разобраться в устройстве нейросетей — Interactive Tools.

Это библиотека интерактивных визуализаций, демонстрирующих, как работают такие нейросети, как ChatGPT, Midjourney и другие.

Например, Transformer Explainer наглядно объясняет, как ChatGPT выбирает следующее слово в тексте (подсказка: это как T9, но на максималках) и почему иногда выдаётся не самое вероятное слово.

📌 Interactive Tools

@data_math
🔥106👍3
⚡️ 10 способов изображения первых 5000 знаков числа Пи (Ken Flerlage)
13🔥8👍3
🛞 Математики изобретают колесо в более высоких измерениях, чтобы решить старую геометрическую проблему:

https://scientificamerican.com/article/mathematicians-reinvent-the-wheel-in-higher-dimensions-to-solve-decades-old/

#Математика

@data_math
👍82🔥2
Бесплатный курс с теорией и практикой математики для Data Science.

Никакой лишней воды, только то, что действительно нужно для работы с ML, и всё это с примерами кода. Приятный бонус — можно выбрать диалект для примеров (PyTorch, Keras или MXNET).

Кстати, остальные главы курса тоже на высоте.

https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/index.html

@data_math
👍226🔥6
InfinityMATH

Масштабируемый набор данных для настройки математических моделей

InfinityMATH, масштабируемый набор данных для настройки моделей для математического анализа.

Эксперименты по точной настройке языков и моделей кода с открытым исходным кодом, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH.

Эти точно настроенные модели показали значительные улучшения, составив в среднем от 184,7% до 514,3% процентов прироста.

Кроме того, эти модели продемонстрировали хорошие оценки надежность в тестах GSM8K+ и MATH+, которые представляют собой усовершенствованную версию тестовых наборов с простым изменением количества тестов.

InfinityMATH делает модели более универсальными и эффективными для решения широкого круга математических задач.

https://huggingface.co/papers/2408.07089
👍51🔥1
🖥 Python для сетевых инженеров

🔥 Очень полезная открытая книга для сетевых инженеров с опытом программирования и без.
Все примеры и домашние задания построены с уклоном на сетевое оборудование.
Для тех, кто хочет автоматизировать повседневные задачи и заняться программированием, но не знает, с какой стороны подойти.

📎 Книга

@data_math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥42
Собеседования

1. Открытое собеседование на Middle Data Scientist. Секция Python и работы с данными
2. Открытое собеседование на Middle Data Scientist. Секция ML
3. Выпуск 4: System Design собеседование с Валерием Бабушкиным
4. Mock собеседование на Junior Data Scientist
5. Выпуск 3: System Design собеседование с Валерием Бабушкиным
6. Выпуск 2: System Design собеседование с Валерием Бабушкиным
7. Выпуск 1: System Design собеседование с Валерием Бабушкиным
8. Открытое собеседование на позицию игрового аналитика
9. Выпуск 3: ML System Design собеседование с Валерием Бабушкиным
10. Техническое собеседование на позицию junior аналитика

#video

https://www.youtube.com/watch?v=6adGYmQeJNw&list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni
🔥9👍21
⚡️ Awesome math – курируемый список полезных ресурсов по математике

Здесь собраны различные материалы по таким темам как:
• Основы математики
• Теория чисел
• Алгебра
• Комбинаторика
• Числовой анализ
• Обработка сигналов
• Математика для компьютерных наук
• Математическая биология
• Математическая физика

https://github.com/rossant/awesome-math

#GitHub | #Archive

@data_math
8👍4🔥31
Forwarded from Machinelearning
🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search.

DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4.
"V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями.

Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором.

Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки.

В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств.

В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем.

Набор DeepSeek-Prover:

🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы;
🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии.
🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением.

▶️Установка и запуск:
# Clone the repository:
git clone --recurse-submodules [email protected]:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5

# Install dependencies:
pip install -r requirements.txt

# Build Mathlib4:
cd mathlib4
lake build

# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results



📌Лицензирование кода репозитория: MIT license

📌Лицензирование моделей: DEEPSEEK License


🟡Набор моделей
🟡Arxiv
🟡Датасет
🟡Сообщество в Discord
🖥Github [ Stars: 53 | Issues: 0 | Forks: 1]


@ai_machinelearning_big_data

#AI #LLM #Math #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🔥21