Чувак полностью реализовал архитектуру GPT-OSS-20B с нуля на PyTorch. Все компоненты написаны с нуля:
▪️ RoPE с YaRN + NTK-by-parts для масштабирования контекста
▪️ RMSNorm
▪️ SwiGLU с клэмпингом и residual connections
▪️ Mixture-of-Experts (MoE)
▪️ Self-Attention, оптимизированный через Grouped Query Attention (GQA)
▪️ Learned sinks
▪️ Banded (скользящее окно) attention
▪️ Поддержка KV-кэширования
Всё это работает на одной A100 SXM (80GB). Он также написал подробную документацию с теорией каждого компонента, а также инструкциями по настройке и инференсу.
Репозиторий: https://github.com/HamzaElshafie/gpt-oss-20B
👉 @PythonPortal
Всё это работает на одной A100 SXM (80GB). Он также написал подробную документацию с теорией каждого компонента, а также инструкциями по настройке и инференсу.
Репозиторий: https://github.com/HamzaElshafie/gpt-oss-20B
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24🤯18🔥10👍6
Google выпустил новый инструмент: PaperBanana
Умеет создавать академические иллюстрации, готовые к публикации, просто на основе текста с описанием методологии.
Без Figma. Без ручного дизайна. Без навыков рисования.
Как это работает:
Команда AI-агентов трудится за кулисами:
→ Один ищет подходящие примеры диаграмм
→ Один планирует структуру
→ Один оформляет стиль и компоновку
→ Один генерирует изображение
→ Один оценивает результат и улучшает его
Самое интересное: случайные примеры ссылок работают почти так же хорошо, как идеально подобранные. Главное — показать модели, как выглядят хорошие диаграммы, а не искать идеальный тематический пример.
В слепых тестах люди предпочли результаты PaperBanana в 75% случаев.
Это та самая рекурсия, которую мы ждали: AI-системы, способные полностью визуально документировать сами себя.
Открыта запись в лист ожидания
👉 @PythonPortal
Умеет создавать академические иллюстрации, готовые к публикации, просто на основе текста с описанием методологии.
Без Figma. Без ручного дизайна. Без навыков рисования.
Как это работает:
Команда AI-агентов трудится за кулисами:
→ Один ищет подходящие примеры диаграмм
→ Один планирует структуру
→ Один оформляет стиль и компоновку
→ Один генерирует изображение
→ Один оценивает результат и улучшает его
Самое интересное: случайные примеры ссылок работают почти так же хорошо, как идеально подобранные. Главное — показать модели, как выглядят хорошие диаграммы, а не искать идеальный тематический пример.
В слепых тестах люди предпочли результаты PaperBanana в 75% случаев.
Это та самая рекурсия, которую мы ждали: AI-системы, способные полностью визуально документировать сами себя.
Открыта запись в лист ожидания
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍4👀3
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Тюнинг LLM больше не обязательно должен быть медленным, дорогим и прожорливым к GPU.
Открытые инструменты сильно прокачались.
Теперь можно дообучать мощные LLM без корпоративного железа.
Вот 4 библиотеки, которые стоит знать, чтобы тюнинг был быстрее и дешевле:
1. Unsloth
Наверняка самый быстрый способ дообучения LLM на сегодня.
✅ До 2× быстрее
✅ ~70% меньше использования VRAM
✅ Работает с Gemma, Qwen, LLaMA, Mistral и другими
✅ Запускается на потребительских GPU (даже Colab/Kaggle с ~3GB VRAM 🤯 )
2. LLaMA Factory
Полный набор для дообучения.
✅ Поддержка 100+ моделей
✅ CLI + WebUI (подходит новичкам)
✅ LoRA, QLoRA, полный и замороженный FT (2–8 бит)
✅ Встроенные датасеты, мониторинг тренировки и экспорт моделей
3. DeepSpeed
Если идёте на большие масштабы.
✅ ZeRO и FSDP для масштабного обучения
✅ Оптимизация под multi-GPU и multi-node
✅ Проверен в продакшн-LLM тренировках
Если вы масштабируете серьёзные модели → это ваш выбор.
4. Axolotl
Конфигурационно-ориентированное дообучение, сделанное правильно.
✅ Workflow на YAML
✅ Поддержка LoRA, QLoRA, DPO, GRPO и мультимодальных моделей
✅ Оптимизация памяти на уровне ядра
✅ Плавная интеграция с Hugging Face
👉 @PythonPortal
Открытые инструменты сильно прокачались.
Теперь можно дообучать мощные LLM без корпоративного железа.
Вот 4 библиотеки, которые стоит знать, чтобы тюнинг был быстрее и дешевле:
1. Unsloth
Наверняка самый быстрый способ дообучения LLM на сегодня.
2. LLaMA Factory
Полный набор для дообучения.
3. DeepSpeed
Если идёте на большие масштабы.
Если вы масштабируете серьёзные модели → это ваш выбор.
4. Axolotl
Конфигурационно-ориентированное дообучение, сделанное правильно.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10
Media is too big
VIEW IN TELEGRAM
9 ключевых концепций искусственного интеллекта, объясненных за 7 минут
- Tokenization
- Text Decoding
- Prompt Engineering
- Multi Step AI Agents
- RAGs
- RLHF
- VAE
- Diffusion Models
- LoRA
👉 @PythonPortal
- Tokenization
- Text Decoding
- Prompt Engineering
- Multi Step AI Agents
- RAGs
- RLHF
- VAE
- Diffusion Models
- LoRA
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤1
This media is not supported in your browser
VIEW IN TELEGRAM
CLAUDE CODE, но для взлома.
Shannon: полностью автономный AI-хакер, который находит реальные эксплойты в ваших веб-приложениях.
Shannon показал 96,15% успешности на бенчмарке XBOW без подсказок, с учётом исходного кода.
Фичи:
» Полностью автономная работа
» Отчёты уровня пентеста с воспроизводимыми эксплойтами
» Покрытие критических уязвимостей из OWASP
» Динамическое тестирование с пониманием кода
» Работает на базе интегрированных security-инструментов
» Параллельная обработка для ускорения результатов
https://github.com/KeygraphHQ/shannon
👉 @PythonPortal
Shannon: полностью автономный AI-хакер, который находит реальные эксплойты в ваших веб-приложениях.
Shannon показал 96,15% успешности на бенчмарке XBOW без подсказок, с учётом исходного кода.
Фичи:
» Полностью автономная работа
» Отчёты уровня пентеста с воспроизводимыми эксплойтами
» Покрытие критических уязвимостей из OWASP
» Динамическое тестирование с пониманием кода
» Работает на базе интегрированных security-инструментов
» Параллельная обработка для ускорения результатов
https://github.com/KeygraphHQ/shannon
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯19👍8❤2🤔1
Совет на 2026 год — освойте ВАЙБ-КОДИНГ. ИИ уже пишет код, чинит баги, генерит тесты и документацию быстрее и качественнее любой команды айтишников
И те, кто научится вайбкодить сейчас, будут зарабатывать в разы больше тех, кто всё ещё делает всё вручную
Разобраться в этом с нуля поможет канал Вайб-кодинг. Там простым языком разбирают, какие инструменты действительно стоит использовать, как собирать проекты от идеи до релиза и что сейчас актуально в вайбкодинге
Подписывайтесь, нас уже 15 тысяч: @vibecoding_tg
И те, кто научится вайбкодить сейчас, будут зарабатывать в разы больше тех, кто всё ещё делает всё вручную
Разобраться в этом с нуля поможет канал Вайб-кодинг. Там простым языком разбирают, какие инструменты действительно стоит использовать, как собирать проекты от идеи до релиза и что сейчас актуально в вайбкодинге
Подписывайтесь, нас уже 15 тысяч: @vibecoding_tg
🤣44🤔10😁2👍1