🔍 Как трансформеры меняют область NLP и что стоит за LLM?
На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях.
Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science.
🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://otus.pw/Jnvy/?erid=2W5zFK5eMyz
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях.
Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science.
🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://otus.pw/Jnvy/?erid=2W5zFK5eMyz
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤3🔥3🤨1
🧠 Архитектурные фишки GPT-OSS: краткий разбор
gpt-oss — это MoE-трансформер в самом чистом виде. Минимум магии, максимум эффективности.
GPT-OSS использует передовые техники, собрав в себе лучшее из современных LLM:
1️⃣ Sliding Window Attention
📄 [arXiv:1901.02860](https://arxiv.org/abs/1901.02860)
Эффективное внимание для длинных контекстов без полной self-attention матрицы
2️⃣ Mixture of Experts (MoE)
📄 [arXiv:2101.03961](https://arxiv.org/abs/2101.03961)
Активация только части слоёв — масштаб + эффективность одновременно
3️⃣ RoPE + YaRN
📄 [arXiv:2309.00071](https://arxiv.org/abs/2309.00071)
Комбинация Rotary Embeddings с расширением контекста до 128K+
4️⃣ Attention Sinks
📄 [arXiv:2309.17453](https://arxiv.org/abs/2309.17453)
Стабильное стриминг-внимание для генерации в реальном времени
ПО итогу gpt-oss: - это максимально “стандартный” MoE-трансформер — и это неплохо
Модель собрана без лишних выкрутасов, но включает всё, что действительно работает. Вот несколько деталей:
🔹 Attention sinks (a.k.a. регистры) — помогают сохранить информацию между токенами
🔹 Sliding window attention — применяется через слой
🔹 YaRN — расширение контекста (до 128K)
🔹 RMSNorm без bias'ов
🔹 ❌ Нет QK normalization, ❌ нет attention softcap
⚙️ GPT-OSS — это не просто open-source альтернатива, а тщательно собранный набор проверенных инноваций для высокой скорости, длинного контекста и производительности на inference.
— GPT-OSS-120B
— GPT-OSS-20B
@data_analysis_ml
gpt-oss — это MoE-трансформер в самом чистом виде. Минимум магии, максимум эффективности.
GPT-OSS использует передовые техники, собрав в себе лучшее из современных LLM:
1️⃣ Sliding Window Attention
📄 [arXiv:1901.02860](https://arxiv.org/abs/1901.02860)
Эффективное внимание для длинных контекстов без полной self-attention матрицы
2️⃣ Mixture of Experts (MoE)
📄 [arXiv:2101.03961](https://arxiv.org/abs/2101.03961)
Активация только части слоёв — масштаб + эффективность одновременно
3️⃣ RoPE + YaRN
📄 [arXiv:2309.00071](https://arxiv.org/abs/2309.00071)
Комбинация Rotary Embeddings с расширением контекста до 128K+
4️⃣ Attention Sinks
📄 [arXiv:2309.17453](https://arxiv.org/abs/2309.17453)
Стабильное стриминг-внимание для генерации в реальном времени
ПО итогу gpt-oss: - это максимально “стандартный” MoE-трансформер — и это неплохо
Модель собрана без лишних выкрутасов, но включает всё, что действительно работает. Вот несколько деталей:
🔹 Attention sinks (a.k.a. регистры) — помогают сохранить информацию между токенами
🔹 Sliding window attention — применяется через слой
🔹 YaRN — расширение контекста (до 128K)
🔹 RMSNorm без bias'ов
🔹 ❌ Нет QK normalization, ❌ нет attention softcap
⚙️ GPT-OSS — это не просто open-source альтернатива, а тщательно собранный набор проверенных инноваций для высокой скорости, длинного контекста и производительности на inference.
— GPT-OSS-120B
— GPT-OSS-20B
@data_analysis_ml
🔥8❤4👍4
20 августа — последний день приёма статей по AI и последняя возможность получить приз 1 000 000 рублей! 🗓
Вы ещё успеваете войти в историю AI Journey 2025, представить свою работу по искусственному интеллекту и машинному обучению, получить признание и ценные призы:
✔️ публикацию в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics
✔️ 1 000 000 рублей за лучшее исследование
Статья должна быть абсолютно оригинальна и написана на русском или английском языке.
Узнать о правилах и направить статью можно здесь – не упустите эту возможность!
Вы ещё успеваете войти в историю AI Journey 2025, представить свою работу по искусственному интеллекту и машинному обучению, получить признание и ценные призы:
✔️ публикацию в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics
✔️ 1 000 000 рублей за лучшее исследование
Статья должна быть абсолютно оригинальна и написана на русском или английском языке.
Узнать о правилах и направить статью можно здесь – не упустите эту возможность!
❤5👍4
🎓 Как обучить LLM с логическим мышлением — за один уикенд и на одном GPU
NVIDIA выпустили новый туториал, где показывают, как за 48 часов обучить свою модель рассуждений — без суперкомпьютеров.
Что внутри:
⚙️ Используется NVIDIA NeMo — фреймворк для обучения LLM
📦 Обучение на специализированных задачах reasoning (аналог GSM8K)
💻 Достаточно одного GPU, чтобы получить маленькую, но умную LLM
Это отличный способ понять, как LLM "думают", и собрать свою reasoning‑модель для внутренних задач или исследований.
📹 Видео: https://youtu.be/hMGikmMFLAU
🧠 Блог: https://developer.nvidia.com/blog/train-a-reasoning-capable-llm-in-one-weekend-with-nvidia-nemo
NVIDIA выпустили новый туториал, где показывают, как за 48 часов обучить свою модель рассуждений — без суперкомпьютеров.
Что внутри:
⚙️ Используется NVIDIA NeMo — фреймворк для обучения LLM
📦 Обучение на специализированных задачах reasoning (аналог GSM8K)
💻 Достаточно одного GPU, чтобы получить маленькую, но умную LLM
Это отличный способ понять, как LLM "думают", и собрать свою reasoning‑модель для внутренних задач или исследований.
📹 Видео: https://youtu.be/hMGikmMFLAU
🧠 Блог: https://developer.nvidia.com/blog/train-a-reasoning-capable-llm-in-one-weekend-with-nvidia-nemo
👍6❤5🔥5
🎯 Записывает и транскрибирует всё, что вы слышите и говорите, сохраняет это на ваш сервер. Через мобильное/веб‑приложение вы общаетесь с ADeus уже в контексте — никаких сторонних облаков.
🔧 Состав:
• ACM‑металлическое устройство
• Мобильное/веб UI
• Supabase backend + LLM интеграция
💰 Стоимость ≈ 100 USD (DIY) за устройство и открытый код
⭐ Более 3 200 звёзд на GitHub, 19 контрибьюторов, активные фичи: Bluetooth, diarization, voice‑activity detection и UI‑улучшения.
📚 Подробнее:
• GitHub: https://github.com/adamcohenhillel/ADeus
• Документация: https://docs.adeus.ai/
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤5🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Каждый день спутники собирают терабайты снимков Земли — но как объединить все эти разрозненные данные в единую картину?
🤖 Знакомьтесь: AlphaEarth Foundations
Это ИИ, который работает как виртуальный спутник — он объединяет оптические снимки, радар, лазерное сканирование и климатические симуляции в одно компактное цифровое представление Земли. Такой "эмбеддинг" легко обрабатывается компьютерами и помогает:
• ООН для мониторинга экосистем
• MapBiomas (Бразилия) для слежения за вырубкой и развитием сельского хозяйства
• Harvard Forest, Stanford и другие институты
🛰 В Google Earth Engine теперь доступен уникальный датасет — Satellite Embedding, включающий более 1,4 трлн эмбеддингов в год, с которым можно создавать собственные карты и отслеживать изменения в реальном времени.
📌 Подробнее — в блоге Google Earth Engine
Dataset: https://developers.google.com/earth-engine/datasets/catalog/GOOGLE_SATELLITE_EMBEDDING_V1_ANNUAL#description
@data_analysis_ml
#AI #geospatial #remotesensing #geoai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍5🔥3
Современное ИТ-образование с фокусом на реальные потребности рынка и индивидуальным подходом к студенту — то, что поможет тебе окрепнуть как специалисту и усилить карьеру.
В магистратуре Центрального университета ты получишь опыт работы в ИТ-компаниях уровня Т-Банка, Яндекса, Авито уже во время учебы. Средняя зарплата студентов — 195 000 ₽.
Что тебя ждет:
• Грант до 75% на все время обучения.
• Закрепление теории на задачах от бизнеса.
• Стажировки в крупных компаниях и трудоустройство.
• Индивидуальный наставник, чтобы достигать целей.
• Занятия по вечерам и выходным.
• Диплом о высшем образовании государственного образца.
Подавай заявку до 24 августа: ссылка
В магистратуре Центрального университета ты получишь опыт работы в ИТ-компаниях уровня Т-Банка, Яндекса, Авито уже во время учебы. Средняя зарплата студентов — 195 000 ₽.
Что тебя ждет:
• Грант до 75% на все время обучения.
• Закрепление теории на задачах от бизнеса.
• Стажировки в крупных компаниях и трудоустройство.
• Индивидуальный наставник, чтобы достигать целей.
• Занятия по вечерам и выходным.
• Диплом о высшем образовании государственного образца.
Подавай заявку до 24 августа: ссылка
❤3👍1🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Mo Gawdat: AI сделает кого-то триллионером до 2030 года
Бывший топ‑менеджер Google Mo Gawdat дал любопытное интервью на канале *The Diary Of A CEO* — и предсказал бурное будущее:
🚀 AGI появится до конца 2026 года
💰 "Кто‑то станет триллионером до 2030. Это будет новый Илон Маск или Ларри Эллисон, инвестировавший в ИИ. У него будет столько денег, что он сможет купить всё. Роботы и ИИ будут делать всю работу. Люди останутся без профессий."
⚖️ Сначала ИИ усилит производительность, а потом массово заменит людей
🧨 12–15 лет хаоса, когда глупые лидеры будут использовать умные системы
🌍 Потом — *этика‑ориентированные ИИ могут взять контроль* и принести глобальное изобилие
🪙 Базовый доход возможен, но при неправильной архитектуре элиты могут захватить власть и урезать выплаты
🤖 Уже сегодня AI‑агенты умеют кодить, торговать, планировать, а self-evolving модели запустят взрыв интеллекта
📺 Очень сильное интервью — смотреть стоит каждому, кто думает о будущем AI
Бывший топ‑менеджер Google Mo Gawdat дал любопытное интервью на канале *The Diary Of A CEO* — и предсказал бурное будущее:
🚀 AGI появится до конца 2026 года
💰 "Кто‑то станет триллионером до 2030. Это будет новый Илон Маск или Ларри Эллисон, инвестировавший в ИИ. У него будет столько денег, что он сможет купить всё. Роботы и ИИ будут делать всю работу. Люди останутся без профессий."
⚖️ Сначала ИИ усилит производительность, а потом массово заменит людей
🧨 12–15 лет хаоса, когда глупые лидеры будут использовать умные системы
🌍 Потом — *этика‑ориентированные ИИ могут взять контроль* и принести глобальное изобилие
🪙 Базовый доход возможен, но при неправильной архитектуре элиты могут захватить власть и урезать выплаты
🤖 Уже сегодня AI‑агенты умеют кодить, торговать, планировать, а self-evolving модели запустят взрыв интеллекта
📺 Очень сильное интервью — смотреть стоит каждому, кто думает о будущем AI
❤10👍4🔥3😁2🥴2
Livestream OpenAI, ждём анонса ChatGPT-5
https://www.youtube.com/watch?v=0Uu_VJeVVfo
#Chatgpt5 #openai
https://www.youtube.com/watch?v=0Uu_VJeVVfo
#Chatgpt5 #openai
YouTube
Introducing GPT-5
Sam Altman, Greg Brockman, Sebastien Bubeck, Mark Chen, Yann Dubois, Brian Fioca, Adi Ganesh, Oliver Godement, Saachi Jain, Christina Kaplan, Christina Kim, Elaine Ya Le, Felipe Millon, Michelle Pokrass, Jakub Pachocki, Max Schwarzer, Rennie Song, Ruochen…
👍2🔥2❤1🤣1
🤦♂️ После того как OpenAi уверенно сообщили о сниженияи галлюцинаций у GPT‑5, первый же тест оказался... галлюцинацией.
🔍 Модель повторила старый фейк о том, как крыло самолёта создаёт подъёмную силу — "equal transit theory", которую давно опровергли в аэродинамике.
🧠 Проблема не в том, что Chatgpt ошибается. Проблема в том, что он делает это *уверенно* — даже в примере, призванном показать прогресс.
🔍 Модель повторила старый фейк о том, как крыло самолёта создаёт подъёмную силу — "equal transit theory", которую давно опровергли в аэродинамике.
🧠 Проблема не в том, что Chatgpt ошибается. Проблема в том, что он делает это *уверенно* — даже в примере, призванном показать прогресс.
🤣15🔥3❤2👍1
Отличная идея, не так ли)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤5👍1🥱1