🔥Gemma 2B with recurrent local attention with context length of up to 10M
Огненная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.
В нее можно закидывать огромные документы и модель всё проанализирует.
Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.
▪Github: https://github.com/mustafaaljadery/gemma-2B-10M
▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M
▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb
#llm #gemma
@ai_machinelearning_big_data
Огненная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.
В нее можно закидывать огромные документы и модель всё проанализирует.
Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.
▪Github: https://github.com/mustafaaljadery/gemma-2B-10M
▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M
▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb
#llm #gemma
@ai_machinelearning_big_data
👍42🔥15🤩6❤4👨💻1🦄1😎1
This media is not supported in your browser
VIEW IN TELEGRAM
Попробуйте модель по ссылке: Gemma 3 27B.
@ai_machinelearning_big_data
#gemma #ai #ml #release #google #
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥52👍22❤13
Крупнейшая модель TxGemma (версия 27B predict) демонстрирует впечатляющие результаты.
Она не только превосходит или примерно равна предыдущей SOTA(Tx-LLM) почти по всем задачам, но и соперничает или обходит многие модели, специально разработанные для узких медицинских областей.
#google #Gemma #drugdiscovery
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥14❤5🌭4🥰3
This media is not supported in your browser
VIEW IN TELEGRAM
После файнтюнинга демонстрирует значительное улучшение результатов на бенчмарке LiveCodeBench, увеличивая точность с 21,9% до 32,9% по сравнению с базовой моделью.
GemmaCoder3-12B принимает текстовые запросы, связанные с программированием, и генерирует готовый код.
▪ В 8 бит отлично работает на 32 ГБ
▪Длина контекста 128k
В целом, проект подчёркивает простую истин - дообучение моделей на специализированных датасетах может значительно повысить их эффективность в узкоспециализированных задачах.
Подхходит для:
@ai_machinelearning_big_data
#codegeneration #ml #gemma
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍37❤18🔥9
⚡️ Gemma 3 QAT
Google DeepMind выпустили обновленные версии своих языковых моделей Gemma 3, которые стали значительно эффективнее по использованию памяти без существенной потери производительности.
Ключевая технология: QAT (Quantization-Aware Training)
Что это? QAT — это техника обучения, при которой модель во время дообучения "учится" работать с пониженной точностью вычислений (используя меньше бит для представления чисел). Это имитирует условия, в которых модель будет работать после квантизации (сжатия).
Обычная квантизация после обучения может привести к падению точности. QAT позволяет модели заранее адаптироваться к работе в низкоточном режиме, минимизируя потерю качества после финальной квантизации.
Каждая модель (1B, 4B, 12B, 27B) была дообучена примерно на 5000 шагов с имитацией низкой разрядности весов. При этом использовался приём, похожий на знание-дистилляцию: оригинальная неквантованная модель выступала в роли «учителя».
Преимущество QAT-подхода для Gemma 3 оказалось колоссальным. Официально заявлено, что квантованные модели Gemma 3 QAT сохраняют качество, практически не упало, при этом требуют в ~3 раза меньше памяти.
Например, объём памяти для хранения весов самой крупной модели на 27B параметров сократился с ~54 ГБ (в формате bfloat16) до ~14 ГБ в 4-битном целочисленном формате – это экономия памяти примерно в ~3–4 раза.
✔️HF
@ai_machinelearning_big_data
#google #gemma #AI #ML #LLM #Quantization
Google DeepMind выпустили обновленные версии своих языковых моделей Gemma 3, которые стали значительно эффективнее по использованию памяти без существенной потери производительности.
Ключевая технология: QAT (Quantization-Aware Training)
Что это? QAT — это техника обучения, при которой модель во время дообучения "учится" работать с пониженной точностью вычислений (используя меньше бит для представления чисел). Это имитирует условия, в которых модель будет работать после квантизации (сжатия).
Обычная квантизация после обучения может привести к падению точности. QAT позволяет модели заранее адаптироваться к работе в низкоточном режиме, минимизируя потерю качества после финальной квантизации.
Каждая модель (1B, 4B, 12B, 27B) была дообучена примерно на 5000 шагов с имитацией низкой разрядности весов. При этом использовался приём, похожий на знание-дистилляцию: оригинальная неквантованная модель выступала в роли «учителя».
Преимущество QAT-подхода для Gemma 3 оказалось колоссальным. Официально заявлено, что квантованные модели Gemma 3 QAT сохраняют качество, практически не упало, при этом требуют в ~3 раза меньше памяти.
Например, объём памяти для хранения весов самой крупной модели на 27B параметров сократился с ~54 ГБ (в формате bfloat16) до ~14 ГБ в 4-битном целочисленном формате – это экономия памяти примерно в ~3–4 раза.
ollama run hf(.)co/google/gemma-3-4b-it-qat-q4_0-gguf
✔️HF
@ai_machinelearning_big_data
#google #gemma #AI #ML #LLM #Quantization
3🔥87👍27❤12
Media is too big
VIEW IN TELEGRAM
🐬 DolphinGemma — это проект Google, направленный на расшифровку коммуникации дельфинов на архитектуре Gemma (кто бы мог подумать), оптимизированной под open-source задачи.
Разработанный в сотрудничестве с учёными из Georgia Tech и исследовательской группой Wild Dolphin Project (WDP), этот проект использует возможности больших языковых моделей для анализа и генерации звуков, характерных для , характерных для дельфинов
🔍 Исследование коммуникации дельфинов
С 1985 года WDP ведёт долгосрочные наблюдения за популяцией атлантических пятнистых дельфинов (Stenella frontalis) на Багамах. Их подход "В их мире, на их условиях" позволяет собирать уникальные данные: подводные видео и аудиозаписи, связанные с конкретными особями, их жизненным циклом и поведением. Это включает в себя:
- "Подписи-свистки", используемые для идентификации и связи между матерями и детёнышами.
- Импульсные звуки во время конфликтов.
- Щелчки, сопровождающие ухаживание или охоту.
🌟 Модель DolphinGemma
DolphinGemma — это аудио-модель с ~400 миллионами параметров, способная обрабатывать и генерировать последовательности звуков дельфинов.
В модели используются данные за40 лет из уникальной коллекции доктора Дениз Герцин.
Она использует токенизатор SoundStream для эффективного представления аудиосигналов и может работать непосредственно на смартфонах Pixel, используемых исследователями в полевых условиях.
Модель обучена на данных WDP и способна предсказывать последовательности звуков, аналогично тому, как языковые модели предсказывают слова в предложении.
🌊 Основная цель DolphinGemma — выявить структуру и возможное значение звуков дельфинов, что может приблизить нас к межвидовой коммуникации.
Этот проект объединяет передовые модели Гугла и многолетние биологические исследования, открывая новые горизонты в понимании морских млекопитающих.
Теперь осталось только научить дельфинов понимать лицензионное соглашение на использование моделей! 🐬📜🤖
🔜 Подробнее о проекте можно узнать в официальном блоге Google: DolphinGemma: How Google AI is helping decode dolphin communication.
@ai_machinelearning_big_data
#Gemma #google #ml #science
Разработанный в сотрудничестве с учёными из Georgia Tech и исследовательской группой Wild Dolphin Project (WDP), этот проект использует возможности больших языковых моделей для анализа и генерации звуков, характерных для , характерных для дельфинов
🔍 Исследование коммуникации дельфинов
С 1985 года WDP ведёт долгосрочные наблюдения за популяцией атлантических пятнистых дельфинов (Stenella frontalis) на Багамах. Их подход "В их мире, на их условиях" позволяет собирать уникальные данные: подводные видео и аудиозаписи, связанные с конкретными особями, их жизненным циклом и поведением. Это включает в себя:
- "Подписи-свистки", используемые для идентификации и связи между матерями и детёнышами.
- Импульсные звуки во время конфликтов.
- Щелчки, сопровождающие ухаживание или охоту.
DolphinGemma — это аудио-модель с ~400 миллионами параметров, способная обрабатывать и генерировать последовательности звуков дельфинов.
В модели используются данные за40 лет из уникальной коллекции доктора Дениз Герцин.
Она использует токенизатор SoundStream для эффективного представления аудиосигналов и может работать непосредственно на смартфонах Pixel, используемых исследователями в полевых условиях.
Модель обучена на данных WDP и способна предсказывать последовательности звуков, аналогично тому, как языковые модели предсказывают слова в предложении.
🌊 Основная цель DolphinGemma — выявить структуру и возможное значение звуков дельфинов, что может приблизить нас к межвидовой коммуникации.
Этот проект объединяет передовые модели Гугла и многолетние биологические исследования, открывая новые горизонты в понимании морских млекопитающих.
Теперь осталось только научить дельфинов понимать лицензионное соглашение на использование моделей! 🐬📜🤖
@ai_machinelearning_big_data
#Gemma #google #ml #science
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥88❤22🐳22👍15😁6❤🔥2🥱1🤗1
Google выпустила Gemma 3n — это новая версия модели, которая запускается локально на мобильных устройствах.
Gemma 3n может работа локально на устройстве с 2 ГБ оперативной памяти!
• Работает в 1.5 раза быстрее, чем предыдущая Gemma 3 4B
• Поддерживает работу без интернета — всё локально и безопасно
• Умеет понимать текст, речь и изображения
• Можно использовать даже на устройствах с 2–3 ГБ RAM
• Поддерживает мгожетсво языков,
💡 Gemma 3n использует гибкую архитектуру (MatFormer), которая может "переключаться" между лёгким и полным режимом (2B и 4B параметров) — модель подстраивается под задачу, не перегружая устройство.
🔧 Как начать пользоваться:
• Через Google AI Studio — работает прямо в браузере
• Или через SDK Google AI Edge — интеграция на Android, Chromebook и другие устройства
📊 Где это применимо:
• Голосовые ассистенты
• Приложения с ИИ, которые работают без интернета
• Переводчики, чат-боты, анализ изображений на телефоне
#Gemma #Google #mobile #МультимодальныйИИ #МобильныйИИ #edgedevices
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍108🔥51❤31❤🔥1🎄1
Unsolth выложила в открытый доступ в своем репозитории на Github больше сотни готовых ipynb-блокнотов для запуска различных операций в Google Collab практически всех популярных семейств языковых моделей, BERT, TTS-моделей и VLM:
Блокноты включают пошаговые руководства и примеры для вызова инструментов, классификации, синтетических данных, подготовки сетов, инференса и файнтюна моделей и
примеры методов GRPO, DPO, SFT, Continued Pretraining, Reasoning и других.
Unsloth известна тем, что помогает делать большие языковые модели быстрее, компактнее и доступнее при помощи динамического квантования, что позволяет запускать их без сильной потери качества . Их технологии ускоряют обучение и настройку ИИ-моделей в 2 раза и экономят до 70% памяти. Инструменты Unsloth, на сегодняшний день, скачали более 10 млн раз.
Есть подробная документация по использованию, а для тех, кто больше привык к Kaggle - такой же набор блокнотов для запуска на этой платформе.
@ai_machinelearning_big_data
#AI #ML #LLM #Notebooks #Github #Unsloth
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍25❤24❤🔥9🌭3
🚀 Google DeepMind запускает хакатон "Gemma 3n Impact Challenge" на Kaggle — призовой фонд $150 000!
🏆 Главный приз — $10 000 за лучший проект, демонстрирующий возможности Gemma 3n на платформе Ollama
💡 Как участвовать:
1. Используйте Gemma 3n через Ollama
2. Создайте AI-проект — в любом направлении: образование, здравоохранение, экология, доступность и т.п.
3. Подайте работу на конкурсе на странице Kaggle:
➡️ https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
⚡ Это уникальный шанс продемонстрировать подать свой проект, завязанный на edge девайсы и выиграть крупные призы.
https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
@ai_machinelearning_big_data
#Gemma #DeepMind #Ollama
🏆 Главный приз — $10 000 за лучший проект, демонстрирующий возможности Gemma 3n на платформе Ollama
💡 Как участвовать:
1. Используйте Gemma 3n через Ollama
2. Создайте AI-проект — в любом направлении: образование, здравоохранение, экология, доступность и т.п.
3. Подайте работу на конкурсе на странице Kaggle:
➡️ https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
⚡ Это уникальный шанс продемонстрировать подать свой проект, завязанный на edge девайсы и выиграть крупные призы.
https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
@ai_machinelearning_big_data
#Gemma #DeepMind #Ollama
🔥63❤17👍15