227K subscribers
3.8K photos
632 videos
17 files
4.45K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🔥Gemma 2B with recurrent local attention with context length of up to 10M

Огненная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.

В нее можно закидывать огромные документы и модель всё проанализирует.

Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.

Github: https://github.com/mustafaaljadery/gemma-2B-10M
HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M
Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb

#llm #gemma

@ai_machinelearning_big_data
👍42🔥15🤩64👨‍💻1🦄1😎1
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Gemma 3 — свежий релиз, который значительно расширяет возможности открытых моделей и упрощает их развёртывание:

🟢 27B модель: Достигла рейтинга ELO 1338 и при этом умещается на одном H100.
🟢 Поддержка vision: Теперь модель способна обрабатывать смешанный контент, включая изображения, видео и текст.
🟢Доступны версии на 1В, 4В, 12В, 27В в базовых и instruct версиях
🟢 Расширенное окно контекста: Модель может работать с контекстом до 128k токенов
🟢 Широкая языковая поддержка: Поддерживается 140 языков
🟢 Встроенные возможности для реализации агентных сценариев и интеграции с внешними инструментами.

Попробуйте модель по ссылке: Gemma 3 27B.

🟡Пост: https://blog.google/technology/developers/gemma-3/

🟡Попробовать: aistudio.google.com/prompts/new_chat?model=gemma3-27b

🟡Tech report: https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

🟡Видео https://youtube.com/watch?v=UU13FN2Xpyw

🟡HF: https://huggingface.co/blog/gemma3

@ai_machinelearning_big_data

#gemma #ai #ml #release #google #
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥52👍2213
🖥 Некоторые реддиторы пишут, что уже получили доступ к Gemini 2.5 Pro, а пока мы ждем анонса, Google выкатили набор новых ИИ-моделей: TxGemma для ускорения разработки лекарств и проведения научных исследований в медицине:

🌟 TxGemma – это набор открытых моделей на базе Gemma, способных обрабатывать как обычный текст, так и структурированную медицинскую информацию (молекулы, химические соединения, белки).

🟢Модели доступны в трёх размерах: 2B, 9B и 27B. Каждый размер включает версию «predict», специально адаптированную для узких задач из Therapeutic Data Commons, например, для предсказания токсичности молекулы.

Крупнейшая модель TxGemma (версия 27B predict) демонстрирует впечатляющие результаты.

Она не только превосходит или примерно равна предыдущей SOTA(Tx-LLM) почти по всем задачам, но и соперничает или обходит многие модели, специально разработанные для узких медицинских областей.

HF: https://huggingface.co/collections/google/txgemma-release-67dd92e931c857d15e4d1e87

#google #Gemma #drugdiscovery
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥145🌭4🥰3
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 ​GemmaCoder3-12B — это дообученная версию Gemma-3 на датасете codeforces-cots.

После файнтюнинга демонстрирует значительное улучшение результатов на бенчмарке LiveCodeBench, увеличивая точность с 21,9% до 32,9% по сравнению с базовой моделью.

​GemmaCoder3-12B принимает текстовые запросы, связанные с программированием, и генерирует готовый код.​
В 8 бит отлично работает на 32 ГБ
Длина контекста 128k

В целом, проект подчёркивает простую истин - дообучение моделей на специализированных датасетах может значительно повысить их эффективность в узкоспециализированных задачах.

Подхходит для:
😶Генерации кода: Написание фрагментов кода или целых функций по текстовому описанию.
😶Автодополнения кода: Предложение вариантов завершения строки или блока кода (по аналогии с IntelliSense или GitHub Copilot, но на базе этой модели).
😶Объяснения кода: Генерация описания того, что делает заданный фрагмент кода, на естественном языке.
😶Перевода кода: Конвертация кода с одного языка программирования на другой (с переменным успехом в зависимости от сложности и языков).
😶 Помощь в поиске багов или предложение вариантов их исправления.
😶Ответов на вопросы по коду: Предоставление информации по синтаксису, библиотекам, алгоритмам.

🟡HF
🟡Статья

@ai_machinelearning_big_data


#codegeneration #ml #gemma
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3718🔥9
⚡️ Gemma 3 QAT

Google DeepMind выпустили обновленные версии своих языковых моделей Gemma 3, которые стали значительно эффективнее по использованию памяти без существенной потери производительности.

Ключевая технология: QAT (Quantization-Aware Training)

Что это? QAT — это техника обучения, при которой модель во время дообучения "учится" работать с пониженной точностью вычислений (используя меньше бит для представления чисел). Это имитирует условия, в которых модель будет работать после квантизации (сжатия).

Обычная квантизация после обучения может привести к падению точности. QAT позволяет модели заранее адаптироваться к работе в низкоточном режиме, минимизируя потерю качества после финальной квантизации.

Каждая модель (1B, 4B, 12B, 27B) была дообучена примерно на 5000 шагов с имитацией низкой разрядности весов​. При этом использовался приём, похожий на знание-дистилляцию: оригинальная неквантованная модель выступала в роли «учителя».

Преимущество QAT-подхода для Gemma 3 оказалось колоссальным. Официально заявлено, что квантованные модели Gemma 3 QAT сохраняют качество, практически не упало, при этом требуют в ~3 раза меньше памяти​.

Например, объём памяти для хранения весов самой крупной модели на 27B параметров сократился с ~54 ГБ (в формате bfloat16) до ~14 ГБ в 4-битном целочисленном формате​ – это экономия памяти примерно в ~3–4 раза.

ollama run hf(.)co/google/gemma-3-4b-it-qat-q4_0-gguf

✔️HF


@ai_machinelearning_big_data


#google #gemma #AI #ML #LLM #Quantization
3🔥87👍2712
Media is too big
VIEW IN TELEGRAM
🐬 DolphinGemma — это проект Google, направленный на расшифровку коммуникации дельфинов на архитектуре Gemma (кто бы мог подумать), оптимизированной под open-source задачи.

Разработанный в сотрудничестве с учёными из Georgia Tech и исследовательской группой Wild Dolphin Project (WDP), этот проект использует возможности больших языковых моделей для анализа и генерации звуков, характерных для , характерных для дельфинов

🔍 Исследование коммуникации дельфинов

С 1985 года WDP ведёт долгосрочные наблюдения за популяцией атлантических пятнистых дельфинов (Stenella frontalis) на Багамах. Их подход "В их мире, на их условиях" позволяет собирать уникальные данные: подводные видео и аудиозаписи, связанные с конкретными особями, их жизненным циклом и поведением. Это включает в себя:​

- "Подписи-свистки", используемые для идентификации и связи между матерями и детёнышами.​

- Импульсные звуки во время конфликтов.​

- Щелчки, сопровождающие ухаживание или охоту.​

🌟 Модель DolphinGemma
DolphinGemma — это аудио-модель с ~400 миллионами параметров, способная обрабатывать и генерировать последовательности звуков дельфинов.

В модели используются данные за40 лет из уникальной коллекции доктора Дениз Герцин.

Она использует токенизатор SoundStream для эффективного представления аудиосигналов и может работать непосредственно на смартфонах Pixel, используемых исследователями в полевых условиях.

Модель обучена на данных WDP и способна предсказывать последовательности звуков, аналогично тому, как языковые модели предсказывают слова в предложении.​

🌊 Основная цель DolphinGemma — выявить структуру и возможное значение звуков дельфинов, что может приблизить нас к межвидовой коммуникации.

Этот проект объединяет передовые модели Гугла и многолетние биологические исследования, открывая новые горизонты в понимании морских млекопитающих.​

Теперь осталось только научить дельфинов понимать лицензионное соглашение на использование моделей! 🐬📜🤖

🔜 Подробнее о проекте можно узнать в официальном блоге Google: DolphinGemma: How Google AI is helping decode dolphin communication.

@ai_machinelearning_big_data

#Gemma #google #ml #science
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8822🐳22👍15😁6❤‍🔥2🥱1🤗1
✔️ Google представила Gemma 3n — лёгкую и быструю AI-модель для работы на девайсах

Google выпустила Gemma 3n — это новая версия модели, которая запускается локально на мобильных устройствах.

Gemma 3n может работа локально на устройстве с 2 ГБ оперативной памяти!

➡️ Особенности:

• Работает в 1.5 раза быстрее, чем предыдущая Gemma 3 4B
• Поддерживает работу без интернета — всё локально и безопасно
• Умеет понимать текст, речь и изображения
• Можно использовать даже на устройствах с 2–3 ГБ RAM
• Поддерживает мгожетсво языков,

💡 Gemma 3n использует гибкую архитектуру (MatFormer), которая может "переключаться" между лёгким и полным режимом (2B и 4B параметров) — модель подстраивается под задачу, не перегружая устройство.

🔧 Как начать пользоваться:

• Через Google AI Studio — работает прямо в браузере
• Или через SDK Google AI Edge — интеграция на Android, Chromebook и другие устройства

📊 Где это применимо:

• Голосовые ассистенты
• Приложения с ИИ, которые работают без интернета
• Переводчики, чат-боты, анализ изображений на телефоне

➡️Релиз: https://developers.googleblog.com/en/introducing-gemma-3n/
➡️ Документация: https://ai.google.dev/gemma/docs/gemma-3n#parameters

#Gemma #Google #mobile #МультимодальныйИИ #МобильныйИИ #edgedevices
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍108🔥5131❤‍🔥1🎄1
📌100+ готовых блокнотов Google Collab от Unsloth.

Unsolth выложила в открытый доступ в своем репозитории на Github больше сотни готовых ipynb-блокнотов для запуска различных операций в Google Collab практически всех популярных семейств языковых моделей, BERT, TTS-моделей и VLM:

🟢Llama v.3 -3.2
🟢Qwen v.2-3
🟢Gemma v.2-3 + Code Gemma
🟢Mistral Family
🟢Phi v.3-4
🟠TTS (Sesame, Orpheus, Spark, Oute, Llasa, Whisper)
🟠VLM и MMLM (Llama 3.2, Qwen 2.5VL, Pixtral)
🟠BERT (ModernBERT-large)

Блокноты включают пошаговые руководства и примеры для вызова инструментов, классификации, синтетических данных, подготовки сетов, инференса и файнтюна моделей и
примеры методов GRPO, DPO, SFT, Continued Pretraining, Reasoning и других.

Unsloth известна тем, что помогает делать большие языковые модели быстрее, компактнее и доступнее при помощи динамического квантования, что позволяет запускать их без сильной потери качества . Их технологии ускоряют обучение и настройку ИИ-моделей в 2 раза и экономят до 70% памяти. Инструменты Unsloth, на сегодняшний день, скачали более 10 млн раз.


Есть подробная документация по использованию, а для тех, кто больше привык к Kaggle - такой же набор блокнотов для запуска на этой платформе.


📌Лицензирование: LGPL-3.0-1


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Notebooks #Github #Unsloth
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍2524❤‍🔥9🌭3
🚀 Google DeepMind запускает хакатон "Gemma 3n Impact Challenge" на Kaggle — призовой фонд $150 000!

🏆 Главный приз — $10 000 за лучший проект, демонстрирующий возможности Gemma 3n на платформе Ollama

💡 Как участвовать:
1. Используйте Gemma 3n через Ollama
2. Создайте AI-проект — в любом направлении: образование, здравоохранение, экология, доступность и т.п.
3. Подайте работу на конкурсе на странице Kaggle:
➡️ https://www.kaggle.com/competitions/google-gemma-3n-hackathon/

Это уникальный шанс продемонстрировать подать свой проект, завязанный на edge девайсы и выиграть крупные призы.

https://www.kaggle.com/competitions/google-gemma-3n-hackathon/

@ai_machinelearning_big_data

#Gemma #DeepMind #Ollama
🔥6317👍15