TIL теперь существует профессия брокера компьюта. Человек, который ходит по клаудам и подбирает за тебя кластеры
Риелторы для гпу!
Риелторы для гпу!
🔥40 39❤2👍1
На конференции по AI вырубило свет
Upd: в туалете нельзя помыть руки потому что диспенсеры воды и мыла электрические
Upd: в туалете нельзя помыть руки потому что диспенсеры воды и мыла электрические
Forwarded from КПД
7x size reduction for Gemma4 Edge models
📝 Блогпост
Команда из Stage.AI выпустила занятный блогпост про сжатие Gemma-4 в 6,4 раза с умеренной просадкой качества.
Работа примечательна тем, что комбинирует многие классические и свежие практики, чтобы выдать наилучший trade-off между размером модели и качеством.
📝 Блогпост
Команда из Stage.AI выпустила занятный блогпост про сжатие Gemma-4 в 6,4 раза с умеренной просадкой качества.
Работа примечательна тем, что комбинирует многие классические и свежие практики, чтобы выдать наилучший trade-off между размером модели и качеством.
👍15 9❤5🔥4
Forwarded from ChillHouse (Alexey Moiseenkov)
Ну что ж, вот и наш первый релиз на архив.
Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.
GitHub
HF
Поддержка в нашем инференс движке скоро доедет
we achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7%
Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.
GitHub
HF
Поддержка в нашем инференс движке скоро доедет
🔥22👍5❤3 1
Мое тело это машина которая перерабатывает кофе в показы демо и "прикольно, а что помешает Антропику это сделать?"
🔥66 51❤9👍3🤔3😢2
Forwarded from Data, Stories and Languages
banned by AI, convicted by AI, defended by AI, and pardoned by AI in about 10 minutes
https://x.com/endpointarena/status/2075245286339846145
https://x.com/endpointarena/status/2075245286339846145
Forwarded from Запрети мне псевдолейблить
Разбор топ решений с соревнования Orbit Wars на Kaggle
Собрал из стрима для Центрального Университета
https://www.youtube.com/watch?v=RSzcnZgiwyM
Собрал из стрима для Центрального Университета
https://www.youtube.com/watch?v=RSzcnZgiwyM
YouTube
Orbit Wars. Разбираем решения победителей
Разбираем решения, которые попали в золото на Kaggle-соревновании Orbit Wars:
https://www.kaggle.com/competitions/orbit-wars
Канал: https://t.iss.one/pseudolabeling
Puffer быстрай C-либа для RL с ultra-low lattency: https://puffer.ai/
0:35 Введение
1:27 О…
https://www.kaggle.com/competitions/orbit-wars
Канал: https://t.iss.one/pseudolabeling
Puffer быстрай C-либа для RL с ultra-low lattency: https://puffer.ai/
0:35 Введение
1:27 О…
🔥15❤8👍2 2👎1🤔1
«Хочешь узнать, кто тобой управляет — посмотри, кто создал тикет.» — Тацит ☝️
Я очень много пишу код с помощью Claude Code. Точнее сказать, что иначе я уже не пишу код вообще. При этом это произошло как-то само собой и я не уверен, что это хорошо.
С одной стороны проект растет непомерными темпами. С другой стороны у меня постоянно ощущение, что я одной клод сессией правлю баги созданные другой клод сессией. Часто это такие баги, которые я бы сам никогда (по моему мнению) не допустил.
Я запустил клод проанализировать историю переписок и классифицировать все сессии по категориям.
Похоже, что я правда 80%+ времени правлю баги или ищу их.
При этом может быть два объяснения:
1. Клод пишет плохой код и эти баги — дополнительный эффект вайбкода.
2. Написание любого кода создает баги, код теперь пишется гораздо быстрее, поэтому я встречаю больше багов в единицу времени. Если бы писал этот код сам, то видел бы примерно столько же багов, но не в такой концентрации.
В любом случае можно сделать вывод, что вайбкодинг это скам: каждый сожженый на создание чего-то токен ведет к сжиганию ещё двух-трех, чтобы это нормально работало.
С одной стороны проект растет непомерными темпами. С другой стороны у меня постоянно ощущение, что я одной клод сессией правлю баги созданные другой клод сессией. Часто это такие баги, которые я бы сам никогда (по моему мнению) не допустил.
Я запустил клод проанализировать историю переписок и классифицировать все сессии по категориям.
Похоже, что я правда 80%+ времени правлю баги или ищу их.
При этом может быть два объяснения:
1. Клод пишет плохой код и эти баги — дополнительный эффект вайбкода.
2. Написание любого кода создает баги, код теперь пишется гораздо быстрее, поэтому я встречаю больше багов в единицу времени. Если бы писал этот код сам, то видел бы примерно столько же багов, но не в такой концентрации.
В любом случае можно сделать вывод, что вайбкодинг это скам: каждый сожженый на создание чего-то токен ведет к сжиганию ещё двух-трех, чтобы это нормально работало.
❤83 75👍12🔥5🤔4
Т-Технологии выложили в открытый доступ ИИ-модель T-Search — первую русскоязычную модель для Agentic RAG. Это когда ИИ-агент самостоятельно выполняет многошаговый поиск с помощью доступных инструментов.
Модель опубликована на Huggingface вместе с кодом и собственный харнессом. Основой послужил Qwen3.6-35B-A3B. Так же выложили два датасета для эвала: https://huggingface.co/datasets/t-tech/SynthComp и https://huggingface.co/datasets/t-tech/TRuST.
Для запуска модели достаточно одной H100 GPU. В целом модель имеет всего 3B активных параметров, так что стоимость инференса гораздо ниже, чем если использовать апи провайдеров или стандартный поисковый мудуль в классическом RAG
Модель опубликована на Huggingface вместе с кодом и собственный харнессом. Основой послужил Qwen3.6-35B-A3B. Так же выложили два датасета для эвала: https://huggingface.co/datasets/t-tech/SynthComp и https://huggingface.co/datasets/t-tech/TRuST.
По оценке разработчиков, использование T-Search в агентских ИИ-системах позволяет сократить затраты на инференс — то есть выполнение запросов языковыми моделями — на 20–50% в зависимости от сценария. Кроме того, T-Search можно запускать на собственной инфраструктуре компании. Это помогает снизить стоимость обработки запросов и справляться с пиковыми нагрузками без расширения GPU-кластера. При этом решение помогает соблюдать требования по защите персональных и других чувствительных данных, поскольку информация не передается во внешние облачные сервисы
Для запуска модели достаточно одной H100 GPU. В целом модель имеет всего 3B активных параметров, так что стоимость инференса гораздо ниже, чем если использовать апи провайдеров или стандартный поисковый мудуль в классическом RAG
🔥63❤23 21👍17🤔2👎1
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Сделал датасет
Выложил небольшой датасет на языках России.
🟢 22 языка: алтайский, башкирский, бурятский, горномарийский, дигорский, кабардино-черкесский, калмыцкий, карачаево-балкарский, коми, кубачинский, марийский (луговой), мокшанский, орокский, осетинский (иронский), русский, татарский, удмуртский, хакасский, чувашский, чукотский, эрзянский, якутский.
🟢 По 1565 предложений в каждом.
🟢 Сделан по всем редакциям Маленького принца, которые собирали последние несколько лет + 3 новые (чукотский, карачаево-балкарский и дигорский).
🟢 Выравнивалось вручную при помощи lingtrain-aligner. Выверялось и корректировалось при помощи Fable. Посмотрели несколько редакций с носителями, одобряют.
🟢 В некоторых редакциях предложений не хватало, такие предложения были допереведены Fable на основе имеющейся лексики и помечены в отдельных колонках. Также была исправлена пунктуация на концах предложений для единообразия.
Даёшь больше языковых датасетов!
👉 HF
@doomgrad
Выложил небольшой датасет на языках России.
Даёшь больше языковых датасетов!
👉 HF
@doomgrad
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥26❤16👍1👎1🤔1 1