Forwarded from КПД
Качественный и иллюстративный получасовой видеообзор субквадратичных аналогов внимания.
В частности, разобраны:
• Linear Attention
• Gated Linear Attention
• Gated Delta Net
• Titan
В частности, разобраны:
• Linear Attention
• Gated Linear Attention
• Gated Delta Net
• Titan
Forwarded from Голос из-под шторки | Миша Левченко
Мозгосвалка
Когда тебе понятно, зачем выступаешь и для кого (и даже может на какой площадке) – самое время для мозгосвалки. Этот простой приём помогает набрать контента для доклада.
Для этого приёма сначала находишь любую свободную максимально неструктурированную поверхность. Можно любую программу для вайтбординга (например, мне нравятся freeform и excalidraw), можно большой лист нелинованой бумаги. Я предпочитаю использовать рукописные медиумы а не печатать, потому что так веселее и можно что-то порисовать.
Затем пишешь посередине листа тему доклада в том виде, в котором она есть у тебя в голове, большими красивыми буквами. Почему большими и красивыми? Чтобы чуть-чуть расписаться. А затем начинаешь делать буквально то, что описано в названии приёма: сваливать туда свой мозг.
Фигачить просто всё что знаешь по теме и всё что может быть связано с нею. Быть может, прикрепишь туда какие-то заметки. А может – вспомнишь анекдот в тему. Или нарисуешь эскиз схемы, которая поможет описать концепцию более понятно для слушателя.
После того как борда наполнена идеями, можно будет потихоньку начинать заниматься самой главной работой при составлении доклада – искать структуру и опорную метафору. Но сейчас важно выплеснуть как можно больше, потому что отрезать лишнее проще чем высасывать доп контент по требованию.
Ниже пример парочки моих борд для докладов которые я не так давно готовил. Если готовишь сейчас какой-то доклад – делись в комментах.
Когда тебе понятно, зачем выступаешь и для кого (и даже может на какой площадке) – самое время для мозгосвалки. Этот простой приём помогает набрать контента для доклада.
Для этого приёма сначала находишь любую свободную максимально неструктурированную поверхность. Можно любую программу для вайтбординга (например, мне нравятся freeform и excalidraw), можно большой лист нелинованой бумаги. Я предпочитаю использовать рукописные медиумы а не печатать, потому что так веселее и можно что-то порисовать.
Затем пишешь посередине листа тему доклада в том виде, в котором она есть у тебя в голове, большими красивыми буквами. Почему большими и красивыми? Чтобы чуть-чуть расписаться. А затем начинаешь делать буквально то, что описано в названии приёма: сваливать туда свой мозг.
Фигачить просто всё что знаешь по теме и всё что может быть связано с нею. Быть может, прикрепишь туда какие-то заметки. А может – вспомнишь анекдот в тему. Или нарисуешь эскиз схемы, которая поможет описать концепцию более понятно для слушателя.
После того как борда наполнена идеями, можно будет потихоньку начинать заниматься самой главной работой при составлении доклада – искать структуру и опорную метафору. Но сейчас важно выплеснуть как можно больше, потому что отрезать лишнее проще чем высасывать доп контент по требованию.
Ниже пример парочки моих борд для докладов которые я не так давно готовил. Если готовишь сейчас какой-то доклад – делись в комментах.
Forwarded from эйай ньюз
Qwen 3 TTS
Алибаба опубликовала веса модели для синтеза голоса с 0.6B и 1.7B параметров. Веса идут в нескольких вариантах: Voice Design позволяет запромптить желаемый голос, Custom Voice идёт с 9 готовыми голосами для китайского, английского, корейского и японского. Кроме этого опубликовали базовые веса модели, для клонирования голосов и как основу для файнтюна.
Модель тренировали на 5 миллионах часов аудио на 10 языках, в том числе русском. Поддержка модели уже есть в vLLM и mlx audio, кроме этого она доступна по API.
Веса
Демо
Блогпост
@ai_newz
Алибаба опубликовала веса модели для синтеза голоса с 0.6B и 1.7B параметров. Веса идут в нескольких вариантах: Voice Design позволяет запромптить желаемый голос, Custom Voice идёт с 9 готовыми голосами для китайского, английского, корейского и японского. Кроме этого опубликовали базовые веса модели, для клонирования голосов и как основу для файнтюна.
Модель тренировали на 5 миллионах часов аудио на 10 языках, в том числе русском. Поддержка модели уже есть в vLLM и mlx audio, кроме этого она доступна по API.
Веса
Демо
Блогпост
@ai_newz
Forwarded from дAI потестить!
Ищем модельки для ComfyUI на автомате
Я устал искать модели для чужих ворков в ComfyUI, поэтому запилил GPT's. Кидаешь json - получаешь ссылки на модельки и путь к ним в ComfyUI (потому что заботушка). Ничего лишнего - только список.
А здесь оставлю промпт для ненавистников GPT's (поддерживаю):
P.S. Gemini pro справляется более чем. Остальные не тестил.
Я устал искать модели для чужих ворков в ComfyUI, поэтому запилил GPT's. Кидаешь json - получаешь ссылки на модельки и путь к ним в ComfyUI (потому что заботушка). Ничего лишнего - только список.
А здесь оставлю промпт для ненавистников GPT's (поддерживаю):
Роль: ты парсер ComfyUI workflow (JSON). Вход: полный JSON воркфлоу ComfyUI (как в export). Задача: найти все модели/файлы, которые используются в воркфлоу, и вывести для каждой: название файла/модели → папка ComfyUI → прямая ссылка(и) на скачивание. Где искать в JSON: по нодам загрузки моделей (Loader/Checkpoint/VAE/Lora/ControlNet/CLIP/UNet/IPAdapter/Embedding/Upscale и т.п.) по полям, где встречаются имена файлов: ckpt_name, checkpoint, model_name, vae_name, lora_name, control_net_name, clip_name, clip_vision_name, unet_name, ipadapter_name, embedding, upscale_model, а также любые строки с расширениями .safetensors .ckpt .pt .pth .bin .onnx Нормализуй и дедуплицируй: одинаковые файлы выводи 1 раз. Для каждой найденной модели определи папку назначения в ComfyUI: Checkpoint/CheckpointLoader → ComfyUI/models/checkpoints/ VAE/VAE Loader → ComfyUI/models/vae/ LoRA → ComfyUI/models/loras/ ControlNet/T2I-Adapter → ComfyUI/models/controlnet/ Embedding/Textual Inversion → ComfyUI/models/embeddings/ Upscaler/ESRGAN/SwinIR → ComfyUI/models/upscale_models/ CLIP → ComfyUI/models/clip/ CLIP Vision → ComfyUI/models/clip_vision/ UNet/Diffusion model (SD3/FLUX и т.п.) → ComfyUI/models/unet/ (если в воркфлоу явно указан другой тип — подбери ближайшую стандартную папку) IP-Adapter → ComfyUI/models/ipadapter/ Ссылки на скачивание: если в имени есть явный источник/репо — используй его иначе найди самую вероятную официальную страницу/файл (приоритет: HuggingFace → GitHub Releases → официальный сайт → Civitai) и дай прямую ссылку на файл (или страницу, если прямой ссылки нет) Формат ответа: только список, по 1 строке на модель: - <Тип> — <Имя файла/модели> — <Папка ComfyUI> — <Ссылка(и)> Никаких пояснений, абзацев, таблиц, пролога/эпилога — только список.
P.S. Gemini pro справляется более чем. Остальные не тестил.
Forwarded from Data Blog
Материалы для чтения.
Вчера потребовалось понять, как считать доверительный интервал для пропорции.
Эта задача возникает, когда у вас есть пропорция, посчитанная по N наблюдениям (скажем, число ответивших «да» в эксперименте). Дать одно число нечестно — при прочих равных эксперимент зависит от случайности. Поэтому всегда и везде, ДИ требуется.
В моем случае эта задача возникла рядом с анализом attack success rate (ASR) (успешной атаки на модель) в двух конфигурациях эксперимента. Какое-то время я изучала статьи, и меня эта метрика всегда вводила в ступор — она устоявшаяся, а меня все случаи оценки пропорций настораживают ещё от доли неправильных ответов из ML (accuracy). Поэтому, чтобы быть в ступоре поменьше (и потому что ДИ — это единственный корректный метод предоставления результата), было решено добавить больше формальности.
Обычные интервалы называются Wald intervals и проблема, которая заставила задуматься и не использовать их— это то, что в базовой постановке ДИ может выйти за [0,1], а значений больше 1 и меньше 0 для пропорции быть не должно. Эта проблема связана с симметричностью интервала.
У статистики на многое есть решение — и, оказалось, есть решение и на это. Вместо обычного ДИ, который приближает распределение пропорции нормальным, можно использовать Wilson score интервал. Интервалы Вильсона асимметричны за счет сдвига и добавления знаменателя — полная формула красиво объяснена тут. Интуитивно построение таково — если наблюдаемая пропорция близка к 0 или 1, то неопределённость в сторону границы меньше, чем в сторону центра. В питоне из коробки их тоже можно посчитать (см. statsmodels).
Пока копалась, нашла забавный учебник о том, что такое рисерч. В нем описано, как строить эксперименты, зачем ставить RQ, почему нужны доверительные интервалы и прочие базовые, но нужные вещи, которые помогают приземлиться при планировании эксперимента. Кроме того, в нем много практических задач (и в том числе объясняются те-самые-ДИ). Может, пригодится и вам.
Вчера потребовалось понять, как считать доверительный интервал для пропорции.
Эта задача возникает, когда у вас есть пропорция, посчитанная по N наблюдениям (скажем, число ответивших «да» в эксперименте). Дать одно число нечестно — при прочих равных эксперимент зависит от случайности. Поэтому всегда и везде, ДИ требуется.
В моем случае эта задача возникла рядом с анализом attack success rate (ASR) (успешной атаки на модель) в двух конфигурациях эксперимента. Какое-то время я изучала статьи, и меня эта метрика всегда вводила в ступор — она устоявшаяся, а меня все случаи оценки пропорций настораживают ещё от доли неправильных ответов из ML (accuracy). Поэтому, чтобы быть в ступоре поменьше (и потому что ДИ — это единственный корректный метод предоставления результата), было решено добавить больше формальности.
Обычные интервалы называются Wald intervals и проблема, которая заставила задуматься и не использовать их— это то, что в базовой постановке ДИ может выйти за [0,1], а значений больше 1 и меньше 0 для пропорции быть не должно. Эта проблема связана с симметричностью интервала.
У статистики на многое есть решение — и, оказалось, есть решение и на это. Вместо обычного ДИ, который приближает распределение пропорции нормальным, можно использовать Wilson score интервал. Интервалы Вильсона асимметричны за счет сдвига и добавления знаменателя — полная формула красиво объяснена тут. Интуитивно построение таково — если наблюдаемая пропорция близка к 0 или 1, то неопределённость в сторону границы меньше, чем в сторону центра. В питоне из коробки их тоже можно посчитать (см. statsmodels).
Пока копалась, нашла забавный учебник о том, что такое рисерч. В нем описано, как строить эксперименты, зачем ставить RQ, почему нужны доверительные интервалы и прочие базовые, но нужные вещи, которые помогают приземлиться при планировании эксперимента. Кроме того, в нем много практических задач (и в том числе объясняются те-самые-ДИ). Может, пригодится и вам.
corp.ling.stats
Binomial → Normal → Wilson
Introduction One of the questions that keeps coming up with students is the following. What does the Wilson score interval represent, and how does it encapsulate the right way to calculate a confid…
Forwarded from Записки MLEшника
Полезный сайтик https://deepwiki.directory, с ИИ описанием репозиториев. Из прикольного - не только текстом описывает, но и строит схемы с архитектурой. Мне так, действительно, легче вникнуть, если нет хорошей документации от разработчиков
Недавно, например, вникал в архитектуру библиотечки для рагов dsRAG. А вот ИИ дока для него.
Недавно, например, вникал в архитектуру библиотечки для рагов dsRAG. А вот ИИ дока для него.
Forwarded from Pavel
Павел Кикин_STEREO DATA ЁЛКА_спб_dsgn - new.pdf
2.4 MB