Взрыв первой ступени с другого ракурса.

Киноделы, берите на заметку как должны выглядеть взрывы в космосе 😅
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Mistral 8x7b, 32k context length has just dropped!

magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%2Ftracker.openbittorrent.com%3A80%2Fannounce

RELEASE a6bbd9affe0c2725c1b7410d66833e24

Ждём q5 gguf 😅

Твит
_______
Источник | #derplearning
@F_S_C_P
-------
поддержи канал
-------

I don't know what GPT-5 will run on, but GPT-6 will run on
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Тем временем один из самых крупных датасетов картинок из этих ваших интернетов, laion-5b, временное офлаен: судя по жалобам, там нашли ссылки на ЦП.

*Косые взгляды на stable diffusion incoming*

Отдельно хочется поинтересоваться у тех, кто писал жалобы: вы там как в 5 млрд картинок нашли ЦП? Нужно быть очень Цпелеустремленными 😅
(Знать домен, промтить, предоставить образец)

Подробнее: laion.ai
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Paranoid Pandemonium

Психоделический таймлапс создания не менее психоделического полотнища. 2 недели времени и 6000+ инпейнтов.

сорс
_______
Источник | #derplearning
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

Civit.ai вводит пейволл - Clubs

Собсно, то, чего боялись после ввода их внутриигровой валюты Buzz, свершилось.
В ближайшее время на платформе появится местный аналог patreon. Обещают, в принципе, все то же самое - подписки с тирами за Buzz.

За пейволл можно прятать все типы контента, то есть модели, Лоры, картинки и их настройки, посты. Родной генератор картинок платные модели без подписки потрогать тоже не даст.

Обещают и возможность "пробных" версий одного и того же контента: недообученные модели, менее подробная мета для генераций.

С одной стороны это, конечно, прекрасно - создатели контента для взрослых, коих там субъективно 99%, наконец смогут выйти из своих подвалов и купить еды. С другой - манчкины, скрейпившие терабайтами контент, легко заменят сайт одним торрентом.
К тому же валюту buzz нельзя вывести с платформы, а можно потратить собсно на подписки, чаевые, и генерации картинок. (надеюсь, потом исправят)

Отдельно встаёт юридический и моральный вопрос, так как данные для моделей и лор вряд ли были собраны с соблюдением всех лицензий. Пока это было для всех даром - вопросов было мало. Как только в этом появятся деньги - появятся и вопросы, а, может, и первые робкие иски.

В общем, будем посмотреть. Один скандал с генерацией цп у них недавно был, реддит уже полыхает, поэтому приготовим попкорн для следующих скандалов и будем надеяться, что это не будет для них юнити-моментом.

UPD: они уже немного дали заднюю и завели тред с обсуждением возможных вариантов монетизации

reddit срач
анонс clubs
faq clubs
обсуждение монетизации
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Красивое
Microsoft Light Simulator
A* (A Star) pathfinding algorithm visualized on the city streets of Chicago and Rome.

Data from OpenStreetMap, OSMnx - intersections of streets represented as nodes and streets as edges
Tools used for visualization - Python, Blender

youtube
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

В популярный бесплатный аудиоредактор Audacity завезли ИИ-плагины на бэкенде Intel OpenVino.

Для музыкантов:
Music Generation - генерит музыку (60сек) по текстовому промту, Riffusion
Music Style Remix - меняет стиль исходного сэмпла, Riffusion
Music Separation - разделяет голос и инструменты на отдельные дорожки, Demucs v4

Для этих ваших подкастеров и стримеров:
Noise Suppression - шумоподавление, noise-suppression-denseunet-ll
Transcription with Optional Translation - транскрибация с переводом (только на английский), Whisper

git c плагинами (2gb)
audacity
audacity git
подробнее
youtube
_______
Источник | #derplearning | #полезности
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

QLoRa + FSDP: Finetune 70B models on Dual 24GB GPUs

Джереми пробудился! :D
Котаны из answer.ai, huggingface и Mobius Labs запилили пайплайн для народного тюна 70b моделей.
Теперь для лор не нужно 48гб VRAM, а можно разбить на 2х24 или 3х16, практически без потери в скорости.
Самое время наведаться к соседу за второй видюхой :D

Cуть подхода такова:
Берем 4-битную квантованную 70B модель, весящую 35Gb. Тренить ее саму мы не можем из-за квантования, но можем тренить ее лору. Это, собственно, и есть QLoRA.
Для этого нам все еще нужно 48Gb VRAM.
Мы можем раскидать ее на 2х24Gb GPU послойно, но тогда мы потеряем половину вычислительной мощности, так как слои будут обрабатываться последовательно. Тут-то на помощь и приходит FSDP или Fully Sharded DataParallel. Этот подход позволяет все так же раскидать слои по разным видеокартам, но обрабатывать данные параллельно, подгружая следующий слой с соседних видеокарт, пока обрабатывается предыдущий, а затем выгружая обратно.


твит
код
подробнее
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram

github.com
github.com-1 (уже переименовали)

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

_______
Источник | #derplearning
______________
пост в блоге x.ai
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

claude-llm-trainer
Чел из hyperwriteai.com выкатил любопытный пайплайн, который обучает язвыковую модель по описанию задачи.

Описываете задачу текстом, например "генерация кода на питоне", а дальше с помощью Claude 3 генерится датасет под задачу и тренится моделька. Лама 2 7б в колабе, локально, или вообще гпт3.5 через апи - не принципиально.

Насколько такие модели действительно полезны (по сравнению с обученными кожаными мешками на реальный данных) - большой вопрос, но как демка пайплайна - очень даже любопытно.

Возможно, генерация датасетов подобным образом нарушает условия anthropic, но что вы нам сделаете, мы сдругова горада.

git
tweet
_______
Источник | #derplearning
@F_S_C_P
-------
поддержи канал
-------

Autonomous Overhead Powerline Recharging for Uninterrupted Drone Operations

Думал, что это первоапрельская шутка, но нет.

Дрон, способный самостоятельно подзаряжаться от ЛЭП, причем и от постоянного тока в том числе.

Если такой системой оборудовать дроны, которые уже используются для очистки ЛЭП от паутины, мусора, и обрезки ближайших деревьев, получим первый пример киберпанк-симбиоза.

Дроны-прилипалы!

Paper
_______
Источник | #derplearning
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

3D Gaussian Splatting of the collapsed Baltimore Key Bridge.

Вот и гауссианы пригодились в деле.

Твит
Реддит
Покрутить самим тут
_______
Источник | #derplearning
@F_S_C_P
-------
поддержи канал
-------

Забавный кейс. Huggingface обычно сканирует модели, и предупреждает юзера, если это *.pkl с подозрительным кодом.
При этом через inference api эту модель можно запустить. Что и проделали чюваки из WIZ Research (это те, кто недавно нашел на гитхабе 38тб приватных данных MicroSoft :D)
В итоге команде удалось получить доступ к шеллу, где крутилась модель, а потом чуть ли не ко всему инференс кластеру.

Подробнее
Видео
_______
Источник | #derplearning
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram