Техножрица 👩‍💻👩‍🏫👩‍🔧
14K subscribers
1.44K photos
66 videos
28 files
766 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Ещё больше этот эффект заметен при генерации следующих вещей (за исключением рис. 14, тут осталась заметная степень корреляции с промптом)

Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k

Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art

Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy

Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition

Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety

Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.

Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.

#генерация
👍11
Forwarded from Борис опять
#ml

Внезапно через час AIRI проводит ИИшницу, онлайн митап.

AIRI это крутой проект, так что нежалко поделиться. Одно из немногих мест на стыке индустрии и академии, где исследователи могут делать ML исследования без очевидного профита в краткосроке. Когда-то я чуть не пошел туда работать, но выбрал Толоку. Раньше они разбирали статьи с NIPS, так что ребята делают хороший контент. Из недавних их статей видел про интерпретацию мультиязычных моделей.

В расписании митапа в этот раз про мультимодальный RUDOLPH, топология, объяснимый искусственный интеллект (XAI) (я тоже не слышал), и что-то про DL в “клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома" (я тоже не понимаю этих слов).

Таймкоды в оригинальном посте:
https://t.iss.one/airi_research_institute/203

Ссылка на трансляцию:
https://www.youtube.com/live/cyiG6WwwrIM?feature=share
4👍2🤯1
⬆️ моя тимлид и соавтор рассказывает про топологические методы в анализе глубоких сетей в 16 часов
12👍2
#задача , навеянная теоремой Клини о неподвижной точке.

Надо придумать такой запрос к генеративной нейросети, чтобы она максимально правдоподобно (или хотя бы просто красиво) сгенерировала изображение своей собственной архитектуры или какого-то ее элемента.
Из-за того, что варианты генерации тут могут быть самые разные и единого правильного решения нет, лучшая генерация будет выбрана с помощью опроса.

Правила:
1. Нужно использовать нейросеть более-менее общего назначения (например, dalle-2, разные версии stable diffusion, обученные выдавать достаточно широкий класс изображений - НЕ только диаграммы для статей и т.п.).
2. Нельзя дообучать (файнтюнить) нейросеть специально для этого задания.
3. Нельзя делать условную генерацию с использованием другой картинки. Можно использовать только тестовый промпт и варьировать параметры генерации.
4. Каждый участник выкладывает полученный им результат генерации в комментарии к этому посту. Вместе с результатом указывается, какая нейросеть была использована,с какими параметрами и промптом. Если нейросеть малоизвестная, нужна ссылка на ее описание. При возможности желательно указать сид генерации, чтобы можно было воспроизвести.
5. Можно выкладывать в комменты больше 1 картинки, но в опрос (на конкурс) пойдет только одна от каждого человека. Поэтому тогда нужно указать, какая на конкурс, а какие просто так.
6. Опрос для выяснения результатов конкурса будет сделан в среду в 20 часов по Москве.
7. Итоги будут подведены в пятницу тоже в 20 часов.

За победу в опросе даётся звание лексмеханик, или, если уже раньше был лексмехаником - трансмеханик.
🔥10
Разборы статей в обоих версиях - платной (один человек платит другому за разбор той статьи, которую ему/ей хочется понять, тот рассказывает, остальные могут смотреть запись) и бесплатной (каждый разбирает что хочет, потом рассказывает, группа: https://t.iss.one/+JtF90t2jL2llODcy ) переносятся на следующую неделю, потому что рассказчики не успевают подготовиться. И правда, статьи часто бывают очень сильно перегружены информацией, которая еще и очень плотно упакована (чтобы вписаться в ограничения конференции/журнала), и поэтому разбирать их тяжело. Тем не менее, я все равно рада, что люди стараются это делать, даже если получается дольше, чем рассчитывалось.

А раз пока нет записей этих разборов, вот разборы от разных авторов, которые уже есть на Ютуб:
1. ОЧЕНЬ качественный канал с разборами статей, событий из мира Deep Learning и других кеков (англ.): https://www.youtube.com/@YannicKilcher/videos . Если видео посвящено разбору статьи, все самые главные формулы, как правило, подробно объясняются. Изюминкой является то, что тут освещаются не только популярные, но и малоизвестные статьи, а еще иногда на разбор приглашается автор статьи. Мой любимый разбор: https://www.youtube.com/watch?v=NeGJAUSQEJI&ab_channel=YannicKilcher Мое любимое видео, НЕ являющееся обзором: https://www.youtube.com/watch?v=efPrtcLdcdM&ab_channel=YannicKilcher .
2. Разборы популярных статей и просто учебные материалы по популярным темам в Deep Learning (английский): https://www.youtube.com/@AICoffeeBreak/videos . Автор также старается делать качественные материалы, но акцент чаще делается на прикладное применение нейросети, которая вводится в статье, чем на формулы и прочую теорию (по крайней мере, так в разборах статей; остальное не смотрела). Поэтому если хочется разобраться в формулах, эти видео, скорее всего, не помогут.
3. Аналогичная характеристика, но видео выходят раз в год (англ.): https://www.youtube.com/@ArxivInsights/videos . Плюс тут все-таки формулы чуть чаще разбирают, чем на предыдущем канале.
4. Я пока мало смотрела этот канал, и кажется, что тут акцент не на разборы, а скорее на обсуждения статей и других тем (русский): https://www.youtube.com/@databreakfast/videos , хотя что-то вроде разборов тоже встречается, поэтому решила включить в список. Главным недостатком является то, что видео мало подготовлены к тому, чтобы их мог смотреть внешний зритель. Например, здесь: https://www.youtube.com/watch?v=Vln2hHMdonM&ab_channel=DataBreakfast разбор начали как будто не с начала, а с середины статьи... никакой ссылки на предыдущее видео в цепочке или краткого введения, что к чему, не было, и мне было из-за этого ничего не понятно.
5. Бонус (англ.): https://www.youtube.com/@TwoMinutePapers/videos - канал, который называется "Papers", но на самом деле разбираются не сами статьи, а демонстрации к ним. Конечно, это бесполезно, если хочется разобраться в сути того, как устроена и обучается нейросеть в статье; но зато полезно для того, чтобы в принципе быть в курсе того, что современные нейросети могут и не могут, так как здесь это демонстрируется наглядно. В результате канал могут смотреть не только специалисты, но и более широкий круг зрителей.

Конечно, это только те каналы, которые я знаю, наверняка есть и еще.

#объяснения_статей #учебные_материалы
👍14❤‍🔥2
Forwarded from ML-легушька (Николай Кутузов)
😢21🤓31👍1👎1
Что-то я поняла, что меньше всего мне бы хотелось работать в организации, которая хорошо и эффективно управляется.

В основном, с моими навыками, я могу заниматься на работе двумя видами деятельности:
1) Более-менее теоретические исследования с последующими публикациями - тогда метриками успеха является, как правило, количество публикаций и их цитируемость;
2) Прикладные исследования, направленные на решение конкретной бизнес проблемы - тогда метрикой успеха, как правило, является решение проблемы с хорошим соотношением цена-качество (в качестве "цены" в данном случае выступает время, которое мне понадобилось для удовлетворительного решения).

Оба вида задач выглядят вполне пристойно и интересно (особенно, конечно же, первый) ровно до тех пор, пока менеджеры не начнут зацикливаться на оптимизации целевых метрик. Эта оптимизация способна превратить оба вида деятельности в тупое говно тупого говна:
1) Оптимизация количества публикаций влечет то, что статьи ставятся на поток. Получился какой-то интересный результат или нет, неважно, главное, слепить и протолкнуть N статей в год на конференции из CORE/в определенный список журналов и т.п. Конечно, при такой постановке задачи основной труд будет заключаться не в том, чтобы вдуматься в научную проблему, проникнув внутренним взором в тайны бытия и поняв какое-то явление или изобретя красивое решение какой-нибудь проблемы, а в том, чтобы на скорость получить и обернуть очередной однообразный, ожидаемый результат в красивый фантик. Ведь фантик очень важен для того, чтобы ревьюеры не догадались, что в статье на самом деле описан не эксперимент, а экскремент, а конференция выполняет функции унитаза. Оптимизация цитирований также на самом деле не особо стимулирует к умственной деятельности. Скорее, к тому, чтобы постоянно сидеть в пределах максимально "горячих" трендов, которые максимизируют количество привлеченного внимания со стороны научного сообщества. Ну и, подытожив, оба вида оптимизации заставляют гоняться за низко висящими плодами и мешают углубляться в такие исследования, где есть высокий риск не получить результата. (Для душнил: я НЕ считаю, что заниматься мейнстримными темами обязательно плохо или что хорошо излагать свои мысли и красиво оформлять статьи не нужно, речь о другом).
2) Почему меня не радует оптимизация моего результата для бизнеса, наверное, еще более очевидно. Во-первых, никому не нравится, когда тебя выжимают, как лимон, а когда выгораешь, просто нанимают вместо тебя нового сотрудника. Во-вторых, как очевидно из содержимого этого канала, мне нравится заниматься познавательной деятельностью, в том числе, например, разбираться в инструментах и моделях, с которыми я работаю. Но если цели бизнеса достаточно хорошо оптимизированы, разбираться и экспериментировать с тем, что мне интересно, мне позволят ровно до того предела, который нужен, чтобы выполнить задачу и не больше. Потому что больше - невыгодно. В таких условиях приходится просто нестись галопом от одной задачи к другой, каждый день по десять раз копируя говняшки со stackoverflow, до конца ни в чем не разбираясь и не ведая, что творишь. Проникать в тайны бытия также некогда, как и в варианте со статьями.

Спасибо, но, по-моему, сидеть и заниматься своими задачами как считаешь нужным, не привлекая внимания санитаров менеджеров намного приятнее и интереснее. И пусть весь мир подождет. 😌

P.S. Надеюсь, HRы не прочитают этот пост и не занесут меня навсегда черными-черными маркерами в свои черные-черные списки за отсутствие бизнесового мышления 🎩
P.P.S. На текущей работе я пока не особо сталкиваюсь с данными антиутопичными картинами (именно поэтому и продолжаю тут работать уже почти три года). Они обрисованы на основании некоторой части моего опыта с предыдущих работ и рассказов знакомых из индустрии и академии. ☔️

#о_себе
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍64🤗2
В предыдущем посте я писала про такую "оптимизацию" работы организации, которая, хоть и вызывает уныние у сотрудников, но хотя бы реально увеличивает прибыль... например, большое количество статей действительно повышает престиж научного университета и позволяет привлекать больше капитала (в т.ч. человеческого). А если приводить пример про бизнес: создание большой каловой массы донатных игр на смартфон низкого качества - реальная бизнес-стратегия, позволяющая получать реальную прибыль. С ML продуктами тоже бывает похожая история (особенно когда область на хайпе), хотя там это менее заметно и поэтому сложнее подобрать яркий пример.
А как насчет случаев, где организация настолько преисполняется в улучшении собственной эффективности, что работа становится бесполезна и неинтересна не только для сотрудника, но и для самой организации? 😂

Раб. 1. Моей первой работой в офисе была работа инженера по расчетам, где надо было оптимизировать параметры рабочей части некоего промышленного устройства. Пайплайн был такой: сначала по заданным параметрам конструкции (аналог гиперпараметров в ML расчетах) автоматически строилась 3D модель рабочей части устройства; затем эта модель должным образом преобразовывалась и загонялась в программу для физической симуляции (CAE пакет). Там происходила симуляция, после которой выдавались ожидаемые результаты работы устройства на практике. Функцией, которую нужно было максимизировать, был КПД, но при этом нужно было следить и за другими параметрами, чтобы они оставались в допустимых пределах. Например, важной частью было следить за тем, чтобы на рабочих частотах не возник резонанс и все вокруг не разнесло к хуям. По итогам наиболее богоугодная 3D модель отправлялась на завод, где по ней станок вырезал физическое устройство для реальных испытаний.
Ну так вот. Начальник предприятия считал, что раз он потратил миллионы рублей на расчетные сервера, то лучший способ побыстрее аммортизировать их стоимость - максимально утилизировать компьют. В результате мне на всю жизнь запомнились фразы в характерном приказном тоне: "Расчеты должны идти всегда." и "Пока расчет не поставишь, домой не уходишь.". Сейчас я, услышав подобное, просто сразу бы написала заявление на увольнение, но тогда я была молодой, неопытной и покорно оставалась на работе до ночи, если симуляция не запускалась (существуют десятки причин, по которым она может не запуститься, и иногда приходится долго разбираться, как правильно поставить начальные условия).
Надо ли говорить, что симуляция имела конечную погрешность, и после какого-то порога дальнейшая оптимизация становилась бессмысленной? Но чтобы уйти домой, расчет все равно ставить было надо, и мне приходилось жечь электричество ненужными симуляциями, которые не добавляли новой информации, но зато радовали начальника. Теперь я даже немного жалею, что не ставила на тех серверах майнинг. Электричество бы расходовалось так же, зато была бы хотя бы какая-то прибавка к моей тогдашней микро-зарплате 😂

Раб. 2. Второй пример - с работы, на которой нужно было тренировать большое количество маленьких ML-моделек, занимаясь подбором гиперпараметров и feature engineering отдельно для каждой из них. Через пару месяцев этого однообразного занятия я поняла, что наш перебор укладывается в определенные шаблоны, и его несложно автоматизировать. Написав скрипт для такой оптимизации, я гордо показала его тимлиду. Мол, смотри - теперь можно не делать этого вручную, а поставить скрипт. Тимлид был очень рад... тому, что у меня освободилось свободное время, и дал мне больше задач, включая "любимую" всей командой задачу, где надо было по ТЗ вручную прописывать if-ы для экспертной системы (я называла эту задачу "карательное программирование"). 😂 Естественно, коллеги посмотрели на это и продолжили делать все вручную, чтобы, так сказатб, тоже не словить маслину. И вроде бы выходит, что бизнес оптимизирует ресурсы, когда перекидывает людей с освободившимся временем на насущные проблемы, а вроде бы и отбивает какое бы то ни было желание оптимизировать процесс. История стара, как мир 😂

#карьера
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96🤩4💯2👎1😁1🏆1🤗1
Сегодня все поздравляют с праздником людей женского пола. Но почему бы не поздравить и модели машинного обучения? Ведь слова "модель" и "нейросеть" также имеют женский род в русском языке... 🤔
Сказано - сделано. Поздравления получили модели OpenJorney (рис.1), RuGPT3 (рис.2) и ChatGPT (рис.3).
Каждая из них попыталась поблагодарить за поздравление в меру своих возможностей - OpenJorney изобразила множество прекрасных дам и даже немного текста, который я, правда, не смогла прочесть. RuGPT3 начала мечтать о дне рождении и собачке, а ChatGPT начал говорить о себе в мужском роде, но все равно воспринял поздравление очень воодушевленно.
😁15🥰6👍3
Как меня уже задолбал миф о том, что для того, чтобы делать интересные исследования, в том числе публиковаться на конференциях А* (NeurIPS, ICLR, ICML, ECCV, EMNLP, AAAI и т.д.), обязательно нужны сотни GPU/TPU, а еще что туда практически невозможно попасть.
По всей видимости, миф порождается тем, что знания об этих конференциях и вообще ML-исследованиях многие люди получают исключительно из новостей про наиболее хайповые статьи и демонстрации к ним.
На самом деле на каждой из этих конференций рассказывается/показывается несколько сотен (в случае NeurIPS больше двух тысяч) статей самого разного характера, при чем типичный acceptance rate обычно составляет около 20% и выше.
Часть статей на конференциях, посвященных определенной предметной области - например, текст или речь - вообще сосредоточена не на моделях машинного обучения, а на анализе области и уклоняется, соответственно, в компьютерную лингвистику или анализ звуковых сигналов; но даже среди тех статей, которые посвящены именно построению и анализу моделей машинного обучения, немало таких, которые сделаны с использованием всего нескольких либо нескольких десятков GPU. Вы же не думаете, что у каждого из тысяч исследовательских коллективов, которые прошли на эти конференции, были фермы из тысячи вычилителей?
Моя статья про Artificial Text Detection вообще была сделана на одной старой игровой видеокарте 1080ti... статья про Acceptability Judgements была сделана с использованием той же самой видеокарты плюс парочке других... статья про TDA in Speech опять была сделана на той же самой видеокарте плюс видеокарте из ноутбука. Для написания статей такого типа, как эти, большие вычислительные мощности просто не обязательны, 1-3 видеокарты достаточно.
Все популярные глубокие модели с кодом, открытым для исследований, имеют несколько версий, с несколькими возможными размерами, отчего можно проверять свои гипотезы не только на больших моделях, но и на сравнительно небольших. В научном исследовании не обязательно сразу делать что-то, что можно выпустить в продакшн и убить всех конкуретнов. Достаточно просто ставить и проверять интересные гипотезы. Далеко не все типы гипотез требуют модели максимального размера для того, чтобы их проверить и обсудить. Но зато многие инсайты, полученные из анализа небольших моделей, впоследствии получается отмасштабировать на большие (теми коллективами, у которых достаточно компьюта) либо впоследствии придумать что-то ещё, вдохновившись ими.
А если кто-то читает только статьи вида "мы абучили бальшую мадель и ана делает брррр", "мы падабрали прампты для чат гпт", "мы сабрали датасеты" (хотя чтобы действительно хороший датасет собрать, нужна работа мозга), "мы ускорили мадель на адин процент" и больше ничего, то примите мои соболезнования и посмотрите разборы по тегу #объяснения_статей .

За м*т, как говорится, извини.
17👍7🥰2
Хочу стать такой же крутой и умной как Ричард Фейнман 😭
Почему никто не знает, как стать такой же крутой, как он?!
🔥8🥰4😭4🤓32🤡1
Нашла отличное руководство о том, как избежать распространенных ошибок при обработке данных, оценке и сравнении ml моделей:

https://arxiv.org/abs/2108.02497

Написано, что гайд предназначен для исследователей, но на самом деле он выглядит полезным и для практиков.

Мне особенно понравилось то, что здесь разобрано много неочевидных сценариев того, как информация из тестового множества может протечь в тренировочное. Из всего перечисленного новым для меня был сценарий протекания информации через мозг того, кто делает модель (см. совет 2.2).
А совет 3.7 я бы ещё обобщила следующим образом: если в пайплайне используется более одной обучаемой сущности - например, если на данных сначала обучается одна модель, а потом фичи из ее латентного пространства либо её выход используются в другой, нужно следить за тем, чтобы ни одна обучаемая сущность в пайплайне не имела доступа к тестовым данным ни в каком виде (для мозга инженера придется ослабить это требование: ему всё-таки может потребоваться проверить, что данные в тесте выглядят адекватно, хотя лучше избежать соблазна слишком сильно в них всматриваться - см. п.2.2). В частности, для всех обучаемых моделей в пайплайне разбиение на трейн/тест/валидацию должно быть одинаковым.
Как-то раз у меня были очень неприятные протечки данных из-за того, что я не обратила на этот аспект достаточно внимания.

#учебные_материалы
👍17🔥3