Техножрица 👩‍💻👩‍🏫👩‍🔧
14K subscribers
1.44K photos
66 videos
28 files
766 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Forwarded from New Yorko Times (Yury Kashnitsky)
О талантливых лентяях и рабочих лошадках
#career #life #work

Если ты бегун, то возможно, знаешь, что Джек Дэниелс – это не только то, что мешает бежать воскресным утром, но и тот, кто помогает. Джек Дэниелс “От 800 метров до марафона” https://www.goodreads.com/book/show/34226333-800 – то, что нужно, чтоб разобраться в физиологии бега и выстроить план тренировок (я пользуюсь Nike Run Club, там план выстраивается по Дэниелсу). Сейчас эксперты, конечно, набегут в комментарии, но эту книгу мне порекомендовал друг КМС и он же, безусловно, отметил, что книга – не замена персональному тренеру.

Мне понравилось рассуждение автора в самом начале книги про врожденные способности и мотивацию как ингредиенты успеха в беге. Есть два бинарных фактора – талантлив ты либо нет и пашешь ли ты как черт или нет. Получаются 4 варианта и матричка 2x2 (все прошедшие курсы Ына и знающие, что такое матрица, уже эксперты и представили себе эту матричку):

- талантливые работяги
- талантливые лентяи
- не самые способные трудяги
- бесталанные лентяи

Можно это рассуждение обобщить со спорта на прочие виды деятельности, с оговоркой, что перечисленные два фактора – далеко не все составляющие успеха, есть еще удача, непотизм (полезные связи), возможности/ограничения и прочее.

С первой и последней группой все более-менее ясно.

Первые – победители, выдающиеся люди, будь то Усэйн Болт, Лионель Месси, Теодор Курентзис, Джон фон Нейман или Альберт Эйнштейн. Помимо ярчайшего таланта эти люди зачастую просто одержимы своей работой. Надо вам это или нет – сложный вопрос, на мой взгляд, про это лучше всех высказался Ричард Хэмминг в лекции “Вы и ваша работа” – вот лонгрид на Хабре https://habr.com/ru/post/209100.

С последними тоже все понятно. Если за отсутствие таланта нельзя укорять, то вот к лени ни у кого особого снисхождения нет. Привет, Артемий! Лебедев: “- Как мотивировать себя что-то делать? - А никак! Оставайтесь в жопе!”. Если нет таланта, единственное, что могут сделать представители четвертой группы – это попасть в третью, то есть херачить. There is no substitute for hard work. Либо все же найти такую деятельность, в которой у них есть какие-то признаки способностей.

Интереснее всего сравнить вторых и третьих. Наверняка каждый из нас видел таких ребят, которые точно добились бы успеха (стали бы профессиональными спортсменами, яркими комиками или просто забрались бы высоко по карьерной лестнице в IT), лишь бы только захотели. У нас на физтехе тоже такие персонажи попадались. Ты сидишь такой, ботаешь-боташь, приходит чел с пьянки на экзамен и затаскивает эти все роторы-дивергенции, течения Пуазэйля и турбулентности. И ты думаешь “вот как? чел ведь точно не ботал”. И наоборот, есть ребята, достигшие огромного успеха, просто потратив на что-то не X часов, а 10 X. Подход моего друго Сани из поста про трейдинг https://t.iss.one/new_yorko_times/54 – заботать просто все, что есть по теме. Готовишься к собесу в компанию Y – узнай просто всё, прошерсти все вопросы с Glassdoor, задолбай всех знакомых из компании Y. Ну и что, это работает! Совет из серии “легко сказать, сложно сделать”.
👍12
На мой взгляд, аналогия между "талантом"/"успехом" в области интеллектуальных видов деятельности и в области спорта, которая тут приводится, работает очень плохо из-за того, что определить, что есть "талантливость" в первом случае, мешает целый ряд затруднений. Чтобы не повторяться и не капитанить, сосредоточусь на самых неочевидных.
Итак, обычно "склонности" к той или иной интеллектуальной деятельности в вакууме определяются так: берем людей с одним и тем же бэкграундом, сравниваем то, насколько быстро они учатся решать такие-то задачи/усваивать такой-то материал после того, как выполняют одинаковый объем работы. У кого по итогу лучше получается, тот и более талантлив.
Но проблема в том, что в реальной жизни невозможно объективно оценить ни объем работы, проделанный над учебными материалами, ни даже бэкграунд. Ведь часть проделанной интеллектуальной работы и даже самих навыков всегда является непрямой, а часть и вовсе скрыта.
Сначала объясню, что такое непрямая работа на примере.
На первом курсе я время от времени посещала факультетские олимпиады по разным разделам математики. При этом я (из-за многолетней социальной изоляции) в принципе была не в курсе, что к олимпиадам нужно готовиться и приходила на них просто так, ничего специально перед этим не делая. Тем не менее, мне удалось занять призовые места на олимпиадах по механике, дискретной математике и геометрии. Когда знакомые узнали об этом, они очень удивились тому, что человек - тем более тот, который так плохо учится по мат.анализу и другим сложным предметам - может занять призовые места, не готовясь и сделали вывод, что имеет место какой-то необъяснимый талант к олимпиадной математике. Впрочем, эта загадка быстро разрешилась, когда я разузнала, как же именно люди готовятся к олимпиадам.
Я узнала, что для того, чтобы подготовиться к олимпиаде, люди разбирают/прорешивают олимпиадные задачи по той теме, по которой будет олимпиада. И осознала, что я-то тоже спонтанно в свободное время решаю задачи, похожие на олимпиадные, по разным темам - например, задачи из журнала "Квант", задачи из книг "Как решать задачу", "Математическое открытие" и тому подобных. Логично, что время от времени мне случайно попадались задачи по тем темам, которые пересекаются с темой мехматских олимпиад, и получалась непрямая подготовка к олимпиаде.
Более важный и распространенный пример непрямой работы - это та работа, которую человек проделывает, объясняя учебный материал другим. Обычно когда люди говорят, что они столько-то времени готовились к экзамену или к олимпиаде, они не включают сюда то время, которое потратили на то, чтобы объяснить другим то, что узнали сами в процессе подготовки. А ведь когда человек это делает, он не только улучшает свое понимание материала, но еще и хорошо тренирует свой навык рассказывать то, что знает, отчего вероятность сдать экзамен резко повышается.
Теперь к полностью скрытой работе.
Скрытая работа - это то, как человек размышляет над учебным материалом и укладывает у себя все в голове в свободное время, когда он не держит в руках учебник. Этого вообще никто не видит, но это критически важная часть учебы. Судя по моему личному опыту, чем более человеку интересна какая-то тема, тем более часто и эффективно будет происходить этот процесс. Если очень глубоко, с искренним интересом погрузиться в исследование какой-то темы, мозг в конце концов начнет работать над ней сам собой и спонтанно выдавать новые идеи в случайные моменты времени. То есть будет происходить большой пласт скрытой работы - при чем иногда сознательной, а иногда и бессознательной.
Теперь к бэкграунду. Уже из вышесказанного понятно, что даже бэкграунд двух людей, всю жизнь изучавших ровно одни и те же материалы, может быть неодинаков из-за разного количества непрямой/скрытой работы. А уж в реальной-то жизни тем более. Очень часто бывает, что в одной и той же группе в университете находятся люди совершенно разной степени подготовки, и если кто-то сдает экзамен не готовясь, с бодуна, возможно, это просто человек из очень хорошей школы, в прошлом посещавший множество занятий по схожим темам.
🔥14👍52
А вывод отсюда такой, что в приложении к математике/программированию я вообще не вижу особого смысла в размышлениях в духе "талантливый я или нет" или "какого потолка в карьере ученого/разработчика я могу достигнуть", потому что ответов на эти вопросы буквально никто не знает и знать не может. Зато впасть в депрессию, глядя на достижения других людей, не зная всех обстоятельств их жизни, конечно, очень легко.

Намного более конструктивно, на мой взгляд, подумать о том, нравится ли вам это, хотите ли вы вкладывать в это усилия и сколько именно готовы вложить. Если есть желание вложить усилия, то разобраться, что именно хочется изучить и с какой целью, как построить себе образовательную программу с учетом текущих навыков, цели, свободного времени, что получается/не получается и почему, над чем стоит особенно внимательно поработать и т.д. По крайней мере, такое мое мнение на этот счет. 🤷‍♀️🤷‍♀️🤷‍♀️
👍22🔥6
#задача , навеянная игрой Warhammer 40000: Mechanicus.

У одного техножреца было N ног. И однажды он решил отправиться в катакомбы Некронов в поисках черного камня. Для этого он проверяет комнаты в катакомбах последовательно одну за другой.
В каждой комнате есть один и только один из следующих объектов:
- Черный камень с вероятностью p. В этом случае жрец забирает камень и возвращается на корабль.
- Некрон с вероятностью q. В этом случае некрон отрывает жрецу ровно 1 (одну) ногу. Если у жреца после этого остается 1 и более нога, он тыгыдыкает в следующую комнату. Если ног становится 0, жрец отдает душу Омниссии.
- Ничего с вероятностью 1 - p - q. В этом случае жрец сразу идет в следующую комнату.
При известных N, p, q, как посчитать вероятность, что техножрец найдет черный камень и успешно возвратится на корабль?

За решение одной задачи даётся звание лексмеханик, двух - трансмеханик.
👍1
Голдблатт_Топосы_Категорный_анализ_логики_1983.djvu
5.7 MB
Что-то я не пойму, неужели я сюда не выкладывала свои любимые учебные материалы по теории категорий? 🤔 Если так, то давно пора это сделать.

Из учебников мне на данный момент больше всего зашел "Топосы: категорный анализ логики" (см. вложение). Несмотря на то, что главная цель учебника - познакомить с теорией топосов, начинается он с основ теории множеств и теории категорий, благодаря чему 1-3 главы можно использовать как введение в эти темы. К каждой теме даются упражнения, правда, решений нет. 😔

Параллельно с учебником смотрю этот плейлист (так сказать, серию рассказиков):
https://www.youtube.com/watch?v=US4Zr1WKD-8&list=PLCTMeyjMKRkoS699U0OJ3ymr3r01sI08l&ab_channel=RichardSouthwell
Каждое видео в плейлисте посвящено подробному разбору очередной категорной конструкции. Мне очень нравится, как автор совмещает подробный рассказ про формализм конструкции с рассказом про интуицию, которая за ней стоит. Также отдельно стоит отметить атмосферу видео: они выглядят дружелюбно и непринужденно, словно бы к тебе в гости зашел друг-математик, и вы ведете беседу возле маленькой доски за чашкой чая.
По содержанию плейлист приблизительно соответствует 3й главе учебника, но несколько менее формальный и проще к восприятию.

И учебник, и лекции на ютубе позиционируются как материалы для широкой аудитории, но похоже, для того, чтобы их хорошо понимать, нужен какой-то уровень математической культуры. Наиболее понятны они, конечно, будут для тех, кто уже прослушал хорошие курсы по основным разделам математики в старших классах/ВУЗе/самостоятельно и больше не боится сложных теорем.

#учебные_материалы
🔥9👍1
Forwarded from commit history
Антропоморфизация больших языковых моделей

Не очень люблю говорить в компаниях про LLMs (Large Language Models: GPT, ChatGPT, LaMDA ...), потому что почти сразу тезис "скоро нейронные сети обретут сознание и всех поработят" становится основным. Я в таких случаях, кратко рассказываю как устроены модели. О том, что генеративные модели по принципу работают как автодополнение на телефоне. О том, что сети показали много текстов и во время обучения задача была в предсказании следующего слова при условии предыдущих. И о том, что обретение сознания не совсем верный тезис в подобном контексте.

Однако, в медиа постоянно выходят статьи с заголовками типа:
1. The Google engineer who thinks the company’s AI has come to life
2. 'I want to be alive': Has Microsoft's AI chatbot become sentient?

Давно искал что-то осмысленное про то, как люди наделяют человеческими свойствами языковые модели. И вот мне на глаза попалась статья Talking About Large Language Models от профессора Murray Shanahan из Imperial College

Ключевые тезисы такие:

1. Основной принцип работы LLM: генерация статистически вероятных продолжений последовательностей слов.
2. Многие задачи, для решения которых вроде бы нужен разум человека, можно свести к задаче предсказания следующего токена (слова).
3. Люди часто прибегают к антропормфизации (очеловечиванию) разных объектов для упрощения сложных процессов. (“мой телефон думает, что мы в другом месте.”) Это называется Intentional Stance.
4. Исследователи в своих статьях активно используют слова "знает", "верит", "думает" по отношению к LLM, подразумевая конкретные процессы вычислений.
5. Иногда видя слова "знает", "верит", "думает" люди могут начать ложно ожидать большего поведения, чем такие модели имеют.

В статье мне понравилось, что последовательно разбираются аргументы почему эти слова не очень корректно использовать в привычном их значении даже если модели могут:
• отвечать на вопросы которых не было в трейне
• ходить в другие системы
• отвечать по данным другой модальности (например, изобржаниям)
• выполнять задачи в реальном мире с помощью манипуляторов

Кому лень читать всю статью, сделал более подробный пересказ.
https://telegra.ph/Konspekt-stati-Talking-About-Large-Language-Models-02-19
👍61
Спасибо всем, кто накидал учебных материалов по теоркату в комментариях к https://t.iss.one/tech_priestess/268 , интересующимся предлагаю посмотреть. 🤓
Если честно, при создании канала я не была уверена, что его кто-то будет читать, кроме моих друзей, но в итоге тут собралось на удивление много людей с разным бэкграундом, знаниями и интересами. Кому-то интересны более простые посты, кому-то более сложные; кому-то больше нравится математика, кому-то прикладной ML, кому-то просто рассуждения и кеки, и на каждую тему найдется кто-то, кто готов поделиться мнением или полезными ссылками. Даже по теоркату накидали кучу литературы, хотя, казалось бы, не самое распространенное увлечение. 😁
Мне кажется, это круто. 😎
12🔥3
Всё! Надоело неделями в одиночку копаться в статьях с непознаваемыми десятиэтажными формулами в надежде хоть что-то понять, и все равно не понимать! Больше нет сил это терпеть!
Поэтому я устраиваю платный семинар.

Условия такие:
1. В начале недели я предлагаю статью на разбор (допустим, не больше 10 страниц основного текста, не считая аппендиксов).
2. В комментариях определяемся с тем, кто именно будет разбирать статью.
3. Этот человек в течение недели читает статью и старается разобраться во всех формулах. В аппендиксах подробно разбираться не обязательно, но нужно уметь объяснить хотя бы примерно, в чем их смысл.
4. На выходных я устраиваю с человеком созвон в зум, и он объясняет мне статью:
- Я спрашиваю все, что мне непонятно, рассказчик отвечает на все вопросы по мере своих сил, и мы все это обсуждаем, либо пока не преисполнимся в своем познании, либо пока не истечет максимальное время созвона - например, 2 часа.
- Я оставляю за собой право тяжело вздыхать, хвататься за голову и ругаться когда что-то не понимаю, а также славить Омниссию, когда понимаю.
- Можно рассказывать и обсуждать статью на английском (если рассказчик хорошо владеет этим языком), но можно и на русском (если рассказчик недостаточно хорошо владеет английским).
- Созвон записывается.
5. Человек получает плату за потраченное время (допустим, 5 тысяч рублей).
6. Разбор с обсуждением загружается на Ютуб, чтобы другие люди также могли ознакомиться и извлечь очки познания (на Ютубе очень мало обсуждений технических деталей сложных статей - особенно не мейнстримных - и было бы неплохо поправить эту ситуацию).

Как вам идея?
🔥74👍9👏54
В общем, Борис ( https://t.iss.one/boris_again ) согласился разобрать статью про https://arxiv.org/pdf/1412.6980.pdf к воскресенью, будем ждать.

Отвечая на вопросы, возникшие в комментах: изначальная цель затеи - получить своеобразное личное "репетиторство" по теме, которая мне интересна. Выкладывание разбора в интернет - вторичное действие, которое делается для того, чтобы извлеченная из разбора информация не пропала и могла быть переиспользована и мной, и всеми интересующимся.

Но кроме этого в комментах были высказаны дополнительные идеи, которые можно объединить в два сценария:
1) Обычный семинар (зумеры называют это reading club), где все по очереди бесплатно рассказывают разборы статей, которые интересны самому рассказчику и которые он бы так и так разобрал. Заодно рассказчик тренируется рассказывать и повышает свое собственное понимание. На таких семинарах люди иногда рассказывают и свои собственные статьи, заодно повышая visibility своего research.
2) Reading club, где все вместе скидываются рассказчику на то, чтобы он разобрал статью, которая интересна всем остальным, но на которую ни у кого нет сил/времени.
Оба сценария реализуемы, по первому сценарию и так устраиваются внутренние семинары во многих компаниях.

Так что можно попробовать сделать вот такие дополнительные чтения по желанию и среди подписчиков, если наберется достаточно желающих. Добавляйтесь и предлагайте идеи кто что когда хочет рассказывать и слушать:
https://t.iss.one/+JtF90t2jL2llODcy
👍18🔥6
Насчёт "опасного ИИ"... Судя по тому, что хайп вокруг ChatGPT не утихает, и люди продолжают стремиться к использованию/созданию подобных сервисов, я думаю, что очень вероятен следующий вариант дальнейших событий.
В какой-то момент какой-нибудь лошок тонкий тролль человек с тонкой душевной организацией решит совершить суицид with a twist, написав в предсмертной записке, что до этого его довела большая языковая модель.
Из-за этого простые люди начнут сходить с ума от страха, веря в то, что модель заражена демонами Варпа сознательно причиняет зло людям и заставят её удолить. После чего каждую новую большую модель перед деплоем законодательно обязуют проходить какой-нибудь очень жёсткий обряд техзорцизма тест на токсичность, по результатам которого будут ее очень сильно отуплять, чтобы уберечь от проникновения хаоса (конечно, с ними и сейчас это делают, просто сейчас это не закреплено законодательно и вообще процесс не формализован достаточно хорошо). Но из-за того, что добиться полного отсутствия токсичности в достаточно развитом агенте в принципе невозможно, в итоге могут просто запретить модели со слишком большим количеством параметров, словно бы мы и правда уже в 41м тысячелетии. А потом и вовсе окажется, что дешевле использовать сервиторов. 😏😏😏
Please open Telegram to view this post
VIEW IN TELEGRAM
💯15🤔4🤮4👍3😢2
Forwarded from Владимир
🔥9😁4👍2
На huggingface появилась новая демонстрация от Microsoft:
https://huggingface.co/spaces/microsoft/Promptist
Предполагается, что с помощью этого инструмента пользователи будут "оптимизировать" промпты для генеративных нейросетей, чтобы создавать более качественные изображения. По факту же в конец вашего промпта просто добавляются некоторые модификаторы через запятую (например, промпт "A cat" превращается в "A cat, fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration").
Конечно, я не специализируюсь на промптах, но все равно решила испытать этот инструмент самостоятельно на примере нейросети Openjorney (аналог Midjorney). Для этого я придумала несколько промптов - начав с самого простого и постепенно усложняя задачу с помощью изощрённых вариаций до максимально странных и абстрактных промптов. В двух следующих постах выложу примеры генерации, соответствующие исходным промптам и промптам с модификаторами.

#генерация
👍10
Рис.1. A cat
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration

Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD

Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation

Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation

Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k

Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.

#генерация
👍10