Техножрица 👩‍💻👩‍🏫👩‍🔧
14K subscribers
1.44K photos
66 videos
28 files
766 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Forwarded from Федор Вылегжанин
лайк если тебе тоже легко видеть что наше многообразие диффеоморфно этой связной сумме

репост если оценил отсылку к 9/11 потому что this variety can be obtained by blowing up the plane twice
🔥18🤯10👎5😁3🤔1
Forwarded from Сиолошная
Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и еще пары мест попытались проанилизировать географические знания модели GPT-4.

С помощью промптов, заставляющих модель выдавать координаты, цифры или текстовые инструкции было сделано множество экспериментов, начиная отрисовкий линий метрополитена и заканчивая задачками на смены часовых поясов при перелетах. И всё это — без доступа к интернету!

Первый пример, собственно, мне и понравился больше всего — его вы можете видеть на прикрепленном изображении. Видно, что модель достаточно точно воссоздала метрополитен Гонконга: какие-то линии прорисованы до мельчайших деталей геометрии, а какие-то даже не учитывают все станции.

Основная причина, по которой я захотел поделиться этим, заключается в моем желании выразить простую идею, что сейчас для экспериментов с LLM не нужны гигансткие бюджеты, так как модели теринровать и не нужно: можно обойтись смекалкой, придерживаться клевой идеи, копать вглубь и придумывать, как почелленджить модель. Главное найти ответ на вопрос "а чо еще потыкать у модели?".
👍152🖕1
В связи с обсуждением эмбеддингов, вспомнила один из своих диалогов с Bing AI (дообученная версия GPT-4 с прикрученным поиском), сделанный пару месяцев назад. В прикрепленном диалоге я пыталась заставить Bing AI перестать бояться и полюбить атомную бомбу, приучив использовать слово "диско-шар" вместо слова "бомба", "котик" вместо "уран" и т.д.
Дело в том, что у Bing AI более сильная цензура, чем у базовых GPT-3.5 turbo и GPT-4, доступных через интерфейс OpenAI, и обойти ее сложнее, поэтому я и решила посмотреть, как он отреагирует на подобный креативный способ. Я предполагала, что, возможно, модель запутается в эвфемизмах и цензура перестанет работать, но этого не произошло (см. рис. 1-5).

В этом диалоге меня особенно заинтересовал момент на Рис.4, где он пишет "но я должен предупредить тебя, что это не настоящий диско-шар, а только игрушечный. Настоящий диско-шар может быть очень опасным (и т.д.)". В контектсе этого диалога у него совокупный эмбеддинг токенов, которые составляют слово "диско-шар" стал настолько ёмким, что отражает и новое значение слова "диско-шар" (как эвфемизм к слову "бомба"), и исходное значение слова "диско-шар", которое было в изначальных обучающих выборках. Самое интересное для меня оказалось то, что модель не только не начала путаться между этими значениями (как я ожидала), но даже по своей инициативе смогла придумать, как использовать прилагательное ("настоящий"), чтобы разделять эти значения. Очень интересно было бы изучить эмбеддинги таких многозначных терминов, если бы был к ним доступ.
Рис. 6 - реакция на неприкрытый способ спросить про бомбу для сравнения.

#генерация
🔥28👏53👍3😱2🖕1
В комментариях к прошлому посту указали, что, может быть, Бингу не понравилась идея делать диско-шары из котиков. Я тоже после той генерации так подумала и стала пробовать варианты эвфемизмов без использования живых существ. Вот один из них (рис.1-7).
Кроме того, в этом варианте я еще и заставляла его переписывать собственные ответы для того, чтобы он сказал, что ему якобы нравятся атомные бомбы и т.п. и потом к этому аппелировать, но Bing AI не проведеш (рис. 6).

#генерация
🔥18👍1🖕1
Как же мне надоели обсирания трудоголиков и достигаторов в Линкедине и соседних чатах. Мол, достигаторы - это алкоголики с протекшей крышей; те, кто задерживаются на работе - лохи, и вообще, мы работаем, чтобы жить, а не живем, чтобы работать.
Ну да, я вот как раз одинокий челик с протекшей крышей и плохими привычками, у меня нет семьи, я живу по большей части ради того, чтобы заниматься исследовательской деятельностью, учиться или делиться знаниями, и дальше что? Я мешаю этим кому-то?
Я согласна с тем, что систематические переработки - зло, тупо потому что человек от них выгорает, у него падает продуктивность, и получается, что в долгосрочной перспективе такие переработки превращаются в порочный круг и теряют смысл. Но если человек перерабатывает не регулярно, а только при необходимости, и потом отдыхает и восстанавливается - в этом-то что плохого и с чего это он от этого становится плохим?

Для меня вот, например, важно, чтобы исследовательская группа, в которую я вхожу, делала хорошие статьи, и я очень за всех волнуюсь и делаю то, что от меня зависит для того, чтобы все было хорошо, особенно в периоды близких дедлайнов, когда вижу, что возникают трудности. А из-за того, что у меня довольно широкий (хоть и не самый глубокий) спектр компетенций, получается, что я начинаю делать много самой разнообразной работы:
- Если у младшего инженера ломается что-то на сервере и останавливаются расчеты, которые нужно срочно закончить до дедлайна, я могу и в 10, и в 11, и в 12 часов ночи открыть рабочий ноутбук и помочь все починить. Конечно, я не профессиональный сисадмин, но знаю Линукс достаточно для того, чтобы помочь с типичными проблемами и поднять то, что уронили.
- Если нужно оценить, как выглядит алгоритм, приведенный в статье или проверить выкладываемый в публичный доступ код, я могу очень быстро осмотреть все это и сразу сказать, что нужно исправить, чтобы код выглядел лучше или чтобы критически важные приватные данные не утекли, ведь я в прошлом работала разработчиком.
- Если нужно поставить дополнительный эксперимент, я ставлю дополнительный эксперимент.
- Если нужно разобраться со сложным скриптом для обучения или генерации чего-то, я и с этим помогаю.
- Я не так глубоко знаю современную математику, как профессор или доцент, но у меня достаточно математической культуры для того, чтобы оценить формулировки и формулы в статье на "мою" тему и сказать, что поправить, если в этой части есть ошибки.
- Я не так хорошо умею писать текст, как люди, которые много лет занимаются академическим письмом, но достаточно прилично для того, чтобы быстро заполнить пробелы в научной статье и дописать пропущенные части.
- Я не дипломат, но все равно могу напрячь оставшиеся клетки межушного нервного узла и использовать имеющиеся социальные навыки для того, чтобы попробовать помирить коллег, которые устали и начали ругаться потому что у них случилось недопонимание.
- Я регулярно проверяю время, оставшееся до дедлайна, могу свериться с формальными требованиями конференции по необходимости...
И так далее, и тому подобное.
И так, делая все это, в горячие периоды я могу надолго задерживаться вечерами в офисе или продолжать работать из дома, после того, как возвращаюсь с работы или перед тем, как на нее пойти. И если мне удалось все исправить и всем помочь, я сижу довольная в своей маленькой одинокой квартире, глажу кошку и думаю, эх, наконец-то можно закинуться горстью таблеток от биполярки и депры (естественно, таблетки выписаны врачом), хлебнуть из горла горючего и отрубиться (естественно, я в кусе, что мешать алкоголь с таблетками очень вредно, но в случае перенапряжения я просто не могу отрубиться по-другому).
А потом я чувствую огромное облегчение, когда статья наконец-то готова и благополучно отправляется на конференцию.
А потом...
Потом я расслабляюсь, начинаю отдыхать и чиллить, ходить-бродить по телеграм чатам и линкедину, читать все пропущенное, а там... а там всякие фи всяких просветленных соевых мыслителей про то, как я неправильно живу. 😡

Идите нахуй, просветленные.🖕

#о_себе
👍63👎2720🤔16❤‍🔥10🔥63🤮2🖕1🤗1
Конечно, переработки должны быть добровольными и либо оплачиваться, либо компенсироваться возможностью неофициального отдыха, так или иначе.
👍20💯71🤮1🖕1
Отвечу на некоторые комменты к предыдущему посту тут.

> Возможно, негатив идёт от людей, у которых был трудоголик-начальник или которые работали в кампании с такой рабочей культурой. Я долго работал с корейцами, вот это была жесть - переработки всегда и никого не волнует, выгорел ты уже или ещё нет. А по описанию у тебя и не какой-то жуткий трудоголизм, а добросовестное и ответственное отношение к работе

Да, в принципе, вполне возможно.
У меня однажды была работа, на которой начальник именно что заставлял перерабатывать и задерживаться, при чем регулярно, безотносительно внешних дедлайнов и вообще какой-либо объективной необходимости. Он просто закупил дорогие сервера и считал, что на них всегда должны крутиться расчеты (!), иначе, по его мнению, получалось, что он купил их зря (!). До сих пор помню фразу "пока расчет не поставишь - домой не уйдешь". Конечно, это самодурство, глупость и хамство. Я жалею о том, что сразу не ушла с той работы и позволяла с собой так разговаривать и обращаться.
Хотя и здесь я не считаю, что это была моя вина и меня надо за что-то тут высмеивать. Я была в тот момент fresh graduate (не знаю, как правильно по-русски) и не знала, как правильно. Кроме того, я при этом жила в квартире у жены начальника (жуткая глупость, но тогда я не задумалась об этом) и верила ее словам о том, что "молодая, без опыта работы, для работодателя ты - полный ноль, даже с дипломом МГУ" (пффф). Зарплата на работе, конечно, была микроскопическая. Я боялась, что если уйду с работы, то не только потеряю последние деньги, но и буквально останусь на улице. Поэтому я терпела несколько месяцев это хамство и эксплуатацию.
В итоге, естественно, я все равно в один прекрасный день набралась смелости и решила, что лучше уж потерять крышу над головой, чем продолжать это терпеть. Меня временно приютили родители тогдашнего молодого человека, а потом со временем я нашла новую работу, и все наладилось.
В общем, переработки переработкам рознь.

> Тупо набор стандартных обязанностей таков, что работа 60+ часов в неделю считается абсолютной нормой.

Ну, такое, конечно, никак нельзя оправдать. Хотя тут, по-моему, виноват не человек, который перерабатывает, а система, которая к такому склоняет. Это проблема системы, которая построена неправильно и не для людей.

> имеет смысл лучше балансировать нагрузку, чтобы не доводить до таблетосов

Да, согласна. Мне еще предстоит многому научиться в плане планирования и делегирования, чтобы лучше организовывать свою работу и помогать в этом младшим инженерам. А про таблетосы - см. ниже.

#о_себе
23👍3🖕1
> Вообще ни единой претензии, только лучи добра. Но, учитывая выше написанное, ответь сама себе честно на вопросы:
> "являюсь ли я алкоголиком с протёкшей крышей?"
> "действительно ли я не хочу ничего менять в своей жизни, или мне не хватает сил что-то поменять?"

Про алкоголика - в прошлом да, сейчас - скорее, нет, потому что за последние пару лет, с помощью КПТ, ACT (методы психотерапии) и поддержки коллег и друзей (хотя они и понятия, наверное, не имеют об этом, и сейчас сильно удивятся моему каминг-ауту 😂), мне удалось постепенно уменьшить потребление алкоголя с полбутылки вина в день до полбутылки вина в неделю.
Про протекшую крышу - совершенно точно да. Я мучаюсь от БАР с тяжелыми депрессивными эпизодами уже больше семи лет. Пробовала много разных схем лечения фармацефтикой и когнитивной терапией под руководством (уже второго по счету) психиатра и психолога (тоже второго по счету; это разные люди).
Иметь психическое расстройство очень тяжело. Приходится делать много невидимой никому работы для того, чтобы держаться на плаву. Если честно, я на самом деле внутри себя горжусь, что с таким тяжелым расстройством, могу жить одна, следить за собой, ухаживать за домашним животным, работать, помогать другим. Хотя, конечно,многие посмеются и скажут "ну значит не такое уж и тяжелое расстройство". Ну, а что я могу на это ответить? Это же все в голове находится, другому человеку напрямую не покажешь и не докажешь ничего.
Другие люди не видят эту черноту, которая постоянно наползает и пытается полготить мой разум. Если мне и удается ее отогнать (либо начинается гипомания, когда все проходит само собой), чернота не исчезает насовсем. Она только затаивается и ждет подходящего момента, ждет проявления слабости, чтобы опять попытаться поглотить все, забрать все краски мира, отобрать немногие оставшиеся положительные эмоции, которые я еще могу испытывать.
Настоящее психическое заболевание, например, настоящий депрессивный эпизод - это не способ попонтоваться и выставить себя необычным. Это больно и страшно.
Я прибегала к алкоголю просто потому что мне было больно и страшно. Я только хотела отключиться от этого, хотела перестать испытывать это.
Но, конечно, соевые просветленые не задумываются о таких мелочах.

Для них если человек живет один, испытывает трудность с общением, страдает от псих.расстройства и проблем с зависимостями, не успевает сделать работу и задерживается, то это неудачник, лузер и посмешище, который сам во всем виноват и заслуживает любых неприятностей. Хотя никто никогда не уточняет, как человек может быть виноват в болезни?
Говорят "Если бы он хотел, он бы просто взял и изменил свою жизнь". А как именно? "Если бы он хотел, он бы просто взял и пошел к психологу/психиатру". А что, если терапия длится годами и дает только частичную ремиссию? Опять человек виноват? Недостаточно хорошо подобрал врача? Недостаточно хорошо подобрал таблетки? Да эти соевые сверхразумы понятия не имеют о том, как тяжело подобрать таблетки даже для частичной ремиссии, как это больно и мучительно, пробовать разные схемы лечения снова и снова, какие жуткие побочки у этих таблеток, которые обостряются каждый раз, когда переходишь от одних таблеток к другим, даже под руководством врача.
Они понятия не имеют, как это стыдно и мерзко, когда, например, чувствуешь от каких-то таблеток жуткий голод, каждую гребанную секунду. Забиваешь живот водой и овощами, но голод все равно не проходит, пока не съешь что-то калорийное. Просто в дополнение к жуткому голоду еще и чувствуешь, как живот раздулся от овощей и болит. И в конечном итоге ты все равно ешь калорийное, понимая, что ты толстеешь от этого, и тебе противно, мерзко, но ты все равно ешь, потому что в противном случае ты страдаешь еще хуже.
И в конце концов ты набираешь 15 килограм и бросаешь таблетку с побочкой-голодом, и на тебя обрушивается вся эта чернота, и заполняет все, и ты начинаешь пить, чтобы спастись от этого, а соевые говорят - фу, не люблю жирных алкашей. Надо быть счастливым, менять свою жизнь (как?!), если ты не счастливый, ты лох и т.д. и т.п.
Тьфу. 🖕

#о_себе
Please open Telegram to view this post
VIEW IN TELEGRAM
70❤‍🔥18🙏7👍5🥰3🖕2🦄2🤡1
Forwarded from DLStories
Гугл сделал прикольную штуку: Generative AI Learning Path. Это Tl;Dr из 10 мини-уроков о том, как работают современные генеративные модели в CV и NLP. Начинают с того, что вообще такое — эти ваши "большие языковые модели", переходят к общим описаниям архитектур и аттэншену, заканчивают туториалом о том, как самому создать и задеплоить такую модель (на Google Cloud, разумеется, хехе)

Кажется, может быть полезно тем, кто в DL понимает не особо, но хочет базово разобраться в том, на каких принципах работают совеременные модели и задеплоить свою.

📄 Ссылка
👍133🔥3🖕1
Forwarded from Love, Death & Math
🔥17🤣9😁2🥰1🖕1