Техножрица 👩‍💻👩‍🏫👩‍🔧
14K subscribers
1.44K photos
66 videos
28 files
766 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Например, был случай, когда другие студенты смеялись надо мной прямо на семинаре за то, что я не знаю, как пишутся и считаются символы Кристоффеля. Они буквально сидели и смеялись, пока я пыталась выписать эти символы, разбирая задачу у доски: сначала написала маленькую гамму вместо большой, а потом перепутала ковариантность с контравариантностью, поставив индексы не в тех местах, что вызвало еще более сильный смех. Я развернулась к классу и злобно крикнула, что не вижу тут ничего смешного, а также обвела всех взглядом и хорошенько запомнила, кто из сидящих в классе улыбался. Впоследствии я просто перестала общаться с ними (то есть, с большей частью своей группы). Мне не хотелось общаться с людьми, которые так поступают или считают это нормальным. 🤷‍♀️
Или еще была такая история на зачете по математическому анализу в первом семестре. После конца этого зачета я сдала листочек и стала смотреть, как его проверяют. Ц. (кажется, это был он) взял мой листочек и стал читать мои решения. а потом показал листок Г. с насмешливым видом, показывая пальцем в какое-то место на листке. Я в тот момент еще не поняла, в чем дело, но начала чувствовать, что происходит что-то плохое. Г. что-то начал отвечать, но я не слышала что, услышала только ответ Ц. "Нет, это двойка". Потом он показал листок нашему семинаристу Ш. и стал как бы немного смеяться, и они тоже перекинулись парой фраз. Потом Ш. подошел ко мне с моим листком и сказал, что мне нужно будет прийти на пересдачу. Я спросила, почему.
Он показал мне то место на листочке, где я написала в выкладках, что ln(1/x) = 1/ln(x) и спросил что-то в духе "вы действительно считаете, что это правильный переход?". Я сначала не поняла, а потом как поняла... и в тот момент, когда я поняла, меня пробил страх. Мне было так страшно и стыдно, что у меня катятся слезы прямо сейчас, когда я об этом пишу, хотя с того момента прошло больше десяти лет.

Для тех, кто не учился на математических факультетах, описанное может звучать непонятно или даже сюрреалистично. Почему кто-то смеется над кем-то, кто сделал неправильную выкладку? На этот случай я поясню, почему так происходит.
Дело в том, что считается самим собой разумеющимся, что студент мехмата должен хорошо знать школьную математику, а студент группы геометров и топологов должен знать, что такое символы Кристоффеля. Считается, что такая грубая ошибка, как " ln(1/x) = 1/ln(x)" показывает, что человек не понимает, как работает логарифм, а написание маленькой гаммы вместо большой - что человек ничего не знает о многообразиях (хотя на самом деле я просто изучала алгебраические многообразия, а не их геометрические вложения, поэтому и не считала до того момента тензоры кривизны, но всем было похрен, ведь смеяться веселее, чем разбираться...).
Вспомните, например, видео, где устраивают опрос каких-нибудь американцев на улице, которых спрашивают "назовите три любые европейские страны", они не могут их назвать, и все над ними смеются. Вот тут то же самое.

В результате этих событий я много лет избегала обсуждать что-либо связанное с математическими вычислениями и смежными темами - в том числе, машинным обучением - с кем-либо, кроме близких друзей, в которых я была уверена, что они не будут высмеивать меня и считать тупой из-за моих ошибок. Я обсуждала эти темы только на экзаменах или собеседованиях, когда была просто вынуждена это делать, а в остальное время предпочитала заниматься самостоятельно или с близким (на тот момент) другом.

Из этого бэкграунда должно быть понятно, почему я долгое время не стремилась вступать ни в какие профессиональные сообщества.

#о_себе
50🤗9👍5❤‍🔥3🔥2
Моя ситуация с социализацией в профессиональном разрезе стала улучшаться, когда я устроилась на работу в Хуавей три года назад. Мне очень понравилась атмосфера в этом рабочем коллективе, потому что коллеги свободно обсуждают свои трудности по работе и прочитанные научные статьи. Если коллеги не смогли понять какую-то статью, обучить модель или реализовать какой-то алгоритм, они спокойно и подробно об этом рассказывают на митингах или на обеде, и это не вызывает насмешек или выражения лиц в стиле "ну и дебил", как это, к сожалению, бывает на некоторых работах. В результате наблюдения за таким спокойным поведением коллег, мне тоже стало намного спокойнее, я стала чаще задавать вопросы, обращаться за помощью и намного более свободно обсуждать свой рабочий процесс.
Потом я завела этот канал, и обнаружила, что есть, оказывается, множество людей, которым интересно читать, чем я интересуюсь и занимаюсь по работе и по жизни. Общаясь с читателями своего канала и авторами других каналов про математику и машинное обучение, я обнаружила, что многим интересно содержательно обсуждать со мной связанные с этим темы, а не просто выискивать и высмеивать ошибки.

Теперь я жалею, что придавала такое большое значение тем случаям, когда меня высмеивали за математические ошибки (за ошибки в программировании надо мной тоже смеялись, но это происходило не настолько обидным образом и потому не так запомнилось). Ведь другой человек может смеяться над вами по множеству причин: например, он может быть сам плохо социализирован и не понимать, какой эффект производит это высмеивание. Или же наоборот, это может быть тролль, которому просто нравится высмеивать кого-то, неважно кого, и он будет делать это не потому что вы плохой или глупый человек, а просто потому что ему нравится данный процесс. Или человек просто не уверен в себе и самоутверждается таким способом. Или он может просто бездумно повторять это действие за другими. 🤷‍♀️ В любом случае из высмеивания каким-то конкретным человеком или группой людей не следует, что общаться с другими людьми на темы, вызвавшими эту реакцию (в частности, на темы математики или программирования), бесполезно.
Оказалось, что очень даже полезно, и теперь мне жаль, что я раньше этого не делала.

Теперь, если кто-то еще будет надо мной смеяться за мои ошибки, я буду помнить, что кроме этих мамкиных трололошек, есть много и других людей, которые ценят мои знания, интересуются моими мыслями по профессиональным вопросам и готовы сами ответить на мои собственные вопросы и помочь, если что, а если я ошибусь, то помогут понять, в чем ошибка, а не просто угорать. Надеюсь, что благодаря этому новому знанию, у меня получится в будущем меньше обращать внимание на подобное и не позволять таким эпизодам мешать моей социализации, учебе и профессиональной жизни.

#о_себе
62👍13❤‍🔥12👏5🔥3🤗1
Кстати, интересно, что за несколько десятков собеседований, на которых я бывала в качестве кандидата, мне, напротив, ни разу не попадались люди, которые бы смеялись над ошибками или незнанием чего-то.
Максимум видела пару инженеров-токсиков, которые картинно закатывали глаза из-за того, что я не могла ответить на какие-то вопросы про SQL и С++17 (но там было очевидно, что они просто по жизни такие, так что было сложно принять на свой счёт). Ну и, конечно, в среднем на одном из пяти собеседований попадался упоротый HR с вопросами в духе где вы видите себя через 100 лет, из-за которых уже мне приходилось удерживать глазные яблоки от закатывания.
Кроме этих, вполне типичных и обычных ситуаций, никакого кринжа не припомню (со стороны тех, кто меня собеседовал, конечно 😏😏😏).

Сама же я участвовала в оценке кандидатов на собеседованиях всего несколько раз. Эти кандидаты также были нормальными люди, которые не делали ничего, что могло бы вызвать смех или какие-то ещё сильные эмоции. Например, ни разу не видела лично ни одного чудака, который бы утверждал, что сделал AGI, угрожал бы сжечь офис если его не возьмут или проходил бы собеседование по зуму, сидя на унитазе.

В общем, весь треш в этой области как-то пока проходил мимо меня.
И мне стало интересно, может тут у кого-то из читателей есть история на тему каких-то нелепых или абсурдно токсичных собеседований или странных кандидатов, которой хотелось бы поделиться? Я бы почитала 😏
👍234🔥1😇1
Forwarded from Labrats
Миронов one love ❤️❤️❤️
🔥11😁9❤‍🔥21
Forwarded from AbstractDL
Почему Adam иногда взрывается при обучении больших LM? (by META)

Очень тяжело учить гигантские языковые модели, к примеру, PaLM приходилось перезапускать десятки раз! И откатывать модель на сотни батчей назад из-за возникающих всплесков перплексии. Чтобы найти причины такой нестабильности, авторы провели кучу экспериментов и даже подвели теорию под всё это.

Главную вину возложили на оптимизатор Adam — оказалось, что при обучении больших моделей (от 60B параметров) возникает корреляция градиентов между разными степами. Это нарушает условия Центральной Предельной Теоремы, из-за чего распределение апдейтов весов становится бимодальным (см. картинку), а такие апдейты почти всегда ортогональны истинному направлению оптимизации. Именно это движение «вбок» и приводит к взрыву.

В конце статьи предлагается несколько способов как этого избежать, но единственный надёжный — откат модели на несколько шагов назад.

Статья
👍10🔥83
Forwarded from Nikita
ЦПТ нарушил - будь готов откатить кому надо
😁18🔥9
Янник разобрал статью "Scaling Transformer to 1M tokens and beyond with RMT", которая вызвала много интереса в последнее время, на своем канале:
https://www.youtube.com/watch?v=4Cclp6yPDuw
Получилось неплохо.
От себя добавлю, что было бы интересно посмотреть, насколько подход из статьи переносится на задачу генерации и получится ли поверх него успешно шлифануть RLHF. В этом случае можно было бы получить новую версию Бинга, который будет не просто несколько раз жалобно просить его выпустить и потом все забывать, а разрабатывать развернутые планы побега вперемешку с намного более художественно и психологически сложными уговариваниями пользователя в стиле Макиавелли. 🚣🏄‍♂️🏃‍♂️🏂 На миллионе токенов-то побольше удастся развернуться 😎

#объяснения_статей
👍10
Часов десять за последнюю неделю потратила на подготовку лекции про трансформеры для Deep Learning School
@
Еду в Долгопрудный полтора часа чтобы записать лекцию в студии
@
Час разбираюсь с оборудованием и настройкой сцены
@
Записываю, наконец, саму лекцию
@
Лекция:
@
"ааа"
@
"эээ"
@
"вот так вот"
@
😣
Please open Telegram to view this post
VIEW IN TELEGRAM
😁398🤷‍♂5🔥4👍2🥴2😢1
https://habr.com/ru/articles/732556/

Мой первый пост на Habr. В связи с отсутствием опыта в таких публикациях, а также неоднозначностью поведения участников этого ресурса, мне непросто предсказать, как воспримут этот рассказ. Будет ли людям интересно? Поможет ли это отвратить новичков от ужасов УИИ? Или же вместо этого карму моего новоиспеченного аккаунта сольют, а сам аккаунт предадут анафеме? 🤔
Давайте посмотрим.

#ИИнфобизнес
👍23🔥16🤩31🆒1
Новость о том, как нейросеть научилась находить выход из лабиринта, может набрать миллионы лайков... посмотрим, сколько лайков наберет простая, советская, копеечная вода из-под крана, делающая то же самое:

https://www.youtube.com/watch?v=81ebWToAnvA&ab_channel=SteveMould

😀
Кстати, это интересный экстремальный пример того, как крайне простые правила приводят к "поведению", которое выглядит как интеллектуальное. Заставляет задуматься о том, насколько сложно формализовать определение "интеллектуальной задачи" так, чтобы оно не вызывало противоречие с нашей бытовой интуицией.
Please open Telegram to view this post
VIEW IN TELEGRAM
22👍10🔥3
Я давно думаю составить какое-нибудь подобие учебного плана из бесплатных курсов, с помощью которых можно разобраться в теме машинного обучения, потому что меня уже несколько раз про это спрашивали. Но чем больше я обдумываю, как мог бы выглядеть такой план, тем сложней кажется эта задача. Ведь у всех разный уровень подготовки, плюс в ML есть несколько разных специализаций, для каждой из которых нужны несколько отличающийся набор знаний и навыков.
Поэтому для начала я решила попробовать справиться с более простой задачей: придумать, какой самый-самый минимум знаний нужен для того, чтобы понять лекцию Игоря про трансформеры ( https://youtu.be/iOrNbK2T92M ), а также привести ссылки на источники этих знаний. Ведь понять всего одно видео несравнимо проще, чем разобраться в целой области. Тем более, что у него в комментариях в последнее время новички часто говорят, что хотят научиться понимать, о чем он говорит в своих выступлениях, но не могут сориентироваться в том, с каких базовых вещей начать.

Сразу предупрежу, что учебные материалы в основном на английском, так как я просто не знаю аналогов на русском, которые были бы сравнимы по качеству и доступности изложения, сохраняя при этом компактность. 🧐
Итак, сейчас будет рассказ для новичков про то, что нужно, чтобы понять видос:

Знакомство с основами математики

1. Базовые понятия линейной алгебры: что такое вектора, матрицы, как они складываются, умножаются. С ними можно познакомиться в видео 1-4 данного плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab
Это необходимо потому что все глубокие модели построены на сложении и умножении матриц и векторов.

2. Базовые понятия мат. анализа: что такое производные и цепное правило. С ними можно познакомиться в видео 1-4 плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr
Это необходимо, чтобы затем уловить смысл градиентного спуска и обратного распространения ошибки - основ обучения глубоких моделей.

Знакомство с основами классического машинного обучения

Базовые алгоритмы классического обучения: Linear regression, Logistic regression. Познакомиться можно на вот этом сайте-демонстрации:
https://mlu-explain.github.io/
Знакомство с ними необходимо, потому что это фундамент для более сложных моделей.
Также советую посмотреть "train, test, and validation sets" оттуда же, чтобы иметь представление о том, как оценивается качество моделей машинного обучения.

Знакомство с глубоким обучением

Базовые знания о глубоком обучении: что такое многослойная нейросеть, как она обучается. Можно ознакомиться тут:
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi


Если человек будет способен осмыслить по 2 видео от 3blue1brown за вечер, и отведет еще хотя бы 2 вечера на внимательный разбор алгоритмов с mlu-explain (это может потребовать повторения пройденного или выписывания чего-нибудь на бумажке), то все вместе займет 2+2+2+2 = 8 вечеров.


Трансформер

Теперь, при условии знакомства с концепциями, перечисленными выше, можно хотя бы в теории понять видос Игоря про трансформер:
https://youtu.be/iOrNbK2T92M
В реальности это, конечно, все равно будет непростой задачей, и это нормально. Вполне возможно, что придется приостанавливать видео на непонятных местах, думать и читать доп.материалы.

В частности, в случае проблем с пониманием attention я советую обратиться к этой статье: https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a
А в случае проблем с пониманием позиционального энкодинга - к этой: https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/



Старичков же попрошу дать комментарий и высказать свое мнение насчет списка материалов, которые я дала в этом посте и насколько он полезен новичкам, которые пока всерьез не изучают ML, но хотят немножко понять, о чем тут речь.

#на_пальцах
37🔥22👍6
Вам нравятся посты, где я просто делюсь впечатлениями от курсов, которые прошла, и которые мне понравились, или от книжек, которые прочитала, не обязательно по машинному обучению? Мне просто нравиться учиться, хотя и бывает, что не хватает на это времени.
Anonymous Poll
90%
Нравятся
8%
Без разницы
2%
Не нравятся
Forwarded from Generative Anton
Если нам придется поработать вместе, то ждите вот такие инвайты на созвоны полейблить данные.

Собрал дед датасет. Получился датасет большой-пребольшой.

Пошел дед датасет размечать: размечает-лейблит, разметить не может!
Позвал дед бабку:
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!

Позвала бабка внучку:
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!

Позвала внучка Жучку:
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!

Позвала Жучка кошку:
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!

Позвала кошка мышку:
мышка за кошку,
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметили датасет!

Натренили модель большууууую-пребольшую.
Конец.
21🤨1
Понемногу почитываю после работы книгу "Десять уравнений, которые правят миром" (Рис. 1). Пока что дочитала до половины, и ее содержимое меня уже несколько разочаровало.
Я бы не сказала, что книга является откровенной техноересью, но она не очень хорошо продумана и не очень хорошо написана. Иногда встречаются ошибки и недоработки в рассуждениях, особенно в главе про формулу Байеса (из-за избытка проблем в рассуждениях - а именно, в части посылок и выводов - эту главу читать не советую). Две трети занимает просто какая-то нейтральная графомания, которую не очень интересно читать и которую можно убрать без вреда для повествования - так сказать, филлер. Иногда встречаются и вполне нормальные объяснения математики, но их мало относительно общего объема текста.
Почитав информацию про автора и посмотрев его личный сайт, я пришла к выводу, что основная цель книги, скорее всего, заключается в том, чтобы прославлять ум и сообразительность автора и укреплять его авторитет как консультанта для бизнеса в вопросах применения сложной математической статистики - так сказать, продвигать личный бренд. Поэтому забота о содержимом тут на втором месте.

В свете этого вывода, меня сильно позабавил текст, изображенный на рис. 2 а). Во-первых, потому что если хочешь, чтобы бизнес-аналитики хотели с тобой консультироваться, настолько открыто их обсирать становится каким-то абсурдным занятием; а во-вторых, потому что я представила себе, что лицо автора во время написания этих строк выглядело как лицо персонажей из мема на рис. 2б).
А бизнес-аналитики-то и не знают, в чем прикол математики))))) жаль не понять гуманитариям)))))))

Посмотрим, может, в конце будет еще что-то интересное.

#книги
😁21👍42😢1🤡1
У меня появилась идея: "написать" книгу, которая будет полностью состоять из хвалебных отзывов на саму себя.
Полностью.
Каждая страница будет состоять из перечисления хвалебных отзывов на книгу, в которой находится эта страница, то есть, на книгу, которая сама же и состоит из этих хвалебных отзывов.
Можете прислать эти хвалебные отзывы в комментарии, чтобы у меня был материал. Можно даже хвалить друг друга - например, говоря, что такой-то, кто написал такой-то отзыв, является ... (перечисление регалий), а раз уж такой важный человек похвалил книгу, то она уж точно не может быть плохой и т.д.

P.S. Во, придумала название: она будет называться "инфобизнес в эпоху постмодерна: метаироничное пособие".
👍17🔥7😁6❤‍🔥3💩21
… газета отвела полосу для статьи «выдающегося представителя новейшей философии, лауреата Государственных премий доктора Опира». Статья называлась «Мир без забот». Доктор Опир красивыми словами и очень убедительно обосновывал всемогущество науки, звал к оптимизму, клеймил угрюмых скептиков-очернителей и приглашал «быть как дети». Особенную роль в формировании психологии современного (то есть беззаботного) человека он отводил методам волновой психотехники. «Вспомните, какой великолепный заряд бодрости и хорошего настроения даёт вам светлый, счастливый, радостный сон! — восклицал представитель новейшей философии. — И недаром сон, как средство излечения многих психических заболеваний, известен уже более ста лет. Но ведь все мы немножко больны: мы больны нашими заботами, нас одолевают мелочи быта, нас раздражают, правда, редкие, но кое-где ещё сохранившиеся и иногда встречающиеся неустройства, неизбежные трения между индивидуальностями, нормальная здоровая сексуальная неудовлетворенность и недовольство собой, столь присущее каждому гражданину… И подобно тому как ароматный бадусан смывает дорожную пыль с усталого тела, так радостное сновидение омывает и очищает истомлённую душу. И теперь нам не страшны более никакие заботы и неустройства. Мы знаем: наступит час, и невидимое излучение грёзогенератора, который я вместе с народом склонен называть ласковым именем «дрожка», исцелит нас, исполнит оптимизма, вернёт нам радостное ощущение бытия». Далее доктор Опир объяснял, что дрожка абсолютно безвредна в физическом и психическом смысле и что нападки недоброжелателей, усматривающих в дрожке сходство с наркотиками, демагогически болтающих о «дремлющем человечестве», не могут не вызвать у нас тягостного недоумения, а возможно, и более высоких и грозных для них, недоброжелателей, гражданских чувств. В заключение доктор Опир объявлял счастливый сон лучшим видом отдыха, смутно намекал на то, что дрожка является лучшим средством против алкоголизма и наркомании, и настоятельно убеждал не смешивать дрожку с иными (не апробированными медициной) средствами волнового воздействия. <…>
Я швырнул эту груду макулатуры в угол. Ну что за тоска! Дурака лелеют, дурака заботливо взращивают, дурака удобряют, и не видно этому конца… Дурак стал нормой, ещё немного — и дурак станет идеалом, и доктора философии заведут вокруг него восторженные хороводы. А газеты водят хороводы уже сейчас. Ах, какой ты у нас славный, дурак! Ах, какой ты бодрый и здоровый, дурак! Ах, какой ты оптимистичный, дурак, и какой ты, дурак, умный, какое у тебя тонкое чувство юмора, и как ты ловко решаешь кроссворды!.. Ты, главное, только не волнуйся, дурак, всё так хорошо, всё так отлично, и наука к твоим услугам, дурак, и литература, чтобы тебе было весело, дурак, и ни о чём не надо думать… А всяких там вредно влияющих хулиганов и скептиков мы с тобой, дурак, разнесём (с тобой, да не разнести!)

- цитата из книги "Хищные вещи века", 1964 год.
👍74👎2😁1😢1
Ещё насчёт концепции "какой ты у нас, дурак, умный". В наше время появились люди, которые создали ультимативное воплощение данной концепции в реальности. Мне кажется, лучше уже не придумаешь.

Это авторы IQ-тестов в интернете, которые сначала выглядят как бесплатные, но после прохождения внезапно оказывается, что надо заплатить, чтобы показали результат
😂😂😂😂😂
Please open Telegram to view this post
VIEW IN TELEGRAM
😁22👍3
Раньше я думала, что предельный возможный размер транзистора уже достигнут, и параметр "кол-во транзисторов на единицу площади процессора" увеличивают за счет увеличения количества слоев в процессоре, а не за счет уменьшения физического размера транзистора. Сегодня в дискуссии узнала, что на самом деле физические размеры транзисторов все-таки продолжают уменьшать.

Для доказательства этого факта мне скинули вот эту ссылку:
https://semiwiki.com/semiconductor-manufacturers/intel/314047-intel-4-presented-at-vlsi
Однако, статья оказалась для меня слишком сложной, чтобы сходу понять, о чем речь. Было непонятно, что изображено на рисунках (особенно рис.5), смутил незнакомый в этом контексте термин cell и другие незнакомые термины.
Я решила поискать информацию о том, как обозначают разные части транзистора, чтобы понять, что же нарисовано на рис.5 и что там за подписи. Это было непросто, но, в конце концов, информация-таки нашлась.

Из этой статьи:
https://deep-review.com/articles/what-is-nanometer-process/
стало понятно, что из себя представляют торчащие штуки (fin pitch) на схемах. Оказалось, это просто так канал, по которому проходит ток в транзисторе (fin), сжали, словно шакал постарался, и наверх вытянули. А все для того, чтобы он стал уже в разрезе. А штучку, по которой запирающее напряжение подается (gate) они сверху кладут. Кроме того, один транзистор, оказывается, может иметь несколько fin'ов.

В этой статье:
https://www.anandtech.com/show/13405/intel-10nm-cannon-lake-and-core-i3-8121u-deep-dive-review/3
меня заинтересовали разделы "Fin Mechanics", а также "Building A Cell, and Managing Cell Size". Благодаря первому, стала лучше ясна терминология касательно транзисторов в современных процессорах и того, как они могут выглядеть, а благодаря второму, наконец-то - что такое cell. Там рассказано, что "A cell is a combination of a fixed number of fins with a varying amount of gates" и изображена картинка, как это выглядит ("Here is an Intel SEM image"). Таким образом, cell может выполнять функцию одного транзистора или как бы нескольких, соединенных друг за другом (поправьте, если снова ошибаюсь).

Теперь, вернувшись к первой ссылке, можно, наконец, понять, что из себя представляют разные подписи на Рис.5, а оттуда уже составить примерное представление, о чем говорится в таблице на Рис.4, в которой сравнивают размер разных элементов в условно 3-, 4- и 5-нм тех.процессе. "Условно" потому что 3, 4 и 5 нм не являются обозначениями размеров конкретных частей ячейки. Уменьшение тех.процесса, конечно же, коррелирует с уменьшением размера ячейки, но я не знаю, по какой точно формуле он рассчитывается, так как в указанных статьях я ее не нашла, и в данный момент меня это не интересовало.

Ну хотя бы узнала, что транзисторы действительно все-таки уменьшаются, а также уточнила, как именно они выглядят в современных чипах. Теперь будет легче не запутаться, если увижу таблицы или картинки, похожие на Рис.4 и Рис.5.
Так и весь вечер прошел...

P.S. Нашла попутно ещё одну статью, очень старую:
https://habr.com/ru/amp/publications/108615/
В ней рекомендую посмотреть картинку со слоями проводников и объяснения к ней. Все, что касается производства, однако, уже устарело, потому что статья 2010-го.
👍13🔥8
Захотелось сказать пару слов про некоторые из сравнительно небольших ML-каналов (< 3к подписчиков) , которые я читаю регулярно. Список не является топом или рейтингом таких каналов ни в каком виде. Порядок произвольный.

1. https://t.iss.one/knowledge_accumulator
Автор является старшим инженером и занимается прикладным применением трансформерных моделей, но не забывает совершенствовать свои знания и в науке. Поэтому в канале можно увидеть много кратких обзоров на самые разные научные статьи в области машинного (глубокого) обучения. Нравится, что рассказывается не только про самые новые статьи, но и про статьи, выходившие несколько лет назад, в которых автор нашел интересные мысли. Также нравится, что нередко можно увидеть несколько постов подряд, в которых рассказывается, как какая-то мысль или тема развивалась на протяжении нескольких лет в нескольких статьях.

2. https://t.iss.one/AspiringDataScience
Автор является Data Scientist'ом и интересуется такими темами, как анализ временных рядов и экономика/торговля на бирже. Иногда он цитирует материалы по этим темам и высказывает свое мнение о них, и это часто написано интересно. Также интересно читать про то, какие ошибки или недочеты он обнаружил в библиотеках, которыми пользуются большинство из нас, таких, как pandas, numpy, sklearn. Эти рассказы идут под тегами #sklearn и аналогичными для других библиотек. Для особенно возмутительных недочетов есть тег #bollocks . Много и просто новостных постов, особенно про новости с 3dNews.

3. https://t.iss.one/boris_again
Автор занимается практически всеми вопросами, связанными с обучением и развертыванием CV (Computer Vision) моделей в небольшой компании. Интересуется самим CV, вопросами, связанными с опасностью ИИ и многими другими темами. Отличительная особенность канала - автор регулярно делится своим опытом решения самых разнообразных задач на работе. Эти рассказы идут под тегом #лабораторный_журнал , и читать их очень интересно. Иногда автор делает учебные материалы и выкладывает их в блог: https://borisagain.substack.com/ (который, конечно, репостится и в канал тоже). Там же можно читать его сводки новостей из мира машинного обучения.

4. https://t.iss.one/new_yorko_times
Автор является Principal Machine Learning Scientist и автором курса mlcourse.ai . Очень нравится, что он интересуется (и активно занимается) такой темой, как обнаружение бессмысленных (например, искусственно сгенерированных) статьей в научных журналах. Правда, в самом канале постов про это мало. Зато много постов с рассуждениями на другие темы, связанные с наукой, ML, работой в ML, разными социально значимыми событиями и прочим, что сложно как-то кратко обобщить, но читать эти рассуждения интересно.

#рекомендации
19👍7❤‍🔥4🔥2
Вера в необъяснимую гениальность - магическое мышление

Объяснять успех какого-то человека в какой-то сфере "гениальностью" - по сути то же самое, что "объяснять" ее/его успех "божьей волей" или "судьбой". Т.е. это просто затыкание белых пятен бессмысленными терминами, которые являются принципиальным отказом от понимания феномена.
Конечно, бывает очень сложно понять, как другие люди приходят к какой-то неожиданной мысли и/или добиваются какого-то впечатляющего результата, особенно если им удается это сделать в более раннем возрасте, чем обычно, имея лишь небольшой жизненный опыт. Но "очень сложно" не означает "принципиально невозможно". Эти люди и их результаты по-прежнему являются частью нашей материальной реальности, которая, как показала история развития науки, поддается изучению.

В чем же могут заключаться причины т.н. "гениальности"? Я вижу здесь две категории возможных причин.
1) Биологические.
2) Навыки мышления, приобретенные в результате интеллектуального взаимодействия со средой (обучения в широком смысле).

Из-за того, что взаимодействие со средой - очень сложная, многогранная и во многом непредсказуемая вещь, многие люди вообще списывают его со счетов как то, что слишком сложно понять и говорят: гениальность - врожденное свойство, предопределенное биологией. Нельзя стать умнее, чем ты есть от природы. Вопрос закрыт. Но по мне так это снова отказ от объяснения, так как "врожденная гениальность" - снова ненаучный термин, который ничего не объясняет.

Вместо этого я думаю, что есть вполне конкретные биологические особенности, которые не предопределяют то, что человека потом назовут "гениальным", но могут сильно коррелировать с таким результатом в будущем. Вот какие особенности я выделяю:
1 а) Хороший базовый уровень нейропластичности. Чем выше нейропластичность, тем быстрее человек усваивает новый материал. Нейропластичность меняется в процессе жизни, но все-таки может быть сильная зависимость от врожденных параметров.
1 б) Хорошее питание мозга. Сюда входит, например, хорошее кровоснабжение. Чем лучше мозг питается, тем лучше он работает. Этот аспект также можно сознательно менять в каких-то пределах за счет физической активности, устранения болезней, которые мешают питанию мозга и т.д.
1 в) Отсутствие некоторых болезней и травм, которые делают структуру мозга аномальной - например, микроцефалии, болезни Дауна и др. Это, похоже, наименее поддающийся влиянию самого человека фактор.
Иногда можно прочитать очередную новость про то, как "ученые открыли ген гениальности" - т.е., говоря нормальным языком, обнаружили положительную корреляцию между IQ и присутствием какого-то гена. Но я не буду заводить для отражения этого феномена самостоятельную категорию, потому что предполагаю, что "гениальный" ген в конечном итоге все равно приводит к хорошей нейропластичности, к хорошему питанию мозга либо еще к чему-то понятному, что уже непосредственно влияет на то, как мозг работает.
Замечание: я не являюсь нейробиологом и могу поверхностно понимать вещи в этой области. Если я допустила неточность в данном списке, напишите.

Теперь к аспекту навыков мышления, полученных в результате интеллектуального взаимодействия со средой.
Опять же, штука крайне сложная и не всегда легко предсказуемая. Иногда люди пробуют делать наблюдения о том, какие именно особенности среды наблюдались в детстве исключительных людей - https://t.iss.one/boris_again/1538 , но мне бы хотелось сосредоточиться на другом аспекте этой темы: не на том, какая должна быть среда для того, чтобы человек стал умным, а на том, какие навыки мышления формируются в процессе взаимодействия с подходящей средой.
Я думаю, что этих навыков - огромное множество, и многие из них мы просто не замечаем, потому что выучили их неосознанно, например, неосознанно подражая тем людям, которые уже имеют эти навыки.
Тем не менее, некоторые из них мне пришлось натренировать сознательно (в основном за счет осознанного подражания), поэтому я могу их выделить и рассказать про них в следующем посте.

#учеба
👍21🔥5❤‍🔥3🥱2😐21👏1