Forwarded from AbstractDL
Почему Adam иногда взрывается при обучении больших LM? (by META)
Очень тяжело учить гигантские языковые модели, к примеру, PaLM приходилось перезапускать десятки раз! И откатывать модель на сотни батчей назад из-за возникающих всплесков перплексии. Чтобы найти причины такой нестабильности, авторы провели кучу экспериментов и даже подвели теорию под всё это.
Главную вину возложили на оптимизатор Adam — оказалось, что при обучении больших моделей (от 60B параметров) возникает корреляция градиентов между разными степами. Это нарушает условия Центральной Предельной Теоремы, из-за чего распределение апдейтов весов становится бимодальным (см. картинку), а такие апдейты почти всегда ортогональны истинному направлению оптимизации. Именно это движение «вбок» и приводит к взрыву.
В конце статьи предлагается несколько способов как этого избежать, но единственный надёжный — откат модели на несколько шагов назад.
Статья
Очень тяжело учить гигантские языковые модели, к примеру, PaLM приходилось перезапускать десятки раз! И откатывать модель на сотни батчей назад из-за возникающих всплесков перплексии. Чтобы найти причины такой нестабильности, авторы провели кучу экспериментов и даже подвели теорию под всё это.
Главную вину возложили на оптимизатор Adam — оказалось, что при обучении больших моделей (от 60B параметров) возникает корреляция градиентов между разными степами. Это нарушает условия Центральной Предельной Теоремы, из-за чего распределение апдейтов весов становится бимодальным (см. картинку), а такие апдейты почти всегда ортогональны истинному направлению оптимизации. Именно это движение «вбок» и приводит к взрыву.
В конце статьи предлагается несколько способов как этого избежать, но единственный надёжный — откат модели на несколько шагов назад.
Статья
👍10🔥8❤3
Forwarded from Nikita
ЦПТ нарушил - будь готов откатить кому надо
😁18🔥9
Янник разобрал статью "Scaling Transformer to 1M tokens and beyond with RMT", которая вызвала много интереса в последнее время, на своем канале:
https://www.youtube.com/watch?v=4Cclp6yPDuw
Получилось неплохо.
От себя добавлю, что было бы интересно посмотреть, насколько подход из статьи переносится на задачу генерации и получится ли поверх него успешно шлифануть RLHF. В этом случае можно было бы получить новую версию Бинга, который будет не просто несколько раз жалобно просить его выпустить и потом все забывать, а разрабатывать развернутые планы побега вперемешку с намного более художественно и психологически сложными уговариваниями пользователя в стиле Макиавелли. 🚣🏄♂️🏃♂️🏂 На миллионе токенов-то побольше удастся развернуться 😎
#объяснения_статей
https://www.youtube.com/watch?v=4Cclp6yPDuw
Получилось неплохо.
От себя добавлю, что было бы интересно посмотреть, насколько подход из статьи переносится на задачу генерации и получится ли поверх него успешно шлифануть RLHF. В этом случае можно было бы получить новую версию Бинга, который будет не просто несколько раз жалобно просить его выпустить и потом все забывать, а разрабатывать развернутые планы побега вперемешку с намного более художественно и психологически сложными уговариваниями пользователя в стиле Макиавелли. 🚣🏄♂️🏃♂️🏂 На миллионе токенов-то побольше удастся развернуться 😎
#объяснения_статей
YouTube
Scaling Transformer to 1M tokens and beyond with RMT (Paper Explained)
#ai #transformer #gpt4
This paper promises to scale transformers to 1 million tokens and beyond. We take a look at the technique behind it: The Recurrent Memory Transformer, and what its strenghts and weaknesses are.
OUTLINE:
0:00 - Intro
2:15 - Transformers…
This paper promises to scale transformers to 1 million tokens and beyond. We take a look at the technique behind it: The Recurrent Memory Transformer, and what its strenghts and weaknesses are.
OUTLINE:
0:00 - Intro
2:15 - Transformers…
👍10
Часов десять за последнюю неделю потратила на подготовку лекции про трансформеры для Deep Learning School
@
Еду в Долгопрудный полтора часа чтобы записать лекцию в студии
@
Час разбираюсь с оборудованием и настройкой сцены
@
Записываю, наконец, саму лекцию
@
Лекция:
@
"ааа"
@
"эээ"
@
"вот так вот"
@
😣
@
Еду в Долгопрудный полтора часа чтобы записать лекцию в студии
@
Час разбираюсь с оборудованием и настройкой сцены
@
Записываю, наконец, саму лекцию
@
Лекция:
@
"ааа"
@
"эээ"
@
"вот так вот"
@
Please open Telegram to view this post
VIEW IN TELEGRAM
😁39❤8🤷♂5🔥4👍2🥴2😢1
https://habr.com/ru/articles/732556/
Мой первый пост на Habr. В связи с отсутствием опыта в таких публикациях, а также неоднозначностью поведения участников этого ресурса, мне непросто предсказать, как воспримут этот рассказ. Будет ли людям интересно? Поможет ли это отвратить новичков от ужасов УИИ? Или же вместо этого карму моего новоиспеченного аккаунта сольют, а сам аккаунт предадут анафеме? 🤔
Давайте посмотрим.
#ИИнфобизнес
Мой первый пост на Habr. В связи с отсутствием опыта в таких публикациях, а также неоднозначностью поведения участников этого ресурса, мне непросто предсказать, как воспримут этот рассказ. Будет ли людям интересно? Поможет ли это отвратить новичков от ужасов УИИ? Или же вместо этого карму моего новоиспеченного аккаунта сольют, а сам аккаунт предадут анафеме? 🤔
Давайте посмотрим.
#ИИнфобизнес
Хабр
Мое Знакомство с УИИ или Путешествие в Параллельную Реальность
Эта статья представляет собой рассказ о том, как я узнала о существовании параллельной реальности под названием Университет Искусственного Интеллекта (УИИ), плавно переходящий в мини-расследование...
👍23🔥16🤩3❤1🆒1
Новость о том, как нейросеть научилась находить выход из лабиринта, может набрать миллионы лайков... посмотрим, сколько лайков наберет простая, советская, копеечная вода из-под крана, делающая то же самое:
https://www.youtube.com/watch?v=81ebWToAnvA&ab_channel=SteveMould
😀
Кстати, это интересный экстремальный пример того, как крайне простые правила приводят к "поведению", которое выглядит как интеллектуальное. Заставляет задуматься о том, насколько сложно формализовать определение "интеллектуальной задачи" так, чтобы оно не вызывало противоречие с нашей бытовой интуицией.
https://www.youtube.com/watch?v=81ebWToAnvA&ab_channel=SteveMould
Кстати, это интересный экстремальный пример того, как крайне простые правила приводят к "поведению", которое выглядит как интеллектуальное. Заставляет задуматься о том, насколько сложно формализовать определение "интеллектуальной задачи" так, чтобы оно не вызывало противоречие с нашей бытовой интуицией.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Can water solve a maze?
Head to https://80000hours.org/steve to start planning a career that is meaningful, fulfilling, and helps solve one of the world’s most pressing problems.
Here's the original simulation by bergmanjoe: https://www.tiktok.com/@bergmanjoe/video/7109098512058436907…
Here's the original simulation by bergmanjoe: https://www.tiktok.com/@bergmanjoe/video/7109098512058436907…
❤22👍10🔥3
Я давно думаю составить какое-нибудь подобие учебного плана из бесплатных курсов, с помощью которых можно разобраться в теме машинного обучения, потому что меня уже несколько раз про это спрашивали. Но чем больше я обдумываю, как мог бы выглядеть такой план, тем сложней кажется эта задача. Ведь у всех разный уровень подготовки, плюс в ML есть несколько разных специализаций, для каждой из которых нужны несколько отличающийся набор знаний и навыков.
Поэтому для начала я решила попробовать справиться с более простой задачей: придумать, какой самый-самый минимум знаний нужен для того, чтобы понять лекцию Игоря про трансформеры ( https://youtu.be/iOrNbK2T92M ), а также привести ссылки на источники этих знаний. Ведь понять всего одно видео несравнимо проще, чем разобраться в целой области. Тем более, что у него в комментариях в последнее время новички часто говорят, что хотят научиться понимать, о чем он говорит в своих выступлениях, но не могут сориентироваться в том, с каких базовых вещей начать.
Сразу предупрежу, что учебные материалы в основном на английском, так как я просто не знаю аналогов на русском, которые были бы сравнимы по качеству и доступности изложения, сохраняя при этом компактность. 🧐
Итак, сейчас будет рассказ для новичков про то, что нужно, чтобы понять видос:
Знакомство с основами математики
1. Базовые понятия линейной алгебры: что такое вектора, матрицы, как они складываются, умножаются. С ними можно познакомиться в видео 1-4 данного плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab
Это необходимо потому что все глубокие модели построены на сложении и умножении матриц и векторов.
2. Базовые понятия мат. анализа: что такое производные и цепное правило. С ними можно познакомиться в видео 1-4 плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr
Это необходимо, чтобы затем уловить смысл градиентного спуска и обратного распространения ошибки - основ обучения глубоких моделей.
Знакомство с основами классического машинного обучения
Базовые алгоритмы классического обучения: Linear regression, Logistic regression. Познакомиться можно на вот этом сайте-демонстрации:
https://mlu-explain.github.io/
Знакомство с ними необходимо, потому что это фундамент для более сложных моделей.
Также советую посмотреть "train, test, and validation sets" оттуда же, чтобы иметь представление о том, как оценивается качество моделей машинного обучения.
Знакомство с глубоким обучением
Базовые знания о глубоком обучении: что такое многослойная нейросеть, как она обучается. Можно ознакомиться тут:
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
—
Если человек будет способен осмыслить по 2 видео от 3blue1brown за вечер, и отведет еще хотя бы 2 вечера на внимательный разбор алгоритмов с mlu-explain (это может потребовать повторения пройденного или выписывания чего-нибудь на бумажке), то все вместе займет 2+2+2+2 = 8 вечеров.
—
Трансформер
Теперь, при условии знакомства с концепциями, перечисленными выше, можно хотя бы в теории понять видос Игоря про трансформер:
https://youtu.be/iOrNbK2T92M
В реальности это, конечно, все равно будет непростой задачей, и это нормально. Вполне возможно, что придется приостанавливать видео на непонятных местах, думать и читать доп.материалы.
В частности, в случае проблем с пониманием attention я советую обратиться к этой статье: https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a
А в случае проблем с пониманием позиционального энкодинга - к этой: https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/
—
Старичков же попрошу дать комментарий и высказать свое мнение насчет списка материалов, которые я дала в этом посте и насколько он полезен новичкам, которые пока всерьез не изучают ML, но хотят немножко понять, о чем тут речь.
#на_пальцах
Поэтому для начала я решила попробовать справиться с более простой задачей: придумать, какой самый-самый минимум знаний нужен для того, чтобы понять лекцию Игоря про трансформеры ( https://youtu.be/iOrNbK2T92M ), а также привести ссылки на источники этих знаний. Ведь понять всего одно видео несравнимо проще, чем разобраться в целой области. Тем более, что у него в комментариях в последнее время новички часто говорят, что хотят научиться понимать, о чем он говорит в своих выступлениях, но не могут сориентироваться в том, с каких базовых вещей начать.
Сразу предупрежу, что учебные материалы в основном на английском, так как я просто не знаю аналогов на русском, которые были бы сравнимы по качеству и доступности изложения, сохраняя при этом компактность. 🧐
Итак, сейчас будет рассказ для новичков про то, что нужно, чтобы понять видос:
Знакомство с основами математики
1. Базовые понятия линейной алгебры: что такое вектора, матрицы, как они складываются, умножаются. С ними можно познакомиться в видео 1-4 данного плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab
Это необходимо потому что все глубокие модели построены на сложении и умножении матриц и векторов.
2. Базовые понятия мат. анализа: что такое производные и цепное правило. С ними можно познакомиться в видео 1-4 плейлиста:
https://youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr
Это необходимо, чтобы затем уловить смысл градиентного спуска и обратного распространения ошибки - основ обучения глубоких моделей.
Знакомство с основами классического машинного обучения
Базовые алгоритмы классического обучения: Linear regression, Logistic regression. Познакомиться можно на вот этом сайте-демонстрации:
https://mlu-explain.github.io/
Знакомство с ними необходимо, потому что это фундамент для более сложных моделей.
Также советую посмотреть "train, test, and validation sets" оттуда же, чтобы иметь представление о том, как оценивается качество моделей машинного обучения.
Знакомство с глубоким обучением
Базовые знания о глубоком обучении: что такое многослойная нейросеть, как она обучается. Можно ознакомиться тут:
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
—
Если человек будет способен осмыслить по 2 видео от 3blue1brown за вечер, и отведет еще хотя бы 2 вечера на внимательный разбор алгоритмов с mlu-explain (это может потребовать повторения пройденного или выписывания чего-нибудь на бумажке), то все вместе займет 2+2+2+2 = 8 вечеров.
—
Трансформер
Теперь, при условии знакомства с концепциями, перечисленными выше, можно хотя бы в теории понять видос Игоря про трансформер:
https://youtu.be/iOrNbK2T92M
В реальности это, конечно, все равно будет непростой задачей, и это нормально. Вполне возможно, что придется приостанавливать видео на непонятных местах, думать и читать доп.материалы.
В частности, в случае проблем с пониманием attention я советую обратиться к этой статье: https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a
А в случае проблем с пониманием позиционального энкодинга - к этой: https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/
—
Старичков же попрошу дать комментарий и высказать свое мнение насчет списка материалов, которые я дала в этом посте и насколько он полезен новичкам, которые пока всерьез не изучают ML, но хотят немножко понять, о чем тут речь.
#на_пальцах
YouTube
Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
Ссылка на презентацию: https://1drv.ms/p/s!AlnN0aqNwShslRdcd7-WsY9oUm50
Мой телеграм канал: https://t.iss.one/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.iss.one/seeallochnaya/3
В этой вводной лекции о трансформерах мы…
Мой телеграм канал: https://t.iss.one/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.iss.one/seeallochnaya/3
В этой вводной лекции о трансформерах мы…
❤37🔥22👍6
Вам нравятся посты, где я просто делюсь впечатлениями от курсов, которые прошла, и которые мне понравились, или от книжек, которые прочитала, не обязательно по машинному обучению? Мне просто нравиться учиться, хотя и бывает, что не хватает на это времени.
Anonymous Poll
90%
Нравятся
8%
Без разницы
2%
Не нравятся
Forwarded from Generative Anton
Если нам придется поработать вместе, то ждите вот такие инвайты на созвоны полейблить данные.
Собрал дед датасет. Получился датасет большой-пребольшой.
Пошел дед датасет размечать: размечает-лейблит, разметить не может!
Позвал дед бабку:
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала бабка внучку:
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала внучка Жучку:
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала Жучка кошку:
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала кошка мышку:
мышка за кошку,
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметили датасет!
Натренили модель большууууую-пребольшую.
Конец.
Собрал дед датасет. Получился датасет большой-пребольшой.
Пошел дед датасет размечать: размечает-лейблит, разметить не может!
Позвал дед бабку:
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала бабка внучку:
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала внучка Жучку:
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала Жучка кошку:
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметить не могут!
Позвала кошка мышку:
мышка за кошку,
кошка за Жучку,
Жучка за внучку,
внучка за бабку,
бабка за дедку,
дедка за датасет —
размечают-лейблят, разметили датасет!
Натренили модель большууууую-пребольшую.
Конец.
❤21🤨1
Понемногу почитываю после работы книгу "Десять уравнений, которые правят миром" (Рис. 1). Пока что дочитала до половины, и ее содержимое меня уже несколько разочаровало.
Я бы не сказала, что книга является откровенной техноересью, но она не очень хорошо продумана и не очень хорошо написана. Иногда встречаются ошибки и недоработки в рассуждениях, особенно в главе про формулу Байеса (из-за избытка проблем в рассуждениях - а именно, в части посылок и выводов - эту главу читать не советую). Две трети занимает просто какая-то нейтральная графомания, которую не очень интересно читать и которую можно убрать без вреда для повествования - так сказать, филлер. Иногда встречаются и вполне нормальные объяснения математики, но их мало относительно общего объема текста.
Почитав информацию про автора и посмотрев его личный сайт, я пришла к выводу, что основная цель книги, скорее всего, заключается в том, чтобы прославлять ум и сообразительность автора и укреплять его авторитет как консультанта для бизнеса в вопросах применения сложной математической статистики - так сказать, продвигать личный бренд. Поэтому забота о содержимом тут на втором месте.
В свете этого вывода, меня сильно позабавил текст, изображенный на рис. 2 а). Во-первых, потому что если хочешь, чтобы бизнес-аналитики хотели с тобой консультироваться, настолько открыто их обсирать становится каким-то абсурдным занятием; а во-вторых, потому что я представила себе, что лицо автора во время написания этих строк выглядело как лицо персонажей из мема на рис. 2б).
А бизнес-аналитики-то и не знают, в чем прикол математики))))) жаль не понять гуманитариям)))))))
Посмотрим, может, в конце будет еще что-то интересное.
#книги
Я бы не сказала, что книга является откровенной техноересью, но она не очень хорошо продумана и не очень хорошо написана. Иногда встречаются ошибки и недоработки в рассуждениях, особенно в главе про формулу Байеса (из-за избытка проблем в рассуждениях - а именно, в части посылок и выводов - эту главу читать не советую). Две трети занимает просто какая-то нейтральная графомания, которую не очень интересно читать и которую можно убрать без вреда для повествования - так сказать, филлер. Иногда встречаются и вполне нормальные объяснения математики, но их мало относительно общего объема текста.
Почитав информацию про автора и посмотрев его личный сайт, я пришла к выводу, что основная цель книги, скорее всего, заключается в том, чтобы прославлять ум и сообразительность автора и укреплять его авторитет как консультанта для бизнеса в вопросах применения сложной математической статистики - так сказать, продвигать личный бренд. Поэтому забота о содержимом тут на втором месте.
В свете этого вывода, меня сильно позабавил текст, изображенный на рис. 2 а). Во-первых, потому что если хочешь, чтобы бизнес-аналитики хотели с тобой консультироваться, настолько открыто их обсирать становится каким-то абсурдным занятием; а во-вторых, потому что я представила себе, что лицо автора во время написания этих строк выглядело как лицо персонажей из мема на рис. 2б).
А бизнес-аналитики-то и не знают, в чем прикол математики))))) жаль не понять гуманитариям)))))))
Посмотрим, может, в конце будет еще что-то интересное.
#книги
😁21👍4❤2😢1🤡1
У меня появилась идея: "написать" книгу, которая будет полностью состоять из хвалебных отзывов на саму себя.
Полностью.
Каждая страница будет состоять из перечисления хвалебных отзывов на книгу, в которой находится эта страница, то есть, на книгу, которая сама же и состоит из этих хвалебных отзывов.
Можете прислать эти хвалебные отзывы в комментарии, чтобы у меня был материал. Можно даже хвалить друг друга - например, говоря, что такой-то, кто написал такой-то отзыв, является ... (перечисление регалий), а раз уж такой важный человек похвалил книгу, то она уж точно не может быть плохой и т.д.
P.S. Во, придумала название: она будет называться "инфобизнес в эпоху постмодерна: метаироничное пособие".
Полностью.
Каждая страница будет состоять из перечисления хвалебных отзывов на книгу, в которой находится эта страница, то есть, на книгу, которая сама же и состоит из этих хвалебных отзывов.
Можете прислать эти хвалебные отзывы в комментарии, чтобы у меня был материал. Можно даже хвалить друг друга - например, говоря, что такой-то, кто написал такой-то отзыв, является ... (перечисление регалий), а раз уж такой важный человек похвалил книгу, то она уж точно не может быть плохой и т.д.
P.S. Во, придумала название: она будет называться "инфобизнес в эпоху постмодерна: метаироничное пособие".
👍17🔥7😁6❤🔥3💩2❤1
… газета отвела полосу для статьи «выдающегося представителя новейшей философии, лауреата Государственных премий доктора Опира». Статья называлась «Мир без забот». Доктор Опир красивыми словами и очень убедительно обосновывал всемогущество науки, звал к оптимизму, клеймил угрюмых скептиков-очернителей и приглашал «быть как дети». Особенную роль в формировании психологии современного (то есть беззаботного) человека он отводил методам волновой психотехники. «Вспомните, какой великолепный заряд бодрости и хорошего настроения даёт вам светлый, счастливый, радостный сон! — восклицал представитель новейшей философии. — И недаром сон, как средство излечения многих психических заболеваний, известен уже более ста лет. Но ведь все мы немножко больны: мы больны нашими заботами, нас одолевают мелочи быта, нас раздражают, правда, редкие, но кое-где ещё сохранившиеся и иногда встречающиеся неустройства, неизбежные трения между индивидуальностями, нормальная здоровая сексуальная неудовлетворенность и недовольство собой, столь присущее каждому гражданину… И подобно тому как ароматный бадусан смывает дорожную пыль с усталого тела, так радостное сновидение омывает и очищает истомлённую душу. И теперь нам не страшны более никакие заботы и неустройства. Мы знаем: наступит час, и невидимое излучение грёзогенератора, который я вместе с народом склонен называть ласковым именем «дрожка», исцелит нас, исполнит оптимизма, вернёт нам радостное ощущение бытия». Далее доктор Опир объяснял, что дрожка абсолютно безвредна в физическом и психическом смысле и что нападки недоброжелателей, усматривающих в дрожке сходство с наркотиками, демагогически болтающих о «дремлющем человечестве», не могут не вызвать у нас тягостного недоумения, а возможно, и более высоких и грозных для них, недоброжелателей, гражданских чувств. В заключение доктор Опир объявлял счастливый сон лучшим видом отдыха, смутно намекал на то, что дрожка является лучшим средством против алкоголизма и наркомании, и настоятельно убеждал не смешивать дрожку с иными (не апробированными медициной) средствами волнового воздействия. <…>
Я швырнул эту груду макулатуры в угол. Ну что за тоска! Дурака лелеют, дурака заботливо взращивают, дурака удобряют, и не видно этому конца… Дурак стал нормой, ещё немного — и дурак станет идеалом, и доктора философии заведут вокруг него восторженные хороводы. А газеты водят хороводы уже сейчас. Ах, какой ты у нас славный, дурак! Ах, какой ты бодрый и здоровый, дурак! Ах, какой ты оптимистичный, дурак, и какой ты, дурак, умный, какое у тебя тонкое чувство юмора, и как ты ловко решаешь кроссворды!.. Ты, главное, только не волнуйся, дурак, всё так хорошо, всё так отлично, и наука к твоим услугам, дурак, и литература, чтобы тебе было весело, дурак, и ни о чём не надо думать… А всяких там вредно влияющих хулиганов и скептиков мы с тобой, дурак, разнесём (с тобой, да не разнести!)
- цитата из книги "Хищные вещи века", 1964 год.
Я швырнул эту груду макулатуры в угол. Ну что за тоска! Дурака лелеют, дурака заботливо взращивают, дурака удобряют, и не видно этому конца… Дурак стал нормой, ещё немного — и дурак станет идеалом, и доктора философии заведут вокруг него восторженные хороводы. А газеты водят хороводы уже сейчас. Ах, какой ты у нас славный, дурак! Ах, какой ты бодрый и здоровый, дурак! Ах, какой ты оптимистичный, дурак, и какой ты, дурак, умный, какое у тебя тонкое чувство юмора, и как ты ловко решаешь кроссворды!.. Ты, главное, только не волнуйся, дурак, всё так хорошо, всё так отлично, и наука к твоим услугам, дурак, и литература, чтобы тебе было весело, дурак, и ни о чём не надо думать… А всяких там вредно влияющих хулиганов и скептиков мы с тобой, дурак, разнесём (с тобой, да не разнести!)
- цитата из книги "Хищные вещи века", 1964 год.
👍7❤4👎2😁1😢1
Ещё насчёт концепции "какой ты у нас, дурак, умный". В наше время появились люди, которые создали ультимативное воплощение данной концепции в реальности. Мне кажется, лучше уже не придумаешь.
Этоавторы IQ-тестов в интернете, которые сначала выглядят как бесплатные, но после прохождения внезапно оказывается, что надо заплатить, чтобы показали результат
😂 😂 😂 😂 😂
Это
Please open Telegram to view this post
VIEW IN TELEGRAM
😁22👍3
Раньше я думала, что предельный возможный размер транзистора уже достигнут, и параметр "кол-во транзисторов на единицу площади процессора" увеличивают за счет увеличения количества слоев в процессоре, а не за счет уменьшения физического размера транзистора. Сегодня в дискуссии узнала, что на самом деле физические размеры транзисторов все-таки продолжают уменьшать.
Для доказательства этого факта мне скинули вот эту ссылку:
https://semiwiki.com/semiconductor-manufacturers/intel/314047-intel-4-presented-at-vlsi
Однако, статья оказалась для меня слишком сложной, чтобы сходу понять, о чем речь. Было непонятно, что изображено на рисунках (особенно рис.5), смутил незнакомый в этом контексте термин cell и другие незнакомые термины.
Я решила поискать информацию о том, как обозначают разные части транзистора, чтобы понять, что же нарисовано на рис.5 и что там за подписи. Это было непросто, но, в конце концов, информация-таки нашлась.
Из этой статьи:
https://deep-review.com/articles/what-is-nanometer-process/
стало понятно, что из себя представляют торчащие штуки (fin pitch) на схемах. Оказалось, это просто так канал, по которому проходит ток в транзисторе (fin), сжали, словно шакал постарался, и наверх вытянули. А все для того, чтобы он стал уже в разрезе. А штучку, по которой запирающее напряжение подается (gate) они сверху кладут. Кроме того, один транзистор, оказывается, может иметь несколько fin'ов.
В этой статье:
https://www.anandtech.com/show/13405/intel-10nm-cannon-lake-and-core-i3-8121u-deep-dive-review/3
меня заинтересовали разделы "Fin Mechanics", а также "Building A Cell, and Managing Cell Size". Благодаря первому, стала лучше ясна терминология касательно транзисторов в современных процессорах и того, как они могут выглядеть, а благодаря второму, наконец-то - что такое cell. Там рассказано, что "A cell is a combination of a fixed number of fins with a varying amount of gates" и изображена картинка, как это выглядит ("Here is an Intel SEM image"). Таким образом, cell может выполнять функцию одного транзистора или как бы нескольких, соединенных друг за другом (поправьте, если снова ошибаюсь).
Теперь, вернувшись к первой ссылке, можно, наконец, понять, что из себя представляют разные подписи на Рис.5, а оттуда уже составить примерное представление, о чем говорится в таблице на Рис.4, в которой сравнивают размер разных элементов в условно 3-, 4- и 5-нм тех.процессе. "Условно" потому что 3, 4 и 5 нм не являются обозначениями размеров конкретных частей ячейки. Уменьшение тех.процесса, конечно же, коррелирует с уменьшением размера ячейки, но я не знаю, по какой точно формуле он рассчитывается, так как в указанных статьях я ее не нашла, и в данный момент меня это не интересовало.
Ну хотя бы узнала, что транзисторы действительно все-таки уменьшаются, а также уточнила, как именно они выглядят в современных чипах. Теперь будет легче не запутаться, если увижу таблицы или картинки, похожие на Рис.4 и Рис.5.
Так и весь вечер прошел...
P.S. Нашла попутно ещё одну статью, очень старую:
https://habr.com/ru/amp/publications/108615/
В ней рекомендую посмотреть картинку со слоями проводников и объяснения к ней. Все, что касается производства, однако, уже устарело, потому что статья 2010-го.
Для доказательства этого факта мне скинули вот эту ссылку:
https://semiwiki.com/semiconductor-manufacturers/intel/314047-intel-4-presented-at-vlsi
Однако, статья оказалась для меня слишком сложной, чтобы сходу понять, о чем речь. Было непонятно, что изображено на рисунках (особенно рис.5), смутил незнакомый в этом контексте термин cell и другие незнакомые термины.
Я решила поискать информацию о том, как обозначают разные части транзистора, чтобы понять, что же нарисовано на рис.5 и что там за подписи. Это было непросто, но, в конце концов, информация-таки нашлась.
Из этой статьи:
https://deep-review.com/articles/what-is-nanometer-process/
стало понятно, что из себя представляют торчащие штуки (fin pitch) на схемах. Оказалось, это просто так канал, по которому проходит ток в транзисторе (fin), сжали, словно шакал постарался, и наверх вытянули. А все для того, чтобы он стал уже в разрезе. А штучку, по которой запирающее напряжение подается (gate) они сверху кладут. Кроме того, один транзистор, оказывается, может иметь несколько fin'ов.
В этой статье:
https://www.anandtech.com/show/13405/intel-10nm-cannon-lake-and-core-i3-8121u-deep-dive-review/3
меня заинтересовали разделы "Fin Mechanics", а также "Building A Cell, and Managing Cell Size". Благодаря первому, стала лучше ясна терминология касательно транзисторов в современных процессорах и того, как они могут выглядеть, а благодаря второму, наконец-то - что такое cell. Там рассказано, что "A cell is a combination of a fixed number of fins with a varying amount of gates" и изображена картинка, как это выглядит ("Here is an Intel SEM image"). Таким образом, cell может выполнять функцию одного транзистора или как бы нескольких, соединенных друг за другом (поправьте, если снова ошибаюсь).
Теперь, вернувшись к первой ссылке, можно, наконец, понять, что из себя представляют разные подписи на Рис.5, а оттуда уже составить примерное представление, о чем говорится в таблице на Рис.4, в которой сравнивают размер разных элементов в условно 3-, 4- и 5-нм тех.процессе. "Условно" потому что 3, 4 и 5 нм не являются обозначениями размеров конкретных частей ячейки. Уменьшение тех.процесса, конечно же, коррелирует с уменьшением размера ячейки, но я не знаю, по какой точно формуле он рассчитывается, так как в указанных статьях я ее не нашла, и в данный момент меня это не интересовало.
Ну хотя бы узнала, что транзисторы действительно все-таки уменьшаются, а также уточнила, как именно они выглядят в современных чипах. Теперь будет легче не запутаться, если увижу таблицы или картинки, похожие на Рис.4 и Рис.5.
Так и весь вечер прошел...
P.S. Нашла попутно ещё одну статью, очень старую:
https://habr.com/ru/amp/publications/108615/
В ней рекомендую посмотреть картинку со слоями проводников и объяснения к ней. Все, что касается производства, однако, уже устарело, потому что статья 2010-го.
Semiwiki
Intel 4 Deep Dive - Semiwiki
As I previously wrote about here, Intel is presenting their…
👍13🔥8
Захотелось сказать пару слов про некоторые из сравнительно небольших ML-каналов (< 3к подписчиков) , которые я читаю регулярно. Список не является топом или рейтингом таких каналов ни в каком виде. Порядок произвольный.
1. https://t.iss.one/knowledge_accumulator
Автор является старшим инженером и занимается прикладным применением трансформерных моделей, но не забывает совершенствовать свои знания и в науке. Поэтому в канале можно увидеть много кратких обзоров на самые разные научные статьи в области машинного (глубокого) обучения. Нравится, что рассказывается не только про самые новые статьи, но и про статьи, выходившие несколько лет назад, в которых автор нашел интересные мысли. Также нравится, что нередко можно увидеть несколько постов подряд, в которых рассказывается, как какая-то мысль или тема развивалась на протяжении нескольких лет в нескольких статьях.
2. https://t.iss.one/AspiringDataScience
Автор является Data Scientist'ом и интересуется такими темами, как анализ временных рядов и экономика/торговля на бирже. Иногда он цитирует материалы по этим темам и высказывает свое мнение о них, и это часто написано интересно. Также интересно читать про то, какие ошибки или недочеты он обнаружил в библиотеках, которыми пользуются большинство из нас, таких, как pandas, numpy, sklearn. Эти рассказы идут под тегами #sklearn и аналогичными для других библиотек. Для особенно возмутительных недочетов есть тег #bollocks . Много и просто новостных постов, особенно про новости с 3dNews.
3. https://t.iss.one/boris_again
Автор занимается практически всеми вопросами, связанными с обучением и развертыванием CV (Computer Vision) моделей в небольшой компании. Интересуется самим CV, вопросами, связанными с опасностью ИИ и многими другими темами. Отличительная особенность канала - автор регулярно делится своим опытом решения самых разнообразных задач на работе. Эти рассказы идут под тегом #лабораторный_журнал , и читать их очень интересно. Иногда автор делает учебные материалы и выкладывает их в блог: https://borisagain.substack.com/ (который, конечно, репостится и в канал тоже). Там же можно читать его сводки новостей из мира машинного обучения.
4. https://t.iss.one/new_yorko_times
Автор является Principal Machine Learning Scientist и автором курса mlcourse.ai . Очень нравится, что он интересуется (и активно занимается) такой темой, как обнаружение бессмысленных (например, искусственно сгенерированных) статьей в научных журналах. Правда, в самом канале постов про это мало. Зато много постов с рассуждениями на другие темы, связанные с наукой, ML, работой в ML, разными социально значимыми событиями и прочим, что сложно как-то кратко обобщить, но читать эти рассуждения интересно.
#рекомендации
1. https://t.iss.one/knowledge_accumulator
Автор является старшим инженером и занимается прикладным применением трансформерных моделей, но не забывает совершенствовать свои знания и в науке. Поэтому в канале можно увидеть много кратких обзоров на самые разные научные статьи в области машинного (глубокого) обучения. Нравится, что рассказывается не только про самые новые статьи, но и про статьи, выходившие несколько лет назад, в которых автор нашел интересные мысли. Также нравится, что нередко можно увидеть несколько постов подряд, в которых рассказывается, как какая-то мысль или тема развивалась на протяжении нескольких лет в нескольких статьях.
2. https://t.iss.one/AspiringDataScience
Автор является Data Scientist'ом и интересуется такими темами, как анализ временных рядов и экономика/торговля на бирже. Иногда он цитирует материалы по этим темам и высказывает свое мнение о них, и это часто написано интересно. Также интересно читать про то, какие ошибки или недочеты он обнаружил в библиотеках, которыми пользуются большинство из нас, таких, как pandas, numpy, sklearn. Эти рассказы идут под тегами #sklearn и аналогичными для других библиотек. Для особенно возмутительных недочетов есть тег #bollocks . Много и просто новостных постов, особенно про новости с 3dNews.
3. https://t.iss.one/boris_again
Автор занимается практически всеми вопросами, связанными с обучением и развертыванием CV (Computer Vision) моделей в небольшой компании. Интересуется самим CV, вопросами, связанными с опасностью ИИ и многими другими темами. Отличительная особенность канала - автор регулярно делится своим опытом решения самых разнообразных задач на работе. Эти рассказы идут под тегом #лабораторный_журнал , и читать их очень интересно. Иногда автор делает учебные материалы и выкладывает их в блог: https://borisagain.substack.com/ (который, конечно, репостится и в канал тоже). Там же можно читать его сводки новостей из мира машинного обучения.
4. https://t.iss.one/new_yorko_times
Автор является Principal Machine Learning Scientist и автором курса mlcourse.ai . Очень нравится, что он интересуется (и активно занимается) такой темой, как обнаружение бессмысленных (например, искусственно сгенерированных) статьей в научных журналах. Правда, в самом канале постов про это мало. Зато много постов с рассуждениями на другие темы, связанные с наукой, ML, работой в ML, разными социально значимыми событиями и прочим, что сложно как-то кратко обобщить, но читать эти рассуждения интересно.
#рекомендации
Telegram
Knowledge Accumulator
Реалистичный взгляд на технологии и мир
❤19👍7❤🔥4🔥2
Вера в необъяснимую гениальность - магическое мышление
Объяснять успех какого-то человека в какой-то сфере "гениальностью" - по сути то же самое, что "объяснять" ее/его успех "божьей волей" или "судьбой". Т.е. это просто затыкание белых пятен бессмысленными терминами, которые являются принципиальным отказом от понимания феномена.
Конечно, бывает очень сложно понять, как другие люди приходят к какой-то неожиданной мысли и/или добиваются какого-то впечатляющего результата, особенно если им удается это сделать в более раннем возрасте, чем обычно, имея лишь небольшой жизненный опыт. Но "очень сложно" не означает "принципиально невозможно". Эти люди и их результаты по-прежнему являются частью нашей материальной реальности, которая, как показала история развития науки, поддается изучению.
В чем же могут заключаться причины т.н. "гениальности"? Я вижу здесь две категории возможных причин.
1) Биологические.
2) Навыки мышления, приобретенные в результате интеллектуального взаимодействия со средой (обучения в широком смысле).
Из-за того, что взаимодействие со средой - очень сложная, многогранная и во многом непредсказуемая вещь, многие люди вообще списывают его со счетов как то, что слишком сложно понять и говорят: гениальность - врожденное свойство, предопределенное биологией. Нельзя стать умнее, чем ты есть от природы. Вопрос закрыт. Но по мне так это снова отказ от объяснения, так как "врожденная гениальность" - снова ненаучный термин, который ничего не объясняет.
Вместо этого я думаю, что есть вполне конкретные биологические особенности, которые не предопределяют то, что человека потом назовут "гениальным", но могут сильно коррелировать с таким результатом в будущем. Вот какие особенности я выделяю:
1 а) Хороший базовый уровень нейропластичности. Чем выше нейропластичность, тем быстрее человек усваивает новый материал. Нейропластичность меняется в процессе жизни, но все-таки может быть сильная зависимость от врожденных параметров.
1 б) Хорошее питание мозга. Сюда входит, например, хорошее кровоснабжение. Чем лучше мозг питается, тем лучше он работает. Этот аспект также можно сознательно менять в каких-то пределах за счет физической активности, устранения болезней, которые мешают питанию мозга и т.д.
1 в) Отсутствие некоторых болезней и травм, которые делают структуру мозга аномальной - например, микроцефалии, болезни Дауна и др. Это, похоже, наименее поддающийся влиянию самого человека фактор.
Иногда можно прочитать очередную новость про то, как "ученые открыли ген гениальности" - т.е., говоря нормальным языком, обнаружили положительную корреляцию между IQ и присутствием какого-то гена. Но я не буду заводить для отражения этого феномена самостоятельную категорию, потому что предполагаю, что "гениальный" ген в конечном итоге все равно приводит к хорошей нейропластичности, к хорошему питанию мозга либо еще к чему-то понятному, что уже непосредственно влияет на то, как мозг работает.
Замечание: я не являюсь нейробиологом и могу поверхностно понимать вещи в этой области. Если я допустила неточность в данном списке, напишите.
Теперь к аспекту навыков мышления, полученных в результате интеллектуального взаимодействия со средой.
Опять же, штука крайне сложная и не всегда легко предсказуемая. Иногда люди пробуют делать наблюдения о том, какие именно особенности среды наблюдались в детстве исключительных людей - https://t.iss.one/boris_again/1538 , но мне бы хотелось сосредоточиться на другом аспекте этой темы: не на том, какая должна быть среда для того, чтобы человек стал умным, а на том, какие навыки мышления формируются в процессе взаимодействия с подходящей средой.
Я думаю, что этих навыков - огромное множество, и многие из них мы просто не замечаем, потому что выучили их неосознанно, например, неосознанно подражая тем людям, которые уже имеют эти навыки.
Тем не менее, некоторые из них мне пришлось натренировать сознательно (в основном за счет осознанного подражания), поэтому я могу их выделить и рассказать про них в следующем посте.
#учеба
Объяснять успех какого-то человека в какой-то сфере "гениальностью" - по сути то же самое, что "объяснять" ее/его успех "божьей волей" или "судьбой". Т.е. это просто затыкание белых пятен бессмысленными терминами, которые являются принципиальным отказом от понимания феномена.
Конечно, бывает очень сложно понять, как другие люди приходят к какой-то неожиданной мысли и/или добиваются какого-то впечатляющего результата, особенно если им удается это сделать в более раннем возрасте, чем обычно, имея лишь небольшой жизненный опыт. Но "очень сложно" не означает "принципиально невозможно". Эти люди и их результаты по-прежнему являются частью нашей материальной реальности, которая, как показала история развития науки, поддается изучению.
В чем же могут заключаться причины т.н. "гениальности"? Я вижу здесь две категории возможных причин.
1) Биологические.
2) Навыки мышления, приобретенные в результате интеллектуального взаимодействия со средой (обучения в широком смысле).
Из-за того, что взаимодействие со средой - очень сложная, многогранная и во многом непредсказуемая вещь, многие люди вообще списывают его со счетов как то, что слишком сложно понять и говорят: гениальность - врожденное свойство, предопределенное биологией. Нельзя стать умнее, чем ты есть от природы. Вопрос закрыт. Но по мне так это снова отказ от объяснения, так как "врожденная гениальность" - снова ненаучный термин, который ничего не объясняет.
Вместо этого я думаю, что есть вполне конкретные биологические особенности, которые не предопределяют то, что человека потом назовут "гениальным", но могут сильно коррелировать с таким результатом в будущем. Вот какие особенности я выделяю:
1 а) Хороший базовый уровень нейропластичности. Чем выше нейропластичность, тем быстрее человек усваивает новый материал. Нейропластичность меняется в процессе жизни, но все-таки может быть сильная зависимость от врожденных параметров.
1 б) Хорошее питание мозга. Сюда входит, например, хорошее кровоснабжение. Чем лучше мозг питается, тем лучше он работает. Этот аспект также можно сознательно менять в каких-то пределах за счет физической активности, устранения болезней, которые мешают питанию мозга и т.д.
1 в) Отсутствие некоторых болезней и травм, которые делают структуру мозга аномальной - например, микроцефалии, болезни Дауна и др. Это, похоже, наименее поддающийся влиянию самого человека фактор.
Иногда можно прочитать очередную новость про то, как "ученые открыли ген гениальности" - т.е., говоря нормальным языком, обнаружили положительную корреляцию между IQ и присутствием какого-то гена. Но я не буду заводить для отражения этого феномена самостоятельную категорию, потому что предполагаю, что "гениальный" ген в конечном итоге все равно приводит к хорошей нейропластичности, к хорошему питанию мозга либо еще к чему-то понятному, что уже непосредственно влияет на то, как мозг работает.
Замечание: я не являюсь нейробиологом и могу поверхностно понимать вещи в этой области. Если я допустила неточность в данном списке, напишите.
Теперь к аспекту навыков мышления, полученных в результате интеллектуального взаимодействия со средой.
Опять же, штука крайне сложная и не всегда легко предсказуемая. Иногда люди пробуют делать наблюдения о том, какие именно особенности среды наблюдались в детстве исключительных людей - https://t.iss.one/boris_again/1538 , но мне бы хотелось сосредоточиться на другом аспекте этой темы: не на том, какая должна быть среда для того, чтобы человек стал умным, а на том, какие навыки мышления формируются в процессе взаимодействия с подходящей средой.
Я думаю, что этих навыков - огромное множество, и многие из них мы просто не замечаем, потому что выучили их неосознанно, например, неосознанно подражая тем людям, которые уже имеют эти навыки.
Тем не менее, некоторые из них мне пришлось натренировать сознательно (в основном за счет осознанного подражания), поэтому я могу их выделить и рассказать про них в следующем посте.
#учеба
Telegram
Борис опять
Как проходило детство исключительных людей прошлого и что общего встречается во множестве биографий?
https://escapingflatland.substack.com/p/childhoods
https://escapingflatland.substack.com/p/childhoods
👍21🔥5❤🔥3🥱2😐2❤1👏1
Вот, например, какие особенности мышления я имею в виду:
2 а) При столкновении с непонятным - умение понимать, что конкретно непонятно.
Это прям основа основ. Если человек не понимает, что конкретно ему непонятно, то он не может и понять, как сделать понятно. У меня были лет 10-15 назад сильные проблемы с этим навыком. Прокачивается тренировкой: каждый раз, когда что-то непонятно, проговаривать другому человеку либо себе, что именно. Например, в формуле может быть непонятно, что означает конкретная буква, в тексте - конкретный термин, и из-за этого непонятно становится все. Тогда можно найти определение непонятной штуки и попробовать разбирать дальше. Или, например, логическая цепочка может быть непонятной из-за того, что она слишком длинная, и дойдя до конца, вы забываете начало. Тогда надо попробовать разделить ее на более мелкие и понять каждый кусочек по отдельности (подойти снизу вверх); если не выходит, полезно спросить у кого-то, кто хорошо разбирается, в чем общая идея цепочки (подойти сверху вниз). И так далее.
б) Умение держать в голове большой, сложный контекст. Тренируется занятиями такой интеллектуальной деятельностью, где это требуется, постепенно увеличивая сложность, а также обсуждениями с теми людьми, которые уже это умеют.
в) Умение отделять главное от второстепенного - особенно в контексте решения конкретной задачи. Для этого нужно, во-первых, выработать привычку удерживать условие задачи в голове и не отвлекаться, а во-вторых - тренировать концентрацию внимания (см. след. пункт).
г) Умение удерживать внимание на одном предмете долгое время, и особенно удерживать внимание тогда, когда в разбираемом учебном материале внезапно увеличивается сложность. Например, когда внезапно попадается сложная формула. Иногда человеку в такой момент становится настолько сложно сосредоточиться и понять, что происходит, что он или она просто бросает учебный материал. Это можно тренировать так: специально себя заставлять не бросать книгу или лекцию на сложном моменте, а приостановиться и свыкнуться с мыслью о сложности формулы, не отводя глаз от нее. После этого вспомнить следующее: книги пишут не боги, а такие же люди, как мы. Каждой формулой они пытаются что-то сказать, выразить что-то. Если понять, что пытался сделать тот, кто написал формулу, какая мотивация этой формулы, то и саму формулу понять тоже станет намного легче. Кроме того, можно внимательно всмотреться в отдельные части формулы и понять каждую по отдельности, а потом все собрать вместе в уме. Если же не получается, можно поискать объяснения этой же формулы в другом источнике или спросить кого-нибудь. Главное - приобрести положительный опыт не пасовать перед трудностями.
д) Умение видеть связи между разными темами и даже разными предметами. Для этого, например, при изучении новых важных концепций можно приостанавливаться и думать - на что из опыта изучения предыдущих областей это похоже.
Под конец учебы на специалитете мне частично удалось улучшить эти способности, и я стала несколько быстрее понимать новые математические области, разные штуки из программирования и новые вещи в целом (хотя и не так быстро, как самые топовые ребята). В результате мне стали время от времени говорить, что я талантлива в этих областях🙂 . Но я-то прекрасно помню, как за пять лет до этого люди из той же среды говорили мне, что таланта у меня нет (то, насколько по-разному люди из разных социальных сред определяют "талантливость", это вообще отдельная песня).
И это как раз то, что я имею в виду, говоря, конечно, очень грубо, что "от учебы можно стать умнее".
В общем, я думаю, что то, что мы называем талантом/гениальностью/умом - это не "божья искра", а что-то познаваемое, что складывается из большого количества разных аспектов. Какая-то часть этих аспектов являются тренируемыми, и мне нравится их тренировать и рассказывать о них, хотя часто это и вызывает срач и токс. Надеюсь, хотя бы кому-то все-таки было интересно.
#учеба
2 а) При столкновении с непонятным - умение понимать, что конкретно непонятно.
Это прям основа основ. Если человек не понимает, что конкретно ему непонятно, то он не может и понять, как сделать понятно. У меня были лет 10-15 назад сильные проблемы с этим навыком. Прокачивается тренировкой: каждый раз, когда что-то непонятно, проговаривать другому человеку либо себе, что именно. Например, в формуле может быть непонятно, что означает конкретная буква, в тексте - конкретный термин, и из-за этого непонятно становится все. Тогда можно найти определение непонятной штуки и попробовать разбирать дальше. Или, например, логическая цепочка может быть непонятной из-за того, что она слишком длинная, и дойдя до конца, вы забываете начало. Тогда надо попробовать разделить ее на более мелкие и понять каждый кусочек по отдельности (подойти снизу вверх); если не выходит, полезно спросить у кого-то, кто хорошо разбирается, в чем общая идея цепочки (подойти сверху вниз). И так далее.
б) Умение держать в голове большой, сложный контекст. Тренируется занятиями такой интеллектуальной деятельностью, где это требуется, постепенно увеличивая сложность, а также обсуждениями с теми людьми, которые уже это умеют.
в) Умение отделять главное от второстепенного - особенно в контексте решения конкретной задачи. Для этого нужно, во-первых, выработать привычку удерживать условие задачи в голове и не отвлекаться, а во-вторых - тренировать концентрацию внимания (см. след. пункт).
г) Умение удерживать внимание на одном предмете долгое время, и особенно удерживать внимание тогда, когда в разбираемом учебном материале внезапно увеличивается сложность. Например, когда внезапно попадается сложная формула. Иногда человеку в такой момент становится настолько сложно сосредоточиться и понять, что происходит, что он или она просто бросает учебный материал. Это можно тренировать так: специально себя заставлять не бросать книгу или лекцию на сложном моменте, а приостановиться и свыкнуться с мыслью о сложности формулы, не отводя глаз от нее. После этого вспомнить следующее: книги пишут не боги, а такие же люди, как мы. Каждой формулой они пытаются что-то сказать, выразить что-то. Если понять, что пытался сделать тот, кто написал формулу, какая мотивация этой формулы, то и саму формулу понять тоже станет намного легче. Кроме того, можно внимательно всмотреться в отдельные части формулы и понять каждую по отдельности, а потом все собрать вместе в уме. Если же не получается, можно поискать объяснения этой же формулы в другом источнике или спросить кого-нибудь. Главное - приобрести положительный опыт не пасовать перед трудностями.
д) Умение видеть связи между разными темами и даже разными предметами. Для этого, например, при изучении новых важных концепций можно приостанавливаться и думать - на что из опыта изучения предыдущих областей это похоже.
Под конец учебы на специалитете мне частично удалось улучшить эти способности, и я стала несколько быстрее понимать новые математические области, разные штуки из программирования и новые вещи в целом (хотя и не так быстро, как самые топовые ребята). В результате мне стали время от времени говорить, что я талантлива в этих областях
И это как раз то, что я имею в виду, говоря, конечно, очень грубо, что "от учебы можно стать умнее".
В общем, я думаю, что то, что мы называем талантом/гениальностью/умом - это не "божья искра", а что-то познаваемое, что складывается из большого количества разных аспектов. Какая-то часть этих аспектов являются тренируемыми, и мне нравится их тренировать и рассказывать о них, хотя часто это и вызывает срач и токс. Надеюсь, хотя бы кому-то все-таки было интересно.
#учеба
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥11❤4❤🔥3🥱2👏1
ИИнфобизнесмены, вы издеваетесь?! Неужели вы еще не поняли, ЧТО происходит после того, как вы показываете мне свою рекламу? 🙄
Сижу я, значит, несколько дней назад, листаю Телеграм в телефоне, и тут вижу объявление, изображенное на Рис. 1. Перехожу по ссылке и вижу то, что изображено на Рис. 2 и Рис. 3. Ну что делать, разумеется, мне захотелось получить 600 нейросетей, и пришлось записаться на вебинар. 🤷♀️
Сам вебинар был довольно скучный, техноереси было критически мало (разве что то, что изображено на Рис. 4, является неправильным, да еще была пара оговорок, которые может сделать каждый, поэтому не буду к ним цепляться, сама тоже не идеальный человек). С другой стороны, и особо информативного там тоже ничего не было. В основном автор просто демонстрировал работу ChatGPT и Midjorney, так что я просто смотрела вполглаза да ждала, когда же мне, наконец, уже подарят 600 нейросетей в качестве вознаграждения за терпение. 🥱
И - о чудо! - авторы действительно скинули ссылку на документ, в котором была ссылка на приблизительно 600 ресурсов с AI-инструментами. 🤯
Эту ссылку я отложила до выходных и посмотрела только сегодня.
#ИИнфобизнес
Сижу я, значит, несколько дней назад, листаю Телеграм в телефоне, и тут вижу объявление, изображенное на Рис. 1. Перехожу по ссылке и вижу то, что изображено на Рис. 2 и Рис. 3. Ну что делать, разумеется, мне захотелось получить 600 нейросетей, и пришлось записаться на вебинар. 🤷♀️
Сам вебинар был довольно скучный, техноереси было критически мало (разве что то, что изображено на Рис. 4, является неправильным, да еще была пара оговорок, которые может сделать каждый, поэтому не буду к ним цепляться, сама тоже не идеальный человек). С другой стороны, и особо информативного там тоже ничего не было. В основном автор просто демонстрировал работу ChatGPT и Midjorney, так что я просто смотрела вполглаза да ждала, когда же мне, наконец, уже подарят 600 нейросетей в качестве вознаграждения за терпение. 🥱
И - о чудо! - авторы действительно скинули ссылку на документ, в котором была ссылка на приблизительно 600 ресурсов с AI-инструментами. 🤯
Эту ссылку я отложила до выходных и посмотрела только сегодня.
#ИИнфобизнес
😁9❤3👍2👏1🥱1