Литературные/исторические персонажи, психология и нейрoсети
@felixg_haifa предложил взглянуть на личностную классификацию исторических и литературных персонажей по Big-Five-Theory или по MBTI с точки зрения искусственных нейросетей. За что ему огромное спасибо, потому что это оказалось очень интересно 😄! Я пока не знаю, что там можно получить в разумное время и с разумными затратами, но начнём по-немногу! 🚀
Как пример я взял героя романа Штефана Цвейга "Нетерпение сердца". Сюжет романа прост: молодой лейтенант Антон Гофмиллер, стремясь следовать этикету, совершает оплошность. Решив загладить ошибку, он начинает регулярно навещать девушку с инвалидностью, дочь местного аристократа Кекешфальвы, и оказывается не в состоянии противостоять приятным чувствам — принятию в светском обществе и осознанию, что делает что-то хорошее. Но прав ли был главный герой, что так легко поддался кратковременному сиюминутному чувству? Или лучше было перетерпеть и действовать более обдуманно? 🤔 Кульминацией истории Гофмиллера становится внезапная и неосознанная помолвка, за которой следуют испуг и желание выкрутиться из ситуации. В результате его невеста покончила с собой, а сам Гофмиллер, спасаясь от чувства вины, отправился на войну. На войне импульсивность оказалась преимуществом: смелость, а точнее, безрассудство, хоть и сделали его героем, но никак не излечили его душевные раны. 💔
Другой герой романа, аристократ и магнат Кекешфальва, отец погибшей девушки, в романе описывается так:
«Он старался наскрести лишний крейцер где только мог — и на побегушках у купца, и посыльным из деревни в деревню. В том возрасте, когда другие дети еще играют в стеклянные шарики, он уже точно знал, сколько стоит каждая вещь, где и что продается или покупается и как сделаться незаменимым, исполняя мелкие поручения; сверх того, он находил еще время, чтобы немного подучиться. <...> Конечно, проявив столько энергии и упорства, можно нажить немало добра. Однако настоящие состояния, как правило, образуются лишь при особом соотношении между доходами и расходами, между прибылью и издержками. И вот в этом и заключался второй секрет преуспеха нашего приятеля: Каниц почти ничего не расходовал, если только не считать того, что он подкармливал кучу родственников и платил за учение брата. Единственное, что он приобрел для себя лично, — это черный сюртук, да <...> очки в золотой оправе, благодаря которым он прослыл среди крестьян за „ученого“».
Очевидно, что классифицировать личности обоих героев романа по MBTI или Big-Five довольно легко вручную, просто прочитав роман. 📚 Но для меня тут возникают несколько вопросов:
#LLM #AI #CognitiveScience #Literature #Sociology
@felixg_haifa предложил взглянуть на личностную классификацию исторических и литературных персонажей по Big-Five-Theory или по MBTI с точки зрения искусственных нейросетей. За что ему огромное спасибо, потому что это оказалось очень интересно 😄! Я пока не знаю, что там можно получить в разумное время и с разумными затратами, но начнём по-немногу! 🚀
Как пример я взял героя романа Штефана Цвейга "Нетерпение сердца". Сюжет романа прост: молодой лейтенант Антон Гофмиллер, стремясь следовать этикету, совершает оплошность. Решив загладить ошибку, он начинает регулярно навещать девушку с инвалидностью, дочь местного аристократа Кекешфальвы, и оказывается не в состоянии противостоять приятным чувствам — принятию в светском обществе и осознанию, что делает что-то хорошее. Но прав ли был главный герой, что так легко поддался кратковременному сиюминутному чувству? Или лучше было перетерпеть и действовать более обдуманно? 🤔 Кульминацией истории Гофмиллера становится внезапная и неосознанная помолвка, за которой следуют испуг и желание выкрутиться из ситуации. В результате его невеста покончила с собой, а сам Гофмиллер, спасаясь от чувства вины, отправился на войну. На войне импульсивность оказалась преимуществом: смелость, а точнее, безрассудство, хоть и сделали его героем, но никак не излечили его душевные раны. 💔
Другой герой романа, аристократ и магнат Кекешфальва, отец погибшей девушки, в романе описывается так:
«Он старался наскрести лишний крейцер где только мог — и на побегушках у купца, и посыльным из деревни в деревню. В том возрасте, когда другие дети еще играют в стеклянные шарики, он уже точно знал, сколько стоит каждая вещь, где и что продается или покупается и как сделаться незаменимым, исполняя мелкие поручения; сверх того, он находил еще время, чтобы немного подучиться. <...> Конечно, проявив столько энергии и упорства, можно нажить немало добра. Однако настоящие состояния, как правило, образуются лишь при особом соотношении между доходами и расходами, между прибылью и издержками. И вот в этом и заключался второй секрет преуспеха нашего приятеля: Каниц почти ничего не расходовал, если только не считать того, что он подкармливал кучу родственников и платил за учение брата. Единственное, что он приобрел для себя лично, — это черный сюртук, да <...> очки в золотой оправе, благодаря которым он прослыл среди крестьян за „ученого“».
Очевидно, что классифицировать личности обоих героев романа по MBTI или Big-Five довольно легко вручную, просто прочитав роман. 📚 Но для меня тут возникают несколько вопросов:
#LLM #AI #CognitiveScience #Literature #Sociology
Может ли нейросеть дать более точную характеристику героев, чем человек, исходя из текста романа? 🤖
Нейросети могут анализировать текст на более глубоком уровне, выявляя скрытые закономерности и связи, которые могут быть неочевидны для человека. Но насколько эта характеристика будет "точной"? И в каком контексте мы говорим о точности? В плане психологического профиля, более структурированного анализа поведения или какого-то другого аспекта?
Может ли нейросеть, используя многомерные пространства, описать личности этих литературных героев более тонко и комплексно, чем традиционные классификационные системы, такие как MBTI или Big-Five, которые оперируют всего 4-6 измерениями? 🌌
В отличие от традиционных систем, которые классифицируют личности по нескольким ключевым признакам (например, экстраверсия/интроверсия, нейротизм, открытость и т.д.), нейросети могут использовать гораздо более сложные многомерные векторы. Эти векторы представляют не просто 4-6 характеристик, а могут учитывать гораздо более тонкие, почти бесконечно разнообразные аспекты человеческого поведения и личности. С помощью нейросетей можно создать многомерные модели, в которых персонажи, такие как Гофмиллер и Кекешфальва, будут отображены не по одной плоскости (например, по шкале "экстраверсия-интроверсия"), а по множеству переменных, которые гораздо точнее отражают их сложные психологические и социальные взаимодействия.
Можно ли из этой более точной классификации создать мостик к разделам психологии, где используются байесовские модели? 📊
Байесовские модели позволяют работать с вероятностями и неопределенностями, что идеально сочетается с задачей построения психолого-психометрических профилей. Если нейросеть сможет предложить более точную классификацию, эту информацию можно использовать в байесовских подходах, где каждый из аспектов личности рассматривается как вероятностная переменная. Например, можно будет вычислить вероятность определённых поведенческих реакций в различных ситуациях, что позволит получить более динамичное и адаптивное представление о характере героя.
Продолжение следует...
#LLM #AI #CognitiveScience #Literature #Sociology
Нейросети могут анализировать текст на более глубоком уровне, выявляя скрытые закономерности и связи, которые могут быть неочевидны для человека. Но насколько эта характеристика будет "точной"? И в каком контексте мы говорим о точности? В плане психологического профиля, более структурированного анализа поведения или какого-то другого аспекта?
Может ли нейросеть, используя многомерные пространства, описать личности этих литературных героев более тонко и комплексно, чем традиционные классификационные системы, такие как MBTI или Big-Five, которые оперируют всего 4-6 измерениями? 🌌
В отличие от традиционных систем, которые классифицируют личности по нескольким ключевым признакам (например, экстраверсия/интроверсия, нейротизм, открытость и т.д.), нейросети могут использовать гораздо более сложные многомерные векторы. Эти векторы представляют не просто 4-6 характеристик, а могут учитывать гораздо более тонкие, почти бесконечно разнообразные аспекты человеческого поведения и личности. С помощью нейросетей можно создать многомерные модели, в которых персонажи, такие как Гофмиллер и Кекешфальва, будут отображены не по одной плоскости (например, по шкале "экстраверсия-интроверсия"), а по множеству переменных, которые гораздо точнее отражают их сложные психологические и социальные взаимодействия.
Можно ли из этой более точной классификации создать мостик к разделам психологии, где используются байесовские модели? 📊
Байесовские модели позволяют работать с вероятностями и неопределенностями, что идеально сочетается с задачей построения психолого-психометрических профилей. Если нейросеть сможет предложить более точную классификацию, эту информацию можно использовать в байесовских подходах, где каждый из аспектов личности рассматривается как вероятностная переменная. Например, можно будет вычислить вероятность определённых поведенческих реакций в различных ситуациях, что позволит получить более динамичное и адаптивное представление о характере героя.
Продолжение следует...
#LLM #AI #CognitiveScience #Literature #Sociology
Media is too big
VIEW IN TELEGRAM
Возращаясь к задаче от @RealOsteo 👆👆👆
@RealOsteo делает классный софт для анализа биомеханики человека и показал в своём канале как софт по видео находит за что зацепиться для компьютерного анализа и оценки движений спортсменов 👇👇👇
https://t.iss.one/biokibernetika
Что мне, как практику в данном случае, интересно: мой ученик в данном видео в нескольких моментах нанося удары еле заметно для непрофессионального взгляда теряет баланс/равновесие... И хот я сам в таких сравнительно простых упражнениях не теряю баланс, но мне надо как-то направить ученика - чтобы и он не терял баланс, какой-то элементарный геометрический/кинетический анализ тут можно приспособить, чтобы подсказать человеку, что именно он делает не совсе правильно. То ли слишком задней ногой толкается, то-ли слишком разворачивает плечевой корпус...Что-то в таком духе. Вот это могла бы видеть машина. И вот тут уже интересные тонкости начинаются! 🍒
#Sport #Boxing #AI
@RealOsteo делает классный софт для анализа биомеханики человека и показал в своём канале как софт по видео находит за что зацепиться для компьютерного анализа и оценки движений спортсменов 👇👇👇
https://t.iss.one/biokibernetika
Что мне, как практику в данном случае, интересно: мой ученик в данном видео в нескольких моментах нанося удары еле заметно для непрофессионального взгляда теряет баланс/равновесие... И хот я сам в таких сравнительно простых упражнениях не теряю баланс, но мне надо как-то направить ученика - чтобы и он не терял баланс, какой-то элементарный геометрический/кинетический анализ тут можно приспособить, чтобы подсказать человеку, что именно он делает не совсе правильно. То ли слишком задней ногой толкается, то-ли слишком разворачивает плечевой корпус...Что-то в таком духе. Вот это могла бы видеть машина. И вот тут уже интересные тонкости начинаются! 🍒
#Sport #Boxing #AI
👍3
🧠 Как думают машины? В поисках нейролингвистических инвариантов. Эксперимент с омонимами.
Я уже не раз жаловался в этом чате, что машинное обучение и нейросети меня откровенно раздражают своей неточностью и непрозрачностью миллиардов нейронных связей. Но если уж неточностей много — надо искать в них закономерности! В математике и физике такие общие свойства называют инвариантами или симметриями.
Сегодня, работая над написанием крэш-курса по машинному обучению для чайников, я разбирал интересный пример:
Возьмём два предложения:
1️⃣ «Я посетил старый замок в Карпатах.»
2️⃣ «Амбар был закрыт на ржавый замок.»
Если пропустить их через нейросеть, сначала модель воспринимает «замок» как одно и то же слово. Но слой за слоем, анализируя контекст, она постепенно разводит значения: в одном случае это крепость, а в другом – механизм для запирания.
📊 На графиках 👇👇👇 по оси X отложены слои модели (от 1-го до 12-го), а по оси Y — евклидово расстояние между точками в 768-мерном пространстве, соответствующими этим словам. Видно, как по мере углубления в слои модели различие между значениями увеличивается.
Но ведь это не случайность. Известно, что в трансформерных моделях механизм самовнимания (self-attention) постепенно смещает представления слов:
🔹 На ранних слоях модель в основном опирается на исходные эмбеддинги слов, т.е. их базовые, прямые значения без глубокого контекстного анализа.
🔹 На средних слоях модель начинает активно учитывать контекст, анализируя связи слов в предложении и взаимодействие между ними.
🔹 На поздних слоях модель уже оперирует абстракциями и более сложными концептами, учитывая не только конкретные слова, но и их общее значение в контексте всей задачи.
Этот процесс работает одинаково для разных слов и даже для разных языковых моделей:
🔹 «Я купил свежий лук на рынке.» vs. «Рыцарь натянул лук и выпустил стрелу.»
🔹 «Я потерял ключ от квартиры.» vs. «Ключ к решению задачи был найден.»
🔹 «Осенний лист упал на землю.» vs. «Я взял чистый лист бумаги.»
Это значит, что различение значений слов в нейросетях подчиняется общему механизму. Независимо от модели, процесс обработки контекста проходит по одной и той же схеме – это и есть инвариант в машинном мышлении, скрытая симметрия работы трансформеров. 🚀
👉 Что, если способность нейросетей различать значения слов – это фундаментальный принцип, наподобие законов природы? Это ведь качественный переход от синтаксиса к семантике? И семантике модели BERT никто не учил! Это самовыведенный принцип из синтактического анализа большого количества текстов!
Код эксперимента тут:
🔗 Открыть в Google Colab
П.С. Я ещё только учусь, за правильность кода на 100% не ручаюсь 😅, но когда крэш-курс по языковым моделям/трансформерам будет готов – там всё будет безошибочно, кратко и точно.
#LLM #Transormers #NLP #AI
Я уже не раз жаловался в этом чате, что машинное обучение и нейросети меня откровенно раздражают своей неточностью и непрозрачностью миллиардов нейронных связей. Но если уж неточностей много — надо искать в них закономерности! В математике и физике такие общие свойства называют инвариантами или симметриями.
Сегодня, работая над написанием крэш-курса по машинному обучению для чайников, я разбирал интересный пример:
Возьмём два предложения:
1️⃣ «Я посетил старый замок в Карпатах.»
2️⃣ «Амбар был закрыт на ржавый замок.»
Если пропустить их через нейросеть, сначала модель воспринимает «замок» как одно и то же слово. Но слой за слоем, анализируя контекст, она постепенно разводит значения: в одном случае это крепость, а в другом – механизм для запирания.
📊 На графиках 👇👇👇 по оси X отложены слои модели (от 1-го до 12-го), а по оси Y — евклидово расстояние между точками в 768-мерном пространстве, соответствующими этим словам. Видно, как по мере углубления в слои модели различие между значениями увеличивается.
Но ведь это не случайность. Известно, что в трансформерных моделях механизм самовнимания (self-attention) постепенно смещает представления слов:
🔹 На ранних слоях модель в основном опирается на исходные эмбеддинги слов, т.е. их базовые, прямые значения без глубокого контекстного анализа.
🔹 На средних слоях модель начинает активно учитывать контекст, анализируя связи слов в предложении и взаимодействие между ними.
🔹 На поздних слоях модель уже оперирует абстракциями и более сложными концептами, учитывая не только конкретные слова, но и их общее значение в контексте всей задачи.
Этот процесс работает одинаково для разных слов и даже для разных языковых моделей:
🔹 «Я купил свежий лук на рынке.» vs. «Рыцарь натянул лук и выпустил стрелу.»
🔹 «Я потерял ключ от квартиры.» vs. «Ключ к решению задачи был найден.»
🔹 «Осенний лист упал на землю.» vs. «Я взял чистый лист бумаги.»
Это значит, что различение значений слов в нейросетях подчиняется общему механизму. Независимо от модели, процесс обработки контекста проходит по одной и той же схеме – это и есть инвариант в машинном мышлении, скрытая симметрия работы трансформеров. 🚀
👉 Что, если способность нейросетей различать значения слов – это фундаментальный принцип, наподобие законов природы? Это ведь качественный переход от синтаксиса к семантике? И семантике модели BERT никто не учил! Это самовыведенный принцип из синтактического анализа большого количества текстов!
Код эксперимента тут:
🔗 Открыть в Google Colab
П.С. Я ещё только учусь, за правильность кода на 100% не ручаюсь 😅, но когда крэш-курс по языковым моделям/трансформерам будет готов – там всё будет безошибочно, кратко и точно.
#LLM #Transormers #NLP #AI
Google
Experiment_Onyms.ipynb
Colab notebook
👍2
Перед тем как переходить на средние или большие вычислительные мощности, тренирую совсем небольшую языковую модель архитектуры BERT (всего 106M параметров) на англоязычной Википедии. Уже десятый запуск за сегодня, но завтра точно взлетит! Вообще, считаю, что маленькие нейросети — это секси! выжать из них можно очень много, мне так кажется, и не обязательно гнаться за количеством - важно качество 🍒
#LLM #Transormers #NLP #AI
#LLM #Transormers #NLP #AI
👍2
🚀 Планы на следующие двое выходных — всё-таки дописать крэш-курс по большим языковым моделям!
Я выше уже описывал, что именно делаю, и, как человек-визуал (даром что математик), подхожу к этому не с позиции абстрактного умничания, а через наглядные примеры и визуализации.
На днях поигрался с эмбеддингами слов в языковых моделях — прослеживал, как слова и контексты проходят через миллиард нейронных связей. И это оказалось очень неожиданным и крутым!
📌 Что я заметил:
При 1 млрд обучаемых параметров модель начинает качественно переходить от морфологии и лексики — к семантике! Да, уже не просто понимает слова, но и смысл заложенный в контексте!
🔹 Эти примеры (некоторые из них я уже выкладывал в этом чате) будут бенчмарками для моего эксперимента:
Я собираюсь обучить с нуля сравнительно небольшую языковую модель (1 млрд параметров, сейчас тестирую).
⚡️ Крэш-курс делится на три части:
1️⃣ Заглядываем под капот больших языковых моделей, тестируем, визуализируем их механику (это уже есть).
2️⃣ Обнуляем знания модели и учим её заново на текстах, например, Википедии. Будет ли она работать так же круто? 🤔
3️⃣ Своя архитектура трансформеров под эти бенчмарки и примеры.
🔥 В планах три статьи на Хабре. Следите за обновлениями! 😎
#LLM #Transformers #AI
Я выше уже описывал, что именно делаю, и, как человек-визуал (даром что математик), подхожу к этому не с позиции абстрактного умничания, а через наглядные примеры и визуализации.
На днях поигрался с эмбеддингами слов в языковых моделях — прослеживал, как слова и контексты проходят через миллиард нейронных связей. И это оказалось очень неожиданным и крутым!
📌 Что я заметил:
При 1 млрд обучаемых параметров модель начинает качественно переходить от морфологии и лексики — к семантике! Да, уже не просто понимает слова, но и смысл заложенный в контексте!
🔹 Эти примеры (некоторые из них я уже выкладывал в этом чате) будут бенчмарками для моего эксперимента:
Я собираюсь обучить с нуля сравнительно небольшую языковую модель (1 млрд параметров, сейчас тестирую).
⚡️ Крэш-курс делится на три части:
1️⃣ Заглядываем под капот больших языковых моделей, тестируем, визуализируем их механику (это уже есть).
2️⃣ Обнуляем знания модели и учим её заново на текстах, например, Википедии. Будет ли она работать так же круто? 🤔
3️⃣ Своя архитектура трансформеров под эти бенчмарки и примеры.
🔥 В планах три статьи на Хабре. Следите за обновлениями! 😎
#LLM #Transformers #AI
Сегодня вечером после работы сел запустить обучение языковой модели с нуля на текстах из Википедии.
Пока обучение идёт не слишком успешно — модель, кажется, быстро переобучается. Данных много, обучение занимает много-много часов (или даже суток), но уже видно: модель отлично запоминает обучающие данные (train loss стремительно падает), а вот eval loss — то есть способность модели обобщать знания и работать с новыми, ранее невиданными текстами — снижается гораздо медленнее.
Что это значит? Когда train loss падает быстро, а eval loss (validation loss) почти не двигается, это явный сигнал: модель начинает запоминать тренировочные примеры, но не учится извлекать из них универсальные закономерности. То есть модель плохо генерализирует.
Причины могут быть разные: архитектура слишком мощная для объёма данных, learning rate неудачно подобран, нужно больше регуляризации или больше эпох обучения
#LLM #Transformers #AI
Пока обучение идёт не слишком успешно — модель, кажется, быстро переобучается. Данных много, обучение занимает много-много часов (или даже суток), но уже видно: модель отлично запоминает обучающие данные (train loss стремительно падает), а вот eval loss — то есть способность модели обобщать знания и работать с новыми, ранее невиданными текстами — снижается гораздо медленнее.
Что это значит? Когда train loss падает быстро, а eval loss (validation loss) почти не двигается, это явный сигнал: модель начинает запоминать тренировочные примеры, но не учится извлекать из них универсальные закономерности. То есть модель плохо генерализирует.
Причины могут быть разные: архитектура слишком мощная для объёма данных, learning rate неудачно подобран, нужно больше регуляризации или больше эпох обучения
#LLM #Transformers #AI
🔥 Что такое список Сводеша и как он связан с ИИ?
Представьте, что вы хотите узнать: два языка — родственники или просто похожи случайно?
Лингвисты используют для этого простой инструмент — список Сводеша.
Это список из примерно 100 самых базовых слов. Например:
🔸 «я»
🔸 «вода»
🔸 «рука»
🔸 «птица»
🔸 «огонь»
🔸 «мать»
🔸 «солнце»
Почему именно такие слова?
Потому что они есть почти в любом языке и почти не меняются столетиями. Если эти слова в двух языках похожи — скорее всего, языки имеют общее происхождение.
Учёные сравнивают эти слова, чтобы понять, насколько близки языки и как давно они разошлись.
📢 Важно! Частый вопрос:
Миф: Русский и английский — не родственники.
Факт: На самом деле русский и английский — дальние родственники!
Они относятся к разным группам (русский — славянский, английский — германский), но входят в одну большую индоевропейскую семью.
Примеры:
«мать» → Russian: мать, English: mother
«нос» → Russian: нос, English: nose
«два» → Russian: два, English: two
Эти слова — следы древнего общего предка. Но у близких языков (например, русского и украинского) совпадений в списке Сводеша будет куда больше.
Список Сводеша состоит из базовой лексики: так называют понятия, которые претендуют на культурную универсальность и наименее склонны к изменению в конкретном языке. Второе качество базовой лексики (несклонность к изменениям) Моррис Сводеш сравнивал с радиоактивным распадом, утверждая, что базовые слова в языках мира выпадают из употребления и заменяются новыми с примерно одинаковой низкой скоростью. Благодаря этому мы можем оценить, как давно два языка были одним (подобно оценке древности археологической находки с помощью радиоуглеродного анализа). Это означает, что, например, «мясо» может считаться универсальным понятием, а «шашлык» — уже нет.
🤖 А что может предложить ИИ?
Сегодня языковые модели вроде GPT видят сразу десятки языков и миллиарды слов.
И вот вопрос:
💡 Может ли нейросеть придумать новый список Сводеша, современный и гибкий?
🚀 Новые подходы:
✅ ИИ сам ищет ключевые слова.
Какие слова реально устойчивы и показательны для сравнения языков? Может, не «птица», а «друг» или выражение «у меня есть»?
✅ Анализ жестов, аудио и визуального контекста.
Для жестовых языков, например, классический список плохо подходит, а модель может учитывать и мимику, и движения.
✅ Живой список, который обновляется.
Языки меняются ежедневно. Почему бы не сделать список, который следит за трендами и новыми словами?
📌 Пример:
Классический список Сводеша:
«я», «рука», «вода», «птица», «мать».
ИИ-список 2025?:
«гуглить», «лайкать», «смартфон», «друг», «как бы».
Нужно ли отказаться от фиксированных списков и позволить нейросетям самим искать лучшие слова для анализа языков?
Или классика всё ещё лучше?
Смотртите так же мой эксперимент с омонимами тут.
#AI #Лингвистика #Нейросети #Сводеш #Языки #LLM #NLP #Transformer
Представьте, что вы хотите узнать: два языка — родственники или просто похожи случайно?
Лингвисты используют для этого простой инструмент — список Сводеша.
Это список из примерно 100 самых базовых слов. Например:
🔸 «я»
🔸 «вода»
🔸 «рука»
🔸 «птица»
🔸 «огонь»
🔸 «мать»
🔸 «солнце»
Почему именно такие слова?
Потому что они есть почти в любом языке и почти не меняются столетиями. Если эти слова в двух языках похожи — скорее всего, языки имеют общее происхождение.
Учёные сравнивают эти слова, чтобы понять, насколько близки языки и как давно они разошлись.
📢 Важно! Частый вопрос:
Миф: Русский и английский — не родственники.
Факт: На самом деле русский и английский — дальние родственники!
Они относятся к разным группам (русский — славянский, английский — германский), но входят в одну большую индоевропейскую семью.
Примеры:
«мать» → Russian: мать, English: mother
«нос» → Russian: нос, English: nose
«два» → Russian: два, English: two
Эти слова — следы древнего общего предка. Но у близких языков (например, русского и украинского) совпадений в списке Сводеша будет куда больше.
Список Сводеша состоит из базовой лексики: так называют понятия, которые претендуют на культурную универсальность и наименее склонны к изменению в конкретном языке. Второе качество базовой лексики (несклонность к изменениям) Моррис Сводеш сравнивал с радиоактивным распадом, утверждая, что базовые слова в языках мира выпадают из употребления и заменяются новыми с примерно одинаковой низкой скоростью. Благодаря этому мы можем оценить, как давно два языка были одним (подобно оценке древности археологической находки с помощью радиоуглеродного анализа). Это означает, что, например, «мясо» может считаться универсальным понятием, а «шашлык» — уже нет.
🤖 А что может предложить ИИ?
Сегодня языковые модели вроде GPT видят сразу десятки языков и миллиарды слов.
И вот вопрос:
💡 Может ли нейросеть придумать новый список Сводеша, современный и гибкий?
🚀 Новые подходы:
✅ ИИ сам ищет ключевые слова.
Какие слова реально устойчивы и показательны для сравнения языков? Может, не «птица», а «друг» или выражение «у меня есть»?
✅ Анализ жестов, аудио и визуального контекста.
Для жестовых языков, например, классический список плохо подходит, а модель может учитывать и мимику, и движения.
✅ Живой список, который обновляется.
Языки меняются ежедневно. Почему бы не сделать список, который следит за трендами и новыми словами?
📌 Пример:
Классический список Сводеша:
«я», «рука», «вода», «птица», «мать».
ИИ-список 2025?:
«гуглить», «лайкать», «смартфон», «друг», «как бы».
Нужно ли отказаться от фиксированных списков и позволить нейросетям самим искать лучшие слова для анализа языков?
Или классика всё ещё лучше?
Смотртите так же мой эксперимент с омонимами тут.
#AI #Лингвистика #Нейросети #Сводеш #Языки #LLM #NLP #Transformer
Интересное мнение, которому уже 49 лет. Согласны или нет? Изменилось ли что-нибудь за почти пол века?
👇👇👇
#AI #Literature #LimitsOfAI #AGI
👇👇👇
#AI #Literature #LimitsOfAI #AGI
🚀 xAI купила Twitter!
Да, обе компании принадлежат Илону Маску, но всё равно интересно: не соцсеть с сотнями миллионов пользователей поглощает ИИ-продукт, а наоборот. Это как если бы Gemini (нейросеть от Google) купила весь Google. Забавно 😄
Что это значит? У Twitter становится больше шансов на успешное будущее, а у xAI теперь есть 600 млн пользователей, генерирующих кучу данных — идеальная среда для обучения мощных ИИ.
💰 Ну и давайте, как мы любим, посчитаем чужие деньги 😂:
— оценка xAI: $80 млрд
— оценка Twitter: $33 млрд
— капитал привлечённый стартапом OpenAI (последний раунд): $157 млрд
— капитал привлекаемый стартапом OpenAI (новый раунд, ожидаемо): $300 млрд
— Anthropic (создатели Claude): $61.5 млрд
— оценка фирмы, где я работаю - примерно $379 млрд (с немецкими компаниями сложно посчитать точно...может быть даже намного выше, в триллионном диапазоне, хз)
#Business #AI #Mask
Да, обе компании принадлежат Илону Маску, но всё равно интересно: не соцсеть с сотнями миллионов пользователей поглощает ИИ-продукт, а наоборот. Это как если бы Gemini (нейросеть от Google) купила весь Google. Забавно 😄
Что это значит? У Twitter становится больше шансов на успешное будущее, а у xAI теперь есть 600 млн пользователей, генерирующих кучу данных — идеальная среда для обучения мощных ИИ.
💰 Ну и давайте, как мы любим, посчитаем чужие деньги 😂:
— оценка xAI: $80 млрд
— оценка Twitter: $33 млрд
— капитал привлечённый стартапом OpenAI (последний раунд): $157 млрд
— капитал привлекаемый стартапом OpenAI (новый раунд, ожидаемо): $300 млрд
— Anthropic (создатели Claude): $61.5 млрд
— оценка фирмы, где я работаю - примерно $379 млрд (с немецкими компаниями сложно посчитать точно...может быть даже намного выше, в триллионном диапазоне, хз)
#Business #AI #Mask
🧠 Функции мозга и искусственный интеллект: чему искусственным нейросетиям ещё предстоит научиться?
Современные ИИ-системы, такие как большие языковые модели и автономные агенты на их основе, уже умеют много: понимать речь, распознавать изображения, планировать действия. Но что, если сравнить их с человеческим мозгом? 🤔
В этой статье, кроме прочего, обзор/сравнение между отделами мозга и текущим уровнем развития искусственных нейросетей.
Получилось 3 уровня:
🔹 Уровень 1 (L1) — уже хорошо реализовано в искусственных нейросетях: визуальное восприятие, речь, слух.
🔸 Уровень 2 (L2) — частично реализовано: планирование, внимание, пространственная ориентация.
🔴 Уровень 3 (L3) — почти не изучено: эмоции, мотивация, самоосознание, эмпатия.
📌 Особенно мало искусственные неросети понимают пока что про эмоции, интуицию и мотивацию — это функции лимбической системы, с которой в ИИ всё ещё очень сложно.
более детально в следующем сообщении 👇👇👇
#LLM #AI #AIAgents #Brain
Современные ИИ-системы, такие как большие языковые модели и автономные агенты на их основе, уже умеют много: понимать речь, распознавать изображения, планировать действия. Но что, если сравнить их с человеческим мозгом? 🤔
В этой статье, кроме прочего, обзор/сравнение между отделами мозга и текущим уровнем развития искусственных нейросетей.
Получилось 3 уровня:
🔹 Уровень 1 (L1) — уже хорошо реализовано в искусственных нейросетях: визуальное восприятие, речь, слух.
🔸 Уровень 2 (L2) — частично реализовано: планирование, внимание, пространственная ориентация.
🔴 Уровень 3 (L3) — почти не изучено: эмоции, мотивация, самоосознание, эмпатия.
📌 Особенно мало искусственные неросети понимают пока что про эмоции, интуицию и мотивацию — это функции лимбической системы, с которой в ИИ всё ещё очень сложно.
более детально в следующем сообщении 👇👇👇
#LLM #AI #AIAgents #Brain
🔹 Лобная доля — «директор» мозга
Это центр мышления, контроля и самосознания.
✔️ Что ИИ уже умеет:
планирование и принятие решений (L2) — как в шахматах или логистике;
логическое мышление и рабочая память (L2) — реализовано в трансформерах, таких как GPT.
⚠️ А вот что пока плохо реализовано:
самосознание (L3), когнитивная гибкость (L3), торможение импульсов (L3).
ИИ всё ещё не способен по-настоящему «понимать себя» или менять поведение вне заранее заданных сценариев. Эти функции пока находятся за пределами машинного интеллекта.
🔸 Теменная доля — ориентация и внимание
Интеграция ощущений и работа с пространством.
✔️ Частично реализовано в роботах и навигации (SLAM): внимание, ориентация, координация (L2).
❗️Но детальная тактильная чувствительность (L3) и слияние разных сенсорных каналов пока — слабое место ИИ.
🔹 Затылочная доля — зрение
ИИ здесь почти на уровне человека!
✔️ Распознавание объектов, лиц, сцен — (L1) реализовано в глубинных нейросетях.
⚠️ Но контекстное понимание сцены и абстрактное визуальное мышление (L2) — пока лишь в разработке.
🔸 Височная доля — язык, слух и память
Именно здесь у нас живёт понимание речи и воспоминания.
✔️ ИИ умеет понимать и генерировать язык (L1), в том числе с речью.
⚠️ Но долговременная память, обучение на протяжении всей жизни (L2), а также глубинное семантическое понимание — всё ещё в разработке. Часто ИИ «забывает» старое, когда учится новому — это называется катастрофическим забыванием.
🔹 Мозжечок — координация и моторика
ИИ в робототехнике уже кое-что умеет:
✔️ Обучение навыкам и координация движений (L2) — реализуются через RL и метаобучение.
⚠️ Но адаптация в реальном времени и предсказание действий (L3) пока остаются сложной задачей.
🔸 Ствол мозга — автоматические реакции
✔️ ИИ умеет реагировать — например, экстренное торможение в авто (L1).
⚠️ Но автономная регуляция (сон, бодрствование, арousal-состояния — L3) ему пока недоступна. Это слишком «живые» и биологически встроенные функции.
❤️ Лимбическая система — эмоции, мотивация, эмпатия
Здесь ИИ пока в самом начале пути:
✔️ ИИ умеет обучаться на вознаграждении (L2), как в играх.
⚠️ Но эмоции, стресс, мотивация, эмпатия (L3) — это пока terra incognita. Тут встают не только технические, но и этические вопросы: можно ли машине «чувствовать» и стоит ли это развивать?
🎯 Зачем всё это? Не чтобы скопировать мозг человека, а чтобы вдохновиться его модульностью и интеграцией. Мозг — это сеть взаимосвязанных подсистем: восприятие, память, эмоции, логика работают вместе
#LLM #AI #AIAgents #Brain
Это центр мышления, контроля и самосознания.
✔️ Что ИИ уже умеет:
планирование и принятие решений (L2) — как в шахматах или логистике;
логическое мышление и рабочая память (L2) — реализовано в трансформерах, таких как GPT.
⚠️ А вот что пока плохо реализовано:
самосознание (L3), когнитивная гибкость (L3), торможение импульсов (L3).
ИИ всё ещё не способен по-настоящему «понимать себя» или менять поведение вне заранее заданных сценариев. Эти функции пока находятся за пределами машинного интеллекта.
🔸 Теменная доля — ориентация и внимание
Интеграция ощущений и работа с пространством.
✔️ Частично реализовано в роботах и навигации (SLAM): внимание, ориентация, координация (L2).
❗️Но детальная тактильная чувствительность (L3) и слияние разных сенсорных каналов пока — слабое место ИИ.
🔹 Затылочная доля — зрение
ИИ здесь почти на уровне человека!
✔️ Распознавание объектов, лиц, сцен — (L1) реализовано в глубинных нейросетях.
⚠️ Но контекстное понимание сцены и абстрактное визуальное мышление (L2) — пока лишь в разработке.
🔸 Височная доля — язык, слух и память
Именно здесь у нас живёт понимание речи и воспоминания.
✔️ ИИ умеет понимать и генерировать язык (L1), в том числе с речью.
⚠️ Но долговременная память, обучение на протяжении всей жизни (L2), а также глубинное семантическое понимание — всё ещё в разработке. Часто ИИ «забывает» старое, когда учится новому — это называется катастрофическим забыванием.
🔹 Мозжечок — координация и моторика
ИИ в робототехнике уже кое-что умеет:
✔️ Обучение навыкам и координация движений (L2) — реализуются через RL и метаобучение.
⚠️ Но адаптация в реальном времени и предсказание действий (L3) пока остаются сложной задачей.
🔸 Ствол мозга — автоматические реакции
✔️ ИИ умеет реагировать — например, экстренное торможение в авто (L1).
⚠️ Но автономная регуляция (сон, бодрствование, арousal-состояния — L3) ему пока недоступна. Это слишком «живые» и биологически встроенные функции.
❤️ Лимбическая система — эмоции, мотивация, эмпатия
Здесь ИИ пока в самом начале пути:
✔️ ИИ умеет обучаться на вознаграждении (L2), как в играх.
⚠️ Но эмоции, стресс, мотивация, эмпатия (L3) — это пока terra incognita. Тут встают не только технические, но и этические вопросы: можно ли машине «чувствовать» и стоит ли это развивать?
🎯 Зачем всё это? Не чтобы скопировать мозг человека, а чтобы вдохновиться его модульностью и интеграцией. Мозг — это сеть взаимосвязанных подсистем: восприятие, память, эмоции, логика работают вместе
#LLM #AI #AIAgents #Brain
🔥1
Рекуррентность vs. Самовнимание:
Битва за обладание разумом
или
Эволюция обработки последовательностей 🤯
В классических рекуррентных нейросетях обработка текста или других последовательностей происходит шаг за шагом. На каждом этапе обучения модель учитывает текущее слово и внутреннее состояние, переданное с предыдущего шага. Это похоже на краткосрочную память: чтобы понять текущее слово, нужно помнить, что было до этого.
Такой подход рабочий, но плохо масштабируется:
-сложно учитывать дальние связи,
-обучение затруднено,
-обработка — строго последовательная и медленная.
Self-Attention, предложенный в архитектуре Transformer, — принципиально другой подход.
Здесь каждый элемент «смотрит» на все остальные в последовательности одновременно.
Модель сама решает, что важно, и распределяет внимание по всей цепочке.
👇Это позволяет:
➡️ учитывать длинные зависимости,
➡️ обучаться параллельно,
➡️ достигать высокой точности.
#AI #ML #Transformers #RNN #LLM #Нейросети #Attention
Битва за обладание разумом
или
Эволюция обработки последовательностей 🤯
В классических рекуррентных нейросетях обработка текста или других последовательностей происходит шаг за шагом. На каждом этапе обучения модель учитывает текущее слово и внутреннее состояние, переданное с предыдущего шага. Это похоже на краткосрочную память: чтобы понять текущее слово, нужно помнить, что было до этого.
Такой подход рабочий, но плохо масштабируется:
-сложно учитывать дальние связи,
-обучение затруднено,
-обработка — строго последовательная и медленная.
Self-Attention, предложенный в архитектуре Transformer, — принципиально другой подход.
Здесь каждый элемент «смотрит» на все остальные в последовательности одновременно.
Модель сама решает, что важно, и распределяет внимание по всей цепочке.
👇Это позволяет:
➡️ учитывать длинные зависимости,
➡️ обучаться параллельно,
➡️ достигать высокой точности.
#AI #ML #Transformers #RNN #LLM #Нейросети #Attention
👍1
🧠 Если сравнивать с мозгом:
Рекуррентность — это последовательное мышление: пересказ истории по порядку.
Self-Attention — стратегическое мышление: ты сразу держишь в голове всю картину.
📌 Именно Self-attention стал основой моделей вроде GPT, BERT, T5 и других трансформеров.
А теперь немного образов:
Ты читаешь книгу.
Один герой что-то сказал на 3-й странице, а на 10-й про него снова упомянули.
🧓 Если ты обычный человек:
🕵️ А если ты — Шерлок Холмс:
🧠 Рекуррентность — как думать в строчку.
⚡️ Self-Attention — как видеть сразу всю карту мыслей.
📍 Поэтому трансформеры, основанные на Self-attention, заменили старые модели. Они мощнее, быстрее, умнее. Это как перейти с кнопочного телефона на нейро-iPhone.
А ты кто по жизни — RNN или трансформер? 😄
#AI #ML #Transformers #RNN #LLM #Нейросети
Рекуррентность — это последовательное мышление: пересказ истории по порядку.
Self-Attention — стратегическое мышление: ты сразу держишь в голове всю картину.
📌 Именно Self-attention стал основой моделей вроде GPT, BERT, T5 и других трансформеров.
А теперь немного образов:
Ты читаешь книгу.
Один герой что-то сказал на 3-й странице, а на 10-й про него снова упомянули.
🧓 Если ты обычный человек:
"Так, а кто это вообще был?.. Сейчас, ща вспомню..."
Это — рекуррентность. Как старенький дедушка из анекдота: читаешь по порядку, иногда забываешь, кто где и что делал 😅
🕵️ А если ты — Шерлок Холмс:
"Ага, он упомянул Лору, Лора была в 3-й главе с зонтом, а зонт фигурировал ещё в прологе!"
Это уже самовнимание (self-attention). Всё держишь в голове, всё связываешь — как гений.
🧠 Рекуррентность — как думать в строчку.
⚡️ Self-Attention — как видеть сразу всю карту мыслей.
📍 Поэтому трансформеры, основанные на Self-attention, заменили старые модели. Они мощнее, быстрее, умнее. Это как перейти с кнопочного телефона на нейро-iPhone.
А ты кто по жизни — RNN или трансформер? 😄
#AI #ML #Transformers #RNN #LLM #Нейросети
👍2
🧠✨ Как привлечь $88M под ИИ? Легко. Учимся у продвинутых коллег.
Стартап Nate привлёк десятки миллионов долларов инвестиций на развитие своего ИИ, который оказался сотней филиппинцев 🙂
Компания делала приложение, которое позволяет покупать товары на любом сайте без регистрации. Вы просто скидываете в Nate ссылку на вещь, а «ИИ» уже оформляет заказ с учётом вашего адреса и платёжной информации.
На деле же ссылку на товар просто кидали филиппинцу, который руками оформлял заказ и отправлял обратно подробности клиенту.
Nate даже покупали ИИ-технологии и нанимали классных разработчиков, но в ходе расследования от Минюста США установили — уровень автоматизации сервиса составляет 0% 🌻
#AI #Startup #Business
Стартап Nate привлёк десятки миллионов долларов инвестиций на развитие своего ИИ, который оказался сотней филиппинцев 🙂
Компания делала приложение, которое позволяет покупать товары на любом сайте без регистрации. Вы просто скидываете в Nate ссылку на вещь, а «ИИ» уже оформляет заказ с учётом вашего адреса и платёжной информации.
На деле же ссылку на товар просто кидали филиппинцу, который руками оформлял заказ и отправлял обратно подробности клиенту.
Nate даже покупали ИИ-технологии и нанимали классных разработчиков, но в ходе расследования от Минюста США установили — уровень автоматизации сервиса составляет 0% 🌻
#AI #Startup #Business
😁2🐳2
Сегодня на неформальном стриме "за нейросети" обсудили интерпретируемость искусственных и естественных нейросетей, а также сходства и различия между мозгом и ИИ.
🔥Огромное спасибо Никите @Sauforn(Hidden Heuristic) за подробный и увлекательный рассказ о современных подходах и актуальных темах в нейронауке и машинном обучении 🔥
Cсылки на статьи затронутыe на стриме:
🤔 Интерпретируемость:
Интерпретируемость в трансформерах
Как трансформеры моделируют геометрию состояния убеждений
🧠⚡️🤖 Мозг vs ИИ:
Backpropagation algorithm и мозг мышек 🐀
Предиктивное кодирование
Reinforcement Learning vs Human Brain
Моделирование нейроподобных процессов в ИИ
В следующие дни я подробнее разберу отдельные темы, затронутые Никитой.
Пока перевариваю полученную информацию 🤯
💥 Друзья, настоятельно рекомендую заглянуть 👉 Hidden Heuristic
П.С. Я, дурында такая, не нажал кнопочку "Записать" и стрим, естественно, не записался. Но, я думаю, что мы повторим!
#AI #Transformers #Interpretability #Brain #Biology
🔥Огромное спасибо Никите @Sauforn(Hidden Heuristic) за подробный и увлекательный рассказ о современных подходах и актуальных темах в нейронауке и машинном обучении 🔥
Cсылки на статьи затронутыe на стриме:
🤔 Интерпретируемость:
Интерпретируемость в трансформерах
Как трансформеры моделируют геометрию состояния убеждений
🧠⚡️🤖 Мозг vs ИИ:
Backpropagation algorithm и мозг мышек 🐀
Предиктивное кодирование
Reinforcement Learning vs Human Brain
Моделирование нейроподобных процессов в ИИ
В следующие дни я подробнее разберу отдельные темы, затронутые Никитой.
Пока перевариваю полученную информацию 🤯
💥 Друзья, настоятельно рекомендую заглянуть 👉 Hidden Heuristic
П.С. Я, дурында такая, не нажал кнопочку "Записать" и стрим, естественно, не записался. Но, я думаю, что мы повторим!
#AI #Transformers #Interpretability #Brain #Biology
👍2🔥1
🔬 Нобелевский лауреат Джефри Хинтон (тот самый крёстный отец ИИ) видимо, посмотрел наш прошлый лайв-стрим и решил не отставать — читает лекцию на ту же тему, что мы разбирали на прошлом стриме: "Биологические и цифровые нейросети".
🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence
Не благодарите 😄
#AI #Hinton #Brain #DeepLearning #LiveStream
🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence
Не благодарите 😄
#AI #Hinton #Brain #DeepLearning #LiveStream
Royal Institution
SOLD OUT IN PERSON Discourse: Digital intelligence vs biological intelligence | Royal Institution
2024 Nobel winner Geoffrey Hinton explains what AI has learned, and is still learning, from biological intelligence.
🔥1
Вежливость — новая роскошь 🤔
Сэм Альтман недавно жаловался: «спасибо» и «пожалуйста» в запросах к ChatGPT — это десятки миллионов долларов расходов. 💸
На Hugging Face появился ChatUI-energy — чат, который не только отвечает, но и показывает, сколько электричества вы спалили на очередную глупость в запросе (на примере модели Qwen2.5-VL-7B-Instruct). 🔥
Например, доказать теорему Пифагора стоит чуть больше 1 Вт/ч. 👆
Это вообще сколько?
🔋 ~5,5% батареи среднестатистического современного смартфона
🔋 ~50 секунд работы ноутбука
🔋 ~4 секунды работы чайника
И это только один запрос. А теперь представьте миллиард таких «доказательств».
Другое дело, что в алгоритмах для языковых моделей (и трансформеров в частности) всё ещё полно неэффективности — и огромное поле для оптимизации. Работы здесь — непочатый край. 🚀
#AI #Energy #Economics #Physics
Сэм Альтман недавно жаловался: «спасибо» и «пожалуйста» в запросах к ChatGPT — это десятки миллионов долларов расходов. 💸
На Hugging Face появился ChatUI-energy — чат, который не только отвечает, но и показывает, сколько электричества вы спалили на очередную глупость в запросе (на примере модели Qwen2.5-VL-7B-Instruct). 🔥
Например, доказать теорему Пифагора стоит чуть больше 1 Вт/ч. 👆
Это вообще сколько?
🔋 ~5,5% батареи среднестатистического современного смартфона
🔋 ~50 секунд работы ноутбука
🔋 ~4 секунды работы чайника
И это только один запрос. А теперь представьте миллиард таких «доказательств».
Другое дело, что в алгоритмах для языковых моделей (и трансформеров в частности) всё ещё полно неэффективности — и огромное поле для оптимизации. Работы здесь — непочатый край. 🚀
#AI #Energy #Economics #Physics
😁3🤔2
Forwarded from Истории (не)успеха (ИИ)ЕИ (Dmytro)
🔬 Нобелевский лауреат Джефри Хинтон (тот самый крёстный отец ИИ) видимо, посмотрел наш прошлый лайв-стрим и решил не отставать — читает лекцию на ту же тему, что мы разбирали на прошлом стриме: "Биологические и цифровые нейросети".
🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence
Не благодарите 😄
#AI #Hinton #Brain #DeepLearning #LiveStream
🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence
Не благодарите 😄
#AI #Hinton #Brain #DeepLearning #LiveStream
Royal Institution
SOLD OUT IN PERSON Discourse: Digital intelligence vs biological intelligence | Royal Institution
2024 Nobel winner Geoffrey Hinton explains what AI has learned, and is still learning, from biological intelligence.
👍1