🐄 Пощупать корову за вымя: обзор статьи и попытка повторить результаты
Как вы знаете, я делаю обзор на эту статью:
https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf
Но не простой обзор, а с изюминкой:
-Просто пересказать своими словами — скучно.
- Я решил пойти дальше: прочитать, и сам попробовать повторить результаты, чтобы проверить, насколько это вообще разумно в рамках когнитивной психологии.
- Где авторы молодцы, а где перегибают палку и уходят в сомнительные выводы?
Такой подход помогает мне заодно научиться работать руками с этими интересными игрушками из мира генеративного ИИ. Ну, вы поняли — корову за вымя потрогать.
Что из этого пока выходит:
👉 К чему я пришёл в плане выводов:
- Анализировать большие объёмы данных — это прям кайф, мне понравилось.
- 32 Гб оперативки маловато для моделей больше 7B параметров, но пока мне хватает от 1B до 7B.
- Архитектура трансформеров? Пока сомневаюсь. Особенно для задач типа теории мышления или математики. Возможно, стоит тренить свои архитектуры с нуля, а не брать предобученные, как Ллама. Ведь берём их только потому, что они уже "понимают" язык, и тут я скорее против, чем за.
👉 К чему я пришёл в плане навыков:
Если файнтюнишь модель — всегда смотри на TensorBoard! Всем новичкам, как я, советую. На какие метрики вы смотрите, когда обучаете модель?
👉 Чего мне не хватает:
Практики! Поэтому продолжаю ковыряться в файнтюнинге, софте и датасетах.
А как у вас? Кто-нибудь пробовал повторять результаты из статей? Делитесь опытом! 🚀
#LLM #Transformer #Psychology #Cognitive
Как вы знаете, я делаю обзор на эту статью:
https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf
Но не простой обзор, а с изюминкой:
-Просто пересказать своими словами — скучно.
- Я решил пойти дальше: прочитать, и сам попробовать повторить результаты, чтобы проверить, насколько это вообще разумно в рамках когнитивной психологии.
- Где авторы молодцы, а где перегибают палку и уходят в сомнительные выводы?
Такой подход помогает мне заодно научиться работать руками с этими интересными игрушками из мира генеративного ИИ. Ну, вы поняли — корову за вымя потрогать.
Что из этого пока выходит:
👉 К чему я пришёл в плане выводов:
- Анализировать большие объёмы данных — это прям кайф, мне понравилось.
- 32 Гб оперативки маловато для моделей больше 7B параметров, но пока мне хватает от 1B до 7B.
- Архитектура трансформеров? Пока сомневаюсь. Особенно для задач типа теории мышления или математики. Возможно, стоит тренить свои архитектуры с нуля, а не брать предобученные, как Ллама. Ведь берём их только потому, что они уже "понимают" язык, и тут я скорее против, чем за.
👉 К чему я пришёл в плане навыков:
Если файнтюнишь модель — всегда смотри на TensorBoard! Всем новичкам, как я, советую. На какие метрики вы смотрите, когда обучаете модель?
👉 Чего мне не хватает:
Практики! Поэтому продолжаю ковыряться в файнтюнинге, софте и датасетах.
А как у вас? Кто-нибудь пробовал повторять результаты из статей? Делитесь опытом! 🚀
#LLM #Transformer #Psychology #Cognitive
Взялся, я, короче, проверить результат этой статьи
https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf
и понял, что меня дико раздражает современная когнитивная/поведенческая психология. ну из всей этой мышиной возни психологов за последние сто лет - ровным счётом, худо-бедно, пару людей продвинулись в том плане, что получили НЕИНТУИТИВНЫЕ результаты. Их отметили нобелевской премией в экономике. В течении следующих дней попытаюсь обьяснить что там происходит и что делаю я. Если настроение будет. А если настроения не будет - то не будет.
#LLM #Transformer #Psychology #Cognitive
https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf
и понял, что меня дико раздражает современная когнитивная/поведенческая психология. ну из всей этой мышиной возни психологов за последние сто лет - ровным счётом, худо-бедно, пару людей продвинулись в том плане, что получили НЕИНТУИТИВНЫЕ результаты. Их отметили нобелевской премией в экономике. В течении следующих дней попытаюсь обьяснить что там происходит и что делаю я. Если настроение будет. А если настроения не будет - то не будет.
#LLM #Transformer #Psychology #Cognitive
Пять факторов личности и большие языковые модели 🤖🧠
Начав тут и тут , я постепенно разбираюсь с машинным обучением, нейросетями и их применениями. Пoка только по выходным доходят до этого руки, но всё же руки доходят по чуть-чуть!
Погнали в психологию с помощью больших языковых моделей! 🚀
Сегодня начнем сводить человеческую личность к числу! Точнее, даже не к числу, а к вектору. Причём не в каком-нибудь обычном евклидовом пространстве, а в пятимерном. Но чтобы туда попасть, сначала придётся подняться в 768-мерное пространство векторных эмбеддингов больших языковых моделей, а оттуда уже спуститься в "уютное" пятимерное пространство, чтобы соответствовать эмпирическим выводам психологов.
Итак, начнём с теории личности, основанной на «Большой пятёрке» — пяти измерениях человеческой личности (подробнее тут).
5 измерений 👇
1️⃣ Открытость опыту (Openness to Experience)
Характеризует любознательность, творческое мышление и склонность к восприятию нового. Люди с высоким уровнем открытости чаще экспериментируют, думают нестандартно и любят необычные идеи.
📝 Примеры слов: креативность, интеллектуальная любознательность, эстетическая чувствительность.
2️⃣ Добросовестность (Conscientiousness)
Отражает организованность, ответственность и целеустремлённость. Такие люди дисциплинированы, хорошо планируют и качественно выполняют задачи.
📝 Примеры: целеустремлённость, самоорганизация, аккуратность.
3️⃣ Экстраверсия (Extraversion)
Связана с энергичностью, общительностью и стремлением к социальной активности. Экстраверты любят быть в центре внимания и активно взаимодействуют с окружающими.
📝 Примеры: коммуникабельность, социальная активность, энтузиазм.
4️⃣ Согласие (Agreeableness)
Характеризует доброжелательность, альтруизм и готовность к сотрудничеству. Такие люди чаще проявляют эмпатию и заботу о других.
📝 Примеры: альтруизм, дружелюбие, эмпатия.
5️⃣ Невротизм (Neuroticism)
Отражает склонность к эмоциональной нестабильности, переживаниям и тревожности. Высокий уровень невротизма — это стресс, беспокойство и частые волнения.
📝 Примеры: тревожность, эмоциональная нестабильность, стресс.
💡 Важно: эта модель не делит людей на "чёрное" и "белое". Например, нельзя однозначно сказать, экстраверт человек или интроверт, добросовестный или нет. В каждом измерении человек получает свою оценку - число. Как говорил дедушка Фрейд, в психологии нет однозначностей, всё очень размыто. Каждый человек уникален, и в рамках модели его можно описать пятью числами — по одному для каждого измерения.
📊 Если в каждом измерении бесконечное множество значений, то в пятимерном пространстве этих чисел в пять раз больше, чем в одномерной бесконечности. Этого достаточно, чтобы описать всех людей, живших и живущих.
Теперь самое интересное: как разместить конкретную личность в пятимерном пространстве? 🤔
С помощью трёх основных инструментов: эксперименты, наблюдения, тесты. И здесь на помощь приходят большие языковые модели и методы машинного обучения, которые позволяют извлекать признаки из огромных объёмов данных (Feature Extraction).
О том, как всё это связано с 768-мерным пространством, расскажу в следующем посте.
Продолжение следует...
#LLM #Transformer #Psychology #Cognitive
Начав тут и тут , я постепенно разбираюсь с машинным обучением, нейросетями и их применениями. Пoка только по выходным доходят до этого руки, но всё же руки доходят по чуть-чуть!
Погнали в психологию с помощью больших языковых моделей! 🚀
Сегодня начнем сводить человеческую личность к числу! Точнее, даже не к числу, а к вектору. Причём не в каком-нибудь обычном евклидовом пространстве, а в пятимерном. Но чтобы туда попасть, сначала придётся подняться в 768-мерное пространство векторных эмбеддингов больших языковых моделей, а оттуда уже спуститься в "уютное" пятимерное пространство, чтобы соответствовать эмпирическим выводам психологов.
Итак, начнём с теории личности, основанной на «Большой пятёрке» — пяти измерениях человеческой личности (подробнее тут).
5 измерений 👇
1️⃣ Открытость опыту (Openness to Experience)
Характеризует любознательность, творческое мышление и склонность к восприятию нового. Люди с высоким уровнем открытости чаще экспериментируют, думают нестандартно и любят необычные идеи.
📝 Примеры слов: креативность, интеллектуальная любознательность, эстетическая чувствительность.
2️⃣ Добросовестность (Conscientiousness)
Отражает организованность, ответственность и целеустремлённость. Такие люди дисциплинированы, хорошо планируют и качественно выполняют задачи.
📝 Примеры: целеустремлённость, самоорганизация, аккуратность.
3️⃣ Экстраверсия (Extraversion)
Связана с энергичностью, общительностью и стремлением к социальной активности. Экстраверты любят быть в центре внимания и активно взаимодействуют с окружающими.
📝 Примеры: коммуникабельность, социальная активность, энтузиазм.
4️⃣ Согласие (Agreeableness)
Характеризует доброжелательность, альтруизм и готовность к сотрудничеству. Такие люди чаще проявляют эмпатию и заботу о других.
📝 Примеры: альтруизм, дружелюбие, эмпатия.
5️⃣ Невротизм (Neuroticism)
Отражает склонность к эмоциональной нестабильности, переживаниям и тревожности. Высокий уровень невротизма — это стресс, беспокойство и частые волнения.
📝 Примеры: тревожность, эмоциональная нестабильность, стресс.
💡 Важно: эта модель не делит людей на "чёрное" и "белое". Например, нельзя однозначно сказать, экстраверт человек или интроверт, добросовестный или нет. В каждом измерении человек получает свою оценку - число. Как говорил дедушка Фрейд, в психологии нет однозначностей, всё очень размыто. Каждый человек уникален, и в рамках модели его можно описать пятью числами — по одному для каждого измерения.
📊 Если в каждом измерении бесконечное множество значений, то в пятимерном пространстве этих чисел в пять раз больше, чем в одномерной бесконечности. Этого достаточно, чтобы описать всех людей, живших и живущих.
Теперь самое интересное: как разместить конкретную личность в пятимерном пространстве? 🤔
С помощью трёх основных инструментов: эксперименты, наблюдения, тесты. И здесь на помощь приходят большие языковые модели и методы машинного обучения, которые позволяют извлекать признаки из огромных объёмов данных (Feature Extraction).
О том, как всё это связано с 768-мерным пространством, расскажу в следующем посте.
Продолжение следует...
#LLM #Transformer #Psychology #Cognitive
🥱1