Силиконовый Мешок

Кстати, хороший комментарий оставили в нашем чате @prompt_chat :

Очень плохо нейронки решают школьные задания. А если, там мало мальски логику нужно включить, то ваще капец, такой херни напишут.
Знаю по опыту-дочь в 5 классе, готова всю свою домашку скормить аи😁

Давно, хотел написать о том, как LLM считают и почему часто ошибаются в простой арифметике:

Ограничения вычислений

Важно понимать, что модель имеет ограниченное количество вычислений на каждый токен. Поэтому сложные вычисления нужно разбивать на простые шаги. Когда мы просим модель "решить в уме" сложную задачу одним токеном, это может привести к ошибкам.

Использование инструментов

Для надежного решения задач модели часто используют внешние инструменты. Например, вместо "мысленных" вычислений модель может написать и выполнить код:


apples = 3
oranges = 2
orange_price = 2
total = 13

apple_price = (total - oranges * orange_price) / apples
print(f"Каждое яблоко стоит ${apple_price}")

Это гораздо надежнее, чем пытаться выполнить вычисления "в уме".

Проблемы с простыми задачами

Интересный парадокс: модели могут решать сложные математические задачи олимпиадного уровня, но иногда ошибаются в простейших вещах. Например, некоторые модели могут неправильно определить, что больше: 9.11 или 9.9.

При исследовании этого феномена обнаружилось, что определенные нейроны в сети активируются как при работе с библейскими стихами (где 9:11 идет после 9:9), создавая когнитивный конфликт в модели.

Проблемы с подсчетом

Модели часто испытывают трудности с задачами подсчета. Например, просьба посчитать количество точек в тексте может вызвать затруднения, потому что модель видит не отдельные символы, а токены.

Решение: использовать инструменты. Вместо прямого подсчета лучше попросить модель написать код:


text = "....."
print(len(text))

🔥12❤7👍5👏1🙏11

4.34K viewsedited 16:59