Идеальный стартап

Оптимизация LLM - советы от OpenAI

Неделю назад у OpenAI прошла конференция, где они анонсировали GPT-4, GPTs (убийца стартапов-помощников) и много чего ещё. Помимо это было несколько лекций интересных более в техническом плане. На одной из них они рассказали свой опыт оптимизации LLM для разных задач. В итоге вышла одно из лучших введений по оптимизации, что я видел. Хотя брали они по большей части ChatGPT и GPT-4, эту инструкцию легко применить и на другие, типа Llama, PathLLM. Потому что проблемы по большей части у всех моделей одни:

🦾 Недостаток умений - как выполнять задание?

🧠 Недостаток знаний - с помощью каких знаний выполнять? Проблема в том, что модели тренируются на огромном количестве данных из открытых источников. Если у вас задача основывается на секретных документах вашей компании, то как модель может выполнить задачу, не зная их?

Выделяется четыре основных подхода для оптимизации:

1️⃣ Prompt Engineering (техника подсказок) - зачастую мы используем естественный язык, чтобы объяснить модели, что же от нее мы хотим. Если мы хотим, чтобы она работала в качестве решателя уравнений, то мы пишем ей

“реши 2x = 4”

- это и есть prompt. Его можно написать по-разному - кто-то пишет объемные тексты с примерами, кто-то один два слова и надеется, что модель его поймет. В целом, аналогия тут как с человеком - чем лучше мы объясним ему задачу, тем лучше он её сделает (зачастую).

Есть множество способов улучшить prompt. Например, мы можем дать пару примеров модели и четче поставить задание:

Я хочу, чтобы ты решал уравнения. Вот пример того, как решается одно из уравнений

3x = 6
x = 6/3
x = 2

Найди x в следующем примере:
2x = 4

2️⃣ RAG (Retrieval Augmented Generation) - генерируем выход модели на основе внешний данных. Модель склонна забывать знания или не иметь их вовсе. Здесь нам необходимо передать информацию, которая поможет решить задачу. Например, если мы решаем физические задачи -

Какова масса воды, если объем равен 1 литру?

-, то неплохо было бы передать такую фактологическую модели при решении задачи. Так у модели будет меньше галлюцинаций и точнее ответы:

Плотность воды - 997 г. / м3
Какова масса воды, если объем равен 1 литру?

3️⃣ Fine-tuning (дообучение) - в далекие времена, когда не существовало LLM и context-learning, людям приходилось собирать набор данных (пример - метка) и каждый раз тратить множество видеомашинных часов на обучение модели. Да, здесь идея та же - LLM модели не имеют какой-то специфики в плане обучения. Если вам нужен, например, определенный формат вывода, то можно собрать свой набор данных и дообучить существующую модель - так не нужно будет каждый раз кидать сложный и длинный prompt, что упростит ее использование

4️⃣ Попробовать все сразу!

💡 Естественно, что у каждого метода есть свои плюсы и минусы, каждый из них закрывает разные проблемы модели, поэтому не стоит думать, что один лучше другого. Например, RAG закрывает потребность модели в знании, а fine-tuning - в умении. OpenAI так же выпустили и методичку плюсов и минусов:

Prompt Engineering

✅ Относительно прост в реализации - можно быстро получить модель, решающую задачу
✅ Является отличным бейзланом, чтобы сравнивать последующие шаги оптимизации
🚫 Не является средством для введения новых знаний в модель
🚫 Не средство для представления модели совершенно новых умений
🚫 Большие и сложные prompt’ы нагружают модель - увеличивается задержка

RAG

✅ Хороший способ представить модели новые знания
✅ Уменьшаем галлюцинации модели с помощью контроля знаний
🚫 Не получится представить совершенно новую область знаний (то есть большое количество) - тут нужна связка знания + умения
🚫 Не средство для представления модели совершенно новых умений
🚫 Не особо уменьшает количество используемых токенов в prompt’e

Fine-tuning

✅ Способ сосредоточить внимание на уже имеющихся знаниях модели
✅ Кастомизация выхода модели - структура, формат
✅ Способ для обучения модели сложных инструкций
🚫 Не способ для добавления новых знаний в модель
🚫 Трудоемкий подход, поэтому не ждите быстрых итераций

🔥3

574 viewsedited 14:21