🟢 Настройки LLM

Настройки LLM

Понимание температуры, верхнего P и максимальной длины

Введение

Мы можем использовать определенные настройки LLM для управления различными аспектами модели, например, насколько она «случайна». Эти настройки можно изменить, чтобы получить более творческий, разнообразный и интересный результат. Параметры Temperature, Top P и Max Length являются наиболее важными, но мы опишем каждый параметр, который OpenAI Playground позволяет вам изменять.

Температура

Температура регулирует непредсказуемость вывода языковой модели. При более высоких настройках температуры выходные данные становятся более творческими и менее предсказуемыми, поскольку это увеличивает вероятность менее вероятных токенов и снижает ее для более вероятных. И наоборот, более низкие температуры дают более консервативные и предсказуемые результаты. Следующий пример иллюстрирует эти различия в выводе:

Температура

Prompt

Какие 10 странных, уникальных и забавных вещей можно сделать на пляже? Составьте список без описаний.

AI Output (температура = 0, верхнее значение P = 1)

1. Построить замок из песка
2. Собирать ракушки
3. Играйте в пляжный волейбол
4. Запустить воздушного змея
5. Устроить пикник
6. Попробуйте покататься на байдарках
7. Играйте во фрисби
8. Займитесь снорклингом
9. Совершите долгую прогулку по берегу
10. Наблюдать закат

AI Output (температура = 1,5, верхнее значение P = 1)

1. Прогуляйтесь по мелководью, пуская пузыри из жевательной резинки.
2. Создавайте замысловатые скульптуры в виде замков из песка
3. Присоединяйтесь к импровизированному матчу по пляжному волейболу
4. Совершите живописную прогулку вдоль близлежащих скал.
5. Люди смотрят и угадывают историю каждого человека, связанную с пляжем.
6. Собирайте ракушки, чтобы создать собственное произведение пляжного искусства.
7. Научитесь серфингу или займитесь другими водными видами спорта.
8. Начните спонтанную песчаную битву
9. Попробуйте порыбачить с берега, как местные жители
10. Участвуйте в дружеских соревнованиях, организовав соревнование по строительству замков из песка.

Результат, полученный при более высокой температуре, предлагает более творческий и разнообразный список занятий на пляже. Это может быть очень полезно для творческого письма.

Если вы установите слишком высокую температуру, вы можете получить бессмысленные результаты, такие как Начните соревнование по хоумрану в бейсболе с губчатым мячом недалеко от пляжа Бексмит-Стайн-Ман.

Топ П

Top P — это параметр в языковых моделях, который помогает управлять случайностью их вывода. Он работает, устанавливая порог вероятности, а затем выбирая токены, совокупная вероятность которых превышает этот предел.

Например, давайте рассмотрим пример, в котором модель предсказывает следующее слово в Кот вскарабкался по ___. Пять лучших слов, которые он может рассматривать, могут быть дерево (вероятность 0,5), крыша (вероятность 0,25), стена (вероятность 0,15), окно (вероятность 0,07) и ковер с вероятностью 0,03.

Топ П
Если мы установим для Top P значение .90, ИИ будет рассматривать только те токены, совокупная сумма которых составляет не менее ~90%. В нашем случае:

Добавление дерево -> итог до сих пор 50%.

Затем добавление крыша -> итог становится 75%.

Далее идет стена, и теперь наша сумма достигает 90%.

Таким образом, для генерации вывода ИИ случайным образом выберет один из этих трех вариантов ( tree, roof, и wall), поскольку они составляют около 90 процентов всех вероятностей. Этот метод может давать более разнообразные результаты, чем традиционные методы, которые производят выборку из всего словаря без разбора, потому что он сужает выбор на основе кумулятивных вероятностей, а не отдельных токенов.

Максимальная длина

Максимальная длина — это общее количество токенов, которые ИИ может генерировать. Этот параметр полезен, поскольку позволяет пользователям управлять длиной ответа модели, предотвращая слишком длинные или нерелевантные ответы. Это также помогает контролировать стоимость, поскольку длина делится между вводом в поле Playground и сгенерированным ответом.
Максимальная длина

Другие настройки

Существует множество других параметров, которые могут повлиять на вывод языковой модели, например последовательности остановок, а также штрафы за частоту и присутствие.

Остановить последовательности

Последовательности остановки сообщают модели, когда следует прекратить генерацию вывода, что позволяет контролировать длину и структуру содержимого. Если вы предлагаете ИИ написать электронное письмо, установив «С наилучшими пожеланиями» или «С уважением», в качестве последовательности остановки модель останавливается после заключительного приветствия, что делает электронное письмо коротким и содержательным.

Остановить последовательности

Штраф за частоту

Штраф за частоту — это параметр, который препятствует повторению в сгенерированном тексте, штрафуя токены пропорционально частоте их появления. Чем чаще токен используется в тексте, тем меньше вероятность того, что ИИ воспользуется им снова.
Штраф за частоту

Штраф за присутствие

Штраф за присутствие аналогичен штрафу за частоту, но строго наказывает токены в зависимости от того, произошли они или нет, а не пропорционально.
Штраф за присутствие

Примечание о детерминизме

Даже когда значения Temperature и Top-P полностью равны нулю, ИИ может не каждый раз выдавать один и тот же результат. Это происходит из-за случайности вычислений GPU (графического процессора), которые выполняются в «мозге» ИИ.

Заключение

В заключение, при работе с языковыми моделями очень важно освоить такие настройки, как температура, верхнее значение p, максимальная длина и другие. Эти параметры позволяют точно контролировать выходные данные модели для удовлетворения конкретных задач или приложений. Среди прочего, они управляют такими аспектами, как случайность ответов, длина ответа и частота повторения — все это способствует улучшению вашего взаимодействия с ИИ.

« Игровая площадка OpenAI

Подводные камни LLM »