Алекс Таций о продукте и нейросетях

Как управлять нейросетью: разбор параметров и промптов

В промптах для работы с языковыми моделями, такими как ChatGPT, можно использовать различные параметры, чтобы управлять поведением модели. Вот ключевые параметры и их влияние:

🎚️ Параметры

🌡️ Температура (temperature)

Что делает?
Управляет степенью креативности ответов.
Диапазон: 0.0 – 2.0
Как работает?
0.0–0.3 → строгое соответствие фактам, меньше случайности.
0.7 (по умолчанию) → сбалансированная генерация.
1.5–2.0 → хаотичный, более креативный ответ, но может увести в бред.
Когда использовать?
Для кодинга и аналитики → 0.1–0.3.
Для идей, креатива, сценариев → 0.8–1.5.

🎲 Топ-p (nucleus sampling)

Что делает?
Определяет, какие слова модель будет выбирать.
Диапазон: 0.0 – 1.0
Как работает?
1.0 → модель использует все возможные варианты (максимальная вариативность).
0.1–0.3 → модель использует только самые вероятные слова (более детерминированный ответ).
Когда использовать?
Для стабильных и логичных ответов → 0.2–0.4.
Для неожиданных, творческих текстов → 0.7–1.0.
☝️ Обычно не трогают, если уже настроена температура.

📏 Максимальная длина ответа (max tokens)

Что делает?
Определяет, сколько токенов (слов, символов) может быть в ответе.
Когда использовать?
Если нужна краткость → 50–100 токенов.
Для развернутых текстов → 500+.

👥 Число вариантов ответа (n)

Что делает?
Генерирует несколько вариантов ответа.
Когда использовать?
Если нужен выбор из нескольких формулировок → n=3 (например, для креативного текста).
По умолчанию n=1.
☝️ Не работает в текстовом промпте - только через API

⛔️ Параметр stop (стоп-слова)

Что делает?
Прерывает генерацию на определённых словах.
Когда использовать?
Если модель генерирует слишком длинные или ненужные фразы.
Например, stop=[“###”] заставит модель остановиться перед этим символом.
☝️ Не работает в текстовом промпте - только через API

🔂 Repetition penalty (штраф за повторения)

Что делает?
Регулирует частоту повторений слов или фраз.
Когда использовать?
Если модель зацикливается → установить штраф 1.1–1.5. Обычно не требуется, если температура и топ-p настроены корректно.


🚀 Пример промпта с параметрами

Этот промпт создаст три варианта идей с высокой креативностью.

"prompt": "Придумай три креативных идеи стартапов, которые могут изменить мир",
"temperature": 1.2,
"top_p": 0.9,
"max_tokens": 150,
"n": 3

Если нужна чёткая аналитика, настройки будут другие.

Тут модель не будет “фантазировать”, а выдаст сжатую и точную информацию:
"prompt": "Объясни, как работает квантовый компьютер",
"temperature": 0.2,
"top_p": 0.3,
"max_tokens": 200,
"n": 1


🤜🤛 Универсальность параметров

Названия и поведение могут немного отличаться в разных нейросетях. Разберём ключевые различия:
Параметр GPT (OpenAI, Claude, LLaMA, Mistral) Stable Diffusion / DALL·E (изображения) Whisper (распознавание речи)
Temperature Управляет креативностью текста Не используется Не используется
Top-p Ограничивает вероятностное распределение Иногда встречается (в редких текстовых моделях) Не используется
Max tokens Лимитирует длину текста Не применяется (у изображений нет "токенов") Может ограничивать длину транскрипции
Stop words Останавливает генерацию Не применяется Иногда есть стоп-слова для цензуры
Repetition penalty Наказывает за повторения Не используется Не используется
Guidance scale Нет Используется для контроля "послушности" модели (чем выше, тем точнее соответствует промпту) Не используется
Параметры не универсальны. Temperature, top-p и max tokens важны для языковых моделей, но не имеют смысла в изображениях или аудио. Guidance scale, seed и steps нужны только для генерации картинок.

💡 Примеры параметров в тексте промпта

Параметры разработаны в первую очередь для работы через API, но их можно использовать и в обычных текстовых промптах, просто правильно формулируя запрос.
Промпт
"prompt": "Объясни квантовую запутанность простым языком",
"temperature": 0.1,
"max_tokens": 20
Квантовая запутанность — это когда две частицы остаются связанными, независимо от расстояния: изменение одной сразу влияет на другую.
Промпт
"prompt": "Объясни квантовую запутанность простым языком",
"temperature": 0.5,
"top_p": 0.9,
"max_tokens": 200
Квантовая запутанность — это явление, при котором две частицы становятся неразрывно связаны, независимо от расстояния между ними. Если изменить состояние одной, вторая мгновенно изменится так, будто они общаются, даже если находятся на разных концах Вселенной.
Представь пару волшебных перчаток: ты отправляешь одну на Луну, оставляя другую на Земле. Надев одну и увидев, что она правая, ты сразу узнаешь, что вторая — левая, даже не глядя. Только в квантовом мире это работает не просто как заранее известный факт, а как нечто, определяющееся в момент измерения! Учёные используют запутанность в квантовых компьютерах и связи, хотя сама природа этого явления остаётся загадкой.
Промпт
"prompt": "Объясни квантовую запутанность простым языком",
"temperature": 0.1,
"top_p": 0.1,
"max_tokens": 200
Квантовая запутанность — это явление, при котором две частицы становятся связаны так, что их состояния зависят друг от друга, независимо от расстояния. Если измерить состояние одной частицы, состояние второй мгновенно определится, даже если они находятся на разных концах Вселенной. Это не передача информации, а фундаментальное свойство квантового мира, которое используется в квантовых технологиях, таких как квантовая криптография и вычисления.

🔤 Параметры текстом без API

Чтобы использовать параметры языковых моделей без API, то есть прямо в текстовых промптах, можно просто грамотно формулировать запрос. Вот примеры, как это делать:

🔥 Temperature (Температура) – регулирует креативность

📌 API:
{ "temperature": 0.2 }

📌 В промпте:
• “Ответь строго по фактам, без домыслов.” → Эквивалент temperature = 0.2
• “Придумай оригинальную историю с неожиданным концом.” → Эквивалент temperature = 1.5–2.0

✅ Работает, если просишь модель быть более формальной или креативной.
🎯 Top-p (Ядерная выборка) – ограничивает разнообразие слов

📌 API:


{ "top_p": 0.3 }


📌 В промпте:

• “Используй самые вероятные слова, избегая сложных формулировок.” → Эквивалент top_p = 0.3

• “Подбери необычные, редкие слова, чтобы текст звучал интересно.” → Эквивалент top_p = 1.0

✅ Работает, если указать стиль или сложность лексики.

📏 Max tokens (Максимальная длина ответа) – ограничивает количество слов

📌 API:


{ "max_tokens": 100 }


📌 В промпте:

• “Ответь в одном предложении.” → Эквивалент max_tokens ≈ 20

• “Дай краткий ответ в 3-4 предложения.” → Эквивалент max_tokens ≈ 50

• “Объясни подробно, с примерами.” → Эквивалент max_tokens ≈ 500+

✅ Работает, если явно указывать длину ответа.

🛑 Stop words (Стоп-слова) – принудительно останавливает генерацию

📌 API:


{ "stop": ["Конец.", "Спасибо за ответ."] }


📌 В промпте:

• “Ответь и закончи фразой: ‘Конец.’”

• “Сформулируй ответ, но не используй слова ‘нейросеть’ и ‘ИИ’.”

✅ Ограничивает модель, если чётко прописать условия.

🔄 Repetition penalty (Штраф за повторы) – снижает тавтологию

📌 API:


{ "repetition_penalty": 1.3 }


📌 В промпте:

• “Не повторяй слова и выражения в ответе.”

• “Каждый абзац должен содержать новую информацию без дублирования.”

✅ Снижает повторения, если прямо запретить их в промпте.

🎭 Дополнительные приёмы

📌 Если нужна определённая структура ответа:

• “Ответь в формате списка из 3 пунктов.”

• “Напиши ответ в виде диалога.”

📌 Если нужна формальность:

• “Ответь официальным языком, как для научной статьи.”

• “Используй простой, разговорный стиль.”

📌 Если нужна конкретика:

• “Приведи 3 примера.”

• “Не используй общие фразы, только точные факты.”

💡 Вывод

Всё, что можно настроить через API, можно задать и в текстовом промпте, просто правильно формулируя запрос.
2025-03-10 10:09 Нейросети