Это параметр генерации языковых моделей. Используется при сэмплинге токенов — ограничивает выбор модели k самыми вероятными словами.
Модель сортирует все возможные токены по вероятности, оставляет только k лучших и выбирает из них.
Модель сортирует все возможные токены по вероятности, оставляет только k лучших и выбирает из них.
📌 Примеры:
- k = 50–100 — стабильный вывод
- k = 1000+ — больше случайности и разнообразия