Чи знали ви, що якщо попросити великі мовні моделі згенерувати випадкове число від 1 до 9, то відповідь буде 7?Саме цікаво, що ймовірність того, що випаде інше число - дуже мала.Як в цьому переконатися?Скористатися OpenAI API, зробити запит з параметром "logprobs": true і дослідити відповідь.Параметр logprobs показує топ альтернативних токенів та їх ймовірності.Ось наприклад, топ результат - 7:"token": "7","logprob": -0.324633926153183Щоб обчислити ймовірнсть p, треба виконати дію p=exp(-l), таким чином ймовірнсть генерування 7 буде 0.79899719, тобто майже 80%.Ось розподіл інших токенів (у нашому випадку майже всі токени - це цифри):Токен LogProb Ймовірність7 -0.2244 0.798997194 -2.4744 0.084213685 -2.7244 0.065585686 -3.2244 0.039779723 -4.5994 0.010057898 -6.5994 0.001361192 -12.3494 0.000004339 -15.0994 0.00000028< -16.9744 0.000000041 -18.7244 0.00000001Як бачите, має статися щось дуже неординарне, щоб модель вивела щось відмінне від 7.Чому так?1. Моделі вчаться на людських даних, а люди ЗАЗВИЧАЙ на це питання відповідають 7, бо це число, скажемо так, є улюбленим для багатьох, є нейтральним, а також має символічне значення в багатьох культурах.2. Модель завжди намагається уникати edge-кейсів, тобто 1 і 9 матимуть найнижчі ймовірності. За цією ж логікою "середні" числа матимуть більші ймовірності.3. Softmax (компонента трансформера) експоненційно карає менш імовірні варіанти.Це один з прикладів, які ми розглядали в рамках воркшопу Deep Dive into LLM APIs.