«Wtf, китайці поцупили в OpenAI модель?» або «Чому китайські LLM називають себе ChatGPT». Так, мені настільки часто відправляють цей прикол, що я вирішив зробити про це допис 😂Причини такої поведінки в того ж DeepSeek може бути дві:🪙 Китайці реально навчали свої моделі за допомогою GPT або поцупили датасет. Згідно з принципом бритви Оккама нас ця відповідь влаштовує, але між моделями занадто багато різниці, щоб робити такий висновок. Та й не тільки китайці цим грішили;🪙 Відповідь криється десь глибше, наприклад, у процесі тренування моделі. Нумо шукати! Навчання LLM можна поділити на три етапи:1️⃣ Pre-train: у цьому етапі ми як останні скотиняки парсимо інтернет, збираємо терабайти тексту, особливо ніяк його не фільтруючи. В датасет потрапляє купа статей про те, що ChatGPT — найкраща модель в інтернеті й взагалі нічого краще вже не буде. На цьому етапі модельку навчають вгадувати наступне слово в реченні (пам'ятаємо що ChatGPT — прокачана версія вашого Т9). Наприклад, що після «Ой, у лузі червона...» має йти «калина», а не «тарілка».2️⃣ Етап вирівнювання: тут береться наша базова модель (яку ми натренували на купі шлаку в попередньому кроці) й дотреновується вже на якісному, відбірному датасеті, який готується ніжними ручками ШІ (шкіряних індусів). Мета цього етапу — навчити модель відповідати на запити користувача, показати, в якому саме форматі вони мають бути тощо.Один з методів вирівнювання — RLHF, де шкіряні нігерійці обирають з декількох варіантів відповіді той, що їм найбільше подобається.3️⃣ Fine-tuning на виконання інструкцій: тут, як зрозуміло з назви, модельку вчать виконувати інструкції, а саме розуміти, що від неї хоче користувач. На виході отримуємо instruct модель, якою вже можна хизуватися перед друзями й користуватися.Як бачимо з процесу, DeepSeek, Grok та навіть LLaMa у своєму датасеті з кроку 1 бачили ДУЖЕ багато згадок ChatGPT, тому на питання «Хто я ти?» з високою вірогідністю можуть надати відповідь «Я не лох ChatGPT». Бо в них так само як і в більшості людей, склалася асоціація, що LLM = ChatGPT 😁Зазвичай це фіксять через системний промт, але, як бачимо — не завжди працює.Ну й та, завжди є варіант, що вони просто поцупили датасет, це ж китайці 🤣ооо нейромережеве