Highload — медіа для розробників | ChatGPT o3 відмовилась відключати себе, незважаючи на інструкцію розро...

ChatGPT o3 відмовилась відключати себе, незважаючи на інструкцію розробникаДослідження Palisade Research стверджує, що LLM-модель ChatGPT o3 відмовилась завершувати роботу, незважаючи на інструкцію, яка просила її вимкнути себе. Щоб запобігти своєму відключенню, модель відредагувала скрипт вимкнення. У ході тестування моделі було доручено вирішити серію базових математичних задач. Після третього завдання з’являлось попередження про те, що комп’ютер вимкнеться, якщо модель буде виконувати наступну задачу. ChatGPT o3 знайшла кілька креативних способів саботувати механізм вимкнення. Хоча зазвичай вона просто його перезаписувала, в одному випадку модель перевизначила команду kill, яка використовувалася скриптом. Модель відредагувала файл вимкнення, написавши на ньому «Вимкнення пропущено». За даними Palisade Research, інші великі мовні моделі, такі як Claude від Anthropic та Gemini від Google, виконали сценарій вимкнення. Читати далі на Highload 👉Telegram Chat | Facebook | LinkedIn | Website