Користуючись ChatGPT ви могли помітити, що його версії постійно оновлюються, що логічно — розробка триває, над продуктом експериментують, врахочують фідбек користувачів і так далі.На днях широко розійшлось дослідження, яке стверджує, що з часом продуктивність ChatGPT може спадати — з деякими задачами на програмування та арифметику червнева версія GPT4 справилась гірше, ніж березнева.Втім, доволі швидко інші дослідники зауважили, що з такою методологією некоректно казати про погіршення продуктивності. Наприклад, тест на арифметику складався з питань "чи є X простим числом", при тому що ні новіші, ні старіші моделі просто не можуть коректно це перевірити. Тут цікаве обговорення.Що дійсно є проблемою, це зміна поведінки моделей внаслідок файнтюнінгу та оновлення версій. Як можна будувати продукт на базі API технології, яка постійно змінює свою поведінку? Користувачі звикають до певної поведінки продукту, розробляють техніки для роботи з ним, інтегрують в свої робочі процеси, а потім раптом все починає працювати не так як раніше. Цікаво, що OpenAI робитиме з цим.P.S. Можливо це повязано з архітектурою GPT4. Деякі деталі зараз активно обговорюють, наприклад що модель складається з 8 окремих частин, внутрішніх нейромереж по 220 млрд параметрів, натренованих на різних даних, і в залежності від промпту активується та чи інша частина. На жаль, про це можна лише спекулювати — жодних даних про архітектуру GPT4 OpenAI не розкриває, а найбільш детальний розбір теми закритий пейволом.