Чи створює OpenAI власний пошуковий індекс для ChatGPT?
Нове дослідження Peec AI дає доволі сильні докази того, що OpenAI будує власну систему crawling → indexing → retrieval для ChatGPT.
Важливе уточнення: це не означає, що ChatGPT вже повністю відмовився від Bing, Google чи інших зовнішніх джерел. Найімовірніше, зараз використовується гібридний search stack.

Ось найцікавіші сигнали.
1. Внутрішній index проти SERP
Під час аналізу server-side events ChatGPT Shopping команда Peec AI знайшла A/B-тест:
prefer-index-over-serp-v3
Сама назва вже цікава: система буквально тестує, коли краще використовувати власний index, а коли — зовнішній SERP.
Також дослідники побачили елементи класичного search pipeline:
BM25 для lexical retrieval;
сотні початкових кандидатів;
ANN vector search;
подальший reranking.
Це вже більше схоже на власну пошукову інфраструктуру, ніж просто на виклик стороннього Search API.

2. OpenAI прямо наймає інженерів для indexing та retrieval
У вакансіях OpenAI регулярно зустрічаються формулювання:
serving → indexing → retrieval
Команди працюють над:
web-scale indexing;
vector search;
retrieval infrastructure;
системами для величезних обсягів даних;
власними database та indexing technologies.
Окремо згадується інфраструктура на exabyte scale.
Тобто власний search index — це вже не лише припущення SEO-спільноти.

3. Антимонопольні документи дають ще один сильний сигнал
У документах справи проти Google згадується, що OpenAI хотіла отримати доступ до Google Search API, оскільки якість інших search providers не повністю задовольняла компанію.
Google доступ не надав.
Представники OpenAI також говорили про розвиток власного пошукового індексу, хоча визнавали, що повна незалежність від зовнішніх search providers — складне довгострокове завдання.

4. OpenAI вже має власного crawler
Для ChatGPT Search використовується OAI-SearchBot.
OpenAI прямо рекомендує не блокувати його в robots.txt, якщо ви хочете, щоб сторінки могли з’являтися в ChatGPT Search.
І ось тут починається найцікавіше для SEO.
Раніше можна було приблизно мислити так:
Indexed in Google/Bing → potentially visible in ChatGPT
Але якщо OpenAI розвиває власний index, ця залежність стає слабшою.

У майбутньому нам, ймовірно, доведеться окремо контролювати:
1. доступність сайту для OAI-SearchBot;
2. crawl activity OpenAI у server logs;
3. швидкість потрапляння нових сторінок у ChatGPT;
4. visibility бренду та URL саме в ChatGPT;
5. структуру контенту для lexical + vector retrieval.

Джерела:
Peec AI — дослідження про власний search index ChatGPT
U. S. DOJ — документи антимонопольної справи проти Google
OpenAI Careers — вакансії Foundations Search / Search Infrastructure
OpenAI Help — документація про OAI-SearchBot