Perplexity використовує прихованих ботів для обходу заборон на сканування сайтівhttps://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/Cloudflare виявив, що компанія Perplexity обходить прямі заборони на сканування сайтів. Їхні боти змінюють user-agent, використовують численні IP-адреси та навіть різні автономні системи, щоб приховати свою справжню ідентичність. Найбільша проблема — ігнорування файлу robots.txt, у якому власники сайтів чітко забороняють подібний доступ.Cloudflare провів експеримент: створив нові домени, які не були публічно доступні, і заборонив будь-яке сканування через robots.txt і власні WAF-правила. Незважаючи на це, Perplexity змогла отримати й використати інформацію з цих сайтів, обходячи захист і маскуючись під звичайний браузер Chrome.На відміну від Perplexity, OpenAI дотримується стандартів: чесно ідентифікують своїх ботів, не обходять заборони й поважають правила сайтів. Як відповідь на порушення, Cloudflare видалив Perplexity зі списку перевірених ботів.
Шон Андерсон опублікував книгу по SEO. https://www.hobo-web.co.uk/strategic-seo-2025/І це не проста книга - пишіть тайтли, ставьте лінки. Це SEO з інженерної точки зору, як працює ранжування в гуглі. Інформація базується на судових свідченнях, патентах гугла та нещодавніх витоках даних. Коротко, як працює гугл в 2025:1. Google не використовує одну монолітну пошукову систему, а складну багатоступеневу архітектуру з окремих модулів, кожен з яких має свою функцію та джерела даних.2. Основні компоненти ранжування:- Topicality (T*): визначає релевантність документа до запиту на основі контенту сторінки, анкорів і кліків. Сигнали розроблені інженерами вручну.- Navboost: покращує результати з урахуванням історичних поведінкових даних користувачів (агреговані кліки за 13 місяців).- Quality Score (Q*): вимірює довіру та якість сайту або домену за допомогою PageRank і відстані від "надійних" сайтів.- RankBrain: тлумачить нові, неоднозначні запити за допомогою машинного навчання.3. Більшість сигналів Google залишаються "ручної" розробки, щоб забезпечити контроль, прозорість і можливість швидко виправляти проблеми. Це вважається конкурентною перевагою над Bing, де використовується складніше машинне навчання.4. Довіра (Q*) є критично важливою: якщо критерії якості сайту стануть відомі, їх можуть зловживати конкуренти.5. Свіжість контенту: для запитів, де актуальність важлива (наприклад, новини), Google підвищує позиції нещодавно опублікованих сторінок за допомогою спеціальних систем типу "Instant Glue", які враховують найновіші користувацькі дії.6. Лінки залишаються основним фактором: враховується кількість та якість зворотних посилань, анкорний текст, а також "відстань" від авторитетних джерел (PageRank). Якісні посилання вагоміші за кількісні.7. Алгоритм Google постійно балансує між релевантністю, авторитетністю, свіжістю і поведінковими даними, щоб надати найкращі результати користувачам.Гарний матеріал, почитайте.
ЯК ПРОСУВАТИСЯ НА АНГЛ ДРОПАХ/САЙТАХ В ЛОКАЛЬНИХ ГЕОЧерговий раз переконуємось, наскільки в SEO все може працювати по-різному. Успіх залежить лише від вашої уяви та готовності методично перебирати й тестувати різні схеми - а не скиглити "це не працює", "те не працює", "пора на завод"😁. Всі знають як важко знайти якийсь "годний" локальний дроп під казік🎰🥲Натрапили на цікавий кейс - сайт https://official.fm/. На перший погляд нічого особливого, але реалізація справді цікава.🔹 Англомовний сайт у ніші музики, перший запис DNS - ще з 2011-03-15.🔹 Має непоганий RD профіль.🔹 Ймовірно, куплений з рук - у WebArchive видно, що з 2017 року не дропався.🔹 Створили версію головної сторінки нідерландською - /nl🔹 Залили казино-сторінки нідерландською в папці /nl/🔹 Усі інші старі сторінки перекинули 301 на головну🔹 У хедері NL-версії винесли дропдауни з посиланнями на пріоритетні лендинги🔹 Передали посилальну вагу через canonical на https://official.fm/nl/online-casino/zonder-cruks/🔹 Всі ленди залінковані між собою🔹 Проставили до 10 локальних посилань (схоже, тільки почали)❗️ Сanonical поки що не відпрацював - сторінка /zonder-cruks/ ще не ранжується, хоча саме на неї йде основний упор по зовнішнім посиланням. Але хто знайомий із цим гео, той розуміє, наскільки складний це кластер і яка там заруба.На сьогодні Ahrefs показує 526 ключів під NL і ~3к органічного трафу. Якщо розбираєтесь у цьому ринку та глянете, за якими саме ключами сайт вже тягне трафік - неважко прикинути, що навіть місяць у топі окупить усі вкладення.💸😎⭕️ Не забудь підписатися на 👉 @k2aff, щоб не пропусти ще більше крутих інсайтів зі світу SEO.
Кейс з поверненням сайту після того, як він був деіндексований гуглом за программатік SEOhttps://www.searchenginejournal.com/why-website-deindexed-by-google-for-programmatic-seo-bounced-back/552179/Один із засновників компанії поділився досвідом, як їхній сайт був деіндексований Google через використання Programmatic SEO та масове створення AI-контенту. Було згенеровано близько 50 000 сторінок, націлених на довгі низькочастотні запити. Спочатку це дало сотні кліків і мільйони показів, але згодом Google зняв сторінки з індексу через низьку якість і дублювання контенту.Команда усвідомила, що причиною проблем став неякісний AI-контент (а не сам факт використання AI). Вони вирішили зробити ребрендинг — змінили домен, перенаправили старий домен на новий, і повністю переглянули підхід до контенту. Кількість сторінок значно зменшили, акцентуючи увагу на якості та релевантності матеріалів для користувачів, а не на масовості. Основний фокус — “менше сторінок, але більше якості”.Після змін Google знову почав індексувати їх сайт (правда нічого не сказано про трафік). Швидкі “лайфхаки” вже не працюють як раніше.
Оптимізував кількість токенів, які йдуть до ChatGPT при використанні AI Helper в Devaka Tools. Заодно дізнався багато нового про препроцессінг текстів LLM-системами )) По оптимізації токенів. Деякі сайти мають багато "мусорного" контенту в коді. Який впливає тільки на функціонал сторінки, але не впливає на основний контент (який дає інформацію користувачам, або пошуковикам). Різні скрипти (у SPA сайтів особливо), стилі, коментарі, купа атрибутів для тегів тощо. Для прикладу, головна відомого сайту eva.ua. — HTML код: 353,590 токенів. Токенайзер OpenAI навіть підвис, розбиваючи дані на частини.— Максимально очищений код: 10,344 токенів. Вже краще, заощадження майже в 30 разів. — Відрендерений текст (як у текстових браузерів): 4,600 токенів. Ще в 2 рази краще. На моделі GPT-4.1 обробка HTML кода по API буде коштувати $0.7. Що занадто дорого для аналізу однієї сторінки. 4600 токенів всього $0.01 (в 70 разів дешевше). А на моделі GPT-4.1-nano це взагалі 20 частина центу. AI Helper наразі надсилає в GPT відрендерений текст з важливими мета-даними. То ж, можна сміло аналізувати велику кількість контенту!Про препроцессінг текстів. Перед тренуванням своїх моделей LLM системи роблять препроцессінг даних, тому що на вході багато шуму. Після цього етапу залишається лише чистий текст, який бачить користувач (на сайтах чи в документах). Цей очищений текст і йде в LLM для токенізації та навчання. Якщо є бажання потрапляти до датасетів, потрібно мати легкий для парсінгу код. Просту, читабельну, структуровану HTML-розмітку. І ще, Common Crawl (який є базою данних для багатьох LLM) не рендерить сторінки.Можливо, інфа знадобиться.
🚀 Qwerty.Software розширює SEO-команду! 📍RemoteШукаємо Junior та Middle/Senior SEO Specialist у нішу iGaming.🌍Qwerty.Software — українська компанія, яка має за плечима 10 років досвіду в створенні та просуванні продуктів для клієнтів з усіх куточків світу, зокрема, в США, Канаді та Європі.🔥Middle / Senior SEO Specialist:✅Що нам потрібно: — Досвід SEO-просування монобрендових сайтів у ніші iGaming — обов’язковий.— Підтверджені кейси успішного просування.— Вміння аналізувати нішу, конкурентів, будувати стратегії.— Досвід створення стратегій лінкбілдингу та створення ТЗ для лінкбілдерів.— Впевнений юзер основних SEO та аналітичних інструментів:, Zebroid (або аналог), Ahrefs, Screaming Frog, GSC, Google Docs/Sheets, ChatGPT/Claude.— Досвід самостійного ведення проєктів.— Аналітичне та логічне мислення.🔎Які будуть обов’язки:— Розробка та впровадження SEO-стратегії (нові й поточні сайти).— Аналіз конкурентів, пошук точок росту для проєктів.— Планування та реалізація лінкбілдинг-стратегії, пошук нових способів лінкбілдингу.— Відбір і оцінка дропів.ТЗ для лінкбілдерів, копірайтерів, розробників і дизайнерів.— SEO-тести, перевірка гіпотез, оптимізація.— Формування анкор-листів, простановка посилань за сформованим планом, пошук і формування технічних завдань для підрядників.— On-page SEO для покращення ранжування.— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — 🔥Junior SEO Specialist:✅ У нас match, якщо Ви: — Маєте досвід роботи у ніші IGaming від 6 місяців.— Розумієте основні принципи роботи Google алгоритмів.— Знаєте основи HTML, CSS.— Можете самостійно підняти сайт з 0 (зв’язати хостинг с реєстратором, залити контент, налаштувати сайт). — Маєте сильне бажання рости та розвиватися в SEO.— Орієнтуєтесь в GSC, Ahrefs, Google Docs/Sheets .— Самостійні, відповідальні та вмієте працювати в команді. 🔍Основні обов’язки:— Проводити пошук та аналіз ключових слів. — Аналізувати, генерувати та оптимізувати контент для сайтів .— Додавати контент в HTML шаблони та заливати їх на хостинг.— Проводити технічний аудит сайтів.— Моніторити та аналізувати результати роботи.— Створювати та контролювати ЛБ плани.🎯 Що пропонуємо:— Конкурентну ЗП та performance review кожні пів року.— Підтримку від досвідчених SEO спеціалістів.— Гнучкий графік, remote / офіс.Ми із задоволенням поспілкуємося з Вами та розповімо детальніше, пишіть - @kravchenkkl 😉#вакансія
Вийшли новини від SEO базиhttps://t.me/SEOBAZA/1409Найцікавіша, на мій погляд:— Інженер Google, відповідальний за HCU і тепер AI Mode (цікаве поєднання, яке наштовхує на певні підозри), поділився своєю улюбленою пасхалкою, це запит: do a barrel rollЦе дійсно цікаве поєднання: інженер, який працював над Helpful Content Update (HCU) — алгоритмічним апдейтом, спрямованим на зниження видимості "неоригінального", створеного "для пошуковиків" контенту, — тепер займається AI Mode, тобто генеративними відповідями Google.Чат GPT допоміг мені пошукати причини, чому обрали цього інженера і знайти декілька додаткових думок. — Інженер, який чудово розуміє, як фільтрується шлак, — ідеальний кандидат, щоб допомагати створювати корисний AI-контент, який не виглядатиме як "шлак".— Хто краще розуміє, що таке "погано зроблений AI-контент", ніж той, хто роками будував фільтри, які це виявляли?— Google боїться повторити помилки видачі — в AI Mode— HCU-логіка стане частиною AI Mode — як шар фільтрації або ранжуванняВисновок: Інженера HCU взяли в AI Mode, тому що він знає, як не зробити з SGE ту ж проблему, яку сам Google роками чистив з SERP: порожній, шаблонний, згенерований контент, що тільки прикидається корисним.І тепер зрозуміло, чому стало меньше апдейтів )
У мене промт, який закриває всі сео питання:1. Якщо потрібно, щоб Chat GPT створив гарну семантику, я прошу уявити, що він Сергій Кокшаров (Devaka) і тоді задаю запит про те, щоб розробив структуру сторінки або лонгріда;2. Якщо потрібно проаналізувати профіль лінків, я прошу уявити, що він Ігор Рудник і тоді подаю запит про те, щоб зібрав майданчики для безкоштовних посилань, або порівняв прощадки для аутріча;3. Якщо потрібно проаналізувати технічну частину сайту, то кажу, щоб уявив, що він Дмитро Бондар з Бусти. Тоді він мені про багатомовність, рендеринг, короч про технічку круто відповідає;4. Якщо потрібно, щоб він розповів, як будувати команду сео-фахівців, як грамотно розділяти задачі та шукати точки росту там, де ніхто не знайде, прошу уявити, що він Ігор Шулежко;5. Недавно тестував розробку нового скрипта сеошного, то просив, щоб уявив, що він Олег Саламаха. Дуже гарно спрацювало, написав мені скрипт, який непогано затримує користувачів на сайті, вспливашкою, при кліку на кнопочки. І воно дійсно працює. Коли чат уявляєш, що він цей спеціаліст, то дає поради з його напрямку. Варто використовувати лише українських сеошників, бо з буржа вони трохи по-іншому мислять.#наконкурс
WhiteHatTea повертається в КиївВже цієї п'ятниці 27 червня👉Що це?Чайна церемонія - нетворкінг. Лампова зустріч для якісного спілкування за життя, роботу та бізнес👉Для кого?Топові спеціалісти у діджитал сфері, маркетингу, власників бізнесу та сервіс👉Хто спікер? Володимир КовальCEO Singularika10+ років у розробці, останні роки — з головою в AI. Створює LLM-рішення для бізнесу: від внутрішніх чатботів до складних AI-асистентів, які реально економлять час і гроші компаніям. Вів проєкти для банків, агро, рітейлу, керує командами розробки, при цьому сам ще не забув, як писати код. Паралельно розвиває Singularika Academy, де навчає технічні й нетехнічні команди, як вижимати максимум зі штучного інтелекту.👉Тема? "Нестандартні кейси використання АІ для бізнесу" 👉Коли? 27 червня о 18:00👉Де?Незмінний чайний простір Just Punk Tea👉Ціна:1500 грнПлатить сюдаhttps://send.monobank.ua/jar/A23JfWkkYPПисати, коли сплатили сюди: https://t.me/olexander_liveПо традиції всіх цьомP.S. Місць залишилось 8, тому поспішайте, часу обмаль#промо
Розмістимо ваші посилання на головних PBN без переспаму!- Всі розміщення на 1 рік- продовження -35%- Швидкий саппорт та безкоштовні заміни————————————————————————Спецпропозиції з ніш:
🎬 Розваги — 10 лінків = 450$ → 300$ (30$/лінк)
💻 IT — 14 лінків = 630$ → 420$ (30$/лінк)
📈 Бізнес — 9 лінків = 405$ → 270$ (30$/лінк)
🏥 Медицина — 36 лінків = 1620$ → 1080$ (30$/лінк)
🎓 Освіта — 32 лінків = 1440$ → 960$ (30$/лінк)
🏢 Нерухомість — 6 лінків = 270$ → 180$ (30$/лінк)
🌐 Загальне 1 — 25 лінків = 1125$ → 625$ (25$/лінк)
🌍 Загальне 2 — 23 лінків = 1035$ → 575$ (25$/лінк)
♻️ Екологія — 9 лінків = 405$ → 270$ (30$/лінк)
✈️ Туризм — 9 лінків = 405$ → 270$ (30$/лінк)
💄 Жіноче — 11 лінків = 495$ → 330$ (30$/лінк)————————————————————————
Крипто-мережа (під крипту та криптоказино)
:🥉Стандарт:5 лінків = 300$ (60$ за лінк)10 лінків = 500$ (50$ за лінк)
🥈Оптимум:5 лінків = 600$ (120$ за лінк)10 лінків = 1000$ (100$ за лінк)
🥇Преміум:5 лінків = 800$ (160$ за лінк)10 лінків = 1500$ (150$ за лінк)
🔐 Тематичні домени, HTTPS, ручне розміщення————————————————————————
🚀 СУПЕР АКЦІЯ (час - обмежений)Масове розміщення від 50+ лінків:
🏆 Для тих, хто бажає швидко наростити масу посилань - пропонуємо розміщення 50 або 100 лінків без вибору площадок→ усього 20$/лінк!📩 За усіма питаннями пишіть:Telegram: @sales_pbn_linkEmail:
[email protected]#реклама #текстнадісланий
TGLIST.COM.UA
