Зробив собі на AI міні-аналізатор логів сайту. Назвав LogLens SEO 👀

Одразу скажу: будувати конкурента Screaming Frog чи JetOctopus я не збираюсь. Була конкретна ціль: завантажити логи й нормально подивитися, як боти ходять сайтом, що сканують і де виникають проблеми.

Що вже вміє:

• Підтягує логи з CSV, зокрема з вкладеним JSON. Є налаштування відповідності полів, щоб підлаштувати імпорт під свій формат.
• Показує активність Googlebot, Bingbot, GPTBot, ClaudeBot та інших ботів.
• Дає подивитися частоту обходу URL: куди боти заходять постійно, а куди давно не поверталися.
• Показує редиректи, помилки 4xx/5xx і сторінки, які віддають то 200, то 404.
• Розкладає краулінг по розділах сайту, параметрах URL і типах ресурсів.
• Допомагає знайти повільні URL, якщо в логах є час відповіді.
• Дозволяє створювати свої сегменти та правила, зокрема визначати, який краулінг вважати корисним, а який потенційно зайвим.
• Зіставляє IP ботів, що представляються Googlebot або Bingbot, з офіційними діапазонами.

Усе це з фільтрами, графіками й можливістю провалитися до конкретного URL або запису в логах.

Працює локально на комп’ютері. Без акаунтів, підписок і завантаження своїх логів у сторонній сервіс. Для знайомства є демодані, а в репозиторії є інструкція запуску.

Для мене це ще один приклад, як за допомогою AI можна зробити інструмент під конкретну робочу задачу.

Може, колись покращу цей продукт 😂 Але це не точно. Якщо є питання, покращення пишіть - @mrfanatik

PS> Якщо вам супер лінь розбиратись, кидайте гіт клоду, він вам все поставить і запустить)

Код тут, якщо хочете покрутити:
https://github.com/fanatikya/loglens-seo