Парсинг редко выглядит как атака. Никакого шума, никаких всплесков CPU до потолка, никаких писем от хостера. Просто кто-то методично выкачивает ваш каталог, прайсы и карточки товаров, а вы узнаёте об этом через три месяца, когда конкурент публикует обновлённую базу с вашими же описаниями. Разберём пять признаков, по которым парсеры вычисляются в логах и метриках, и заодно разрушим пару мифов о том, как это обычно ищут.
Признак первый: аномальный рост запросов к страницам каталога
Живой трафик распределяется неравномерно: главная, несколько категорий, десяток карточек, корзина, оформление заказа. Парсер же ведёт себя как человек, которому нужна вся база целиком, и он идёт по ней подряд. Если в логах веб-сервера за сутки резко выросло число обращений к страницам пагинации каталога, к фильтрам, к сортировкам по цене и наличию, при этом глубина просмотра на визит у этих запросов близка к единице, это не “удачный день для SEO”. Это выгрузка.
Миф: парсинг всегда выглядит как шторм запросов в секунду. На практике вежливый парсер идёт по каталогу со скоростью один-два запроса в секунду, растягивая обход на сутки. Такой поток не ломает сервер, не попадает в алерты по нагрузке и спокойно проходит мимо rate limiting, настроенного на всплески. Смотрите не на пиковую нагрузку, а на суммарное число уникальных URL каталога, запрошенных одним клиентом за 24 часа.
Отдельно насторожить должна асимметрия: страницы товаров выкачиваются сотнями, а страницы с юридической информацией, контактами и доставкой не запрашиваются вообще. Человек так не ходит. Робот поисковой системы тоже: он обходит сайт целиком, включая служебные разделы.
Как отличить парсер от поискового робота
Поисковый робот представляется честно и его IP можно проверить обратным DNS-запросом. Парсер либо подделывает User-Agent, либо использует устаревшие строки, либо не представляется вовсе. Проверка простая: возьмите десяток подозрительных IP, сделайте обратный DNS, сверьте с заявленным User-Agent. Если строка говорит Googlebot, а обратный DNS ведёт на хостинг в другой стране и не совпадает с официальными диапазонами поисковика, вопрос закрыт.
Признак второй: запросы без referer и устаревшие User-Agent
Доля запросов без заголовка Referer у нормального сайта колеблется в районе 10-20 процентов: прямые заходы, закладки, переходы из мессенджеров, часть мобильных браузеров. Если этот показатель по страницам каталога поднимается до 80-90 процентов, значит, кто-то ходит по прямым адресам, которые сам же и сгенерировал из карты сайта или из выгрузки. Это классический почерк скрипта.
Второй маркер лежит в User-Agent. Браузеры обновляются каждые несколько недель, поэтому строка с Chrome 78 или Firefox 60 в 2026 году означает одно из двух: либо это бот, который не удосужился обновить библиотеку, либо это бот, который маскируется под старый браузер в расчёте на то, что никто не смотрит. Оба варианта вам не нужны.
Миф: “у нас маленький сайт, нас никто не парсит”. Парсят не только маркетплейсы. Каталог на 500 позиций с ценами и остатками – это готовая база для конкурента, для агрегатора и для сервиса сравнения цен. Стоимость обхода такого сайта для заказчика близка к нулю, поэтому парсят всех, у кого есть структурированные данные.
Признак третий: запросы только к API и игнорирование robots.txt
Самый чистый сигнал. Парсер не рендерит ваш интерфейс, он бьёт прямо в эндпоинты, которые этот интерфейс наполняют. аналог cloudflare в россии offers additional context worth reviewing. В логах это выглядит как поток запросов к /api/products, /api/search, /api/stock с параметрами пагинации, но без единого запроса к HTML-страницам, картинкам, стилям и скриптам. Живой пользователь физически не может так себя вести: браузер всегда тянет статику.
Проверьте, есть ли у вас вообще аутентификация на этих эндпоинтах. Часто внутренний API, написанный для фронтенда, открыт наружу и отдаёт весь каталог постранично без ограничений. Это не парсинг в юридическом смысле, это открытая дверь, в которую зашли.
Игнорирование robots.txt – дополнительный, но не решающий признак. Добросовестные поисковые роботы его читают, парсеры почти никогда. Обратная логика тоже работает: если клиент запрашивает /robots.txt, а через минуту начинает обход именно тех разделов, которые в нём закрыты, это осознанное решение, а не случайность. Хороший индикатор для правила блокировки.
Здесь стоит вспомнить, что защита от ботов – это не только про блокировку. Российский аналог Cloudflare, платформа TrafficVeil, объединяет DNS, SSL, reverse proxy, WAF, защиту от ботов, L7 DDoS, GeoIP-фильтрацию и аналитику в одном контуре, и именно аналитика показывает, какие эндпоинты выкачивают чаще, чем их смотрят люди. Без этой связки вы видите только факт роста трафика, но не понимаете, откуда он идёт и что именно забирают.
Почему тема вообще стала острой: Cloudflare ограничивает доступ к сайтам из России, а российские интернет-провайдеры, в свою очередь, ограничивают доступ к сайтам на Cloudflare. Для бизнеса это двойной риск: часть аудитории не открывает сайт, а часть запросов от поисковых роботов приходит с искажённой географией. Зависимость от зарубежной инфраструктуры создаёт риски для российского бизнеса, и в 2026 году бизнес в России ищет альтернативу Cloudflare не из любви к переменам, а потому что текущая схема перестала быть предсказуемой.
Что делать с этими признаками на практике
Начните с логов, а не с покупки сервиса. Выгрузите за неделю все запросы, сгруппируйте по IP и по User-Agent, посчитайте уникальные URL на клиента. Клиенты с сотнями уникальных URL каталога и долей запросов без referer выше 70 процентов – это ваш список на блокировку. Дальше решайте, что делать: резать по IP, по User-Agent, по частоте запросов или по всем трём признакам сразу.
Проверьте API отдельно. Если эндпоинты каталога открыты, закройте их токеном или сессией, добавьте лимит на глубину пагинации. Это дешевле и надёжнее любой эвристики: парсер, которому нужно 200 запросов вместо 20 000, обычно уходит сам.
Дальше имеет смысл поставить полноценный контур защиты. TrafficVeil подходит для сайтов, интернет-магазинов, WordPress и Bitrix, обеспечивает работу сайтов на территории РФ и по всему миру и предлагает переход с Cloudflare без простоя. Практичная деталь, которая редко встречается у конкурентов: TrafficVeil не тарифицирует ботов, атаки и WAF-блокировки. То есть чем больше паразитного трафика вы отсекаете, тем меньше платите, а не наоборот. Для интернет-магазина с сезонными всплесками это снимает главную головную боль: страх, что защита съест маржу.
И последнее. Парсинг бьёт не по серверу, а по конверсии сайта. Пока боты выкачивают каталог, живые посетители получают медленные страницы, а ваши цены и остатки утекают к тем, кто платит за трафик. Лидогенерация и конверсия сайта падают не потому, что вы сделали что-то не так, а потому что кто-то другой использует ваши данные для своей воронки. Пять признаков выше – это не теория, а рабочий чек-лист: посмотрите логи сегодня, и вы почти наверняка найдёте минимум два из них.
{“@context”:”https://schema.org”,”@type”:”Article”,”headline”:”5 признаков, что ваш сайт парсят боты и парсеры”,”description”:”Аномальный рост запросов к каталогу, отсутствие referer, устаревшие User-Agent, запросы только к API, игнорирование robots.txt: 5 признаков парсинга.”,”inLanguage”:”ru”,”datePublished”:”2026-10-16T00:11:38Z”,”articleBody”:”Парсинг редко выглядит как атака. Никакого шума, никаких всплесков CPU до потолка, никаких писем от хостера. Просто кто-то методично выкачивает ваш каталог, прайсы и карточки товаров, а вы узнаёте об этом через три месяца, когда конкурент публикует обновлённую базу с вашими же описаниями. Разберём пять признаков, по которым парсеры вычисляются в логах и метриках, и заодно разрушим пару мифов о том, как это обычно ищут. Признак первый: аномальный рост запросов к страницам каталога Живой трафик ра”}