К содержанию
титов-ai.ru
7 ноября 2026·чтение 6 минут·Вадим Титов

Специалист по парсингу товаров сайта

Что спросить у исполнителя до старта: динамика страниц, защита от блокировок, объём выгрузки и юридическая сторона. И как принять работу числом.

Специалиста по парсингу товаров сайта выбирают по ответам на четыре вопроса: как он обходит динамику страниц, что делает с защитой, как считает объём и что говорит про юридическую сторону. Исполнитель, который на уточнение «какие поля нужны» отвечает «соберём всё», — риск получить таблицу с половиной каталога. Ниже — что спросить до старта и как проверить ответ числом, а не на слово.

Динамика: как сайт отдаёт данные

Первый вопрос — не «умеете парсить», а «как вы получите данные именно с этого сайта». Каталоги устроены по-разному, и от этого зависит и срок, и цена.

Статичный HTML — товары лежат в разметке, парсер забирает их напрямую. Простой случай, и таких сайтов всё меньше.

Динамика — список подгружается скриптом уже после открытия страницы. В исходном коде пусто, в браузере всё на месте. Здесь два пути: разбирать внутренние запросы, которые страница делает к своему серверу, или поднимать headless-браузер. Первый быстрее и дешевле в поддержке, второй устойчивее к хитрым схемам, но тяжелее и медленнее.

Бесконечный скролл и фильтры. Если товары догружаются при прокрутке, а фильтр меняет адрес страницы, обход каталога — отдельная задача. Спросите, как исполнитель получит полный список: по страницам пагинации, по категориям, через sitemap или перебором фильтров.

Проверка. Возьмите одну категорию и попросите собрать её целиком. Сравните число позиций с тем, что видите сами. Расхождение в 5–10% обычно объясняется снятыми с продажи или скрытыми товарами, но объяснение должно быть, а не «погрешность».

Защита: что стоит между парсером и каталогом

Спросите прямо: что на этом сайте мешает сбору и как вы это обходите.

Типовые вещи: ограничение частоты запросов, блокировка по IP и User-Agent, Cloudflare, JS-челлендж, капча, скрытые ловушки-ссылки для ботов. Ответ «защиты нет» на крупном каталоге почти всегда означает, что исполнитель её не искал.

Что должно быть в ответе: паузы между запросами, ограничение параллельности, повтор при ошибке, кэш уже полученных страниц. Хороший признак — когда исполнитель сам предлагает не бить по сайту чаще, чем нужно.

Часть этого можно проверить самому. Откройте страницу каталога с выключенным JavaScript: если товаров в ответе нет, значит сбор пойдёт через браузер или внутренний API. Посмотрите в инструментах разработчика, что уходит в сеть при загрузке списка. Если там чистый JSON — работа упрощается.

Отдельно проговорите границу. Я собираю только то, что открыто посетителю: парсер не логинится в чужие аккаунты и не обходит платный доступ. Если данные видны лишь после входа в личный кабинет, это другой проект и другой разговор.

Объём: сколько товаров, полей и как часто

Скорость сбора — не узкое место. 100 позиций собираются за 4 секунды, 15 страниц текста — за 26 секунд. Узкое место — объём, частота и хранение.

Вопросы по порядку:

  • Сколько позиций в каталоге и сколько полей нужно: название, цена, наличие, ссылка, артикул, характеристики.
  • Как часто обновлять: раз в день, раз в час, по кнопке.
  • Нужна ли история цен или только текущий срез.
  • Куда выгружать: Excel, Google Таблицы, база.
  • Нужна ли сводка об изменениях — что подорожало, что пропало, что появилось.

Разница между «собрать каталог заново» и «собрать только изменения» — это разница в архитектуре. Во втором случае парсер хранит прошлый снимок и сравнивает. Так работает мониторинг: повторный прогон пишет только о новом и подешевевшем, а не присылает весь список заново. На объёме в тысячу позиций и больше это экономит и время, и внимание.

Юридическая сторона: что можно собирать

Общедоступные данные — название, цена, наличие — собирать можно. Дальше начинаются нюансы, и их лучше проговорить до старта.

  • Персональные данные парсеру не нужны. Если исполнитель предлагает их собирать, это плохой знак.
  • Контент за авторизацией — отдельная история: доступ надо получать у владельца.
  • Обход технических средств защиты — вопрос не только технический. Оценку стоит подтверждать у юриста, а не у разработчика.
  • Выгрузка существенной части чужой базы данных и её использование в своей деятельности — отдельный риск, который в код не заложишь.
  • robots.txt — не закон, но индикатор позиции владельца сайта. Игнорировать его можно, делать это молча — нет.
  • Нагрузка. Парсер не должен работать как атака. Если сайт ложится от вашего сбора, проблема в сборе.

Разработчик отвечает за технику, а не за правовую оценку. Хороший исполнитель сам скажет, где заканчивается его зона.

Что должно быть в результате и как принять работу

Результат — не скрипт, а работающий сбор: файл или таблица с нужными полями, расписание, лог прогонов и понятное поведение при сбое.

Приёмка идёт числом. Попросите тестовый прогон на вашем списке и сверьте:

  • сколько позиций собрано из скольких ожидалось;
  • сколько полей заполнено, где пусто и почему;
  • сколько дублей при повторном запуске — их быть не должно;
  • что происходит при ошибке: пропуск, повтор, уведомление;
  • сколько занимает один прогон.

Защита от дублей и очередь — то, без чего сбор ломается в бою: данные не теряются при сбоях и не приходят дважды. Это закладывается сразу, а не прикручивается после первой потери.

Готовый вариант такой задачи — парсер с выгрузкой в Excel: сбор по расписанию, выгрузка в файл или Google Таблицы, сводка в Telegram.

Поддержка: что будет через полгода

Спросите, где живёт парсер и что произойдёт, когда сайт изменится.

  • Код передаётся вам или остаётся у исполнителя.
  • Где запускается: ваш сервер, ваш аккаунт в облаке, машина исполнителя.
  • Кто платит за сервер и прокси.
  • Как вы узнаете, что сбор упал: уведомление, лог, пустая таблица.
  • Сколько стоит правка при смене вёрстки.

Парсер пишется под конкретный источник. При сильной смене вёрстки сбор подправляется — это небольшая отдельная работа. Парсер, который живёт на чужой машине без доступа к коду, — это аренда, а не покупка. Если сбор критичен для работы, код и доступы должны быть у вас.

Сколько это стоит и от чего зависит цена

Парсер с выгрузкой в Excel — от 4 400 ₽, срок 3 дня. Это база: один источник, фиксированный набор полей, выгрузка в файл или таблицу.

Что увеличивает работу: несколько источников, авторизация, серьёзная защита, история цен, частое расписание, фильтр по описанию вместо ключевых слов. Цена складывается из числа источников, сложности сбора и того, сколько поддержки потребуется после сдачи.

Если нужно собрать каталог конкурента, свой прайс или площадку с объявлениями — опишите источник, поля и частоту обновления. На странице услуги есть форма: сайт, список полей, куда выгружать. По этому описанию считается объём и называется срок.

Частые вопросы

Сколько стоит парсер товаров?

От 4 400 ₽, срок 3 дня. В базу входит один источник, фиксированный набор полей и выгрузка в Excel или Google Таблицы. Несколько источников, авторизация и защита считаются отдельно.

Что будет, если сайт поменяет вёрстку?

Парсер пишется под конкретный источник, поэтому при сильной смене вёрстки сбор подправляется. Это небольшая отдельная работа. Договориться о поддержке заранее дешевле, чем искать исполнителя заново.

Законно ли парсить цены конкурентов?

Общедоступные данные — название, цена, наличие — собирать можно. Риски начинаются с выгрузки существенной части чужой базы и с обхода защиты. Правовую оценку подтверждает юрист, а не разработчик.

Сколько товаров можно собрать и как часто?

Скорость не ограничение: 100 позиций собираются за 4 секунды. Ограничение — нагрузка на сайт и расписание. Частоту согласуют до старта, чтобы сбор не выглядел атакой.

Как проверить, что парсер работает правильно?

Тестовый прогон на вашем списке: сверьте число собранных позиций с ожидаемым, проверьте заполненность полей, запустите сбор второй раз и убедитесь, что дублей нет. Ошибки за прогон должны быть видны в логе.

Не уверены, что подойдёт под вашу задачу? Опишите её — скажу прямо, что закроет её быстрее и дешевле.

Написать в Telegram
← Все статьи