Специалиста по парсингу товаров сайта выбирают по ответам на четыре вопроса: как он обходит динамику страниц, что делает с защитой, как считает объём и что говорит про юридическую сторону. Исполнитель, который на уточнение «какие поля нужны» отвечает «соберём всё», — риск получить таблицу с половиной каталога. Ниже — что спросить до старта и как проверить ответ числом, а не на слово.
Динамика: как сайт отдаёт данные
Первый вопрос — не «умеете парсить», а «как вы получите данные именно с этого сайта». Каталоги устроены по-разному, и от этого зависит и срок, и цена.
Статичный HTML — товары лежат в разметке, парсер забирает их напрямую. Простой случай, и таких сайтов всё меньше.
Динамика — список подгружается скриптом уже после открытия страницы. В исходном коде пусто, в браузере всё на месте. Здесь два пути: разбирать внутренние запросы, которые страница делает к своему серверу, или поднимать headless-браузер. Первый быстрее и дешевле в поддержке, второй устойчивее к хитрым схемам, но тяжелее и медленнее.
Бесконечный скролл и фильтры. Если товары догружаются при прокрутке, а фильтр меняет адрес страницы, обход каталога — отдельная задача. Спросите, как исполнитель получит полный список: по страницам пагинации, по категориям, через sitemap или перебором фильтров.
Проверка. Возьмите одну категорию и попросите собрать её целиком. Сравните число позиций с тем, что видите сами. Расхождение в 5–10% обычно объясняется снятыми с продажи или скрытыми товарами, но объяснение должно быть, а не «погрешность».
Защита: что стоит между парсером и каталогом
Спросите прямо: что на этом сайте мешает сбору и как вы это обходите.
Типовые вещи: ограничение частоты запросов, блокировка по IP и User-Agent, Cloudflare, JS-челлендж, капча, скрытые ловушки-ссылки для ботов. Ответ «защиты нет» на крупном каталоге почти всегда означает, что исполнитель её не искал.
Что должно быть в ответе: паузы между запросами, ограничение параллельности, повтор при ошибке, кэш уже полученных страниц. Хороший признак — когда исполнитель сам предлагает не бить по сайту чаще, чем нужно.
Часть этого можно проверить самому. Откройте страницу каталога с выключенным JavaScript: если товаров в ответе нет, значит сбор пойдёт через браузер или внутренний API. Посмотрите в инструментах разработчика, что уходит в сеть при загрузке списка. Если там чистый JSON — работа упрощается.
Отдельно проговорите границу. Я собираю только то, что открыто посетителю: парсер не логинится в чужие аккаунты и не обходит платный доступ. Если данные видны лишь после входа в личный кабинет, это другой проект и другой разговор.
Объём: сколько товаров, полей и как часто
Скорость сбора — не узкое место. 100 позиций собираются за 4 секунды, 15 страниц текста — за 26 секунд. Узкое место — объём, частота и хранение.
Вопросы по порядку:
- Сколько позиций в каталоге и сколько полей нужно: название, цена, наличие, ссылка, артикул, характеристики.
- Как часто обновлять: раз в день, раз в час, по кнопке.
- Нужна ли история цен или только текущий срез.
- Куда выгружать: Excel, Google Таблицы, база.
- Нужна ли сводка об изменениях — что подорожало, что пропало, что появилось.
Разница между «собрать каталог заново» и «собрать только изменения» — это разница в архитектуре. Во втором случае парсер хранит прошлый снимок и сравнивает. Так работает мониторинг: повторный прогон пишет только о новом и подешевевшем, а не присылает весь список заново. На объёме в тысячу позиций и больше это экономит и время, и внимание.
Юридическая сторона: что можно собирать
Общедоступные данные — название, цена, наличие — собирать можно. Дальше начинаются нюансы, и их лучше проговорить до старта.
- Персональные данные парсеру не нужны. Если исполнитель предлагает их собирать, это плохой знак.
- Контент за авторизацией — отдельная история: доступ надо получать у владельца.
- Обход технических средств защиты — вопрос не только технический. Оценку стоит подтверждать у юриста, а не у разработчика.
- Выгрузка существенной части чужой базы данных и её использование в своей деятельности — отдельный риск, который в код не заложишь.
- robots.txt — не закон, но индикатор позиции владельца сайта. Игнорировать его можно, делать это молча — нет.
- Нагрузка. Парсер не должен работать как атака. Если сайт ложится от вашего сбора, проблема в сборе.
Разработчик отвечает за технику, а не за правовую оценку. Хороший исполнитель сам скажет, где заканчивается его зона.
Что должно быть в результате и как принять работу
Результат — не скрипт, а работающий сбор: файл или таблица с нужными полями, расписание, лог прогонов и понятное поведение при сбое.
Приёмка идёт числом. Попросите тестовый прогон на вашем списке и сверьте:
- сколько позиций собрано из скольких ожидалось;
- сколько полей заполнено, где пусто и почему;
- сколько дублей при повторном запуске — их быть не должно;
- что происходит при ошибке: пропуск, повтор, уведомление;
- сколько занимает один прогон.
Защита от дублей и очередь — то, без чего сбор ломается в бою: данные не теряются при сбоях и не приходят дважды. Это закладывается сразу, а не прикручивается после первой потери.
Готовый вариант такой задачи — парсер с выгрузкой в Excel: сбор по расписанию, выгрузка в файл или Google Таблицы, сводка в Telegram.
Поддержка: что будет через полгода
Спросите, где живёт парсер и что произойдёт, когда сайт изменится.
- Код передаётся вам или остаётся у исполнителя.
- Где запускается: ваш сервер, ваш аккаунт в облаке, машина исполнителя.
- Кто платит за сервер и прокси.
- Как вы узнаете, что сбор упал: уведомление, лог, пустая таблица.
- Сколько стоит правка при смене вёрстки.
Парсер пишется под конкретный источник. При сильной смене вёрстки сбор подправляется — это небольшая отдельная работа. Парсер, который живёт на чужой машине без доступа к коду, — это аренда, а не покупка. Если сбор критичен для работы, код и доступы должны быть у вас.
Сколько это стоит и от чего зависит цена
Парсер с выгрузкой в Excel — от 4 400 ₽, срок 3 дня. Это база: один источник, фиксированный набор полей, выгрузка в файл или таблицу.
Что увеличивает работу: несколько источников, авторизация, серьёзная защита, история цен, частое расписание, фильтр по описанию вместо ключевых слов. Цена складывается из числа источников, сложности сбора и того, сколько поддержки потребуется после сдачи.
Если нужно собрать каталог конкурента, свой прайс или площадку с объявлениями — опишите источник, поля и частоту обновления. На странице услуги есть форма: сайт, список полей, куда выгружать. По этому описанию считается объём и называется срок.
Частые вопросы
Сколько стоит парсер товаров?
От 4 400 ₽, срок 3 дня. В базу входит один источник, фиксированный набор полей и выгрузка в Excel или Google Таблицы. Несколько источников, авторизация и защита считаются отдельно.
Что будет, если сайт поменяет вёрстку?
Парсер пишется под конкретный источник, поэтому при сильной смене вёрстки сбор подправляется. Это небольшая отдельная работа. Договориться о поддержке заранее дешевле, чем искать исполнителя заново.
Законно ли парсить цены конкурентов?
Общедоступные данные — название, цена, наличие — собирать можно. Риски начинаются с выгрузки существенной части чужой базы и с обхода защиты. Правовую оценку подтверждает юрист, а не разработчик.
Сколько товаров можно собрать и как часто?
Скорость не ограничение: 100 позиций собираются за 4 секунды. Ограничение — нагрузка на сайт и расписание. Частоту согласуют до старта, чтобы сбор не выглядел атакой.
Как проверить, что парсер работает правильно?
Тестовый прогон на вашем списке: сверьте число собранных позиций с ожидаемым, проверьте заполненность полей, запустите сбор второй раз и убедитесь, что дублей нет. Ошибки за прогон должны быть видны в логе.