Разработка парсеров

Цены конкурентов, лоты, каталоги поставщиков — в вашу таблицу или базу, по расписанию. Ниже — какая структура получается на выходе.

Написать в Telegram

Структура данных на выходе

source строка имя площадки или конкурента

external_id строка идентификатор на источнике, ключ от дублей

title строка наименование как на странице

price / currency число / строка 4200000 / UZS — без пробелов и знаков

attrs объект цвет, размер, материал — разобраны по полям

status строка in_stock, out_of_stock, unknown

fetched_at дата когда снято — без этого данные бесполезны

raw_html текст сырой ответ — чтобы переразобрать без повторного сбора

История цен хранится отдельной таблицей, а не перезаписывается — иначе невозможно ответить на вопрос «когда он поднял цену».

Как устроен надёжный парсер

01Очередь с повторами и задержкой: площадка отвечает ошибкой в часы пик — это норма

02Сохранение сырых ответов — разметку меняют, и переразбор не должен требовать нового обхода

03Проверки на абсурд: цена в сто раз ниже или пустой каталог — повод остановиться, а не залить базу мусором

04Уведомление в Telegram, когда структура источника изменилась

05Выгрузка туда, где вы работаете: таблица, база, дашборд или API

Чего не делаем

✕Не обходим защиту и капчу в лоб. Если источник явно закрыт от сбора — скажем это до договора, а не будем брать деньги за гонку вооружений.

✕Не собираем персональные данные людей. Телефоны и адреса из открытых анкет — не наша работа.

✕Не обещаем вечной работы без правок. Источники меняют разметку несколько раз в год. Поддержка — отдельная строка, и мы говорим про неё заранее.

срок и цена От 400 $, от 1 недели на один источник. Каждый следующий дешевле: очередь и хранилище уже есть.

весь прайс →

Кейсы по теме

Смотрите также

заявка

Оставьте номер, и мы перезвоним

Одно поле. Расскажете задачу — как удобно: звонком, в Telegram или голосовым. Сразу назовём срок и вилку цены, а на следующий день пришлём три концепции. Бесплатно.

Telegram +998 90 936 26 38

Номер нужен только чтобы ответить на заявку. Рассылок нет.