Looking for international version of our service? Go to 2captcha.com

Логотип «RuCaptcha»Перейти на главную страницу
Туториалы по обходу капчи

Эта статья была полезной?

Как парсить Catawiki

Грегори Фишер
Грегори Фишер

Технический специалист

Catawiki — европейский онлайн-аукцион, где продают часы, искусство, украшения, предметы коллекционирования, классические автомобили и другие необычные вещи. По каждому лоту видно текущую ставку, оценку эксперта, рейтинг продавца и то, есть ли резервная цена. Если вы следите за тем, за сколько на самом деле уходит определённая модель часов, или хотите собрать историю цен продажи в сравнении с оценками, данные нужно брать отсюда.

У Catawiki две особенности. Во-первых, сайт не пускает headless-браузеры, и прокси тут не помогают. Обычный браузер с окном получает страницу целиком, даже с сервера в дата-центре. Во-вторых, аукцион устроен не так, как магазин. Цена может быть текущей ставкой, последней ставкой по лоту, который так и не продался, или просто стартовой суммой. Пустая цена означает резерв, а не ошибку разбора. А на странице каталога нет ни одного точного времени.

Разберём открытый парсер Catawiki из проекта 2scraper. Он читает категории, поиск, аукционы целиком и страницы отдельных лотов и записывает каждый лот строкой в JSON или CSV. Все цифры в статье взяты из README, changelog и раздела с типичными проблемами в репозитории, рядом указана дата замера.

Что вы получите

У парсера три режима:

Режим Что передаёте Что получаете
listing Категорию (/en/c/333-watches), поиск (/en/s?q=rolex) или один аукцион (/en/a/{id}-{slug}) По строке на лот. На странице категории или поиска 24 лота, на странице аукциона — сразу все его лоты
lot Страницу одного лота (/en/l/{id}-{slug}) Полную строку: оценку, продавца, бренд, число ставок и точное время торгов
auctions Список аукционов (/en/a) По короткой строке на аукцион: ID, ссылка, название и текст «закончится через…». Ссылки потом можно передать в режим listing

В строке лота 44 колонки. Вот те, которыми вы будете пользоваться:

Поле Что в нём
sku ID лота на Catawiki
title, subtitle Название лота и короткая строка под ним, например «Automatic - Steel»
price, currency Сумма в евро. Что она означает, зависит от bid_kind
bid_kind current (текущая максимальная ставка), final (последняя ставка по закрытому лоту), starting (ставок ещё нет) или пусто
reserve_price_set, reserve_price_met Есть ли у лота резервная цена и достигнута ли она
sold Продан ли закрытый лот на самом деле
buy_now Цена «купить сейчас», если она есть
bid_count, bid_count_is_floor Число ставок и признак того, что это только нижняя граница (подробнее ниже)
next_min_bid Минимальная следующая ставка, которую примет сайт (режим lot)
estimate_min, estimate_max Диапазон оценки эксперта (режим lot)
favorite_count Сколько человек добавили лот в избранное
time_left_text Текст с карточки вроде «8 hours left», без изменений
bidding_start_at, bidding_end_at Точное время начала и конца торгов (режим lot)
auction_id, auction_title, auction_close_at Аукцион, к которому относится лот; время закрытия берётся со страницы аукциона
brand Бренд из характеристик лота (только режим lot)
seller_id, seller_country, seller_score, seller_feedback_count Продавец и его отзывы (режим lot)

rating, review_count, original_price и discount_pct всегда пустые: рейтингов лотов и старых цен на Catawiki нет. Колонки оставлены, чтобы один и тот же код читал результаты всех парсеров 2scraper.

Что понадобится

  • Python от 3.9 до 3.13.
  • Playwright с Chromium — рекомендуемый вариант. Есть также версии на Selenium и pyppeteer с теми же флагами.
  • Отдельное виртуальное окружение для каждого движка: Playwright и pyppeteer требуют несовместимых версий pyee, а pyppeteer и Selenium — urllib3.
  • Экран. По умолчанию парсер запускает браузер с окном. На обычном компьютере это просто работает, а на сервере запускайте его через xvfb-run, который даёт браузеру виртуальный экран. В Docker-образе из репозитория это уже настроено.
  • Платить ни за что не нужно. Браузер с окном на обычном подключении открывает все разделы сайта.

Установка

bash Copy
git clone https://github.com/2scraper/catawiki-scraper.git
cd catawiki-scraper
python3 -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate

pip install -r requirements.txt -r requirements-playwright.txt
python -m playwright install chromium

cp .env.example .env
python3 env_config.py   # покажет, какие настройки подхватились, без вывода секретов

Для первого запуска .env можно не заполнять. Ключи и прокси потом записывайте туда, а не в командную строку.

Первый запуск

bash Copy
# Категория, три страницы, JSON и CSV
python3 playwright_scraper.py \
  --url 'https://www.catawiki.com/en/c/333-watches' --pages 3 --out watches

# Поиск
python3 playwright_scraper.py --url 'https://www.catawiki.com/en/s?q=rolex' --pages 2

# Аукцион целиком, все лоты за один запрос
python3 playwright_scraper.py \
  --url 'https://www.catawiki.com/en/a/1243988-figures-figurines-auction'

# Один лот полностью: оценка, продавец, характеристики, точное время
python3 playwright_scraper.py --mode lot \
  --url 'https://www.catawiki.com/en/l/106583855-omega-de-ville-prestige'

# Список аукционов как список задач
python3 playwright_scraper.py --mode auctions --url 'https://www.catawiki.com/en/a'

На сервере без экрана добавьте перед командой xvfb-run:

bash Copy
xvfb-run -a python3 playwright_scraper.py --url 'https://www.catawiki.com/en/c/333-watches'

Значения по умолчанию: --pages 1, --delay 2 (пауза между страницами в секундах), --retries 3, --format both и --out catawiki_products. Флаг --headless не передавайте: сейчас с ним запуск заканчивается кодом 3.

Как работает парсер

Строки из встроенных данных, цены со страницы

Страницы Catawiki сделаны на Next.js, и сервер кладёт данные о лотах в JSON-блок NEXT_DATA прямо в первом ответе. Оттуда берутся ID, названия, ссылки, фотографии, аукцион и признак резерва, JavaScript для этого не нужен.

С ценами иначе. Сервер присылает 24 пустые заготовки карточек с пустыми полями цены, а суммы, статус ставки и число добавлений в избранное появляются только после того, как отработает JavaScript страницы, в тестах через 1,9–2,4 секунды. Поэтому парсер ждёт, пока в поле цены что-то появится, а не пока на странице будет 24 карточки: они видны сразу, но все цены в них ещё пустые. У строк из каталога в price_source стоит next_data+dom. Если во всех строках просто next_data, значит, цены не успели загрузиться.

Встроенным данным тоже не всегда можно верить. Например, поле favoriteCount в них показало 0 у всех 288 лотов в 12 снимках, хотя на карточках были настоящие числа. Поэтому favorite_count парсер берёт с карточки.

Страницы аукционов лучше страниц категорий

На странице аукциона сразу все его лоты (130 из 130 на проверенной странице), а рядом время закрытия и статус аукциона. Страница категории или поиска даёт по 24 лота и ни одного точного времени, только «3 days left». В наборе данных, который вы откроете завтра, такая надпись ничего не значит. Если вы следите за ценами, берите список аукционов, а затем собирайте каждый аукцион по отдельности.

На страницах лотов парсер читает только встроенные данные, а не то, что видно на экране. На странице лота есть карусель «похожие лоты» на 20–40 позиций, где цены оформлены так же, как в каталоге, и «первая сумма в евро на странице» легко окажется ценой чужого лота.

Пагинация заканчивается на 100 страницах

Номер страницы передаётся через ?page=N, а первая страница сообщает общее число лотов и размер страницы, так что парсер заранее знает, сколько всего страниц. Но Catawiki ограничивает любой каталог сотней страниц и дальше не выдаёт ошибку: запрос ?page=99999 к категории на 11 681 лот вернул HTTP 200 и 24 лота сотой страницы. Парсер, который не знает об ограничении, будет снова и снова загружать сотую страницу и в итоге отчитается о завершённом запуске, где 2400 лотов из 11 681.

Этот парсер останавливается на сотой странице и записывает в .meta.json, сколько страниц каталога осталось за ней. --pages считается от той страницы, с которой начинается ваша ссылка: --pages 3 с ?page=99 загрузит страницы 99 и 100 и остановится, а в .meta.json появится pages_capped_by_site. Начать дальше сотой страницы нельзя, это ошибка в команде. Чтобы собрать больше, сужайте каталог фильтрами сайта или собирайте аукционы, у них такого ограничения нет.

Если страница пришла пустой, хотя по числу лотов она должна существовать, парсер загрузит её ещё раз. Если она снова пустая, запуск остановится как частичный со stop_reason listing_ended_early, а не будет считать, что каталог закончился.

Пустой поиск всё равно показывает 24 лота

Если поискать то, чего на сайте нет, Catawiki ответит HTTP 200, напишет «No results» и заполнит страницу 24 рекомендованными лотами, указав total: 24. Парсер узнаёт эту ситуацию по флагу во встроенных данных и ничего не записывает, код выхода 4. Два десятка правдоподобных строк по запросу, который ничего не нашёл, хуже, чем пустой результат. Страница «Page Not Found» у снятого лота обрабатывается так же: это ответ сайта, а не блокировка.

Языковые версии

У Catawiki 18 языковых версий, все на www.catawiki.com с префиксом в адресе: /en/, /nl/, /de/, /ja/, /zh-Hant/ и так далее. Вживую проверили шесть. Название категории в адресе переводится (333-watches, 333-horloges, 333-armbanduhren), а номер остаётся тем же, поэтому ключом служит номер. Цены везде в евро, в японской и китайской версиях тоже, меняется только запись: €1,535, € 1.535 или 1.535 €. Парсер понимает все варианты. Общее число лотов в разных версиях немного различается: 10 сентября 2026 года было 11 681 на en/nl/de/pl и 11 675 на ja/zh-Hant. Так фильтрует сам сайт.

Блокировки, капча и платные инструменты

Отказывают именно headless-браузеру

Catawiki работает через Akamai, и 10 сентября 2026 года результат зависел от типа клиента, а не от IP:

Клиент IP Результат
curl с полным набором браузерных заголовков дата-центр 403, 394 байта
curl с полным набором браузерных заголовков резидентный, Нидерланды 403
Headless Chromium дата-центр 403, 308 байт
Headless Chromium резидентный, Нидерланды (3 IP) 403
Chrome с окном дата-центр 200, 633 КБ, 24 лота
Chrome с окном резидентный, Нидерланды (2 IP) 200, 24 лота
RuCaptcha Browser API резидентный, Нидерланды 200, 637 КБ, 24 лота

Смена IP ничего не меняет, а отказ от headless меняет всё. Поэтому парсер по умолчанию запускает браузер с окном, а сообщение о блокировке советует проверить флаг --headless, а не покупать прокси. Отклонённую страницу парсер даже не пробует загрузить через другой IP, потому что это не поможет.

5 ноября 2026 года все разделы проверили ещё раз с сервера в дата-центре в Финляндии, без ключа и прокси, в Playwright с окном под xvfb-run. Категория вернула 24 из 24 лотов с ценами, список аукционов — 24 аукциона, один аукцион — 350 лотов, страница лота — полную строку. Headless с того же адреса получил 403 на странице категории. Раз в неделю, по понедельникам, то же самое проверяет контрольный запуск на обычном раннере GitHub с виртуальным экраном и без секретов.

Капчи нет

В 19 снимках на 6 языках Catawiki не показала анонимному посетителю ни reCAPTCHA, ни hCaptcha, ни Turnstile, ни PerimeterX, и ключей капчи в коде страниц тоже нет. В заголовке Content-Security-Policy сайта серверы PerimeterX разрешены, но ни на одной проверенной странице с них ничего не загружалось. Решатель в парсере оставлен, чтобы капчу можно было распознать, если она появится, но сейчас --solve-captcha делать нечего.

Что дают платные инструменты

RuCaptcha Browser API (--cdp-endpoint) подходит для сервера, где нельзя или не хочется запускать браузер с экраном. Это удалённый браузер со страной выхода на выбор. Его проверили во всех трёх режимах через резидентный IP в Нидерландах. К одному профилю можно подключиться только одним соединением, поэтому --concurrency с ним игнорируется с предупреждением: для параллельной работы используйте несколько профилей. Если запустить сбор сразу после предыдущего, профиль может быть ещё занят и ответить HTTP 500. Парсер повторит подключение четыре раза с интервалом в десять секунд и напишет в логе, в чём дело. Отпечаток, user agent и прокси поверх него не добавляйте: у удалённого браузера всё это своё.

Прокси (--proxy, --proxy-file) нужны для больших объёмов и разных адресов. Headless-браузеру они не помогут. Есть и ещё одна сложность: Chromium не умеет авторизоваться на SOCKS5-прокси, а Selenium не умеет авторизоваться ни на каких. Обойти обе проблемы помогает режим белого списка IP в резидентных прокси RuCaptcha: вы добавляете свой IP в белый список и получаете подключения без логина и пароля.

bash Copy
curl "https://api.2captcha.com/proxy/generate_white_list_connections\
?key=$TWOCAPTCHA_KEY&ip=YOUR.IP.HERE&protocol=socks5&connection_count=3&country=nl"

Сохраните полученные строки host:port в файл и передайте его через --proxy-file. 11 сентября 2026 года так получили три порта с тремя разными резидентными IP в Нидерландах, и они сразу заработали в Playwright, Selenium и pyppeteer. HTTP-подключения, созданные тем же способом, так и не ответили. Другие параметры описаны в документации Proxy API.

Scraper API (scraper_api_client.py) загружает страницы без браузера, 11 сентября 2026 года это стоило $0,0005 за запрос. Он получает ID, название, ссылку, фотографии, аукцион и признак резерва каждого лота, но цена, статус ставки и число добавлений в избранное пустые во всех строках: они появляются только после выполнения JavaScript. Этот способ подходит, чтобы дёшево составить список лотов или проверить, на месте ли они, а для ставок нужен браузерный движок.

Отпечатки браузера (--fingerprint) дают устойчивый «профиль» устройства. В --fp-tags передавайте один тег операционной системы: Windows, Microsoft Windows или Android. На список тегов или теги вроде Chrome и Desktop API отвечает ошибкой HTTP 400.

Выходные файлы и коды выхода

Каждый запуск сохраняет результаты и файл .meta.json со статусом, stop_reason и номерами страниц, которые не загрузились. Если ничего не найдено, предыдущий файл не перезаписывается, пока вы не передадите --allow-empty. В CSV текстовые ячейки, которые начинаются с =, +, -, @, табуляции или перевода строки, получают апостроф в начале, чтобы Excel не принял их за формулы. В JSON текст сохраняется как есть.

Код Значение
0 Лоты сохранены
1 Сбой
2 Ошибка в команде, например стартовая страница дальше сотой или Selenium с прокси, которому нужен пароль
3 Блокировка — здесь почти всегда из-за headless
4 Лотов нет: пустой поиск, снятый лот, страница за концом каталога
5 Страницы не удалось получить: таймаут, нерабочий прокси, удалённый браузер отказал в подключении
6 Частичный результат

Ловушки, которые выглядят как баги

  • В некоторых строках нет цены. Это лоты, у которых не достигнута резервная цена. Все 57 пустых цен в 13 снимках были у лотов с reserve_price_set true, и шли они вперемешку с остальными, а не в конце страницы. Поэтому не оценивайте запуск по доле заполненных цен (87–100% на страницах категорий и 68% на одном аукционе, где много резервов). Проверяйте правило: пустая цена всегда должна идти вместе с резервом. Контрольный запуск проверяет именно это.
  • Финальная цена ещё не цена продажи. bid_kind final означает последнюю ставку по закрытому лоту. Один лот в снимках дошёл до €1300, но резерв достигнут не был и sold стоял false — его никто не купил. Прежде чем заносить цену в историю, посмотрите на sold.
  • bid_count у всех лотов равен 10. Сайт отдаёт только десять последних ставок и не сообщает общее число. bid_count_is_floor true означает «не меньше 10».
  • В строках каталога пустой brand. Название вроде «Cartier - Tank Must de Cartier PM - No reserve price - …» можно было бы разрезать по дефису, но это была бы догадка. В режиме lot бренд берётся из характеристик самого лота.
  • time_left_text не превращается в дату. На странице каталога нет точного времени, от которого можно отсчитать, и такая дата была бы вашим временем, а не данными сайта. Точное время берите со страниц лотов и аукционов.
  • В поле цены стоит невидимый символ. Это пробел нулевой ширины, которым сайт заполняет пустое поле. Парсер считает такую цену пустой. Простая проверка на «не пусто» посчитала бы поле заполненным и записала бы невидимый символ в каждую строку.

Сравнение запусков

bash Copy
python3 diff_runs.py --old watches_mon.json --new watches_tue.json --fail-on-change

diff_runs.py сопоставляет два запуска по sku и показывает, какие лоты появились, пропали или изменились. Он следит за ценой, статусом ставки, резервом, продажей, ценой «купить сейчас» и статусом аукциона. На аукционе большая часть изменений — это просто торги, которые идут своим чередом. Поэтому лоты, у которых bid_kind сменился с current на final, попадают в отдельную группу lifecycle, и --fail-on-change её не учитывает. То, что осталось в группе изменённых, стоит посмотреть внимательно. Сравнивать незавершённые запуски, запуски в разных режимах и запуски по разным каталогам (например, категорию с поиском) инструмент отказывается. Для этого он сверяет стартовые адреса, записанные в .meta.json.

Пример строки

Один и тот же лот из sample_output.json в репозитории, снятый 10 ноября 2026 года сначала из каталога, а потом в режиме lot (часть полей):

json Copy
{
  "url": "https://www.catawiki.com/en/l/108247673-tecnotempo-automatic-reborn-no-reserve-price-tt-re-ggr-men-2025",
  "sku": "108247673",
  "title": "Tecnotempo - Automatic - \"Reborn\" - - No reserve price - TT.RE.GGR - Men - 2025+",
  "brand": "Tecnotempo",
  "price": 97.0,
  "currency": "EUR",
  "price_source": "next_data",
  "bid_kind": "current",
  "bid_count": 10,
  "bid_count_is_floor": true,
  "next_min_bid": 100.0,
  "bidding_start_at": "2026-11-03T15:00:00+00:00",
  "bidding_end_at": "2026-11-10T18:02:05+00:00",
  "reserve_price_set": false,
  "sold": false,
  "favorite_count": 41,
  "subtitle": "Automatic - Steel",
  "estimate_min": 800.0,
  "estimate_max": 900.0,
  "auction_id": "1297161",
  "auction_title": "Unused Watches Auction",
  "seller_id": "1818461",
  "seller_country": "Italy",
  "seller_score": 100.0,
  "seller_feedback_count": 13706,
  "listing_kind": "lot"
}

В каталоге у этого лота было «8 hours left», пустой brand и цена «купить сейчас» €700. Режим lot добавил точное время окончания, оценку и продавца. Обратите внимание на разрыв: текущая ставка €97 при оценке €800–900, без резерва, за восемь часов до конца торгов. Как раз такие лоты и помогают находить эти данные.

Что делать с результатами: цены продажи и оценки

Полезно посмотреть, как итоговая цена проданных лотов соотносится с оценкой эксперта. Соберите строки в режиме lot по интересующим лотам, лучше из уже закрытых аукционов, и запустите:

python Copy
import json
from statistics import median

rows = json.load(open("lots.json", encoding="utf-8"))

ratios = []
for r in rows:
    if r.get("bid_kind") != "final" or r.get("sold") is not True:
        continue  # не продан или торги ещё идут — это не цена продажи
    lo, hi = r.get("estimate_min"), r.get("estimate_max")
    if not (r.get("price") and lo and hi):
        continue
    ratio = r["price"] / ((lo + hi) / 2)
    ratios.append(ratio)
    print(f"€{r['price']:>8,.0f}  оценка €{lo:,.0f}–{hi:,.0f}  {ratio:>5.0%}  {r['title'][:50]}")

if ratios:
    print(f"\nПродано лотов: {len(ratios)}, медиана — {median(ratios):.0%} от середины оценки")

Фильтр здесь важнее арифметики. Без проверки sold в историю цен попал бы и тот лот за €1300, который никто не купил.

Ограничения

  • Не больше 100 страниц на каталог. Чтобы собрать больше, используйте фильтры или собирайте аукционы.
  • bid_count ограничен десятью последними ставками.
  • На страницах каталога нет точного времени, для него нужны страницы лотов или аукционов.
  • Scraper API собирает каталог, но без цен.
  • Headless-браузер не пускают, поэтому на сервере нужен xvfb-run или Browser API.
  • Рейтингов и старых цен на Catawiki нет, эти колонки всегда пустые.

Частые вопросы

Почему парсер открывает окно браузера?
Потому что Catawiki не пускает headless-браузеры. На сервере запускайте парсер через xvfb-run или используйте Browser API.

Нужен ли прокси?
Нет. IP здесь ничего не решает, решает тип браузера. Браузер с окном с сервера в дата-центре открыл все разделы. Прокси пригодятся только для больших объёмов.

Пустая цена — это ошибка?
Нет, это лот с недостигнутой резервной ценой. У каждой пустой цены reserve_price_set равен true.

Можно ли получить всю историю ставок?
Нет. Сайт отдаёт только десять последних ставок и не сообщает их общее число.

Как получить цены продажи?
Соберите закрытые лоты в режиме lot и оставьте только строки, где bid_kind равен final, а sold — true.

Законно ли парсить Catawiki?
Парсер читает публичные страницы, не входит в аккаунт и не делает ставок. Допустимо ли ваше использование, зависит от законов вашей страны и правил Catawiki. Проверьте и то и другое и не убирайте паузу между запросами. Это не юридическая консультация.

Итоги

Главное, что нужно знать про Catawiki: сайту всё равно, откуда вы подключаетесь, важно только, есть ли у браузера окно. Если это учесть, данные собираются без проблем. А дальше, прежде чем называть какую-то сумму ценой продажи, проверьте sold.

С чего начать: склонируйте репозиторий и запустите парсер на своём компьютере без какой-либо настройки. Для серверов без экрана или для выхода из определённой страны зарегистрируйтесь в RuCaptcha и используйте RuCaptcha Browser API.

Исходный код

Документация

Похожие руководства