Как запускать открытые парсеры 2scraper: установка, прокси и Browser API

2scraper — организация на GitHub с открытыми парсерами на Python, по одному репозиторию на сайт. На 29.10.2026 их было 65. Каждый парсер читает публичный сайт без входа в аккаунт, записывает по строке на каждый элемент в JSON или CSV и сообщает, чем закончился запуск. Код распространяется по лицензии MIT, и в каждом репозитории описано, что и когда измерялось и что нужно парсеру, кроме локального браузера.

Руководства по отдельным сайтам в этом разделе (SHEIN, Lidl, TipRanks, Transfermarkt, YouTube, Google Play, Avito) подробно разбирают по одному репозиторию. Это руководство описывает то, что у них общее, чтобы вы могли взять любой парсер из каталога ниже и запустить его, не читая отдельную инструкцию. Здесь рассказано, как устроены репозитории, как их установить и настроить, как читать результаты и коды завершения и когда сайту нужны прокси, решение капчи или удалённый браузер.

Точное описание каждого парсера — в README его репозитория. Ниже собраны общие для семейства правила; если README говорит иначе, следуйте README.

Что общего у всех парсеров

Один репозиторий на сайт, одна строка на элемент

amazon-scraper читает amazon.com, zimmo-scraper — zimmo.be и так далее. Каждый запуск создаёт файл с результатами (по умолчанию JSON, с --format csv — CSV), где каждая строка — это один товар, объявление, пост, видео или игрок. Поля идут в одном и том же порядке в обоих форматах, а отсутствующее значение записывается как null.

Три браузерных движка

В большинстве репозиториев один и тот же цикл парсинга работает через три драйвера: playwright_scraper.py (основной, рекомендуется), selenium_scraper.py и puppeteer_scraper.py (pyppeteer или Node Puppeteer, в зависимости от репозитория). Драйверы используют общий разбор страниц сайта в product_parser.py и, если он есть в репозитории, общую логику состояний страницы в page_flow.py. Больше всего тестов у Playwright. Два других движка поддерживаются, но не все сценарии проверены от начала до конца; в README перечислено, что запускалось вживую.

Без браузера, если сайт это позволяет

Если сайт сам отдаёт данные через свой эндпоинт, как Hacker News или YouTube через Innertube API для части данных, репозиторий обращается к нему напрямую и пишет об этом. Браузер используется, только когда данные собирают скрипты страницы.

Офлайн-тесты и контрольный запуск

В каждом репозитории есть офлайн-тесты (python3 smoke_test.py или pytest tests/), которые проверяют разбор страниц на очищенных фрагментах реальных страниц без доступа к сети. В большинстве репозиториев также есть контрольный запуск по расписанию в GitHub Actions: он запускает парсер на живом сайте и проверяет результат. Оба показаны значками в начале README. Зелёный значок контрольного запуска значит, что при последнем запуске по расписанию сайт выглядел так же, как раньше.

Замеры с датами

Если в README сказано, что сайт не пускает адреса дата-центров или требует браузер с окном, там же указано, когда и откуда это измерялось. Сайты меняются, поэтому перепроверьте старый замер, прежде чем на него опираться.

Установка

Устройство везде одинаковое: отдельное виртуальное окружение для каждого движка (их зависимости конфликтуют), отдельный файл зависимостей для каждого движка и файл .env для всего секретного.

git clone https://github.com/2scraper/<site>-scraper.git
cd <site>-scraper
python3 -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate
pip install -r requirements-playwright.txt
playwright install chromium
cp .env.example .env

Для Selenium или Puppeteer создайте отдельное виртуальное окружение и установите requirements-selenium.txt или requirements-puppeteer.txt. Во многих репозиториях также есть Dockerfile, который собирает образ с уже установленными Playwright и Chromium.

Базовая версия для семейства — Python 3.9 или новее; некоторым репозиториям нужна более свежая.

Настройка: .env, переменные окружения, командная строка

Храните учётные данные в .env или в переменных окружения. Большинство парсеров принимают их и флагами, но всё, что передаётся в командной строке, попадает в историю shell и в список процессов. Значения берутся в таком порядке: явно указанный флаг, затем переменная окружения, затем .env, затем значение по умолчанию. Пустое значение или незаполненная заглушка считаются ненастроенными и никогда не включают платные функции.

Имена переменных устроены одинаково. Точный список для репозитория — в его .env.example:

Для этих значений действуют два правила. Прокси никогда не меняется посреди активной сессии браузера: при смене IP запускается новая сессия без старых cookies. И удалённый браузер по CDP никогда не совмещается с локальными прокси, user agent или фингерпринтом.

Запуск парсера

Каждый парсер — консольная утилита. Вы указываете, что читать (поисковый запрос, категорию, URL или идентификатор, в зависимости от сайта) и сколько:

# поиск, не больше 60 результатов, JSON в файл по умолчанию
python3 playwright_scraper.py --query "linen pants" --max-results 60

# конкретный URL с сохранением в CSV
python3 playwright_scraper.py --url "https://example.com/some/listing" --format csv --out listing.csv

Значения по умолчанию небольшие, обычно 20–30 результатов и пара повторов, чтобы первый запуск был быстрым, а на сайтах с платными функциями — дешёвым. --help выводит все флаги, а в разделе Quick start в README показаны команды, важные для конкретного сайта.

Некоторые сайты не пускают Chromium в режиме без окна (headless), и в README сказано, какие именно. На сервере без дисплея запускайте такие парсеры через виртуальный дисплей:

xvfb-run -a python3 playwright_scraper.py --query "..."

Чтение результата: файл .meta.json

Запуск, который собрал данные, пишет два файла: результаты (<out>.json или <out>.csv) и рядом файл метаданных <out>.meta.json. Автоматизация должна читать именно его. В нём записано как минимум:

• status и stop_reason: завершился ли запуск полностью и, если нет, почему (blocked, rate_limited, remote_api_error, failed_pages, parser_found_nothing и т. д.);
• число строк, общее число результатов по данным сайта, если сайт его сообщает, и ограничил ли запуск флаг --max-results;
• расход платных функций, например solves_spent;
• хеш файла с результатами, чтобы файл метаданных можно было сопоставить с данными.

Запуск, который не собрал ни одной строки, не пишет ни одного файла, и предыдущий удачный результат остаётся на месте. Если пустой файл нужен специально, укажите --allow-empty. В CSV всегда есть строка заголовков, а значения, похожие на формулы таблиц, экранируются; их число записывается в файл метаданных.

Коды завершения

Все парсеры используют одни и те же коды завершения, поэтому один скрипт-обёртка подойдёт для любого из них:

Коды 3, 4 и 5 разделены специально. Пустой сайт, блокировка и сломанный парсер требуют разных действий.

Режимы доступа: что нужно каждому сайту

Сайты по-разному относятся к автоматическим посетителям, и в каталоге ниже у каждого парсера отмечен свой режим. Отметки основаны на датированных замерах из README, поэтому считайте их последним известным состоянием.

Без ключа и прокси. 34 из 65 парсеров при последней проверке работали с обычного домашнего подключения без какой-либо настройки. Браузер всё равно нужен (а парсерам без браузера не нужно ничего), и частоту запросов стоит держать умеренной.

Резидентный прокси. Некоторые сайты пускают домашние подключения, но отклоняют адреса дата-центров. Тогда парсер, который работает на ноутбуке, на облачном сервере завершается с кодом 3. Укажите в <SITE>_PROXY резидентный прокси: резидентные прокси RuCaptcha работают в обоих форматах выше, а Proxy API генерирует списки для --proxy-file. Selenium удаляет пароль прокси с предупреждением, поэтому для прокси с авторизацией используйте Playwright или Puppeteer.

Решение капчи. Если сайт ставит перед страницей настоящую капчу, как шлюз проверки SHEIN, GeeTest на Avito или DataDome на G2, репозиторий отправляет её в RuCaptcha, когда задан TWOCAPTCHA_KEY. Расходы на решение всегда ограничены. Флаги вроде --solve-captcha определяют, когда решать, а ограничения вроде --max-solves или фиксированного числа решений на страницу — сколько запуск может потратить; точные флаги указаны в README. Проверкам браузера, которые проходят сами, как промежуточная страница Cloudflare, даётся время, прежде чем покупать решение или сообщать о блокировке.

Удалённый браузер. 9 парсерам нужен RuCaptcha Browser API — профиль Chromium на стороне RuCaptcha, к которому вы подключаетесь по CDP. Он сохраняет cookies и состояние браузера между запусками, поэтому профиль, один раз прошедший проверку сайта, обычно продолжает работать. Задайте <SITE>_CDP_ENDPOINT (или передайте --cdp-endpoint) и запускайте как обычно. Учётные данные Browser API со временем истекают: если пришёл ответ HTTP 401, создайте новый адрес подключения, как описано в документации Browser API. Selenium не умеет авторизоваться на удалённом браузере, поэтому используйте Playwright или Puppeteer.

Профиль фингерпринта. Некоторые репозитории умеют подставлять в локальный браузер user agent и связанные заголовки из RuCaptcha Browser fingerprints (--fingerprint, --fp-tags, --fp-country). В нескольких репозиториях клиент уже есть, но к движкам ещё не подключён; это указано в их README.

В каждом README сказано, какой режим нужен сайту и что даёт каждая платная функция. Если сайту не нужно ничего платного, README тоже об этом говорит.

Как сравнивать запуски

Парсеры цен и объявлений часто включают инструмент сравнения, например diff_runs.py в SHEIN и Avito. Он сравнивает два полных запуска по уникальному ключу и показывает, что добавилось, исчезло или изменилось в цене. Сравнения, которые могут ввести в заблуждение, он не выполняет: запуски с разными запросами или рынками, файл метаданных, который не соответствует своим данным, или запуск, ограниченный --max-results, где товар мог просто выпасть из первых N. Если в репозитории нет такого инструмента и вы пишете свой, применяйте те же проверки: сравнивайте только запуски с одинаковым режимом, рынком, статусом завершения и ограничениями.

Каталог

Колонка «Доступ»: Без ключа и прокси — при последней проверке парсер работал с домашнего подключения без настройки. RuCaptcha Browser API — нужен профиль удалённого браузера. См. README — зависит от того, где вы запускаете парсер: например, из дома он работает, а с сервера нужен резидентный прокси. У некоторых платформ несколько парсеров, потому что их разделы защищены по-разному: у TikTok их четыре, у Facebook три.

E-commerce и розница

Объявления, недвижимость и путешествия

Еда и доставка

Приложения, соцсети и видео

Публикации и вопросы-ответы

Вакансии и каталоги компаний

Финансы, рынки и краудфандинг

Спорт

Все репозитории: github.com/2scraper. Нет нужного сайта? Оставьте запрос.

Руководства по отдельным сайтам

• Как парсить SHEIN: window.gbRawData, шлюз проверки и сравнение цен.
• Как парсить Google Play: рейтинги по странам и полная история отзывов.
• Как парсить Transfermarkt: AWS WAF и ловушки пагинации.
• Как парсить TipRanks: оценки аналитиков и целевые цены.
• Как парсить Lidl: сетки товаров и цены за единицу.
• Как парсить YouTube: комментарии и метаданные через Innertube API.
• Как парсить Avito: решение GeeTest v4 с IP самого браузера.

FAQ

Нужен ли аккаунт RuCaptcha, чтобы пользоваться этими парсерами?
Для большинства — нет. 34 парсера при последней проверке работали без ключа и прокси, а код распространяется по лицензии MIT. Аккаунт нужен, только если в README сказано, что сайту требуется решение капчи, резидентный прокси или профиль удалённого браузера, и там же объяснено, что даёт каждый вариант.

Почему Playwright рекомендуется вместо Selenium и Puppeteer?
Playwright — основной движок во всех репозиториях. Его проверяют вживую, он работает с прокси с авторизацией и с удалёнными браузерами по CDP, на нём идут контрольные запуски. Selenium и Puppeteer используют тот же цикл и поддерживаются, но Selenium не умеет работать с прокси с авторизацией и удалёнными браузерами, а другие движки проверены не во всех репозиториях.

Можно ли запускать несколько парсеров параллельно?
Да, отдельными процессами. Внутри одного парсера параллельная работа включена, только если у страниц есть собственные адреса. Бесконечная прокрутка и пагинация по курсору остаются последовательными, потому что их нельзя разделить между процессами. В любом случае держите общую частоту запросов умеренной.

Законно ли парсить эти сайты?
Парсеры читают общедоступные страницы без входа в аккаунт. Допустимо ли конкретное использование, зависит от законов вашей страны, условий сайта и того, что вы делаете с данными, особенно с персональными. Это не юридическая консультация: изучите условия и местное законодательство, не превышайте разумную частоту запросов и не собирайте данные, для обработки которых у вас нет оснований.

Парсер завершается с кодом 3 на сервере, а на ноутбуке работает. Что изменилось?
Диапазон адресов. Многие сайты пускают домашние подключения и отклоняют адреса дата-центров. Укажите резидентный прокси в <SITE>_PROXY или используйте профиль Browser API, если его рекомендует README этого сайта.

Как понять, что парсер всё ещё работает?
Посмотрите на значок контрольного запуска в README: он показывает последний запуск по расписанию. После установки запустите офлайн-тесты и после каждого запуска читайте .meta.json, а не полагайтесь на то, что непустой файл полный.

Исходный код

• Организация: github.com/2scraper, все парсеры по лицензии MIT
• Профиль организации с каталогом по категориям: github.com/2scraper/.github

Документация

• Quick start: API-ключ, первый запрос, первый результат.
• Документация Browser API: адрес подключения по CDP и параметры профиля.
• Proxy API: генерация списков резидентных прокси.
• Browser fingerprints: профили фингерпринтов для локальных браузеров.
• Коды ошибок и лимиты запросов.
• 2captcha-python: официальный Python SDK.