Как правильно настроить undetected-chromedriver для парсинга в Java Spring Boot

При разработке многомодульного проекта на Java Spring Boot, который занимается парсингом веб-данных, часто возникает необходимость обойти защиту от ботов. Один из популярных инструментов - undetected-chromedriver. Однако у разработчиков возникает путаница: нужно ли вместе с ним устанавливать оригинальный chromedriver, или достаточно только undetected? В статье подробно разберём правильную связку компонентов, типичные ошибки и способы устранения зависаний в Kubernetes.

Зачем нужен undetected-chromedriver

Обычный Selenium WebDriver легко детектируется современными сайтами по характерным признакам (наличие флага --enable-automation, специфичные заголовки и т.д.). Undetected-chromedriver - это патч для стандартного chromedriver, который скрывает признаки автоматизации. Он использует собственный бинарник chromedriver, но для работы ему всё равно требуется установленный браузер Chrome (или Chromium).

Связка: Chrome + chromedriver + undetected-chromedriver

Многие разработчики ошибочно полагают, что undetected-chromedriver полностью заменяет обычный chromedriver. На самом деле undetected-chromedriver является обёрткой поверх стандартного драйвера. При запуске он:

• Определяет версию установленного Chrome/Chromium;
• Скачивает соответствующий бинарник chromedriver (если тот отсутствует);
• Запускает браузер с модифицированными флагами, скрывающими автоматизацию.

Таким образом, в вашей системе должны быть установлены:

• Браузер (Chrome или Chromium) - обязательный компонент;
• Undetected-chromedriver - библиотека-обёртка (в Python это пакет undetected-chromedriver, в Java - аналогичный модуль);
• Оригинальный chromedriver - не обязателен, если undetected-chromedriver может его автоматически загрузить. Однако в изолированных средах (Docker, Kubernetes) часто требуется явно указать путь к заранее скачанному chromedriver.

Почему без оригинального chromedriver парсер не запускается

Если вы используете undetected-chromedriver в Java Spring Boot, возможно, ваш код или библиотека напрямую вызывают стандартный WebDriver, а undetected используется как дополнительный патч. Проверьте конфигурацию: если вы создаёте экземпляр ChromeDriver через new ChromeDriver(), то chromedriver обязателен. Если же вы используете специализированный класс из undetected-библиотеки (например, UndetectedChromeDriver), то стандартный chromedriver не нужен.

Проблема зависаний каждые 20 минут в Kubernetes

Зависания парсера с периодичностью ~20 минут могут быть связаны с:

• Истечением сессии - сайт разрывает соединение после определённого времени бездействия. Решение: настроить heartbeat-запросы (например, каждые 5 минут переходить на главную страницу);
• Утечкой памяти - Chrome в контейнере потребляет много RAM. Если лимиты ресурсов Pod'а недостаточны, OOM Killer убивает процесс. Проверьте resources.limits.memory и добавьте опцию --disable-dev-shm-usage;
• Несовместимостью версий - undetected-chromedriver может неправильно работать с некоторыми сборками Chromium. Используйте официальный Chrome.

Альтернативы: selenium-stealth, nodriver, zendriver

Современные проекты для обхода детекта:

• Selenium-stealth - JavaScript-патчи для Selenium, скрывающие автоматизацию. Работает поверх обычного chromedriver, но требует дополнительной настройки;
• Nodriver - более лёгкая альтернатива undetected, использует протокол DevTools напрямую, без Selenium. Хорошо подходит для простых задач;
• Zendriver - форк undetected-chromedriver с улучшенной поддержкой Java и Spring. Может быть более стабильным в Kubernetes.

Рекомендуем протестировать Zendriver в связке с официальным Chrome - это решит проблему с частыми зависаниями и упростит конфигурацию.

Практические рекомендации для Dockerfile

Пример минимального Dockerfile для Java Spring Boot с undetected-chromedriver:

FROM openjdk:17-jdk-slim
RUN apt-get update && apt-get install -y wget gnupg
RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add -
RUN echo "deb http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list
RUN apt-get update && apt-get install -y google-chrome-stable
COPY target/my-parser.jar app.jar
CMD ["java", "-jar", "app.jar"]

В коде используйте UndetectedChromeDriver без указания пути к chromedriver - библиотека сама найдёт нужный бинарник в системе.