Python — xml to json
import xmltodict
Python — про undetected_chromedriver
Документация
https://github.com/ultrafunkamsterdam/undetected-chromedriver
undetected_chromedriver и pyinstaller
from multiprocessing import freeze_support
import undetected_chromedriver as uc
if __name__ == '__main__':
# Add support for when a program which uses multiprocessing has been frozen to produce a Windows executable.
# (Has been tested with py2exe, PyInstaller and cx_Freeze.)
freeze_support()
driver = uc.Chrome()
Про портфолио парсинга
Большинство из клиентов, у кого внедряли решения парсинга конкурентов предпочитают оставаться в тени, считая это своим преимуществом — поэтому здесь далеко не все из реализованных проектов.
Тестирование API с помощью Advanced REST client
API можно отладить через какой-нибудь REST клиент. Например для браузера Chrome есть приложение “Advanced REST client”.
https://chrome.google.com/webstore/detail/advanced-rest-client/hgmloofddffdnphfgcellkdfbfbjeloo?hl=ru
Инструкция по парсингу: Python + Selenium + WebDriver
Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.
from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)