Python — xml to json
import xmltodict
Python — про undetected_chromedriver
Документация
https://github.com/ultrafunkamsterdam/undetected-chromedriver
undetected_chromedriver и pyinstaller
from multiprocessing import freeze_support
import undetected_chromedriver as uc
if __name__ == '__main__':
# Add support for when a program which uses multiprocessing has been frozen to produce a Windows executable.
# (Has been tested with py2exe, PyInstaller and cx_Freeze.)
freeze_support()
driver = uc.Chrome()
Про портфолио парсинга
Большинство из клиентов, у кого внедряли решения парсинга конкурентов предпочитают оставаться в тени, считая это своим преимуществом — поэтому здесь далеко не все из реализованных проектов.
Тестирование API с помощью Advanced REST client
API можно отладить через какой-нибудь REST клиент. Например для браузера Chrome есть приложение “Advanced REST client”.
https://chrome.google.com/webstore/detail/advanced-rest-client/hgmloofddffdnphfgcellkdfbfbjeloo?hl=ru
Инструкция по парсингу: Python + Selenium + WebDriver
Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.
from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)
Преобразуем проект на Python в исполняемый файл .EXE
https://www.zacoding.com/en/post/pyinstaller-create-multiple-executables/
https://www.zacoding.com/en/post/python-selenium-to-exe/
Устанавливаем библиотеку PyInstaller в наше окружение. Важно установить именно в окружение, иначе могут быть проблемы с установкой модулей. Можем получить ошибку «pyinstaller no module named»
Windows:
py -m pip install "SomeProject"
Unix/macOS:
python3 -m pip install "SomeProject"
Преобразуем скрипт в программу
pyinstaller myscript.py --onefile --windowed
—onefile — приложение в одном файле
—windowed — не показывать консоль
—console — показывать консоль
У вас появятся две новые папки:
build
dist
В папке dist будет лежать наш исполняемый файл.
Если мы всё равно получаем ошибку «pyinstaller no module named»:
- удалите пакет в папке build и сформируйте заново
- попробуйте добавить установку модуля с помощью
pyinstaller myscript.py --onefile --windowed --