Большинство из клиентов, у кого внедряли решения парсинга конкурентов предпочитают оставаться в тени, считая это своим преимуществом — поэтому здесь далеко не все из реализованных проектов.

API можно отладить через какой-нибудь REST клиент. Например для браузера Chrome есть приложение “Advanced REST client”.
https://chrome.google.com/webstore/detail/advanced-rest-client/hgmloofddffdnphfgcellkdfbfbjeloo?hl=ru

https://bitbucket.org/vkasatkin/tele_bot/src/master/ubuntu18/

Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.

from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)

Источник: https://habr.com/ru/company/vdsina/blog/557316/

С помощью Auto PY to EXE можно с лёгкостью преобразовывать файлы .py в файлы .exe. Благодаря этому ваш проект на Python будет работать как десктопное приложение и вы сможете запускать приложение на других машинах без необходимости установки Python.

В этой статье я расскажу, как преобразовать проект на Python в исполняемый файл. Решение будет работать вне зависимости от количества файлов .py в приложении. Стоит учесть, что Auto PY to EXE работает только с Python 3.5 или выше.

После регистрации VPS подключаемся от имени администратора root и создаём нового пользователя:
Начальная настройка сервера с помощью Ubuntu 20.04
Настраиваем доступ по SSH, чтобы каждый раз при подключении не вводить пароль:
Как настроить ключи SSH в Ubuntu 20.04
Теперь можем настроить выполнение скриптов по расписанию на нашем сервере:
Запускаем Python-скрипт с помощью Cron на Linux

#Подготавливаем сервер и переносим на него проект

1. Создаём или обновляем файл с зависимостями

pip freeze > requirements.txt

2. Создаём папку для приложения на сервере

mkdir ikea
cd ikea

3. Устанавливаем виртуальное окружение

virtualenv -p python3 venv

если модуль не установлен, устанавливаем

pip3 install virtualenv

4. Копируем файлы в папку приложения. Папку со скриптом и requirements.txt

scp /mnt/c/Users/Дарья/YandexDisk/Python Projects/ikea/requirements.txt user@11.22.33.44:/home/lukin/projects/ikea/

Для копирования папки целиком указываем параметр -r

scp -r /mnt/c/Users/Дарья/YandexDisk/Python Projects/ikea/ikea user@11.22.33.44:/home/lukin/projects/ikea/

Если надо переименовать папку

mv староеимя новоеимя

5. Активируем виртуальное окружение и устанавливаем зависимости

source venv/bin/activate

pip install -r requirements.txt

#Настраиваем расписание

1. Открываем планировщик

cronetab -e

2. Задаём расписание. Расписание можно сгенерировать, например на cronmaker.com

0 */1 * * * cd /home/lukin/projects/ikea/ikea && /home/lukin/projects/ikea/venv/bin/python3 ikea_app.py

или

* * * * * /bin/bash -c 'source /home/lukin/projects/realty/venv/bin/activate;cd /home/lukin/projects/realty && python3 ikea_app.py'

#Как понять что Cron срабатывает?

tail /var/log/syslog # получаем "хвост", последние 10 строк лог-файла

Для повторных запросов используем http адаптер.

from requests.adapters import HTTPAdapter

url = 'https://google.com/'

s = requests.Session()
s.mount(url, HTTPAdapter(max_retries=3))
r = s.get(url=url)

Источник

Для объединения значений по ключу используем библиотеку collections.

from collections import defaultdict

products = defaultdict(list)

for line in file:
    products[sku].append(line)

Для некоторых проектов по парсингу нужна база данных. Знаю о БД только на уровне простого запроса — выбери эти столбы из таблицы по такому-то условию. Начал обучение с книги Postgres: первое знакомство.
Сейчас нашёл учебник и курс по SQL. Ну штош, потестим. О негативных результатах отпишусь.