Rose debug info
---------------

Евгений Лукин

Заметки, конспекты

Про портфолио парсинга

Большинство из клиентов, у кого внедряли решения парсинга конкурентов предпочитают оставаться в тени, считая это своим преимуществом — поэтому здесь далеко не все из реализованных проектов.

 Нет комментариев    14   2 мес   API

Инструкция по парсингу: Python + Selenium + WebDriver

Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.

from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)

Преобразуем проект на Python в исполняемый файл .EXE

Источник: https://habr.com/ru/company/vdsina/blog/557316/

С помощью Auto PY to EXE можно с лёгкостью преобразовывать файлы .py в файлы .exe. Благодаря этому ваш проект на Python будет работать как десктопное приложение и вы сможете запускать приложение на других машинах без необходимости установки Python.

В этой статье я расскажу, как преобразовать проект на Python в исполняемый файл. Решение будет работать вне зависимости от количества файлов .py в приложении. Стоит учесть, что Auto PY to EXE работает только с Python 3.5 или выше.

 Нет комментариев    24   5 мес   Python

Настраиваем простой VPS

После регистрации VPS подключаемся от имени администратора root и создаём нового пользователя:
Начальная настройка сервера с помощью Ubuntu 20.04
Настраиваем доступ по SSH, чтобы каждый раз при подключении не вводить пароль:
Как настроить ключи SSH в Ubuntu 20.04
Теперь можем настроить выполнение скриптов по расписанию на нашем сервере:
Запускаем Python-скрипт с помощью Cron на Linux

 Нет комментариев    28   8 мес   SSH   VPS

Запускаем Python-скрипт с помощью Cron на Linux

#Подготавливаем сервер и переносим на него проект

  1. Создаём или обновляем файл с зависимостями
pip freeze > requirements.txt
  1. Создаём папку для приложения на сервере
mkdir ikea
cd ikea
  1. Устанавливаем виртуальное окружение
virtualenv -p python3 venv

если модуль не установлен, устанавливаем

pip3 install virtualenv
  1. Копируем файлы в папку приложения. Папку со скриптом и requirements.txt
scp /mnt/c/Users/Дарья/YandexDisk/Python Projects/ikea/requirements.txt user@11.22.33.44:/home/lukin/projects/ikea/

Для копирования папки целиком указываем параметр -r

scp -r /mnt/c/Users/Дарья/YandexDisk/Python Projects/ikea/ikea user@11.22.33.44:/home/lukin/projects/ikea/

Если надо переименовать папку

mv староеимя новоеимя
  1. Активируем виртуальное окружение и устанавливаем зависимости
source venv/bin/activate
pip install -r requirements.txt

#Настраиваем расписание

  1. Открываем планировщик
cronetab -e
  1. Задаём расписание. Расписание можно сгенерировать, например на cronmaker.com
0 */1 * * * cd /home/lukin/projects/ikea/ikea && /home/lukin/projects/ikea/venv/bin/python3 ikea_app.py

или

* * * * * /bin/bash -c 'source /home/lukin/projects/realty/venv/bin/activate;cd /home/lukin/projects/realty && python3 ikea_app.py'

#Как понять что Cron срабатывает?

tail /var/log/syslog # получаем "хвост", последние 10 строк лог-файла
 Нет комментариев    34   8 мес   cron
 Нет комментариев    42   8 мес   Python
 Нет комментариев    71   9 мес   Python

Учусь работать с базами данных

Для некоторых проектов по парсингу нужна база данных. Знаю о БД только на уровне простого запроса — выбери эти столбы из таблицы по такому-то условию. Начал обучение с книги Postgres: первое знакомство.
Сейчас нашёл учебник и курс по SQL. Ну штош, потестим. О негативных результатах отпишусь.

Ранее Ctrl + ↓