Евгений Лукин: заметки с тегом Python

Как сделать классный Python-пакет

Евгений Лукин — Tue, 06 May 2025 13:00:15 +0300

TA-Lib Python3 — установка на Windows 11

Евгений Лукин — Sun, 22 Sep 2024 11:17:41 +0300

У меня Windows 11, 64-разрядная OS, Python 3.11

Скачал архив с библиотекой с официального сайта https://ta-lib.org/install/ и распаковал в C:\ta-lib
Установил Visual Studio Community
Запустил x64 Native Tools Command Prompt for VS 2022
Перешёл в нужный каталог

cd C:\ta-lib\c\make\cdr\win32\msvc

Запустил установку командой

nmake

Скачал .whl файл для своей системы и версии python с https://github.com/cgohlke/talib-build/releases
В виртуальном окружении проекта перешёл в папку со скачаным .whl и установил

pip install TA_Lib-0.4.32-cp311-cp311-win_amd64.whl

Python — экспорт в XLSX

Евгений Лукин — Sun, 05 Feb 2023 11:57:50 +0300

https://xlsxwriter.readthedocs.io/format.html

eel

Евгений Лукин — Sun, 08 Jan 2023 17:45:15 +0300

Документация
https://github.com/python-eel/Eel

Ошибка —noconsole
https://stackoverflow.com/questions/15341606/pyinstaller-program-not-working-if-built-without-console

Инструкция по парсингу: Python + Selenium + WebDriver

Евгений Лукин — Sun, 13 Mar 2022 10:04:29 +0300

Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.

from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)

Преобразуем проект на Python в исполняемый файл .EXE

Евгений Лукин — Fri, 04 Mar 2022 11:43:21 +0300

https://www.zacoding.com/en/post/pyinstaller-create-multiple-executables/
https://www.zacoding.com/en/post/python-selenium-to-exe/

Устанавливаем библиотеку PyInstaller в наше окружение. Важно установить именно в окружение, иначе могут быть проблемы с установкой модулей. Можем получить ошибку «pyinstaller no module named»
Windows:

py -m pip install "SomeProject"

Unix/macOS:

python3 -m pip install "SomeProject"

Преобразуем скрипт в программу

pyinstaller myscript.py --onefile --windowed

—onefile — приложение в одном файле
—windowed — не показывать консоль
—console — показывать консоль

У вас появятся две новые папки:
build
dist

В папке dist будет лежать наш исполняемый файл.

Если мы всё равно получаем ошибку «pyinstaller no module named»:

удалите пакет в папке build и сформируйте заново
попробуйте добавить установку модуля с помощью

pyinstaller myscript.py --onefile --windowed --

Повторные попытки запросов в Requests

Евгений Лукин — Wed, 01 Dec 2021 16:07:26 +0300

Для повторных запросов используем http адаптер.

from requests.adapters import HTTPAdapter

url = 'https://google.com/'

s = requests.Session()
s.mount(url, HTTPAdapter(max_retries=3))
r = s.get(url=url)

Источник

Python — объединить значения по ключу

Евгений Лукин — Thu, 11 Nov 2021 13:45:26 +0300

Для объединения значений по ключу используем библиотеку collections.

from collections import defaultdict

products = defaultdict(list)

for line in file:
    products[sku].append(line)

Мониторинг авито

Евгений Лукин — Mon, 28 Jun 2021 10:52:16 +0300

Написал простенький скрипт, который переходит по ссылке с настроенными фильтрами. Скрипт парсит первую страницу с объявлениями и присылает в телеграм сообщение с результатами. Чтобы авито не заблокировал IP — подключил прокси.

В принципе, всё оказалось реально.

Как улучшить: парсить раз в минуту или реже, свежие объявления класть в базу данных, сортировать их по каким-нибудь критериям и сначала показывать лучшие.

Как ускорить парсинг. Selectolax

Евгений Лукин — Sat, 30 Jan 2021 09:24:55 +0300

Парсить на пайтоне можно не только с помощью БьютифулСуп, но и ещё нескольких библиотек.

Замер скорости: https://rushter.com/blog/python-fast-html-parser/

Синтаксис Selectolax: https://github.com/rushter/selectolax/blob/master/examples/walkthrough.ipynb

О чём забывают в учебниках по языкам программирования

Евгений Лукин — Sat, 24 Oct 2020 20:00:09 +0300

Снова взялся за Пайтон.
Начал читать очередную книгу и подумал вот о чём. Ни в одной книге по языку программирования не учат программированию в принципе. То есть сразу говорят — вот язык, у него такие типы и операции, функции и т. д. Имея ввиду, что читатель уже знает, что такое программирование.
А я не знаю.
Не знаю и всё. Да, что-то было в школе, что-то в техникуме, даже что-то в институте. Но мне эта тема была не интересна вообще. Поэтому каждый раз, когда я открываю учебник по программированию — вытираю слёзы бессилия. Опять этот ненавистный «Привет, мир» или ещё хуже «Hello World».
C++, PHP, Java, теперь Pyton — мне нужны эти языки по работе. Но учить нет никакого желания. Я просто тупо не понимаю, что мне со всем этим делать.
Было бы круто, если бы введение было примерно таким:
«Привет, чувак! Прежде чем ты приступишь к обучению этого непростого языка, я хочу спросить тебя — а знаешь ли ты что такое программирование в принципе? Если знаешь — пропускай эту главу. Если же ты впервые начинаешь постигать азы программирования, то во-первых: благодарю тебя, что решил начать с изучения языка %%название любого языка программирования%% — это правильный выбор, а во-вторых: на следующих трёх страницах мы попытаемся коротко рассказать, что такое программирование. После изучения этого введения тебе будет легко ориентироваться в понятиях, которые ты встретишь на страницах этой книги.»

Как боролся с Питоном

Евгений Лукин — Thu, 14 May 2020 20:27:15 +0300

Смотрю на ютубе видео, как спарсить сайт. Много роликов, как парсить с помощью программ, написанных на Питоне. Питон — это язык программирования Python.

Смотрю — и ничего не понимаю.

Все чуваки, кто рассказывают про настройку парсинга, объясняют его так, как будто зритель уже программирует на питоне. Это как если пилот будет показывать, как взлетать и сажать самолёт, показывая какие кнопки нажимать, но не объяснять, почему именно эти кнопки, а не соседние.

Чтобы всё таки разобраться в вопросе, пошёл изучать основы. Лучше всех о Питоне рассказывается на Яндекс Практикуме.