Евгений Лукин: заметки с тегом Парсинг

🚀 Pydoll: Async Web Automation in Python!

Евгений Лукин — Thu, 27 Mar 2025 20:39:41 +0300

https://github.com/autoscrape-labs/pydoll

🔥 Installation

pip install pydoll-python

⚡ Quick Start
Get started with just a few lines of code:

import asyncio
from pydoll.browser.chrome import Chrome
from pydoll.constants import By

async def main():
    async with Chrome() as browser:
        await browser.start()
        page = await browser.get_page()
        
        # Works with captcha-protected sites
        await page.go_to('https://example-with-cloudflare.com')
        button = await page.find_element(By.CSS_SELECTOR, 'button')
        await button.click()

asyncio.run(main())

Про портфолио парсинга

Евгений Лукин — Wed, 15 Jun 2022 15:11:50 +0300

Большинство из клиентов, у кого внедряли решения парсинга конкурентов предпочитают оставаться в тени, считая это своим преимуществом — поэтому здесь далеко не все из реализованных проектов.

Инструкция по парсингу: Python + Selenium + WebDriver

Евгений Лукин — Sun, 13 Mar 2022 10:04:29 +0300

Чтобы скачать актуальную версию WebDriver переходим на chrome://settings/help, чтобы узнать версию вашего браузера.
По ссылке https://sites.google.com/chromium.org/driver/ скачиваем вебдрайвер для версии вашего барузера и для вашей операционной системы. Например, у меня это chromedriver_win32.zip
Извлекаем в папку с проектом файл chromedriver.exe.
Устанавливаем в окружение библиотеку Selenium.

from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)

ТЗ на мониторинг Авито

Евгений Лукин — Tue, 03 Aug 2021 14:02:22 +0300

Встретил на профи.ру такое ТЗ: Парсинг сайтов недвижимости в лиды Битрикс 24.

Спарсить: контакты, объявления, цены.
При появлении нового подходящего по требованиям объявления на рекламной площадке (Авито, Циан) ,сравнить с базой, добавить лид в Битрикс 24 (если это не дубль).

Условия :

тип контакта=собственник,
создано сегодня,
СПБ и ЛО,
Тип квартиры: квартиры, комнаты, апартаменты.

Параметры для передачи в Битрикс :

ссылка на объявление,
адрес,
телефон,
описание,
цена ,
общая площадь квартиры,
этаж,
этажность,
источник

До передачи в crm сравниваем потенциальный Лид с лидами с другой площадки для выявления дублей: по адресу, стоимости (+/- ? тыс. руб), этажу, общей площади.

Ранее загруженные в базу лиды добавляем повторно только через месяц и при забракованных статусах Лида в срм (стадии уточним в ходе работы).

Бюджет — до 40000 руб.

Мониторинг авито

Евгений Лукин — Mon, 28 Jun 2021 10:52:16 +0300

Написал простенький скрипт, который переходит по ссылке с настроенными фильтрами. Скрипт парсит первую страницу с объявлениями и присылает в телеграм сообщение с результатами. Чтобы авито не заблокировал IP — подключил прокси.

В принципе, всё оказалось реально.

Как улучшить: парсить раз в минуту или реже, свежие объявления класть в базу данных, сортировать их по каким-нибудь критериям и сначала показывать лучшие.

Задача про быстрый парсинг Avito

Евгений Лукин — Sat, 22 May 2021 06:39:49 +0300

Появился запрос от риэлтора: парсить авито-недвижимость Москвы, но так, чтобы данные о выходе объявления появлялись в CRM не позже минуты.

Задача интересная, потому что сложная в реализации — авито не приветствует парсеры и с каждым днём защита становится всё изощрённее.

Ещё большое усложнение — фейки. Очень много объявлений подаётся по несколько раз самими риэлторами. С левых симок, с разными картинками, описанием.

Ну и последнее — объявления вываливаются пачками. В одну минуту в Москве может быть подано 100 объявлений.

Как обойти защиту — прикинуться человеком. Чтобы робот заходил на сайт с разных браузеров, устройств и IP, прокручивал страницы, выделял текст, кликал ссылки.

Как справиться с потоком — под каждую категорию запускать своего робота. А то и несколько. Например на продажу коммерческой недвижимости одного робота, а на продажу двушек — сразу трёх.

Как чистить фейки? Пока не знаю.

Как ускорить парсинг. Selectolax

Евгений Лукин — Sat, 30 Jan 2021 09:24:55 +0300

Парсить на пайтоне можно не только с помощью БьютифулСуп, но и ещё нескольких библиотек.

Замер скорости: https://rushter.com/blog/python-fast-html-parser/

Синтаксис Selectolax: https://github.com/rushter/selectolax/blob/master/examples/walkthrough.ipynb