{
    "version": "https:\/\/jsonfeed.org\/version\/1",
    "title": "Евгений Лукин: заметки с тегом Авито",
    "_rss_description": "Заметки, конспекты",
    "_rss_language": "ru",
    "_itunes_email": "",
    "_itunes_categories_xml": "",
    "_itunes_image": "",
    "_itunes_explicit": "",
    "home_page_url": "https:\/\/evgenylukin.ru\/blog\/tags\/avito\/",
    "feed_url": "https:\/\/evgenylukin.ru\/blog\/tags\/avito\/json\/",
    "icon": "https:\/\/evgenylukin.ru\/blog\/user\/userpic@2x.jpg?1601030084",
    "author": {
        "name": "Евгений Лукин",
        "url": "https:\/\/evgenylukin.ru\/blog\/",
        "avatar": "https:\/\/evgenylukin.ru\/blog\/user\/userpic@2x.jpg?1601030084"
    },
    "items": [
        {
            "id": "71",
            "url": "https:\/\/evgenylukin.ru\/blog\/all\/tz-na-monitoring-avito\/",
            "title": "ТЗ на мониторинг Авито",
            "content_html": "<p>Встретил на профи.ру такое ТЗ: Парсинг сайтов недвижимости в лиды Битрикс 24.<\/p>\n<p>Спарсить: контакты, объявления, цены.<br \/>\nПри появлении нового подходящего по требованиям объявления на рекламной площадке (Авито, Циан) ,сравнить с базой, добавить лид в Битрикс 24 (если это не дубль).<\/p>\n<p>Условия :<\/p>\n<ol start=\"1\">\n<li>тип контакта=собственник,<\/li>\n<li>создано сегодня,<\/li>\n<li>СПБ и ЛО,<\/li>\n<li>Тип квартиры: квартиры, комнаты, апартаменты.<\/li>\n<\/ol>\n<p>Параметры для передачи в Битрикс :<\/p>\n<ul>\n<li>ссылка на объявление,<\/li>\n<li>адрес,<\/li>\n<li>телефон,<\/li>\n<li>описание,<\/li>\n<li>цена ,<\/li>\n<li>общая площадь квартиры,<\/li>\n<li>этаж,<\/li>\n<li>этажность,<\/li>\n<li>источник<\/li>\n<\/ul>\n<p>До передачи в crm сравниваем потенциальный Лид с лидами с другой площадки для выявления дублей: по адресу, стоимости (+\/- ? тыс. руб), этажу, общей площади.<\/p>\n<p>Ранее загруженные в базу лиды добавляем повторно только через месяц и при забракованных статусах Лида в срм (стадии уточним в ходе работы).<\/p>\n<p>Бюджет — до 40000 руб.<\/p>\n",
            "date_published": "2021-08-03T14:02:22+03:00",
            "date_modified": "2021-08-03T14:02:49+03:00",
            "_date_published_rfc2822": "Tue, 03 Aug 2021 14:02:22 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "71",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        },
        {
            "id": "68",
            "url": "https:\/\/evgenylukin.ru\/blog\/all\/monitoring-avito\/",
            "title": "Мониторинг авито",
            "content_html": "<p>Написал простенький скрипт, который переходит по ссылке с настроенными фильтрами. Скрипт парсит первую страницу с объявлениями и присылает в телеграм сообщение с результатами. Чтобы авито не заблокировал IP — подключил прокси.<\/p>\n<p>В принципе, всё оказалось реально.<\/p>\n<p>Как улучшить: парсить раз в минуту или реже, свежие объявления класть в базу данных, сортировать их по каким-нибудь критериям и сначала показывать лучшие.<\/p>\n",
            "date_published": "2021-06-28T10:52:16+03:00",
            "date_modified": "2021-06-28T10:52:04+03:00",
            "_date_published_rfc2822": "Mon, 28 Jun 2021 10:52:16 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "68",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        },
        {
            "id": "67",
            "url": "https:\/\/evgenylukin.ru\/blog\/all\/zadacha-pro-bystry-parsing-avito\/",
            "title": "Задача про быстрый парсинг Avito",
            "content_html": "<p>Появился запрос от риэлтора: парсить авито-недвижимость Москвы, но так, чтобы данные о выходе объявления появлялись в CRM не позже минуты.<\/p>\n<p>Задача интересная, потому что сложная в реализации — авито не приветствует парсеры и с каждым днём защита становится всё изощрённее.<\/p>\n<p>Ещё большое усложнение — фейки. Очень много объявлений подаётся по несколько раз самими риэлторами. С левых симок, с разными картинками, описанием.<\/p>\n<p>Ну и последнее — объявления вываливаются пачками. В одну минуту в Москве может быть подано 100 объявлений.<\/p>\n<p>Как обойти защиту — прикинуться человеком. Чтобы робот заходил на сайт с разных браузеров, устройств и IP, прокручивал страницы, выделял текст, кликал ссылки.<\/p>\n<p>Как справиться с потоком — под каждую категорию запускать своего робота. А то и несколько. Например на продажу коммерческой недвижимости одного робота, а на продажу двушек — сразу трёх.<\/p>\n<p>Как чистить фейки? Пока не знаю.<\/p>\n",
            "date_published": "2021-05-22T06:39:49+03:00",
            "date_modified": "2021-05-22T06:39:36+03:00",
            "_date_published_rfc2822": "Sat, 22 May 2021 06:39:49 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "67",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        }
    ],
    "_e2_version": 3849,
    "_e2_ua_string": "E2 (v3849; Aegea)"
}