Сайты руками, боты и парсеры на Python, чертежи в AutoCAD
- На сайте с
- 2025 года
- Юридический статус
- Самозанятый
Заказчице нужна была база заведений под рассылку - полторы тысячи уникальных строк по Нью-Йорку, Майами, Лос-Анджелесу, Лондону и Парижу, по пяти нишам от ночных клубов до траторий. Колонки простые - название, сайт, почта, город и страна.
Неудобное в условиях то, что строк без почты быть не должно вовсе, дублей тоже, и мусор недопустим. Полторы тысячи живых адресов по такому узкому списку ниш и городов взять неоткуда, кроме как обойти сайты самих заведений. У большинства почта либо не указана, либо спрятана на странице контактов, и в справочниках её нет.
Заранее договорились о запасном ходе - если по заданным городам база не наберётся, география расширяется, и список дополнительных городов заказчица согласовала до начала работы.
Заведения собирал из открытой картографической базы. Массовый интерфейс запросов с моей сети не открывается ни на одном зеркале, поэтому пошёл через поисковый, а он отдаёт максимум пятьдесят объектов за запрос. Отсюда сетка - город режется на сто клеток, по каждой идёт запрос на каждую нишу с паузой в секунду с небольшим. Набралось 7 813 заведений с сайтом или почтой, прямо в картах почта была у 1 317.
Дальше обход сайтов - главная плюс страницы контактов, двадцать четыре потока. Обошёл все 7 434 сайта, почта нашлась у 2 827.
Живость доменов проверял по MX-записям через публичный резолвер по http, потому что обычный DNS из моей песочницы не ходит. Из 2 199 доменов живых оказалось 2 126, остальные выброшены.
Самая дорогая находка - подмена ниши. Поиск по слову ristorante отдаёт тайскую кухню и стейк-хаус, то есть метка из картографической базы ничего не гарантирует. Переделал так, что нишу подтверждает только сайт или название, итальянскую кухню детектор узнаёт по меню, а неподтверждённые строки честно остаются с общей меткой.
Отсеял почты разработчиков сайтов и платформ бронирования, поставил предел в три адреса на почтовый домен - одна сеть пабов иначе занимала пятьдесят строк - и выбросил строки без сайта и рыбные адреса вида you собака email точка com с шаблонных страниц. Города выровнял по кругу, чтобы ни один не перевесил, общие ящики заведения поставил вперёд личных.
Полторы тысячи строк, повторов почты ноль, строк без сайта ноль, уникальных доменов почты 1 221. Города разложены ровно - по 338-340 строк на каждый из четырёх, Майами дал 144, потому что упёрся в потолок сбора, в исходных данных всего 506 заведений этого города с сайтом. Ниша подтверждена у 592 строк, у остальных стоит общая метка, выдумывать не стал. Книга отдана с закреплённой шапкой и фильтром, перед сдачей прошёл по ТЗ построчно.
