Ксения Фролова › XenMagik
Рейтинг
176
№ 8 349 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Москва
Опыт работы
4 года
На сайте с
2026 года
Юридический статус
Частное лицо

Facebook Profile Parser: Модульный парсер с обходом защиты и динамическим сбором данных

Используемые навыки Python xpath

Описание

Заказчику требовался инструмент для автоматизированного поиска и сбора публичных данных о пользователях Facebook по имени и фамилии. Задача включала два уровня парсинга:
Массовый сбор базовой информации по всем найденным профилям (ссылка, аватар, количество подписчиков, место работы и учёбы).
Глубокий парсинг динамических превью-карточек, которые подгружаются только при наведении курсора на имя пользователя.
Основная сложность — структура Facebook использует обфусцированные, повторяющиеся CSS-классы и многоуровневую защиту от автоматизации, что делает стандартные парсеры неэффективными.

Решение

• Разработала модульную архитектуру парсера на Python: отдельный модуль для поиска пользователей, отдельный — для извлечения данных из динамических карточек.
• Реализовала обход защиты от автоматизации: эмуляция поведения реального пользователя, ротация user-agent, использование резидентных прокси, маскировка признаков Selenium/Playwright.
• Для работы с динамическим контентом применила подход на основе JavaScript-инъекций: эмуляция события mouseover, ожидание подгрузки карточки через MutationObserver, извлечение данных из временно появляющихся DOM-элементов.
• Решила проблему обфусцированных классов: вместо селекторов по классам использовала поиск по атрибутам data-*, относительным XPath, текстовым меткам и иерархии элементов.
• Настроила экспорт данных в структурированный JSON/CSV с дедупликацией профилей и логированием ошибок для отладки.

Результат

Парсер стабильно собирает точные данные даже при сложной структуре страницы и активных защитных механизмах Facebook. Полученные данные используются для:
– Построения целевых баз контактов для рекрутинга и B2B-продаж
– Аналитики профессиональных сообществ и образовательных связей
– Верификации профилей и проверки репутации

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Telegram-бот: Парсер и умный уведомитель для аналитики ставок Stake
Telegram-бот: Парсер и умный уведомитель для аналитики ставок Stake
273
Веб-разработка и IT Goofish Alert Bot: Telegram-парсер новых товаров с www.goofish.com в реальном времени
Goofish Alert Bot: Telegram-парсер новых товаров с www.goofish.com в реальном времени
394
Веб-разработка и IT Yandex Garage Competitor Monitor: Парсер для анализа рынка аренды автомобилей
Yandex Garage Competitor Monitor: Парсер для анализа рынка аренды автомобилей
92
Веб-разработка и IT Komus.ru Parser: Selenium-парсер с обходом Cloudflare для сбора данных о товарах
Komus.ru Parser: Selenium-парсер с обходом Cloudflare для сбора данных о товарах
126