Рейтинг: 62
не верифицирован
Всего отзывов: 0
  • Работ в портфолио: 2
  • Типовых услуг: 0
  • Работ на продажу: 0
Был на сайте:

Парсинг с сайтов в гугл-таблицы

Описание

Парсер нескольких бирж игровых предметов со сведением данных в гугл-таблицу. Всего парсится 3 биржи (Steam, dota2.market, c5game) с обновлением 4ёх таблиц. Периодичность от 5 до 30 минут.
Так же программа выводит столбцы с некоторыми синтетическими данными для анализа эффективности перепродажи предметов.
При нажатии на цену предмета с определённого сайта (столбцы B,C,D,E) - в новой вкладке открывается страница продажи предмета на бирже.
Полностью рабочие фильтры - отдельной трудностью было заставить их не сбрасываться после обновления таблицы.
Реализовано на Python - Scrapy, Google API. Для одного из сайтов потребовалась имитация браузера - Splash. Работает на облачном Linux-сервере.
Работа парсеров через прокси.

Презентация проекта

pic4024399.jpg

Оценили проект:

0