Фрилансер Валерий Шевченко valeo5000 - Портфолио - python, pyqt, pyside, scrapy, парсер, граббер - Программирование и IT Веб разработка Python MySQL Прочее программирование Разработка баз данных ...

Специализируюсь на разработке парсеров/грабберов/краулеров любой степени сложности. Использую Python, Scrapy framework, Selenium WebDriver и PyQt/PySide для GUI.

Возможности парсинга включают в себя:
- парсинг различных типов сайтов, включая те, которые используют динамическую загрузку данных, возможность эмуляции Ajax-запросов для получения необходимой информации, программное использование форм для логина для сайтов, требующих авторизации для доступа к данным
- возможность работы через прокси-сервера и TOR-сервера для избегания бана и увеличения суммарной скорости загрузки страниц
- экспорт данных практически в любом формате (Excel, csv, xml, json и прочие), а также в любые типы баз данных
- автоматическое распознавание простых капч, либо использование сервиса antigate.com для сложных
- возможность использования headless браузера PhantomJS и Selenium WebDriver для программного управления браузером и получения доступа к любой информации на сайтах, имеющих защиту от парсеров
- создание парсера в виде консольного или десктопного приложения для операционных систем Windows, Linux, OS X, либо в виде скриптов для запуска на сервере

Также разработка любых десктопных приложений и утилит с использованием Python.