Есть парсер на php, который работает, но не долго. Через определенное время перестает. Нужно настроить его работу с правильными прокси, чтобы адресат не мог остановить работу парсера своими банами.
Оставлять заявки могут только авторизованные пользователи.
Бюджет правок в существующем механизме можно определить только по результатам анализа кода такого механизма. Если граббер на php, то с высокой долей вероятности речь идёт о php_curl - если так, то подключение динамического прокси-листа не должно вызвать проблем.
Аренда "правильных проксей" в бюджет не включается, поставщик и тарификация - на усмотрение заказчика.
Если сбор всякий раз останавливается, можно предположить наличие автоматических механизмов, препятствующих сбору. Агрессивный сбор (многопоток без пауз) должен пресекаться, поскольку создаёт неоправданную нагрузку на сайт-источник. Имеет смысл вводить ограничения скорости сбора.
Отладить работу парсера с прокси
Реклама
Отладить работу парсера с прокси
Есть парсер на php, который работает, но не долго. Через определенное время перестает. Нужно настроить его работу с правильными прокси, чтобы адресат не мог остановить работу парсера своими банами.
Другие открытые задания:
Монтаж 10 фото2 000 р.
Бюджет: 2 000 р. Необходимо на 10 готовых фото установить лицо другого человека
Доработать сайт на битрикс4 000 р.
Бюджет: 4 000 р. Нужно доработать сайт на битрикс в плане каталога. Подробности лично. Начать сразу. Постоплата
Задание по немецкому2 000 р.
Бюджет: 2 000 р. Кто разбирается в немецком языке? Обсудим детали
поиск заданий