Парсер VK на питоне или другом серверном языке - Задание для фрилансеров #684741
Информация по заданию
Парсер VK на питоне или другом серверном языке
Задание закрыто
Стоимость:
Договорная
Срок выполнения:
3 дня
Варианты оплаты:
По договоренности
Дата публикации:
2016-07-17 22:23
Обновлено:
2016-07-17 22:36
Был(а) на сайте:
2024-02-26 11:46
Реклама
Парсер VK на питоне или другом серверном языке
Задача
На питоне или другом серверном языке поддерживающим многопоточность (чтобы в случае необходимости в будущем сделать быстро многопоточность) нужно написать скрипт, который используя API ВК (функцию users.get) будет перебирать последовательно всех пользователей ВК, получать информацию о них и сохранять данные в БД. Для того, чтобы не превысить лимит, функцию users.get нужно вызывать не чаще раза в 5 секунд. Функции нужно передавать максимально доступное кол-во параметров – 1000 штук. При ответе «Too many requests per second.» сделать паузу 10 секунд и повторить запрос. Если снова ошибка – ждем 30 секунд.
users.get не требует авторизации, поэтому авторизацию и получение токена делать не нужно, но нужно будет реализовать запросы через прокси (брать их рандомно из файла).
В парсере должна быть реализована поддержка рукапчи в случае если ВК потребует капчу.
Скрипт нужно будет разместить на нашем севере перед сдачей проекта.
При достижении конца списка пользователей (ВК вероятно сообщит об этом) – начать сбо...
Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Заявок нет
Оставлять заявки могут только авторизованные пользователи.
Парсер VK на питоне или другом серверном языке
Реклама
Парсер VK на питоне или другом серверном языке
На питоне или другом серверном языке поддерживающим многопоточность (чтобы в случае необходимости в будущем сделать быстро многопоточность) нужно написать скрипт, который используя API ВК (функцию users.get) будет перебирать последовательно всех пользователей ВК, получать информацию о них и сохранять данные в БД. Для того, чтобы не превысить лимит, функцию users.get нужно вызывать не чаще раза в 5 секунд. Функции нужно передавать максимально доступное кол-во параметров – 1000 штук. При ответе «Too many requests per second.» сделать паузу 10 секунд и повторить запрос. Если снова ошибка – ждем 30 секунд.
users.get не требует авторизации, поэтому авторизацию и получение токена делать не нужно, но нужно будет реализовать запросы через прокси (брать их рандомно из файла).
В парсере должна быть реализована поддержка рукапчи в случае если ВК потребует капчу.
Скрипт нужно будет разместить на нашем севере перед сдачей проекта.
При достижении конца списка пользователей (ВК вероятно сообщит об этом) – начать сбо...