На питоне или другом серверном языке поддерживающим многопоточность (чтобы в случае необходимости в будущем сделать быстро многопоточность) нужно написать скрипт, который используя API ВК (функцию users.get) будет перебирать последовательно всех пользователей ВК, получать информацию о них и сохранять данные в БД. Для того, чтобы не превысить лимит, функцию users.get нужно вызывать не чаще раза в 5 секунд. Функции нужно передавать максимально доступное кол-во параметров – 1000 штук. При ответе «Too many requests per second.» сделать паузу 10 секунд и повторить запрос. Если снова ошибка – ждем 30 секунд.
users.get не требует авторизации, поэтому авторизацию и получение токена делать не нужно, но нужно будет реализовать запросы через прокси (брать их рандомно из файла).
В парсере должна быть реализована поддержка рукапчи в случае если ВК потребует капчу.
Скрипт нужно будет разместить на нашем севере перед сдачей проекта.
При достижении конца списка пользователей (ВК вероятно сообщит об этом) – начать сбо...
Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Заявок нет
Оставлять заявки могут только авторизованные пользователи.
Парсер VK на питоне или другом серверном языке
Реклама
Парсер VK на питоне или другом серверном языке
На питоне или другом серверном языке поддерживающим многопоточность (чтобы в случае необходимости в будущем сделать быстро многопоточность) нужно написать скрипт, который используя API ВК (функцию users.get) будет перебирать последовательно всех пользователей ВК, получать информацию о них и сохранять данные в БД. Для того, чтобы не превысить лимит, функцию users.get нужно вызывать не чаще раза в 5 секунд. Функции нужно передавать максимально доступное кол-во параметров – 1000 штук. При ответе «Too many requests per second.» сделать паузу 10 секунд и повторить запрос. Если снова ошибка – ждем 30 секунд.
users.get не требует авторизации, поэтому авторизацию и получение токена делать не нужно, но нужно будет реализовать запросы через прокси (брать их рандомно из файла).
В парсере должна быть реализована поддержка рукапчи в случае если ВК потребует капчу.
Скрипт нужно будет разместить на нашем севере перед сдачей проекта.
При достижении конца списка пользователей (ВК вероятно сообщит об этом) – начать сбо...