✨ Оптимизировано и агрегировано ИИ
Нам нужен высокопроизводительный парсер для сбора информации о постах и блогерах TikTok, который должен быть разработан на Python. Парсер должен иметь два режима: первый — для сбора данных о публикации по ссылке (включая количество просмотров, лайков, комментариев и дату публикации), второй — для сбора данных о блогере (включая имя, количество подписчиков и все посты до определенной даты). Все собранные данные должны сохраняться в базе данных MongoDB или PostgreSQL. Также необходимо предусмотреть возможность добавления заданий на парсинг через базу данных, предпочтительно MongoDB, и обеспечить парсинг информации для 100 тысяч блогеров в течение трех дней. Парсер должен быть стабильным, с системой логирования и возможностью деплоя через Docker.
Для реализации этого задания потребуются навыки в области веб-скрапинга, работы с API, знания Python, опыт работы с базами данных MongoDB и PostgreSQL, а также навыки в контейнеризации с использованием Docker. Необходим специалист с опытом в разработке высокопроизводительных парсеров, обладающий знаниями в области работы с веб-технологиями и базами данных, а также опытом в развертывании приложений с использованием Docker.