Нужно написать код который бы парсил товары сайта (желательно PHP, база MySql), а именно:
- цены
- остаток
- обнаружение новых товаров и занесение их данных в БД
- удаление из БД товаров которых уже нет на сайте
Нужно, чтобы этот код можно было поставить в Cron хотя бы раз в несколько дней.
Товаров на сайте около 100к.
Оставлять заявки могут только авторизованные пользователи.
Парсер через терминал лучше запускать через php-cli, чтобы не зависал.
за 1 день день можно реализовать, работаю без предоплаты.
Можно сайт посмотреть?
С парсингом на ты и с базами данных тоже. Единственное, не рекомендую PHP как движок для парсинга. Python с beautifulsoup лучше будет во всех отношениях. Однако если есть прямая необходимость использовать только PHP, то проблем никаких, сделаю на PHP. Опять же, если сайт достаточно популярный (а я предполагаю, что так и есть, учитывая количество товаров), то может оказаться, что на нем есть защита от парсинга. Если это выяснится, то буду вынужден повысить цену на ~3к и сроки на ~3 дня. Опыт в обходе защит также имеется.
План действий:
1. Изучить внутрянку веб ресурса на наличие внутренних API, дабы ускорить и упростить разработку парсера.
2. Если нет API, то пишу скрипт на прямой парсинг страницы из HTML разметки.
3. После этого пишу основной скрипт, который будет забирать все данные и анализировать, что пропало, что нового и так далее. На основе этого делать модификации в нашей базе данных.
4. Я все настраиваю на сервере, вместе запускаем скрипт и смотрим результат.
???
PROFIT!
Парсинг сайта с занесением данных в БД
Реклама
Парсинг сайта с занесением данных в БД
Нужно написать код который бы парсил товары сайта (желательно PHP, база MySql), а именно:
- цены
- остаток
- обнаружение новых товаров и занесение их данных в БД
- удаление из БД товаров которых уже нет на сайте
Нужно, чтобы этот код можно было поставить в Cron хотя бы раз в несколько дней.
Товаров на сайте около 100к.
Другие открытые задания:
Веб-мастер нужен срочно .Партнерская программа.20 000 р.
Бюджет: 20 000 р. Веб-мастер нужен срочно .Партнерская программа. Стоимость : 20 000рублей Срок выполнения : 60 дней Описание проекта : Меня зовут Олег и я занимаюсь произ…
Опубликовать отзыв на яндекс картах 200 руб200 р.
Бюджет: 200 р. Опубликовать отзыв на яндекс картах 200 руб Текст и ссылку на компания для отзыва я вышлю. Для этого у вас должен быть аккаунт Яндекс карт от 3го уровня Оплата п…
Нужен блогер для продвижения в LiveInternet и других порталах .15 000 р.
Бюджет: 15 000 р. Нужен блогер для продвижения в LiveInternet и других порталах . Меня зовут Олег и у меня множество групп в соц.сетях ,есть сайт и лендинг . Хочу сейчас продвигать…
поиск заданий