Парсинг сайта с занесением данных в БД

Задание закрыто
Стоимость:Договорная
Срок выполнения:7 дней
Варианты оплаты:По договоренности
Дата публикации:2022-03-21 10:40
Был(а) на сайте:2022-03-22 18:00

Парсинг сайта с занесением данных в БД

 
Задача

Нужно написать код который бы парсил товары сайта (желательно PHP, база MySql), а именно:
- цены
- остаток
- обнаружение новых товаров и занесение их данных в БД
- удаление из БД товаров которых уже нет на сайте
Нужно, чтобы этот код можно было поставить в Cron хотя бы раз в несколько дней.
Товаров на сайте около 100к.

Оставлять заявки могут только авторизованные пользователи.
MAW Company
MAW Company mawcompany

"ТОП-3" уже третий год

Cпециализация: Программирование и ITМое кредо:
Expert
  • 100 руб7 дней
Добрый день, с какого сайта нужно спарсить?

Примеры моих работ

Сервис накрутки лайков и подписчиков
  • mawcompany
  • Сервис накрутки лайков и подписчиков
Сервис заказов вип питания
  • mawcompany
  • Сервис заказов вип питания
Портфолио дизайнера
  • mawcompany
  • Портфолио дизайнера
Николай Санников
Николай Санников mamontoff344
Cпециализация: Программирование и IT
  • 2 500 руб7 дней
Парсер через терминал лучше запускать через php-cli, чтобы не зависал.
за 1 день день можно реализовать, работаю без предоплаты.
Можно сайт посмотреть?
Сергей
Сергей senat56
Cпециализация: Программирование и IT
  • 10 руб7 дней
можно узнать адрес сайта?
Сергей Син
Сергей Син Sergey1689

Всегда на связи, показываю прогресс, постоплата

Cпециализация: Веб разработка
  • 10 000 руб3 дня
Здравствуйте. Парсинг сделаю. По цене и срокам можем определиться
Андрей Коровацкий
Андрей Коровацкий racinette
Cпециализация: Программирование и IT
  • 12 000 руб7 дней
Здравствуйте.

С парсингом на ты и с базами данных тоже. Единственное, не рекомендую PHP как движок для парсинга. Python с beautifulsoup лучше будет во всех отношениях. Однако если есть прямая необходимость использовать только PHP, то проблем никаких, сделаю на PHP. Опять же, если сайт достаточно популярный (а я предполагаю, что так и есть, учитывая количество товаров), то может оказаться, что на нем есть защита от парсинга. Если это выяснится, то буду вынужден повысить цену на ~3к и сроки на ~3 дня. Опыт в обходе защит также имеется.

План действий:

1. Изучить внутрянку веб ресурса на наличие внутренних API, дабы ускорить и упростить разработку парсера.
2. Если нет API, то пишу скрипт на прямой парсинг страницы из HTML разметки.
3. После этого пишу основной скрипт, который будет забирать все данные и анализировать, что пропало, что нового и так далее. На основе этого делать модификации в нашей базе данных.
4. Я все настраиваю на сервере, вместе запускаем скрипт и смотрим результат.
???
PROFIT!
Иван Каратуев
Иван Каратуев karatuiwp
  • 7 000 руб4 дня
Здравствуйте! Нужно чуть больше информации (какой дистрибутив используете, какой сайт парсить и версии языка с бд)
Paul Atrides
Paul Atrides atrides
Cпециализация: Программирование и IT
  • 10 000 руб7 дней
Интересное предложение, могу попробовать вам помочь.

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Разместить ответ на отзыв10 000 р.

Бюджет: 10 000 р. Разместить ответ на отзыв на авито.

Консультация по Google Calendar API (c#)1 500 р.

Бюджет: 1 500 р. Нужна срочная консультация. Есть старое приложение, которое подключалось к календарю. У него есть client.json { "installed": { "clie…

идеи и сценарий для сториз в инстаграм2 000 р.

Бюджет: 2 000 р. идеи и продающий сценарий/текст для сториз в инстаграм 30 шт

поиск заданий