Парсинг сайта с занесением данных в БД

Задание закрыто
Стоимость:Договорная
Срок выполнения:7 дней
Варианты оплаты:По договоренности
Дата публикации:2022-03-21 10:40
Был(а) на сайте:2022-03-22 18:00

Парсинг сайта с занесением данных в БД

 
Задача

Нужно написать код который бы парсил товары сайта (желательно PHP, база MySql), а именно:
- цены
- остаток
- обнаружение новых товаров и занесение их данных в БД
- удаление из БД товаров которых уже нет на сайте
Нужно, чтобы этот код можно было поставить в Cron хотя бы раз в несколько дней.
Товаров на сайте около 100к.

Оставлять заявки могут только авторизованные пользователи.
Команда MAW
Команда MAW mawcompany
Основная специализация: ИТ и Разработка
    Добрый день, с какого сайта нужно спарсить?

    Примеры моих работ

    Сервис накрутки лайков и подписчиков
    Сервис заказов вип питания
    Портфолио дизайнера
    Николай Санников
    Николай Санников mamontoff344
    Основная специализация: ИТ и Разработка
    Парсер через терминал лучше запускать через php-cli, чтобы не зависал.
    за 1 день день можно реализовать, работаю без предоплаты.
    Можно сайт посмотреть?
    Сергей
    Сергей senat56
    Основная специализация: ИТ и Разработка
      можно узнать адрес сайта?
      Сергей Профи
      Сергей Профи Sergey1689
      Основная специализация: Веб-разработка и Продуктовый дизайн
      Здравствуйте. Парсинг сделаю. По цене и срокам можем определиться
      Андрей Коровацкий
      Андрей Коровацкий racinette
      Основная специализация: ИТ и Разработка
        Здравствуйте.

        С парсингом на ты и с базами данных тоже. Единственное, не рекомендую PHP как движок для парсинга. Python с beautifulsoup лучше будет во всех отношениях. Однако если есть прямая необходимость использовать только PHP, то проблем никаких, сделаю на PHP. Опять же, если сайт достаточно популярный (а я предполагаю, что так и есть, учитывая количество товаров), то может оказаться, что на нем есть защита от парсинга. Если это выяснится, то буду вынужден повысить цену на ~3к и сроки на ~3 дня. Опыт в обходе защит также имеется.

        План действий:

        1. Изучить внутрянку веб ресурса на наличие внутренних API, дабы ускорить и упростить разработку парсера.
        2. Если нет API, то пишу скрипт на прямой парсинг страницы из HTML разметки.
        3. После этого пишу основной скрипт, который будет забирать все данные и анализировать, что пропало, что нового и так далее. На основе этого делать модификации в нашей базе данных.
        4. Я все настраиваю на сервере, вместе запускаем скрипт и смотрим результат.
        ???
        PROFIT!
        Иван Каратуев
        Иван Каратуев karatuiwp
        Здравствуйте! Нужно чуть больше информации (какой дистрибутив используете, какой сайт парсить и версии языка с бд)
        Paul Atrides
        Paul Atrides atrides
        Основная специализация: ИТ и Разработка
          Интересное предложение, могу попробовать вам помочь.

          Оставлять заявки могут только авторизованные пользователи.

          Другие открытые задания:

          Оставить отзыв на Яндекс Картах100 р.

          Бюджет: 100 р. Аккаунт на Яндексе не ниже знатока города 6 уровня, только Москва и МО

          Разработка веб-интерфейса интерактивного тренажера на базе Vue.js, 10 рабочих дней80 000 р.

          Бюджет: 80 000 р. Мы — Пульсар Продакшн — IT-компания, которая 9 лет создает образовательные решения для корпораций и государственных структур. Мы работаем с крупными заказчиками, им…

          Написание книг по темам: Сварка, Строительство, Электроника, Электрика, Схемотехника и т.п.120 000 р.

          Бюджет: 120 000 р. Издательство приглашает авторов для написания книг по тематикам: Радиоэлектроника, Электрика, Сварка: - Сварка. Просто о сложном (самоучитель для обычных людей)…

          поиск заданий