Регламентный парсинг сайтов

Задание закрыто
Стоимость:15 000 рублей
Срок выполнения:7 дней
Варианты оплаты:По договоренности
Дата публикации:2016-01-10 18:59
Обновлено:2016-01-17 21:07
Был(а) на сайте:2018-03-12 21:45

Регламентный парсинг сайтов

 
Задача

Необходимо написать движок для регламентного парсинга сайтов с курсами (в рамках этой задачи - Pluralsight, Udemy, Coursera).
Основа для backend обсуждается, но сейчас в основном используется Linux + PHP + Oracle. Блоки работы с БД должны быть отдельно выделены, так как возможен переезд на другую СУБД.
На уровне БД необходимо реализовать staging-слой (STG), в который будет собираться доступная информация с источника без преобразований, далее все источники должны быть приведены к единой структуре в целевом слое данных (DDS). В STG слое для разных источников необходимо использовать различные таблицы, если структура данных отличается, на уровне DDS добавляются атрибуты принадлежности данных к конкретному источнику данных (SOURCE_SYSTEM_CD), флаг удаления (DELETED_FLG), дата-время обновления (PROCESSED_DTTM, обновляется только если строка была изменена).
Регламент должен обеспечивать:
- добавление новых курсов, актуализацию информации о добавленных ранее (например, об изменении цены), а также учет удалений, то е...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Продающая WEB-страница - только основа, под доработку10 000 р.

Бюджет: 10 000 р. В первую очередь рассматриваю готовые предложения из наработок разработчика, т.к. особых требований к дизайну нет, а время ограничено. Нужен одностраничный сайт (Я…

Разработка многопользовательского сервиса для генерации текстов с помощью API DeepSeek/ ChatGPT 100 000 р.

Бюджет: 100 000 р. Технологический стек: Node.js, React,js, Next.js UI: Material UI Внимание! Полное техническое задание не может быть загружено на сайт по причине превышения объема…

Разместить объявление1 200 р.

Бюджет: 1 200 р. Здравствуйте, связаться напрямую со мной можно в телеграмме anpotap15. Задача достаточно простая. Вы получаете готовую информацию для заполнения объявления, зап…

поиск заданий