Регламентный парсинг сайтов

Задание закрыто
Стоимость:15 000 рублей
Срок выполнения:7 дней
Варианты оплаты:По договоренности
Дата публикации:2016-01-10 18:59
Обновлено:2016-01-17 21:07
Был(а) на сайте:2018-03-12 21:45

Регламентный парсинг сайтов

 
Задача

Необходимо написать движок для регламентного парсинга сайтов с курсами (в рамках этой задачи - Pluralsight, Udemy, Coursera).
Основа для backend обсуждается, но сейчас в основном используется Linux + PHP + Oracle. Блоки работы с БД должны быть отдельно выделены, так как возможен переезд на другую СУБД.
На уровне БД необходимо реализовать staging-слой (STG), в который будет собираться доступная информация с источника без преобразований, далее все источники должны быть приведены к единой структуре в целевом слое данных (DDS). В STG слое для разных источников необходимо использовать различные таблицы, если структура данных отличается, на уровне DDS добавляются атрибуты принадлежности данных к конкретному источнику данных (SOURCE_SYSTEM_CD), флаг удаления (DELETED_FLG), дата-время обновления (PROCESSED_DTTM, обновляется только если строка была изменена).
Регламент должен обеспечивать:
- добавление новых курсов, актуализацию информации о добавленных ранее (например, об изменении цены), а также учет удалений, то е...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Набор текста на компьютере (машинистка). Распечатка аудиозаписей. Печать текста с речи1 200 р.

Бюджет: 1 200 р. Приглашаем машинистку. Работа удаленная (из дома). Наличие компьютера (ноутбука). Выделенная линия интернет для скачивания аудио, видео (файлов) - бывают тяжелые по…

Для Веб-Мастеров работа по системе CPS .15 000 р.

Бюджет: 15 000 р. Для Веб-Мастеров работа по системе CPS . Стоимость : 15 000рублей Срок выполнения : 90 дней Описание проекта : Меня зовут Олег и я занимаюсь производств…

Отзывы на ЯндексКартах 170р.170 р.

Бюджет: 170 р. Требуется размещать положительные отзывы о компании, в яндекс картах. Ссылка для оставления отзыва предоставляется в сообщениях, оплата после публикации, обычно …

поиск заданий