Парсинг сайта | Интеграция

Задание закрыто
Стоимость:Договорная
Срок выполнения:10 дней
Варианты оплаты:По договоренности
Дата публикации:2025-04-04 09:30
Был(а) на сайте:2025-04-04 10:46

Парсинг сайта | Интеграция

 
Задача

Необходимо разработать сервис - парсинга данных, размещенного и доступного на сайте госуслуги.
Важно учесть:
• Работа сервиса должна обеспечиваться через мобильные прокси. Поддержка масштабирование дополнительных мобильных прокси в случае, если не хватает объема для выполнения запросов
• Сервис должен поддерживать осуществление запросов по api и выдачу токенов для разных проектов
• Сервис должен поддерживать настройку выполнение запросов методом загрузки данных в таблицу с указанием проекта для дальнейшей возможности формировать дашборд с объемом запросов в разрезе проекта
• API должно поддерживать настройку количества retry (повторных запросов при неуспешном ответе), global timeout (время ожидания ответа для проекта)
Например:
"retry_and_timeout_settings": {
"retry_timeout": 60,
"global_timeout": 240,
"count": 3
}
• Сервис должен поддерживать запросы в кэш. Кэш собирается только по данным, где получен статус – Недействительный с указанием источника. ...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Центр разработки программного обеспечения EDISON
Центр разработки программного обеспечения EDISON edsd
Основная специализация: ИТ и Разработка
    Добрый день!

    Портфолио:
    https://www.edsd.ru/ru/portfolio

    Примеры работ:
    https://www.edsd.ru/parsing-sajtov-dannyh-analiz-i-monitoring-cen-na-tovary-v-python
    https://www.edsd.ru/razrabotka-sajtov-i-prilozhenij-na-python#monitoring-cen-na-tovary-v-magazinah-konkurentov
    https://www.edsd.ru/tendernye-i-informacionnye-agregatory

    Давайте обсудим детали голосом или в чате?
    whatsapp +7 (905) 910-20-24
    telegram @edsdproject
    Михаил

    Примеры моих работ

    Мозаика из пинов по фотографии на PHP
    CRM для фитнес-клуба, школы плавания или бассейна
    Повышение рентабельности магазина нейронной сетью
    Иван Герасимов
    Иван Герасимов ivanpmk
    Основная специализация: ИТ и Разработка
    1. Имя: Иван
    2. Возраст: 26
    3. Город: Череповец
    4. Желаемая должность: python разработка
    5. Стек: Selenium, BeautifulSoup, requests, MySQL ,asyncio, Telegram BOT API, Telegram BOT API Интеграция Google Sheets
    6. Какие технологии интересны: scrapy, dokcer, flask
    7. Иностранные языки, уровень: -
    8. Юридический статус: Самозанетый
    9. Наиболее крупные проекты (если есть): github.com/PMK23/bot, github.com/PMK23/booking/...
    10. Должность в них (если есть): -
    11. Что мотивирует в работе: интерес, перспектива
    12. Направления, которые изучаетю: scrapy, dokcer, flask
    13. @IvanPmk
    14. pmkuta5@gmail.com

    Здравствуйте хотелось бы обсудить задачу
    Цена, сроки обсуждаются
    Роман Митюшин
    Роман Митюшин mityroma
    Основная специализация: Веб-разработка и Продуктовый дизайн
      Пример обработки:
      python
      import requests
      from time import sleep

      def fetch_data(url, settings):
      for attempt in range(settings['count']):
      try:
      response = requests.get(url, timeout=settings['global_timeout'])
      response.raise_for_status() # Проверка на статус-коды 4xx и 5xx
      return response.json()

      except requests.exceptions.RequestException as e:
      if attempt < settings['count'] - 1:
      sleep(settings['retry_timeout'])
      else:
      return {"error": str(e), "status": "failed"}

      return None
      7. Пример реализации и кода
      Создание проекта:
      python
      from fastapi import FastAPI
      from pydantic import BaseModel

      app = FastAPI()

      class Project(BaseModel):
      project_name: str
      settings: dict

      @app.post("/api/projects")
      async def create_project(project: Project):
      # Логика для сохранения проекта в базу данных
      return {"message": "Project created successfully", "project": project}
      Получение данных:
      python
      @app.post("/api/projects/{project_id}/fetch-data")
      async def fetch_data(project_id: int):
      # Получение настроек проекта из базы данных
      project_settings = get_project_settings(project_id)
      # Ваш код для запроса данных с учетом прокси и повторных попыток
      data = fetch_data(url, project_settings)
      return data
      Дамир Абейдуллин
      Дамир Абейдуллин damir04
      Основная специализация: ИТ и Разработка
      Здравствуйте, Andrey, готов обсудить детали проекта. Опыт есть!

      Жду Вашего ответа!
      ---------------------------------------
      Telegram - @ab_damirr

      WhatsApp- +79172088852

      Почта - freelancedamir@yandex.ru

      Примеры моих работ

      IT и Разработка
      Дизайн, Монтаж и 3D
      Копирайтинг, Рерайтинг и Переводы
      Дмитрий Корзун
      Дмитрий Корзун skodnik
        Здравствуйте!

        Готов реализовать для вас отказоустойчивый сервис парсинга данных с Госуслуг, который:
        ? Автоматически масштабирует мобильные прокси при блокировках.
        ? Поддерживает кэширование и retry-логику.
        ? Переключается на резервный API при недоступности основного.
        Gnel Gevorgyan
        Gnel Gevorgyan gnelgevorgyan
        Основная специализация: Веб-разработка и Продуктовый дизайн
        здравствуйте я нужен вам
        Алексей Попов
        Алексей Попов seque2019
        Основная специализация: ИТ и Разработка
        Здравствуйте!
        Если коротко резюмировать - нужен сервис, который собирает данные из основного и резервного источника, затем по api их раздает. Также предусмотреть кэширование запросов, для увеличения скорости работы. Плюс, должна быть панель администрирования, для настроек парсинга и прочих деталей. Панель должна быть адаптивная под мобильные устройства. Такая поставлена задача?

        У меня на фрилансе нет проектов. Но я около 10 лет работал fullstack программистом. В основном PHP и JS. Делал приложения для известного питерского ЦОДа и других крупных компаний. Использую стек Laravel, Vue.js, MySql/PostgreSQL

        Так же большой опыт в создании сайтов, адаптивной верстки, разработки пользовательских интерфейсов. Практически все проекты делали с полного нуля. Без референса.

        Для определения сроков и стоимости хотелось бы больше деталей, чтобы понять картину в целом. (Цену и сроки указал приблизительные)

        Оставлять заявки могут только авторизованные пользователи.

        Другие открытые задания:

        Canva: размещать картинки - просто37 000 р.

        Бюджет: 37 000 р. Требуется помощник для работы с визуальным контентом в нашем магазине премиальной бытовой техники. Основные обязанности включают размещение готовых изображений това…

        Контент-модератор: отзывы (удаленно, можно новичкам)12 800 р.

        Бюджет: 12 800 р. Требуется модератор для проверки отзывов и комментариев. Никаких звонков и продаж, только контроль качества контента. Что нужно делать: — Проверять текст на наруш…

        Ищем специалиста по текстам для карточек 25 000 р.

        Бюджет: 25 000 р. Рассматриваем кандидатов без опыта — важно желание обучаться и развиваться в сфере маркетплейсов. Задачи: — Написание текстов для карточек товаров — Составление …

        поиск заданий