Парсинг сайта | Интеграция

Задание закрыто
Стоимость:Договорная
Срок выполнения:10 дней
Варианты оплаты:По договоренности
Дата публикации:2025-04-04 09:30
Был(а) на сайте:2025-04-04 10:46

Парсинг сайта | Интеграция

 
Задача

Необходимо разработать сервис - парсинга данных, размещенного и доступного на сайте госуслуги.
Важно учесть:
• Работа сервиса должна обеспечиваться через мобильные прокси. Поддержка масштабирование дополнительных мобильных прокси в случае, если не хватает объема для выполнения запросов
• Сервис должен поддерживать осуществление запросов по api и выдачу токенов для разных проектов
• Сервис должен поддерживать настройку выполнение запросов методом загрузки данных в таблицу с указанием проекта для дальнейшей возможности формировать дашборд с объемом запросов в разрезе проекта
• API должно поддерживать настройку количества retry (повторных запросов при неуспешном ответе), global timeout (время ожидания ответа для проекта)
Например:
"retry_and_timeout_settings": {
"retry_timeout": 60,
"global_timeout": 240,
"count": 3
}
• Сервис должен поддерживать запросы в кэш. Кэш собирается только по данным, где получен статус – Недействительный с указанием источника. ...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Алексей Иванов
Алексей Иванов chelovek1945
Основная специализация: Веб-разработка и Продуктовый дизайн
    Привет! Я — фрилансер, и моя работа связана с веб-разработкой и созданием текстов. Это сочетание позволяет мне заниматься созданием сайтов, которые не только красивы и функциональны, но и наполнены качественным контентом. Я верю, что сайт должен быть не только технически грамотным, но и привлекательным для пользователей, а тексты на нём должны быть понятными и интересными.

    Моя основная задача — помогать клиентам создавать онлайн-платформы, которые отражают их идею или бизнес. Я разрабатываю сайты на платформе WordPress, используя мощные инструменты и плагины для того, чтобы каждый проект был уникальным. А ещё я пишу тексты, которые не просто информируют, но и мотивируют людей действовать — будь то покупка, регистрация или просто интерес к продукту.

    Каждый новый проект для меня — это шанс проявить креативность и создать нечто, что будет работать для моего клиента. Я люблю следить за последними трендами в веб-дизайне и контент-маркетинге, чтобы сайты, которые я создаю, не только выглядели современно, но и приносили реальную пользу.

    Если вам нужен сайт с хорошим контентом, который будет работать на ваш успех — не стесняйтесь обращаться!
    Telegram:https://t.me/Helby_34
    Центр разработки программного обеспечения EDISON
    Центр разработки программного обеспечения EDISON edsd
    Основная специализация: ИТ и Разработка
    Добрый день!

    Портфолио:
    https://www.edsd.ru/ru/portfolio

    Примеры работ:
    https://www.edsd.ru/parsing-sajtov-dannyh-analiz-i-monitoring-cen-na-tovary-v-python
    https://www.edsd.ru/razrabotka-sajtov-i-prilozhenij-na-python#monitoring-cen-na-tovary-v-magazinah-konkurentov
    https://www.edsd.ru/tendernye-i-informacionnye-agregatory

    Давайте обсудим детали голосом или в чате?
    whatsapp +7 (905) 910-20-24
    telegram @edsdproject
    Михаил

    Примеры моих работ

    CRM для фитнес-клуба, школы плавания или бассейна
    Повышение рентабельности магазина нейронной сетью
    Программа подбора вентиляционного оборудования
    Иван Герасимов
    Иван Герасимов ivanpmk
    Основная специализация: ИТ и Разработка
      1. Имя: Иван
      2. Возраст: 26
      3. Город: Череповец
      4. Желаемая должность: python разработка
      5. Стек: Selenium, BeautifulSoup, requests, MySQL ,asyncio, Telegram BOT API, Telegram BOT API Интеграция Google Sheets
      6. Какие технологии интересны: scrapy, dokcer, flask
      7. Иностранные языки, уровень: -
      8. Юридический статус: Самозанетый
      9. Наиболее крупные проекты (если есть): github.com/PMK23/bot, github.com/PMK23/booking/...
      10. Должность в них (если есть): -
      11. Что мотивирует в работе: интерес, перспектива
      12. Направления, которые изучаетю: scrapy, dokcer, flask
      13. @IvanPmk
      14. pmkuta5@gmail.com

      Здравствуйте хотелось бы обсудить задачу
      Цена, сроки обсуждаются
      Роман Митюшин
      Роман Митюшин mityroma
      Основная специализация: Веб-разработка и Продуктовый дизайн
      Пример обработки:
      python
      import requests
      from time import sleep

      def fetch_data(url, settings):
      for attempt in range(settings['count']):
      try:
      response = requests.get(url, timeout=settings['global_timeout'])
      response.raise_for_status() # Проверка на статус-коды 4xx и 5xx
      return response.json()

      except requests.exceptions.RequestException as e:
      if attempt < settings['count'] - 1:
      sleep(settings['retry_timeout'])
      else:
      return {"error": str(e), "status": "failed"}

      return None
      7. Пример реализации и кода
      Создание проекта:
      python
      from fastapi import FastAPI
      from pydantic import BaseModel

      app = FastAPI()

      class Project(BaseModel):
      project_name: str
      settings: dict

      @app.post("/api/projects")
      async def create_project(project: Project):
      # Логика для сохранения проекта в базу данных
      return {"message": "Project created successfully", "project": project}
      Получение данных:
      python
      @app.post("/api/projects/{project_id}/fetch-data")
      async def fetch_data(project_id: int):
      # Получение настроек проекта из базы данных
      project_settings = get_project_settings(project_id)
      # Ваш код для запроса данных с учетом прокси и повторных попыток
      data = fetch_data(url, project_settings)
      return data
      Дамир Абейдуллин
      Дамир Абейдуллин damir04
      Основная специализация: ИТ и Разработка
        Здравствуйте, Andrey, готов обсудить детали проекта. Опыт есть!

        Жду Вашего ответа!
        ---------------------------------------
        Telegram - @ab_damirr

        WhatsApp- +79172088852

        Почта - freelancedamir@yandex.ru

        Примеры моих работ

        IT и Разработка
        Дизайн, Монтаж и 3D
        Копирайтинг, Рерайтинг и Переводы
        Дмитрий Корзун
        Дмитрий Корзун skodnik
        Здравствуйте!

        Готов реализовать для вас отказоустойчивый сервис парсинга данных с Госуслуг, который:
        ? Автоматически масштабирует мобильные прокси при блокировках.
        ? Поддерживает кэширование и retry-логику.
        ? Переключается на резервный API при недоступности основного.
        Gnel Gevorgyan
        Gnel Gevorgyan gnelgevorgyan
        Основная специализация: Веб-разработка и Продуктовый дизайн
          здравствуйте я нужен вам
          Алексей Попов
          Алексей Попов seque2019
          Основная специализация: ИТ и Разработка
            Здравствуйте!
            Если коротко резюмировать - нужен сервис, который собирает данные из основного и резервного источника, затем по api их раздает. Также предусмотреть кэширование запросов, для увеличения скорости работы. Плюс, должна быть панель администрирования, для настроек парсинга и прочих деталей. Панель должна быть адаптивная под мобильные устройства. Такая поставлена задача?

            У меня на фрилансе нет проектов. Но я около 10 лет работал fullstack программистом. В основном PHP и JS. Делал приложения для известного питерского ЦОДа и других крупных компаний. Использую стек Laravel, Vue.js, MySql/PostgreSQL

            Так же большой опыт в создании сайтов, адаптивной верстки, разработки пользовательских интерфейсов. Практически все проекты делали с полного нуля. Без референса.

            Для определения сроков и стоимости хотелось бы больше деталей, чтобы понять картину в целом. (Цену и сроки указал приблизительные)

            Оставлять заявки могут только авторизованные пользователи.

            Другие открытые задания:

            Рабочий проект водоснабжения и канализации120 000 р.

            Бюджет: 120 000 р. Нужен рабочий проект водоснабжения и канализации школы. Здание 3 этажа, необходимо в рамках капитального ремонта заменить все сети ХВС, ГВС, Канализации, Срок реал…

            Донастройка Telegram-бота с ИИ и базой знаний (Make + Google Drive)5 000 р.

            Бюджет: 5 000 р. Есть Telegram-бот (··· созданный через OpenAI. Бот отвечает, но не умеет работать с документами. Нужно донастроить архитектуру и интеграции так, чтобы бот отвечал …

            Разработать логотип для онлайн школы5 000 р.

            Бюджет: 5 000 р. Здравствуйте! Необходимо разработать логотип Школы правовой грамотности "ЮрТайм". Данная онлайн-школа будет обучать граждан как правильно себя вести в суд…

            поиск заданий