Организовать парсинг

Задание закрыто
Стоимость:5 000 рублей
Срок выполнения:10 дней
Варианты оплаты:По договоренности
Дата публикации:2024-03-25 17:51
Обновлено:2024-03-25 19:22
Был(а) на сайте:2024-03-28 17:00

Организовать парсинг

 
Задача

Мне нужно спарсить следующий сайт: https://forwardingcompanies.com/
На этой странице представлены компании и контактная информация тысяч транспортно-экспедиторских компаний по всему миру.
Я хотел бы спарсить эти данные в приложении Python или JavaScript для использования на моем локальном компьютере, используя список из 100 прокси (в текстовом файле), который будет меняться на протяжении всего процесса. Собранные данные затем будут размещены в таблице в моей локальной базе данных MySQL.

Итак, два инпута в текстовый файл:
proxies.txt
countries.txt

Мне нужно, чтобы ты создал простейший интерфейс для загрузки этих файлов.
Мы можем нахардкодить данные для входа в базу данных и т. д. в модуль базы данных программы.
Пожалуйста, используй правильное разделение задач в своей работе, а не просто создавай один сценарий. Разбей его на логические модули в соответствии с лучшими практиками, обязательно добавь логи там, где это необходимо для отладки, и я хотел бы иметь консольную функцию, которая показывает, ...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Narek Bayanduryan
Narek Bayanduryan narek12345
Основная специализация: Веб-разработка и Продуктовый дизайн
    Привет! Я готов помочь вам со спарсингом сайта forwardingcompanies.com и сохранением данных в вашу базу данных MySQL. Планирую создать простой интерфейс для загрузки файлов proxies.txt и countries.txt, а также написать модуль базы данных с возможностью жесткого кодирования данных для входа в базу данных.

    При разработке буду следовать лучшим практикам, разбив работу на логические модули, добавлю логирование для отладки и предоставлю консольную функцию для отображения процесса парсинга на экране.

    Все данные будут напрямую отправляться на ваш сервер MySQL

    После тестирования и одобрения программы я выложу исходный код на GitHub, включая инструкции по использованию и список необходимых библиотек для импортирования.

    Мой телеграмм:
    https://t.me/Narek_76
    Максим Матвеев
    Максим Матвеев pycoderme
    Добрый день! Хочу взяться за реализацию вашего проекта, был подобный опыт работы. Сделаю с использованием requests, bs4(если понадобится), sqlalchemy. Постараюсь добавить максимум асинхронности. Если интересно - пишите.

    Примерные сроки реализации: 2-4 дня.
    Портфолио: https://github.com/IsHeC0d3r.
    Telegram: t.me/wh0am8.
    Богдан Дорофеев
    Богдан Дорофеев dorofeevb1
    Основная специализация: ИТ и Разработка
      Добрый день! Хочу взяться за реализацию вашего проекта, был подобный опыт работы.
      Walker Stone
      Walker Stone stonewalker
      Основная специализация: ИТ и Разработка
      Здравствуйте, могу взяться за эту работу, есть опыт в парсинге сайтов
      Web Master
      Web Master webmasst
        Для решения этой задачи мы разделим работу на несколько модулей:

        gui.py - модуль графического интерфейса для загрузки файлов proxies.txt и countries.txt.
        parser.py - модуль парсинга сайта.
        database.py - модуль для работы с базой данных MySQL.
        main.py - основной модуль, который будет запускать весь процесс.
        Далее опишу краткое содержание каждого модуля.

        1. gui.py

        Здесь мы создадим простой графический интерфейс с помощью библиотеки tkinter (Python) или electron (JavaScript). Интерфейс будет содержать две кнопки для выбора файлов proxies.txt и countries.txt, а также кнопку "Start" для запуска парсинга. После выбора файлов пути к ним будут сохраняться во внутренних переменных модуля.

        2. parser.py

        Этот модуль будет содержать функции для парсинга сайта. Здесь мы будем использовать библиотеку requests (Python) или axios (JavaScript) для отправки запросов, а также beautifulsoup (Python) или cheerio (JavaScript) для парсинга HTML. В этом модуле должна быть реализована логика работы с прокси из файла proxies.txt и циклом по странам из файла countries.txt.

        3. database.py

        В этом модуле мы реализуем функции для работы с базой данных MySQL. Для Python можно использовать библиотеку mysql-connector-python, а для JavaScript - mysql или Sequelize. Здесь мы должны реализовать функции подключения к базе данных, создания таблиц (если их еще нет), добавления данных и логирования ошибок.

        4. main.py

        Этот модуль будет содержать основной код программы. Здесь мы импортируем необходимые модули и реализуем логику запуска парсинга после нажатия кнопки "Start" в графическом интерфейсе. Также здесь должна быть реализована консольная функция, которая будет выводить информацию о процессе парсинга.

        После написания и тестирования кода, я выложу его в папку GitHub и предоставлю инструкции по использованию и список необходимых библиотек.
        Parsing Site
        Parsing Site parserm
        Основная специализация: ИТ и Разработка
        Здравствуйте, меня зовут Пётр. В сфере парсинга более 7 лет. Ознакомился с вашей задачей. Очень заинтересован. В отклике указал стоимость за 1 час работы - 1900р. Давайте созвонимся и обсудим вашу задачу голосом. Контакты указал ниже

        Примеры моих работ

        Парсер ZZAP.RU
        Парсинг ZOON.RU
        Парсинг замен или оригиналов EMEX.RU

        Оставлять заявки могут только авторизованные пользователи.

        Другие открытые задания:

        Публиковать объявления на маркетплейсах 500 р.

        Бюджет: 500 р. Требуются специалисты для быстрого и качественного размещения рекламных объявлений на крупной торговой площадке. Вам предстоит заполнять подготовленные шаблоны опис…

        Контент-менеджер (на постоянную удаленную работу)30 000 р.

        Бюджет: 30 000 р. Ищем штатного специалиста, который будет на постоянной основе наполнять наш интернет-магазин новыми карточками товаров, редактировать старые, редактировать цены и т…

        Разослать 2000 сообщений через Ватсап Вручную2 000 р.

        Бюджет: 2 000 р. Добрый день. У нас есть база номеров наших клиентов, которым нужно отправить информацию через ватсап. 2000 контактов. Оплата по 1 руб за номер . Дополнительно оплач…

        поиск заданий