Организовать парсинг

Задание закрыто
Стоимость:5 000 рублей
Срок выполнения:10 дней
Варианты оплаты:По договоренности
Дата публикации:2024-03-25 17:51
Обновлено:2024-03-25 19:22
Был(а) на сайте:2024-03-28 17:00

Организовать парсинг

 
Задача

Мне нужно спарсить следующий сайт: https://forwardingcompanies.com/
На этой странице представлены компании и контактная информация тысяч транспортно-экспедиторских компаний по всему миру.
Я хотел бы спарсить эти данные в приложении Python или JavaScript для использования на моем локальном компьютере, используя список из 100 прокси (в текстовом файле), который будет меняться на протяжении всего процесса. Собранные данные затем будут размещены в таблице в моей локальной базе данных MySQL.

Итак, два инпута в текстовый файл:
proxies.txt
countries.txt

Мне нужно, чтобы ты создал простейший интерфейс для загрузки этих файлов.
Мы можем нахардкодить данные для входа в базу данных и т. д. в модуль базы данных программы.
Пожалуйста, используй правильное разделение задач в своей работе, а не просто создавай один сценарий. Разбей его на логические модули в соответствии с лучшими практиками, обязательно добавь логи там, где это необходимо для отладки, и я хотел бы иметь консольную функцию, которая показывает, ...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Narek Bayanduryan
Narek Bayanduryan narek12345
Специализация: Веб-разработка
  • 5 000 руб4 дня
Привет! Я готов помочь вам со спарсингом сайта forwardingcompanies.com и сохранением данных в вашу базу данных MySQL. Планирую создать простой интерфейс для загрузки файлов proxies.txt и countries.txt, а также написать модуль базы данных с возможностью жесткого кодирования данных для входа в базу данных.

При разработке буду следовать лучшим практикам, разбив работу на логические модули, добавлю логирование для отладки и предоставлю консольную функцию для отображения процесса парсинга на экране.

Все данные будут напрямую отправляться на ваш сервер MySQL

После тестирования и одобрения программы я выложу исходный код на GitHub, включая инструкции по использованию и список необходимых библиотек для импортирования.

Мой телеграмм:
https://t.me/Narek_76
Максим Матвеев
Максим Матвеев pycoderme
  • 5 000 руб3 дня
Добрый день! Хочу взяться за реализацию вашего проекта, был подобный опыт работы. Сделаю с использованием requests, bs4(если понадобится), sqlalchemy. Постараюсь добавить максимум асинхронности. Если интересно - пишите.

Примерные сроки реализации: 2-4 дня.
Портфолио: https://github.com/IsHeC0d3r.
Telegram: t.me/wh0am8.
Богдан Дорофеев
Богдан Дорофеев dorofeevb1
Специализация: Программирование и IT
  • 5 000 руб3 дня
Добрый день! Хочу взяться за реализацию вашего проекта, был подобный опыт работы.
Walker Stone
Walker Stone stonewalker

быстро, дешево, хорошо

Специализация: Программирование и IT
  • 5 000 руб10 дней
Здравствуйте, могу взяться за эту работу, есть опыт в парсинге сайтов
Web Master
Web Master webmasst
  • 20 000 руб10 дней
Для решения этой задачи мы разделим работу на несколько модулей:

gui.py - модуль графического интерфейса для загрузки файлов proxies.txt и countries.txt.
parser.py - модуль парсинга сайта.
database.py - модуль для работы с базой данных MySQL.
main.py - основной модуль, который будет запускать весь процесс.
Далее опишу краткое содержание каждого модуля.

1. gui.py

Здесь мы создадим простой графический интерфейс с помощью библиотеки tkinter (Python) или electron (JavaScript). Интерфейс будет содержать две кнопки для выбора файлов proxies.txt и countries.txt, а также кнопку "Start" для запуска парсинга. После выбора файлов пути к ним будут сохраняться во внутренних переменных модуля.

2. parser.py

Этот модуль будет содержать функции для парсинга сайта. Здесь мы будем использовать библиотеку requests (Python) или axios (JavaScript) для отправки запросов, а также beautifulsoup (Python) или cheerio (JavaScript) для парсинга HTML. В этом модуле должна быть реализована логика работы с прокси из файла proxies.txt и циклом по странам из файла countries.txt.

3. database.py

В этом модуле мы реализуем функции для работы с базой данных MySQL. Для Python можно использовать библиотеку mysql-connector-python, а для JavaScript - mysql или Sequelize. Здесь мы должны реализовать функции подключения к базе данных, создания таблиц (если их еще нет), добавления данных и логирования ошибок.

4. main.py

Этот модуль будет содержать основной код программы. Здесь мы импортируем необходимые модули и реализуем логику запуска парсинга после нажатия кнопки "Start" в графическом интерфейсе. Также здесь должна быть реализована консольная функция, которая будет выводить информацию о процессе парсинга.

После написания и тестирования кода, я выложу его в папку GitHub и предоставлю инструкции по использованию и список необходимых библиотек.
Пётр Парс
Пётр Парс parserm

Парсинг любой сложности!

Специализация: Программирование и IT
  • 5 000 руб5 дней
Здравствуйте, меня зовут Пётр. В сфере парсинга более 7 лет. Ознакомился с вашей задачей. Очень заинтересован. В отклике указал стоимость за 1 час работы - 1900р. Давайте созвонимся и обсудим вашу задачу голосом. Контакты указал ниже

Примеры моих работ

Парсер ZZAP.RU
  • parserm
  • Парсер ZZAP.RU
Парсинг ZOON.RU
  • parserm
  • Парсинг ZOON.RU
Парсинг замен или оригиналов EMEX.RU
  • parserm
  • Парсинг замен или оригиналов EMEX.RU

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Доработки в каталоге WP - кастомные поля + AJAX25 000 р.

Бюджет: 25 000 р. Добрый день! Ищу ответственного и самое главное свободного специалиста, который готов приступить сегодня, после принятия заявки и свободен от проектов. Если у В…

Виджет сервиса АнтиКасса для amoCRM и Bitrix2420 000 р.

Бюджет: 20 000 р. ТЕХНИЧЕСКОЕ ЗАДАНИЕ (ЧЕРНОВИК) Виджет сервиса АнтиКасса для amoCRM и Bitrix24 Щербак А.И. ред. 05.11.2024 г. Введение Работаем над стартапом АнтиКасса – b2b…

Сделать рассылку по ватсап 500 сообщений500 р.

Бюджет: 500 р. Здравствуйте. У нас есть база клиентов, которым нужно отправить информацию через ватсап. 500 контактов. Оплата по 1 руб за номер . Дополнительно оплачиваем каждый п…

поиск заданий