Мне нужно спарсить следующий сайт: https://forwardingcompanies.com/
На этой странице представлены компании и контактная информация тысяч транспортно-экспедиторских компаний по всему миру.
Я хотел бы спарсить эти данные в приложении Python или JavaScript для использования на моем локальном компьютере, используя список из 100 прокси (в текстовом файле), который будет меняться на протяжении всего процесса. Собранные данные затем будут размещены в таблице в моей локальной базе данных MySQL.
Итак, два инпута в текстовый файл:
proxies.txt
countries.txt
Мне нужно, чтобы ты создал простейший интерфейс для загрузки этих файлов.
Мы можем нахардкодить данные для входа в базу данных и т. д. в модуль базы данных программы.
Пожалуйста, используй правильное разделение задач в своей работе, а не просто создавай один сценарий. Разбей его на логические модули в соответствии с лучшими практиками, обязательно добавь логи там, где это необходимо для отладки, и я хотел бы иметь консольную функцию, которая показывает, ...
Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Привет! Я готов помочь вам со спарсингом сайта forwardingcompanies.com и сохранением данных в вашу базу данных MySQL. Планирую создать простой интерфейс для загрузки файлов proxies.txt и countries.txt, а также написать модуль базы данных с возможностью жесткого кодирования данных для входа в базу данных.
При разработке буду следовать лучшим практикам, разбив работу на логические модули, добавлю логирование для отладки и предоставлю консольную функцию для отображения процесса парсинга на экране.
Все данные будут напрямую отправляться на ваш сервер MySQL
После тестирования и одобрения программы я выложу исходный код на GitHub, включая инструкции по использованию и список необходимых библиотек для импортирования.
Добрый день! Хочу взяться за реализацию вашего проекта, был подобный опыт работы. Сделаю с использованием requests, bs4(если понадобится), sqlalchemy. Постараюсь добавить максимум асинхронности. Если интересно - пишите.
Примерные сроки реализации: 2-4 дня.
Портфолио: https://github.com/IsHeC0d3r.
Telegram: t.me/wh0am8.
Для решения этой задачи мы разделим работу на несколько модулей:
gui.py - модуль графического интерфейса для загрузки файлов proxies.txt и countries.txt.
parser.py - модуль парсинга сайта.
database.py - модуль для работы с базой данных MySQL.
main.py - основной модуль, который будет запускать весь процесс.
Далее опишу краткое содержание каждого модуля.
1. gui.py
Здесь мы создадим простой графический интерфейс с помощью библиотеки tkinter (Python) или electron (JavaScript). Интерфейс будет содержать две кнопки для выбора файлов proxies.txt и countries.txt, а также кнопку "Start" для запуска парсинга. После выбора файлов пути к ним будут сохраняться во внутренних переменных модуля.
2. parser.py
Этот модуль будет содержать функции для парсинга сайта. Здесь мы будем использовать библиотеку requests (Python) или axios (JavaScript) для отправки запросов, а также beautifulsoup (Python) или cheerio (JavaScript) для парсинга HTML. В этом модуле должна быть реализована логика работы с прокси из файла proxies.txt и циклом по странам из файла countries.txt.
3. database.py
В этом модуле мы реализуем функции для работы с базой данных MySQL. Для Python можно использовать библиотеку mysql-connector-python, а для JavaScript - mysql или Sequelize. Здесь мы должны реализовать функции подключения к базе данных, создания таблиц (если их еще нет), добавления данных и логирования ошибок.
4. main.py
Этот модуль будет содержать основной код программы. Здесь мы импортируем необходимые модули и реализуем логику запуска парсинга после нажатия кнопки "Start" в графическом интерфейсе. Также здесь должна быть реализована консольная функция, которая будет выводить информацию о процессе парсинга.
После написания и тестирования кода, я выложу его в папку GitHub и предоставлю инструкции по использованию и список необходимых библиотек.
Здравствуйте, меня зовут Пётр. В сфере парсинга более 7 лет. Ознакомился с вашей задачей. Очень заинтересован. В отклике указал стоимость за 1 час работы - 1900р. Давайте созвонимся и обсудим вашу задачу голосом. Контакты указал ниже
Организовать парсинг
Реклама
Организовать парсинг
Мне нужно спарсить следующий сайт: https://forwardingcompanies.com/
На этой странице представлены компании и контактная информация тысяч транспортно-экспедиторских компаний по всему миру.
Я хотел бы спарсить эти данные в приложении Python или JavaScript для использования на моем локальном компьютере, используя список из 100 прокси (в текстовом файле), который будет меняться на протяжении всего процесса. Собранные данные затем будут размещены в таблице в моей локальной базе данных MySQL.
Итак, два инпута в текстовый файл:
proxies.txt
countries.txt
Мне нужно, чтобы ты создал простейший интерфейс для загрузки этих файлов.
Мы можем нахардкодить данные для входа в базу данных и т. д. в модуль базы данных программы.
Пожалуйста, используй правильное разделение задач в своей работе, а не просто создавай один сценарий. Разбей его на логические модули в соответствии с лучшими практиками, обязательно добавь логи там, где это необходимо для отладки, и я хотел бы иметь консольную функцию, которая показывает, ...
Другие открытые задания:
Сделать по фотографии картинку в стиле рисованного комикса.500 р.
Бюджет: 500 р. Сделать по фотографии картинку в стиле рисованного комикса, с эффектом скорости и размытия в «нужных» местах, добавить «реалистичности» ситуации. Арктический серфин…
ОТЗЫВЫ . Нужны отзывы с порталов типа АВИТО ,ЮЛА , OZON , Wildberries.8 000 р.
Бюджет: 8 000 р. ОТЗЫВЫ . Нужны отзывы с порталов типа АВИТО ,ЮЛА , OZON , Wildberries. Нужны хорошие положительные ОТЗЫВЫ с обязательной регистрацией на портале . Отзыв дол…
доработать логотип3 000 р.
Бюджет: 3 000 р. добрый день! есть наименование продукта ЗАМОК ( можно ЗАМКИ ) РАННЕГО РЕАГИРОВАНИЯ нужно как-то приукрасить, без фанатизма но чтоб ассоциировалось с -скорос…
поиск заданий