Парсер Яндекс Карт
- 272
- 0
- Опубликовано: 2015-01-03
Программа для парсинга данных о геолокации объектов на Яндекс.Картах .
Реализована в виде приложения для ОС windows. База данных Firebird Embedded 2.5 . Использовать для получения данных API Яндекс карт «Гео Кодер» (ограничение в бесплатной версии 25 000 запросов в сутки).
В интерфейсе реализованы возможности:
вводить координаты прямоугольной области. Верхний левый угол, и правый нижний (их можно получить при помощи Яндекс карты);
Максимальный шаг по широте;
Максимальный шаг по долготе;
Максимальное количество результатов в ответе API;
Минимальное значение таймаута в мили секундах:
Максимальное значение таймаута в мили секундах:
параметры соединения с базой данных; (думаю стоит результаты временно заливать в базу данных, для фильтрации дубликатов и сохранения общего результата собранных данных)
путь к файлу для выгрузки результатов;( Шаблон вывода: <город>;<улица>;<номер дома>;<широта>;<долгота>)
Параметры соединения с интернетом;
User Agent браузера; (что бы снизить вероятность того, что сервис яндекса заподозрит программу в автоматическом сборе данных);
Все параметры сохраняются в файл конфигурации, и загружаться из него при старте.
Работает программа в один поток опять же для того что бы снизить вероятность того, что заподозрят в автоматическом сборе данных.
При работе программы фиксируются ранее полученные результаты. Таким образом при парсинге больших областей нет необходимости дробить их.
Добавлена возможность выгружать данные в SQL скрипт с использованием шаблона запроса, что облегчает загрузку данных в системы, не поддерживающие импорт из *.cvs *.txt файлов.
Реализована в виде приложения для ОС windows. База данных Firebird Embedded 2.5 . Использовать для получения данных API Яндекс карт «Гео Кодер» (ограничение в бесплатной версии 25 000 запросов в сутки).
В интерфейсе реализованы возможности:
вводить координаты прямоугольной области. Верхний левый угол, и правый нижний (их можно получить при помощи Яндекс карты);
Максимальный шаг по широте;
Максимальный шаг по долготе;
Максимальное количество результатов в ответе API;
Минимальное значение таймаута в мили секундах:
Максимальное значение таймаута в мили секундах:
параметры соединения с базой данных; (думаю стоит результаты временно заливать в базу данных, для фильтрации дубликатов и сохранения общего результата собранных данных)
путь к файлу для выгрузки результатов;( Шаблон вывода: <город>;<улица>;<номер дома>;<широта>;<долгота>)
Параметры соединения с интернетом;
User Agent браузера; (что бы снизить вероятность того, что сервис яндекса заподозрит программу в автоматическом сборе данных);
Все параметры сохраняются в файл конфигурации, и загружаться из него при старте.
Работает программа в один поток опять же для того что бы снизить вероятность того, что заподозрят в автоматическом сборе данных.
При работе программы фиксируются ранее полученные результаты. Таким образом при парсинге больших областей нет необходимости дробить их.
Добавлена возможность выгружать данные в SQL скрипт с использованием шаблона запроса, что облегчает загрузку данных в системы, не поддерживающие импорт из *.cvs *.txt файлов.
Комментариев нет
оставить комментарий могут только авторизованные пользователи