Система для автоматического мониторинга Telegram-каналов и мгновенных уведомлений — помогает компаниям быстро отслеживать важные упоминания и реагировать на них, а также для поиска заказов для бизнеса.
Архитектура: для каждого Telegram-аккаунта запускаются отдельные воркеры на свободных серверах через Docker Swarm; аккаунты и каналы добавляются и управляются через админку Django или из файла, с автоматическим распределением каналов на доступные аккаунты.
Обработка данных: все сообщения просеиваются через Elasticsearch Percolator с пользовательскими поисковыми фразами для мгновенных уведомлений через Telegram-бота; сообщения сохраняются в PostgreSQL для долговременного хранения и в Elasticsearch для быстрого поиска.
Инфраструктура и мониторинг: ELK-стек для наблюдения за состоянием системы; NFS используется для совместного хранения сессионных файлов и менеджмента сессий.
Реализована масштабируемая обработка, оперативно реагировать на новые сообщения в миллионах каналов одновременно.
Пожаловаться
