Задача. Круглосуточный сервис на небольшой разнородной инфраструктуре малого бизнеса: Linux-серверы под веб, базу и сборку данных и Windows Server. Часть ПО — специфичное, досталось по наследству: обновить или заменить его нельзя, а работать оно обязано. Всё это должно жить вместе.
Решение. Узлы связаны постоянными SSH-соединениями, задания идут по расписанию с защитой от параллельного запуска; там, где штатные средства бессильны, выручают обходные решения. Мониторинг опрашивает узлы и службы; отклонения уходят в мессенджер, разные системы — в разные каналы, важное не тонет. Ежедневные резервные копии с ротацией выгружаются на отдельный сервер; логи — по датам, каждый шаг с отметкой времени. Резервный канал связи поднят и проверен заранее.
Результат. Отказы видны раньше, чем их заметят пользователи; восстановление идёт по отработанной процедуре. Пережиты отказ провайдера и потеря машины — сервис продолжал работать.