11 октября в результате атаки беспилотников была повреждена инфраструктура дата-центров, в которых размещались наши серверы.
Зоны доступности ru-central1-a и ru-central1-b — это масштабные инфраструктурные площадки, услугами которых пользуются многие российские компании. Несмотря на атаки, произошедшие в предыдущие дни, никто не ожидал настолько серьёзных последствий.
Нам пришлось в кратчайшие сроки переносить огромные объёмы данных в другой дата-центр, восстанавливать работу сервисов и пересматривать архитектуру собственных систем резервирования.
Ещё летом мы запустили собственную систему безопасности, мониторинга и резервирования — aiwa core.
Это автоматизированная система с использованием искусственного интеллекта, которая круглосуточно следит за состоянием нашей инфраструктуры, оперативно реагирует на инциденты, отправляет уведомления, создаёт резервные копии данных, отслеживает доступность серверов и доменов, а также выполняет множество других задач.
Благодаря aiwa core нам удалось сохранить все данные в полном объёме, а уже к обеду 11 октября наши сервисы вновь работали в штатном режиме.
После произошедших событий мы дополнительно усовершенствовали aiwa core, усилили механизмы резервирования и запустили публичную страницу мониторинга — status.aiwa.company.
Теперь каждый желающий может в реальном времени отслеживать состояние нашей инфраструктуры и доступность сервисов.
Сама система aiwa core развёрнута в двух независимых дата-центрах. Это позволяет обеспечить непрерывный мониторинг инфраструктуры даже в случае серьёзных сбоев на одной из площадок.
Тем не менее ситуация оказалась действительно сложной. За восстановлением инфраструктуры стоят огромные усилия специалистов, которые занимались и продолжают заниматься устранением последствий инцидента.
Инженеры, работавшие над восстановлением сервисов, — настоящие герои. Многие из них трудились практически круглосуточно, без полноценного отдыха, чтобы как можно быстрее вернуть системы к нормальной работе.
Этот инцидент стал серьёзным испытанием для всей отрасли и ещё раз показал, насколько важны независимые системы резервирования, распределённая инфраструктура и готовность к непредвиденным ситуациям.
Мы продолжим совершенствовать наши технологии, повышать отказоустойчивость сервисов и делать всё возможное для обеспечения безопасности данных наших клиентов.
Уверен, что вместе мы способны справиться даже с самыми сложными вызовами.