Как устроены дата-центры — и почему от их сохранности так сильно зависят интернет-сервисы

Один дата-центр может обеспечивать тысячи компаний и миллионы пользователей совершенно разным услугам.

И если с ним что-то случится, это скажется на работе многих сервисов. Свежий пример — атаки на дата-центры «Яндекса» в начале октября. Из-за них кроме техногиганта пострадали сотни организаций: от «Авито» и «Циана» до СМИ и операторов связи.

Расскажу, что вообще такое дата-центры и почему последствия их повреждения могут быть серьезными и затрагивать не только владельца, но и многих других.

Современные приложения, программы и сервисы требуют огромных вычислительных мощностей. На стороне пользователя эти данные обрабатываются ограниченно.

Инфраструктура для таких вычислений обычно состоит из серверов, систем хранения данных и другого оборудования. Все это можно разместить в собственных серверных или сторонних центрах обработки данных, так называемых ЦОДах. Они представляют собой здания — или его части — которые спроектированы специально для работы серверного оборудования.

Как это выглядит: помещения с рядами стоек, в которых размещается железо. К стойкам подходят кабели электропитания и связи. В таких залах есть система охлаждения, вентиляции и пожаротушения. Есть комнаты и кабинеты для технического персонала и множество служебных помещений, например электрощитовые.

Работу дата-центра можно условно разделить на два слоя: физический — серверы и системы хранения данных, которые обеспечивают вычисления, и программный — технологии, которые позволяют управлять этими ресурсами и распределять их между приложениями. Разберем чуть подробнее.

Первый слой — физическая инфраструктура: серверы, системы хранения данных и другое оборудование, на котором работают приложения и хранятся файлы. Вот основные функции, которые берут на себя дата-центры:

1. Хранение данных. Это не просто большой жесткий диск для файлов, а инструментарий для управления информацией. Автоматическое резервное копирование, перенос архивных данных для долгосрочного хранения и многое другое — все это есть в большинстве ЦОДов.
2. Сложные или специфические вычисления. Компании могут арендовать серверные мощности дата-центров для ресурсоемких задач или на периоды повышенной нагрузки. Например, интернет-магазин может подключать дополнительные серверы во время крупных распродаж, а производственная компания — использовать мощности дата-центра для анализа больших массивов данных. Кроме того, в дата-центр можно перенести часть повседневных задач, например работу корпоративных приложений.
3. Работа тяжелых программ и сервисов. Например, большинство систем видеосвязи требует устройств с умеренными характеристиками и качественного интернет-соединения. Все вычисления для обработки видео и звука проводятся в дата-центре.

Одни ЦОДы заточены под конкретные задачи, а другие универсальны. Также у одной организации-провайдера может быть несколько дата-центров, которые взаимодействуют между собой, компенсируя возможности друг друга.

Например, приложение или сайт маркетплейса: товары вместе с карточками и характеристиками находятся в одной базе данных, где важна скорость обработки данных при большом количестве пользователей. При покупке товаров сайт или приложение работает с другой частью ЦОДа или вовсе с другим дата-центром, который подходит для обработки платежной информации.

Другой пример: в программе есть клонирование и синтез голоса, для которых нужны мощности дорогостоящих видеокарт. Они могут находиться в конкретной стойке, которая расположена в одном дата-центре. Все остальные части приложения работают с помощью компьютеров в других стойках или ЦОДах, где больше мощностей для хранения данных программы.

Второй слой — программное управление вычислительными ресурсами. Специальные технологии позволяют распределять мощности серверов между приложениями, запускать программы в изолированных средах и автоматически управлять их работой. Вот основные из них:

1. Виртуализация — технология, позволяющая создавать несколько независимых виртуальных компьютеров на одном физическом сервере. Каждый из них может работать под управлением собственной операционной системы.
2. Контейнеризация — технология, позволяющая запускать приложения в изолированных средах, или контейнерах, использующих общее ядро операционной системы. В отличие от виртуальных машин, контейнеры не требуют отдельной ОС, поэтому обычно потребляют меньше ресурсов.
3. Оркестрация — автоматизированное управление множеством контейнеров и других вычислительных ресурсов: их запуском, распределением нагрузки, масштабированием и восстановлением после сбоев.

Важный момент: виртуализация и контейнеризация — не взаимоисключающие технологии. В современных дата-центрах контейнеры часто запускаются внутри виртуальных машин.

Чтобы понять, как все это работает на практике, рассмотрим два сценария использования дата-центров.

Дата-центр помогает компании организовать работу собственных сотрудников. Например, крупная торговая сеть может разместить на арендованных мощностях корпоративную почту, CRM или систему учета товаров. Сотрудники получают доступ к этим приложениям со своих рабочих компьютеров, а компании не нужно покупать и обслуживать собственные серверы.

Дата-центр помогает компании предоставлять цифровые услуги своим клиентам. Например, обеспечивает работу онлайн-кинотеатра, интернет-магазина или банковского приложения. На серверах дата-центра размещаются необходимые программы и базы данных, которые обрабатывают запросы пользователей.

В обоих случаях виртуализация, контейнеризация и оркестрация помогают распределять вычислительные ресурсы и управлять работой приложений.

Для пользователя мобильное приложение или сайт выглядят как единое целое, хотя на самом деле могут состоять из множества отдельных сервисов. Например, апп для вызова такси обращается к системам авторизации, геолокации, поиска водителей и обработки платежей.

Такая архитектура позволяет гибко распределять нагрузку и эффективнее использовать вычислительные мощности. Например, если число заказов резко увеличивается, компания может выделить дополнительные ресурсы только тем сервисам, которым они необходимы. Это помогает экономить на оборудовании, что особенно актуально в условиях мирового дефицита комплектующих — оперативной памяти и накопителей.

При этом отдельные компоненты приложения могут работать на разных серверах и даже в разных ЦОДах. Это усложняет управление системой: сбой одного сервиса способен нарушить работу других или всего приложения. Например, если перестанет работать система платежей, пользователь сможет выбрать такси, но не сможет оплатить поездку.

ИТ-компаниям и компаниями, бизнес которых построен на онлайн-сервисах, очень важно иметь собственные дата-центры или арендовать мощности для конкретных задач. Возможны гибридные варианты: хранение и вычисление в разных ЦОДах или частичное хранение внутри собственной инфраструктуры.

Банки и операторы связи организуют свои дата-центры, которые используют в собственных целях, а также предлагают услуги клиентам. Так выстраивается сложная инфраструктура, на которой завязаны сотни тысяч пользователей.

Сбой в одном из компонентов вызывает сложности сразу у всех. При этом какие-то сервисы могут заработать сразу из резервных копий в других частях ЦОДа или других дата-центрах, а какие-то нет.

У каждого крупного дата-центра и поставщика услуг есть страница с указанием доступности сервисов. Там можно посмотреть, что сейчас работает штатно, а что — со сбоями.

Дата-центром может быть целое здание, несколько этажей промышленного объекта или морской контейнер — такие ЦОДы называются мобильными или модульными. Независимо от места, помещение должно соответствовать требованиям законодательства и правилам эксплуатации.

Вот самые важные условия для устройства дата-центра:

1. Расположение. К дата-центру должны быть организованы подъезды для разгрузки оборудования и транспорта специальных служб. Также важно водоснабжение для тушения возгораний.
2. Здание. Для ЦОДа необходимо просторные крепкие здания, перекрытия которых выдерживают стойки с оборудованием массой более 800 кг. Также важно организовать вентиляцию и поддержание климата.
3. Электричество. Дата-центр может быть подключен к отдельной или районной подстанции, также у многих есть собственная генерация для аварийного электропитания.
4. Каналы связи. К каждому дата-центру подходит несколько провайдеров, которые должны бесперебойно обеспечивать связь.

В дата-центрах дублируется не только связь, но и множество других подсистем. Например, вентиляция и кондиционирование. Оптимальная температура для серверов — +18…24 °C. В каждом помещении со стойками установлено несколько промышленных кондиционеров с запасом мощности.

Электричество компенсируется источниками бесперебойного питания. Они подхватывают снабжение в моменты просадок или временных коротких отключений. Обычно мощностей ИБП хватает на период 5—20 минут. В экстренных случаях задействуют дизельные генераторы.

Еще одна важная система — комплекс пожаротушения и предупреждения чрезвычайных ситуаций. Это наборы датчиков, водяные спринклеры, газовые комплексы пожаротушения, удаляющие кислород из помещения с возгоранием, и вентиляция, отводящая дым.

За работой физической инфраструктуры следят специальные системы управления. Они контролируют состояние оборудования, помогают выявлять неисправности и автоматически реагировать на некоторые сбои. При этом приложения клиентов дата-центра, например корпоративные программы, интернет-магазины или банковские сервисы, работают отдельно от систем управления самими ЦОДами.

Программное управление дата-центром можно условно разделить на три уровня:

1. Управление инженерными системами. Контроль электропитания, охлаждения, вентиляции и противопожарного оборудования. Например, система может обнаружить повышение температуры в серверном зале и автоматически скорректировать работу охлаждения.
2. Управление ИТ-инфраструктурой. Мониторинг серверов, систем хранения данных и сетевого оборудования, распределение вычислительных ресурсов и контроль их доступности.
3. Управление приложениями. Запуск и поддержка программ, работающих на мощностях дата-центра. Это могут быть как внутренние системы компаний, например CRM или бухгалтерия, так и сервисы для обычных пользователей: интернет-магазины, онлайн-кинотеатры и банковские приложения.

При этом ответственность за разные уровни может быть распределена между оператором дата-центра, облачным провайдером и компанией-клиентом.

Сбои в работе дата-центра — обычная ситуация, поскольку любое оборудование иногда выходит из строя. У каждого дата-центра есть требования по доступности и времени простоя — по российскому законодательству класса четыре, и они либо соответствуют, либо дополняют международную классификацию Tier I-IV.

Ключевые системы ЦОДа дублируют друг друга, а информация многократно резервируется. Проблемой может быть, например, потеря управляющих систем, которые отвечают за восстановление. Возможны несколько вариантов аварий и последствий.

Временная потеря связи, электропитания или выход из строя отдельных компонентов стойки — незначительный инцидент. Такие события влияют на работу одного или нескольких сервисов на минуты. Оборудование автоматически переключается на резервные копии и полноценно работает.

Длительное отключение связи, электроснабжения или поломка оборудования, требующая ремонта, — умеренный инцидент. Для восстановления работы нужен ремонт с применением запчастей или переустановкой программного обеспечения.

В таких сценариях возможен переход на работу с резервными копиями или на резервных мощностях. Обычный сценарий создания бэкапов для крупного ЦОДа — правило 3—2—1. Есть минимум три копии на двух разных носителях и минимум одна копия на удаленном носителе.

Удаленным носителем служит либо другой сегмент дата-центра, либо другой ЦОД. Это нормальный сценарий, который позволяет сохранить данные пользователей и вернуть доступ через некоторое время.

Выход из строя крупных узлов связи, целых сегментов ЦОДа или систем управления — серьезный инцидент. Включает в себя предыдущие сценарии, но события осложняются невозможностью быстро восстановить работу.

К серьезным инцидентам относят также ситуации, когда оборудование и пользовательские данные в порядке, но к ним по каким-то причинам нет доступа даже у персонала ЦОДа. Это может быть связано с программным сбоем или физическими повреждениями систем управления.

Масштабное физическое повреждение или уничтожение оборудования и помещений ЦОДа — катастрофический инцидент. Худшие варианты, при которых физически повреждена или уничтожена часть оборудования или помещений ЦОДа. Для таких сценариев существуют алгоритмы восстановления данных: быстрое разворачивание информации из бэкапов, перенастройка сетевых соединений и перенос вычислений в другие дата-центры.

Проблемой может стать невозможность перенести данные. Вот какие могут быть причины:

1. Уничтожено или повреждено сетевое оборудование — нет возможности восстановить интернет-соединение и дать доступ к данным.
2. Повреждена существенная часть оборудования — в резервных ЦОДах нет ресурсов для восстановления всей информации в короткие сроки.
3. Не работает система менеджмента данных — нет резервных копий или они неактуальны, поэтому настройку приходится проводить как новую.
4. Неготовность резервных ЦОДов — пользовательские данные в медленных хранилищах и для переноса требуется время.

Для обычного пользователя последствия аварии могут проявляться по-разному. Например, отдельные функции приложения перестанут работать, сайт начнет медленнее загружаться или доступ к сервису полностью пропадет. В худшем случае возможна потеря пользовательских данных.

При этом отсутствие доступа к файлам еще не означает, что они уничтожены. Информация может сохраниться на накопителях, но стать недоступной из-за повреждения оборудования или программного сбоя. В таком случае восстановление зависит от масштаба аварии и может занять от нескольких часов до нескольких недель.

Но данные действительно могут быть потеряны безвозвратно. Например, если уничтожены основные накопители, а резервные копии отсутствуют или тоже повреждены. Иногда причиной становится программная ошибка: если система автоматически синхронизирует удаление файлов между несколькими хранилищами, информация может исчезнуть сразу из нескольких мест.

Поэтому восстановление после серьезной аварии включает две отдельные задачи: вернуть сами данные и восстановить доступ к сервисам. Даже если резервные копии сохранились, для полноценной работы могут потребоваться дополнительные серверы, настройка программ и восстановление сетевых соединений.