Цод сбербанка что это

Обновлено: 17.08.2022

Сбербанк ищет сторонний ЦОД для размещения своего ИТ-оборудования почти за 3 млрд руб. Госбанку требуется до 300 серверных стойко-мест вблизи Москвы. В августе 2020 г. Сбербанк также пытался арендовать 700 стойко-мест за 2,5 млрд, однако желающих не нашлось. Позже тендер был перезапущен с большей ценой и меньшим количеством стоек. Договор был подписан с МТС.

ЦОД для Сбербанка

Как выяснил CNews, Сбербанк готов потратить 2,9 млрд руб. на размещение своих серверов в стороннем центре обработки данных (ЦОД). Банку требуется до 300 стойко-мест на последующие четыре с половиной года. Информация об этом опубликована на портале госзакупок.

Соответствующий тендер опубликован 8 февраля 2022 г. в формате запроса котировок. Заявки от претендентов принимаются до 15 февраля, итоги будут подведены 31 марта. Последние три тендера (включая этот) на размещение серверного оборудования Сбербанк абстрактно называл «Технологические услуги».

Представители Сбербанка не смогли объяснить CNews, что именно определило потребность в аренде новых стойко-мест. Закупка обосновывается потребностью в дополнительных стойко-местах для размещения ИТ-оборудования, ответили они. Также они не уточнили, вновь закупаемое или старое оборудование разместится в арендуемых ЦОДах.

Подробности тендера

В тендерной документации также есть отметка, что банк «вправе в любой момент в одностороннем внесудебном порядке отказаться от части оказываемых услуг или от всех оказываемых услуг, или досрочно расторгнуть договор в соответствии с его условиями».

sber4.jpg

По условиям закупки для соблюдения принципов надежности и непрерывности ИТ-систем, ЦОД подрядчика должен быть расположен на удалении не менее 2 км и не более 50 км одновременно от двух объектов Сбербанка — во 2-м Южнопортовом проезде в Москве (там находится так называемый первый мегаЦОД банка) и на Большом бульваре в Сколково (второй мегаЦОД). Кроме того, новый объект должен находиться на расстоянии не менее 2 км от Рябиновой улицы в Москве. Известно, что на этой улице располагается коммерческий ЦОД компании 3data. Сбербанк фигурирует в числе ее клиентов на сайте организации.

При этом по условиям договора, владельцу ЦОДа запрещено занимать арендуемый Сбербанком машинный зал оборудованием сторонних организаций. В случае возникновения у банка потребности в продлении срока аренды на срок не более одного года, исполнитель обязуется оказать те же услуги по той же стоимости, что указана в договоре, говорится в техзадании.

Аренда ЦОДов и покупка серверов Сбербанком

Как уже говорилось выше, Сбербанк пытался арендовать 700 стоек в августе 2020 г. Тогда CNews сделал вывод, что банк гарантированно разместит и оплатит лишь 100 стойко-мест. А еще 600 исполнитель договора должен будет держать про запас. «Банк вправе не размещать и не оплачивать дополнительно запрашиваемые 600 стойко-мест, — говорилось в условиях закупки. — При размещении и резервировании стойко-мест в меньшем объеме, поставщик не вправе требовать от банка каких-либо компенсаций, убытков, возмещений и прочих имущественных предоставлений, а также не вправе требовать увеличения стоимости услуг по договору и/или изменения любых иных условий договора».


Тендер с такими условиями не состоялся. Через месяц, в сентябре 2020 г. он был перезапущен. Начальная цена договора повысилась до 2,6 млрд руб. при снижении количества стойко-мест до 400. Из документации исчезла вышеупомянутая формулировка о том, что банк может не размещать и не оплачивать дополнительно заращиваемые стойко-места. Однако банк оставил за собой право в любой момент в одностороннем внесудебном порядке отказаться от части или от всех оказываемых услуг.

В новом запросе котировок приняли участие две ИТ-компании — МТС и «Датапро». Последняя была признана не соответствующей требованиям. Договор на сумму 2,5 млрд руб. был заключен с МТС.

В июле 2021 г. Сбербанк разместил тендер на закупку серверного оборудования на $131,1 млн (почти 10 млрд руб. по курсу ЦБ на 16 июля 2021 г.). В сентябре CNews выяснил, что Сбербанк заключил договора на поставку тысяч польско-российских серверов, а также «железа», происходящего из Венгрии, Чехии и Китая. Тогда представители Сбербанка не сообщили CNews данных о производителях и поставщиках закупаемого оборудования, так как они являются «конфиденциальной информацией».

Сбербанк в сентябре 2021 г. сообщил о начале строительства крупнейшего в России ЦОДа, площадь которого составит более 55 тыс. квадратных метров. Он расположится в особой экономической зоне в Балаково и вместит 3,5 тыс. стоек. Представители Сбербанка сообщили CNews, что его строительство идет по графику.

Основные ИТ-системы Сбербанка централизованы на базе мегаЦОДа «Южный порт», открытом в 2011 году.

МегаЦОД 2 в Сколково

Хроника

2021: Сбер приступил к строительству крупнейшего ЦОДа в России

Сбер 7 сентября 2021 года сообщил TAdviser о старте строительства на территории особой экономической зоны в Балаково крупнейшего в России регионального центра обработки данных (ЦОД). Подробнее здесь.

2020: Сбербанк намерен построить Мега-ЦОД Сбербанк Южный порт 2

В конце октября 2020 года стало известно о намерении Сбербанка построить новый дата-центр на юго-востоке Москвы. Размещение объекта планируется по адресу: 2-й Южнопортовый проезд, дом 12а, корпус 1, владение 12А. Там уже находится мега-ЦОД Сбербанка «Южный порт», который считается одним из крупнейших банковских центров обработки данных в Восточной Европе. Подробнее здесь.

2015: Целевая архитектура ЦОДов до 2020 года

Концепция Сбербанка предусматривает, что в 2019-2020 гг. у него в общей сложности должно быть три собственных ЦОДа, рассказал старший вице-президент банка по ИТ Никита Волков, отвечая на вопросы TAdviser в ходе пресс-брифинга в декабре 2015 года.

По словам Волкова, в настоящий момент у Сбербанка значительно большее число ЦОДов, расположенных в разных регионах страны. Они строились согласно старой концепции Сбербанка, предполагавшей создание дата-центров при каждом из 16 его территориальных банков. На этих площадках были локально установлены банковские системы.

В 2011 году Сбербанк запустил программу «Централизация 2.0» по переводу всех своих территориальных банков на единую ИТ-платформу. Для ее реализации в Москве был создан новый крупный дата-центр – мегаЦОД «Южный порт», где теперь базируются все критически важные системы Сбербанка.


Волков говорит, что часть локальных некритичных систем для обслуживания операций в территориальных ЦОДах еще осталась. В планах Сбербанка – централизовать и эти системы и оставить некоторые из дата-центров, которые будут использоваться только для телекоммуникационных задач.

Задача Сбербанка на ближайшее будущее – построить второй мегаЦОД в «Сколково», рассказывает Никита Волков. Ранее TAdviser писал, что в декабре банк начал поиск генподрядчика для его создания. За работу по проекту Сбербанк готов заплатить около 13 млрд руб.

После этого Сбербанк планирует строить третий крупный стратегический ЦОД. Волков рассказал TAdviser, что располагаться он будет на расстоянии более 1 тыс. км от Москвы, предположительно - на Урале. По его словам, предварительные работы по этому проекту уже начались. Данный ЦОД будет выполнять функцию резервной площадки.

Пока собственных резервных ЦОДов у Сбербанка нет, он арендует три резервных ЦОДа в Москве. Необходимость аренды сразу трех ЦОДов Никита Волков объясняет тем, что Сбербанк не нашел единого резервного дата-центра уровня мегаЦОДа «Южный порт».

ЦОД расположен на территории 4,09 га в Сколково.



2020: Внедрение системы диспетчеризации и управления инженерными системами ЦОДа

В конце декабря 2020 г. «РТСофт» завершил проект по внедрению автоматизированной системы диспетчеризации и управления инженерными системами (АСДУ ИС) Центра обработки данных (ЦОД) «Сколково» ПАО «Сбербанк». Проект выполнялся в рамках консорциума компаний под управлением генподрядчика – компании «Инсистемс» (ГК «Ланит»), сообщили в «РТСофт» 20 апреля 2021 года.

Как отмечается, ЦОД, расположенный в Инновационном центре «Сколково» – один из крупнейших и мощнейших дата-центров в Европе. Его площадь составляет 39 000 м2, активная мощность – до 32 МВт, количество серверных стоек – до 2000 и общий уровень отказоустойчивости (по Uptime Institute) – Tier III.

Как объект внедрения АСДУ инженерных систем ЦОД «Сколково» представляет собой комплекс зданий: административно-бытовой корпус с примыкающими пятью инженерно-технологическими модулями ЦОД, которые работают в круглосуточном и круглогодичном режимах.

Цель проекта: повышение надежности, безопасности и качества функционирования оборудования инженерных систем, а также сокращение затрат на его обслуживание.

Внедрение АСДУ ИС ЦОД «Сколково» позволило решить задачи по следующим направлениям:

  • мониторинг технологических параметров и управление работой оборудования инженерных систем;
  • диагностика функционирования оборудования;
  • оповещение персонала о предаварийных и аварийных состояниях работы оборудования;
  • формирование показателей наработки оборудования;
  • обеспечение «глубокого» архивирования технологических данных и другие задачи.

АСДУ ИС обеспечила интеграцию локальных систем автоматики и контроль функционирования полного набора технологических подсистем: общеобменной вентиляции, кондиционирования воздуха, водоснабжения, отопления, холодоснабжения, электроснабжения, ДИБП, освещения, контроля качества электроэнергии, мониторинга температуры и влажности в машинных залах и многих других.

Особая гордость разработчиков системы, специалистов «РТСофт», – это решение сложнейших технических задач по организации «глубокого» хранения данных. При этом общий объем контролируемых параметров на апрель 2021 года доходит до 200 тысяч, рассказали в компании. Кроме этого, нужно было предложить такое решение, при котором общий информационный объем системы можно было бы расширять с учетом перспектив развития ЦОД «Сколково». И эта задача также была решена. Стоит отметить, что внедрение АСДУ ИС шло в сложных условиях, параллельно со строительными работами.

ЦОД «Сколково» ПАО «Сбербанк» будет развиваться и расширяться. Приобретенный инженерный опыт и сложившаяся проектная команда позволят «РТСофт» браться за новые работы в этом проекте и предлагать решение аналогичных задач другим заказчикам, считают в компании.

Передача сертификатов безопасности Uptime Institute Tier III

Сбербанку переданы сертификаты Uptime Institute Tier III, которые говорят о соответствии международным стандартам безопасности ранее введенных в эксплуатацию модулей центра обработки данных «Сколково». Документы вручил старшему вице-президенту, руководителю блока «Технологии» банка Давиду Рафаловскому управляющий директор Uptime Institute по России и СНГ Алексей Солодовников, сообщили TAdviser 11 октября 2018 года в Сбербанке.

На октябрь 2018 года ЦОД Сбербанка «Сколково» мощностью 30 МВт и вместимостью до 5 экзабайт информации состоит из пяти модулей. Предполагается, что после введения в эксплуатацию всех модулей дата-центр станет крупнейшим в России и одним из крупнейших в Европе.

Уровень надежности ЦОД по международной системе оценки (Uptime Institute) — Tier III, что подразумевает показатель доступности не менее 99,98% и функционирование ИТ-систем в режиме 24 х 7.

Испытания подтвердили, что технологические модули № 1 и 2 ЦОД соответствуют стандарту Uptime Institute Tier Standard: Topology. Сертификация модулей № 3, 4 и 5 запланирована на четвертый квартал 2018 года.

Смета строительства ЦОДа Сбербанка в «Сколково» перевалила за 17 миллиардов

Как стало известно CNews, за два года стоимость строительства ЦОДа Сбербанка на территории инновационного центра «Сколково» выросла как минимум на 5,2 млрд руб. и в настоящий момент составляет не менее 17,4 млрд руб [1] .

Напомним, базовый инженерный контракт на возведение рассматриваемого объекта на 12,2 млрд руб. был заключен 16 апреля 2016 г. с дочерней структурой «Ланита», компанией «Инсистемс».

Редакция обратилась в пресс-службу Сбербанка с закономерным вопросом о возможности узнать подробности о непредставленных на сайте допсоглашениях №2 и №3 и с просьбой сообщить, существуют ли в рамках проекта соглашения с порядковыми номерами от 5 и выше.

В ответ в пресс-службе банка сообщили, что за период срока строительства 2016-2018 гг. к базовому договору было заключено шесть дополнительных соглашений. «Соглашекния №№ 2, 3, 5 носят технический характер и не влекут за собой изменений существенных условий договора, — заверяют в организации. — Соглашения № 1 (2,86 млрд руб.), № 4 (129,3 млн руб.) и № 6 (2,23 млрд руб.) связаны со строительством дополнительного 5-го технологического модуля, ранее не входившего в предмет договора, с усиленным техническим надзором за проектом, с изменениями проектных и технологических решений, необходимость которых выявлена в процессе строительства, с изменением проектных решений в оптической подсистеме интеллектуальной структурированной кабельной сети для обеспечения перехода на новые поколения вычислительных систем, и другими технологическими и модернизационными изменениями».

Отметим, что на следующий день после обращения CNews — 4 мая 2018 г. — информация о допсоглашении №6 на 2,23 млрд руб. была добавлена на сайт госзакупок.

Завершение создания интеллектуальной кабельной сети

7 мая 2018 года компания «Инсистемс» (группа ЛАНИТ) сообщила о завершении монтажа и пусконаладочных работ кабельной сети Центра обработки данных (ЦОД) Сбербанка «Сколково» – инфраструктуры четырех из пяти модулей ЦОД.

За прошедшие несколько месяцев с момента введения в эксплуатацию в декабре 2017 года первого модуля, ЦОД был глобально усовершенствован. Смонтирована и введена в эксплуатацию интеллектуальная структурированная кабельная сеть. Это позволило вывести ЦОД на высокий уровень надежности и обеспечить переход на современные поколения вычислительных систем, которые будут работать на скоростях до 400 Гбит в секунду.

Задача ЦОД — хранение, обработка и передача больших объемов информации. Для работы такого центра необходимы современные системы поддержания постоянной температуры и влажности, высокоскоростной доступ в интернет, а также оборудование для бесперебойного снабжения электроэнергией. С вводом в эксплуатацию ЦОД повышается надежность ИТ-систем банка.

После введения в эксплуатацию всех модулей ЦОД «Сколково» он будет способен вместить до одного экзабайта информации и обрабатывать ее с помощью 24 тыс. серверов. Мощность центра составит до 29,9 МВт, а уровень надежности по международной системе оценки (Uptime Institute) — TIER–III, что предполагает показатель доступности систем не менее 99,98 %.

Энергетические системы ЦОД «Сколково» используют динамические источники бесперебойного питания. Системы холодоснабжения действуют по принципу прямого охлаждения забортным воздухом и работают без расходования электроэнергии более 330 дней в году.

ЦОД прошел экспертизу Руководства по энергоэффективному и экологическому проектированию (LEED-экспертизу) в США. Ему был присужден 51 балл.

Запуск мега-ЦОДа

16 декабря 2017 года Сбербанк запустил первую очередь своего нового мега-ЦОДа, расположенного в «Сколково». Запущен, в частности, один из пяти блоков, из которых будет состоять центр. Четыре основных блока уже построены, ввести их в строй полностью планируется до конца года. Пятый блок по состоянию на декабрь находится в стадии строительства.

Сбербанк заявляет, что его дата-центр - крупнейший в России и один из крупнейших подобного рода в Европе. Его общая площадь составляет около 33 тыс. квадратных метров, а максимальная мощность - около 30 мегаватт. Для сравнения, площадь ранее самого крупного ЦОДа Сбербанка «Южный порт» - 16 000 кв. м., а мощность - 20 мегаватт. Блоки нового ЦОДа содержат 20 машинных залов, в которых можно разместить до 24 тыс. серверов.



Затраты, сроки и подрядчики

По данным президента Сбербанка Германа Грефа, торжественно открывшего ЦОД, на строительство центра к моменту запуска первой очереди потрачено порядка 14 млрд рублей. Эти расходы не включают вычислительную часть и программное обеспечение, уточнили в Сбербанке.



В числе присутствовавших на открытии мега-ЦОДа - президент Сбербанка Герман Греф, вице-премьер Аркадий Дворкович, министр связи Николай Никифоров

Генеральным подрядчиком по строительству дата-центра выступала компания «Инсистемс», входящая в группу «Ланит». Проектный директор Сбербанка Сергей Шуршалин рассказал TAdviser, что в проекте в общей сложности участвовали порядка 150 подрядчиков. При этом Сбербанк специально выбирал небольшие компании, чтобы сэкономить на услугах при строительстве дата-центра, рассказал он TAdviser.

Меморандум о создании дата-центра со «Сколково» Сбербанк подписал еще в 2011 году. При этом сроки начала строительства ЦОДа неоднократно переносились. Представитель Сбербанка объяснил TAdviser задержку, главным образом, тем, что у «Сколково» возникли проблемы с подведением электроэнергии нужной мощности. Начинать стройку, не будучи уверенными в том, что будет обеспечена нужная мощность, было слишком рискованно, сказал собеседник TAdviser.

Функции

В Сбербанке говорят, что основное назначение нового ЦОДа на начальном этапе - выполнять функцию резервной площадки. С его появлением Сбербанк планирует отказаться от арендуемых резервных площадок.

Также ЦОД в «Сколково» планируется использовать для размещения новых ИТ-систем банка в рамках развития инфраструктуры. «Старые», уже работающие системы, из дата-центра «Южный порт» переносить в новый не планируется.

Как устроен мега-ЦОД 2



На нижнем уровне ЦОДа располагаются энергетические установки, станции газового пожаротушения и организация логистической зоны. В ЦОДе применены дизельные динамические источники бесперебойного питания (ДИБП), применение которых на объектах инфраструктуры мощностью от 1 МВТ является экономически более выгодным, чем реализация классических решений с применением отдельных систем ИБП и дизельных генераторных установок (ДГУ), говорят в Сбербанке.

ДИБП с кинетическими накопителями энергии позволил отказаться от свинцовых аккумуляторных батарей, которые часто применяются в дата-центрах. Это как заявляют в Сбербанке, обеспечило экономию до 5,6 тыс. Кондиционируемых площадей.

Машинные залы располагаются на втором уровне дата-центра.





На третьем уровне размещаются вентиляционные камеры с центральными вентиляционными установками. В Сбербанке заявляют, что используют «самое энергоэффективное решение» с охлаждением ИТ-оборудования очищенным подготовленным окружающим воздухом 287 дней в году. Для отвода тепла из машинного зала используется технология прямого естественного охлаждения, которая на 73% эффективнее, чем традиционные технологии, утверждают в Сбербанке.

В системе охлаждения используется программное обеспечение с элементами искусственного интеллекта. Оно анализирует прогноз погоды, данные метеостанций, может обеспечивать накопление холода, если ожидается резкий скачок температуры, и др.



В ЦОДе также развернут ситуационный центр. Наряду с ситуационном центром в дата-центре «Южный порт», он используется для мониторинга состояния всех систем и основных операций банка. В Сбербанке говорят, что нагрузка между двумя этими центрами будет балансироваться.



Как и в ЦОДе «Южный порт», для доступа к помещениям нового дата-центра помимо карточек используются биометрические системы безопасности. Но если в первом внедрено распознавание сотрудника с правами доступа по рисунку вен на руках, то в мега-ЦОДе в «Сколково» применяется система распознавания сотрудников по лицу.



Сергей Шуршалин рассказал TAdviser, что пятый блок нового ЦОДа Сбербанк планирует использовать для развития бизнеса по кибербезопасности как нового направления, оказывая услуги в этой области и внутренним, и внешним заказчикам. Как и в ЦОДе «Южный порт», в новом мега-ЦОДе Сбербанк рассматривает возможность размещения SOC (security operations center), говорит Шуршалин.

Импортозамещение

В Сбербанке заявляют, что в новом мега-ЦОДе широко применяются отечественные решения - они присутствуют и на уровне инфраструктуры, и программного обеспечения, и в вычислительной части. Названия использующихся в ЦОДе продуктов Сбербанк раскрывает неохотно, объясняя это заботой о кибербезопасности. Сергей Шуршалин привел пример, что в ЦОДе имеются отечественные системы хранения данных (СХД) «Баум».

Отчасти использование отечественных решений, в том числе - собственной разработки Сбербанка, связано с желанием минимизировать риски, которые несут в себе санкции Запада в отношении России, объяснил Сергей Шуршалин.

Завершение строительства мега-ЦОДа в «Сколково»

Строительство мега-ЦОДа Сбербанка в «Сколково» завершено, рассказал старший управляющий директор блока «Технологии» Сбербанка Павел Ходалев, выступая 29 ноября 2017 года на конференции TAdviser SummIT. По его словам, этот ЦОД планируется сделать основным местом расположения инфраструктуры Сбербанка.



До его запуска основной площадкой для размещения систем Сбербанка выступает мега-ЦОД «Южный порт». Новый ЦОД значительно превосходит его по площади и мощности. Общая площадь нового ЦОДа составляет порядка 30 тыс. кв. м., а энерговооруженность - 32 МВт, в то время как аналогичные показатели «Южного порта» - 16 тыс. кв. м. и 20 МВт соответственно.

По состоянию на ноябрь завершаются работы по инженерным системам первой очереди объекта, начаты работы по монтажу ИТ-оборудования, запуск планируется в 1 квартале 2018 года, уточнили TAdviser в Сбербанке.

В ЦОДе «Сколково» монтируется новейшее ИТ-оборудование. При этом в ЦОДе «Южный порт» проводятся плановые работы по техническому обновлению ИТ-оборудования с отработанным ресурсом, сообщили TAdviser в Сбербанке.

(состояние стройки мега-ЦОДа Сбербанка ранее, в октябре 2017 года)

С запуском нового ЦОДа Сбербанк планирует отказаться от нескольких арендуемых площадок. Два ЦОДа в «горячем» резервировании обеспечат функционирование промышленных автоматизированных систем банка, заявили TAdviser в Сбербанке.

Ранее в Сбербанке рассказывали TAdviser, что банк планирует строить третий крупный стратегический ЦОД на расстоянии более 1 тыс. км от Москвы, который выполнял бы функцию резервной площадки. По информации TAdviser, по состоянию на ноябрь 2017 года строительство этого ЦОДа еще не началось.

Концепция Сбербанка предусматривает такую архитектуру ЦОДов, в которой третий дата-центр должен появиться в 2019-2020 годах.

О TAdviser SummIT

Конференция TAdviser SummIT состоялась в Москве 29 ноября 2017 года и привлекла более 400 участников. Главные темы мероприятия - ИТ-планы крупнейших компаний и государственных ведомств России на 2018 год, перспективы развития цифровой экономики, ИТ-продуктов и сервисов. В рамках пленарной части и пяти тематических секций прозвучало более 60 докладов и публичных дискуссий. Мероприятие прошло в 5 залах Digital October.

Сбербанк сообщил о начале строительства крупнейшего в России ЦОДа, площадь которого составит более 55 тыс. квадратных метров. Он расположится в особой экономической зоне в Балаково и вместит 3,5 тыс. стоек.

Крупнейший ЦОД в России

Сбербанк начал строительство крупнейшего в России Центра обработки данных (ЦОД). Он станет крупнейшим дата-центром в стране, рассказали CNews представители банка. ЦОД разместится на территории Особой экономической зоны в Балаково. Рядом с городом расположены Балаковская АЭС и Саратовская ГЭС, близость которых, по всей видимости, и повлияла на расположение дата-центра.

«Данный ЦОД стал первым этапом развития федеральной программы строительства сети региональных ЦОДов банка», — комментирует председатель правления Сбербанка Станислав Кузнецов. По его словам, проект не только будет способствовать развитию региона, благодаря ему также будет создано до 200 новых рабочих мест.

В декабре 2020 г. между Сбербанком, правительством Саратовской области и оператором «Российские сети» был подписан меморандум о намерениях, посвященный строительству регионального ЦОДа.

Представители Сбербанка отказались сообщить CNews сумму, которая выделена на строительство самого большого в стране ЦОДа.

Подробности ЦОДа

Общая площадь ЦОДа составит более 55 тыс. квадратных метров. Он будет состоять из семи модулей, в каждом из которых разместится по 500 стоек (энерговооруженность которых составляет от 12 до 15 кВт на стойку).

Проект будет реализован в особой экономической зоне на благоприятных условиях, включая бесплатное присоединение к сетям инженерно-технического обеспечения. Бизнес-план проекта прорабатывается в соответствии с приказом Министерства экономического развития и торговли РФ от 23 марта 2006 г. №75.

При его строительстве, согласно заявлению Сбербанка, будет использоваться интеллектуальная система охлаждения и система управления нагрузками, предназначенная для минимизации объемов электропотребления. Совместное использование этих систем приведет к сокращению потребления электроэнергии на 30% без уменьшения отказоустойчивости, что в следствии сократит углеродный след ЦОДа и позитивно отразится на экологии региона, уточняют в банке.

Подробнее о ЦОДах Сбербанка

Крупнейший на данный момент ЦОД в России площадью 4,09 га принадлежит Сбербанку и располагается в инновационном центре «Сколково». Этот дата-центр также считается одним из крупнейших в Европе. Помимо этого, Сбербанку принадлежит еще один ЦОД в Южном порту. В конце октября 2020 г. стало известно о планах банка построить еще один ЦОД на юго-востоке Москвы.


В июле 2021 CNews писал о том, что Сбербанк планировал закупить серверное оборудование для своих ЦОДов на $131,1 млн (это почти 10 млрд руб.). В совокупности банк закупил свыше 7 тыс. новых серверов разной конфигурации. «Объем закупки продиктован сложившейся потребностью в вычислительных мощностях, необходимых как для поддержания существующих критически важных банковских процессов, так и для создания новых сервисов и их своевременного вывода на рынок», — рассказали CNews представители Сбербанка.

В августе 2020 г. CNews писал о том, что Сбербанк искал владельцев ЦОДа, которые могли бы за 2,55 млрд руб. принять 700 серверных стоек. Однако разместить требовалось только 100, а 600 мест для них должны были «держаться про запас» в течение 4,5 лет. При этом в технической документации говорилось о том, что банк вправе не размещать эти 600 серверов и не оплачивать их вовсе.

Согласно сайту госзакупок, тендер был признан несостоявшимся, потому что на него не было подано ни одной заявки. Позже данный тендер был переформатирован и перезапущен в сентябре 2020 г. с максимальной ценой договора в 2,64 млрд руб. Победителем, стал единственный участник — МТС, с ценой предложения в 2,51 млрд руб.

В феврале 2021 г. CNews писал о планах Сбербанка открыть кредитную линию на $500 млн британскому оператору ЦОДов IXcellerate, который на эти деньги планирует построить в Москве крупнейший по меркам Европы кластер дата-центров.

ЦОД расположен на территории 4,09 га в Сколково.



2020: Внедрение системы диспетчеризации и управления инженерными системами ЦОДа

В конце декабря 2020 г. «РТСофт» завершил проект по внедрению автоматизированной системы диспетчеризации и управления инженерными системами (АСДУ ИС) Центра обработки данных (ЦОД) «Сколково» ПАО «Сбербанк». Проект выполнялся в рамках консорциума компаний под управлением генподрядчика – компании «Инсистемс» (ГК «Ланит»), сообщили в «РТСофт» 20 апреля 2021 года.

Как отмечается, ЦОД, расположенный в Инновационном центре «Сколково» – один из крупнейших и мощнейших дата-центров в Европе. Его площадь составляет 39 000 м2, активная мощность – до 32 МВт, количество серверных стоек – до 2000 и общий уровень отказоустойчивости (по Uptime Institute) – Tier III.

Как объект внедрения АСДУ инженерных систем ЦОД «Сколково» представляет собой комплекс зданий: административно-бытовой корпус с примыкающими пятью инженерно-технологическими модулями ЦОД, которые работают в круглосуточном и круглогодичном режимах.

Цель проекта: повышение надежности, безопасности и качества функционирования оборудования инженерных систем, а также сокращение затрат на его обслуживание.

Внедрение АСДУ ИС ЦОД «Сколково» позволило решить задачи по следующим направлениям:

  • мониторинг технологических параметров и управление работой оборудования инженерных систем;
  • диагностика функционирования оборудования;
  • оповещение персонала о предаварийных и аварийных состояниях работы оборудования;
  • формирование показателей наработки оборудования;
  • обеспечение «глубокого» архивирования технологических данных и другие задачи.

АСДУ ИС обеспечила интеграцию локальных систем автоматики и контроль функционирования полного набора технологических подсистем: общеобменной вентиляции, кондиционирования воздуха, водоснабжения, отопления, холодоснабжения, электроснабжения, ДИБП, освещения, контроля качества электроэнергии, мониторинга температуры и влажности в машинных залах и многих других.

Особая гордость разработчиков системы, специалистов «РТСофт», – это решение сложнейших технических задач по организации «глубокого» хранения данных. При этом общий объем контролируемых параметров на апрель 2021 года доходит до 200 тысяч, рассказали в компании. Кроме этого, нужно было предложить такое решение, при котором общий информационный объем системы можно было бы расширять с учетом перспектив развития ЦОД «Сколково». И эта задача также была решена. Стоит отметить, что внедрение АСДУ ИС шло в сложных условиях, параллельно со строительными работами.

ЦОД «Сколково» ПАО «Сбербанк» будет развиваться и расширяться. Приобретенный инженерный опыт и сложившаяся проектная команда позволят «РТСофт» браться за новые работы в этом проекте и предлагать решение аналогичных задач другим заказчикам, считают в компании.

Передача сертификатов безопасности Uptime Institute Tier III

Сбербанку переданы сертификаты Uptime Institute Tier III, которые говорят о соответствии международным стандартам безопасности ранее введенных в эксплуатацию модулей центра обработки данных «Сколково». Документы вручил старшему вице-президенту, руководителю блока «Технологии» банка Давиду Рафаловскому управляющий директор Uptime Institute по России и СНГ Алексей Солодовников, сообщили TAdviser 11 октября 2018 года в Сбербанке.

На октябрь 2018 года ЦОД Сбербанка «Сколково» мощностью 30 МВт и вместимостью до 5 экзабайт информации состоит из пяти модулей. Предполагается, что после введения в эксплуатацию всех модулей дата-центр станет крупнейшим в России и одним из крупнейших в Европе.

Уровень надежности ЦОД по международной системе оценки (Uptime Institute) — Tier III, что подразумевает показатель доступности не менее 99,98% и функционирование ИТ-систем в режиме 24 х 7.

Испытания подтвердили, что технологические модули № 1 и 2 ЦОД соответствуют стандарту Uptime Institute Tier Standard: Topology. Сертификация модулей № 3, 4 и 5 запланирована на четвертый квартал 2018 года.

Смета строительства ЦОДа Сбербанка в «Сколково» перевалила за 17 миллиардов

Как стало известно CNews, за два года стоимость строительства ЦОДа Сбербанка на территории инновационного центра «Сколково» выросла как минимум на 5,2 млрд руб. и в настоящий момент составляет не менее 17,4 млрд руб [1] .

Напомним, базовый инженерный контракт на возведение рассматриваемого объекта на 12,2 млрд руб. был заключен 16 апреля 2016 г. с дочерней структурой «Ланита», компанией «Инсистемс».

Редакция обратилась в пресс-службу Сбербанка с закономерным вопросом о возможности узнать подробности о непредставленных на сайте допсоглашениях №2 и №3 и с просьбой сообщить, существуют ли в рамках проекта соглашения с порядковыми номерами от 5 и выше.

В ответ в пресс-службе банка сообщили, что за период срока строительства 2016-2018 гг. к базовому договору было заключено шесть дополнительных соглашений. «Соглашекния №№ 2, 3, 5 носят технический характер и не влекут за собой изменений существенных условий договора, — заверяют в организации. — Соглашения № 1 (2,86 млрд руб.), № 4 (129,3 млн руб.) и № 6 (2,23 млрд руб.) связаны со строительством дополнительного 5-го технологического модуля, ранее не входившего в предмет договора, с усиленным техническим надзором за проектом, с изменениями проектных и технологических решений, необходимость которых выявлена в процессе строительства, с изменением проектных решений в оптической подсистеме интеллектуальной структурированной кабельной сети для обеспечения перехода на новые поколения вычислительных систем, и другими технологическими и модернизационными изменениями».

Отметим, что на следующий день после обращения CNews — 4 мая 2018 г. — информация о допсоглашении №6 на 2,23 млрд руб. была добавлена на сайт госзакупок.

Завершение создания интеллектуальной кабельной сети

7 мая 2018 года компания «Инсистемс» (группа ЛАНИТ) сообщила о завершении монтажа и пусконаладочных работ кабельной сети Центра обработки данных (ЦОД) Сбербанка «Сколково» – инфраструктуры четырех из пяти модулей ЦОД.

За прошедшие несколько месяцев с момента введения в эксплуатацию в декабре 2017 года первого модуля, ЦОД был глобально усовершенствован. Смонтирована и введена в эксплуатацию интеллектуальная структурированная кабельная сеть. Это позволило вывести ЦОД на высокий уровень надежности и обеспечить переход на современные поколения вычислительных систем, которые будут работать на скоростях до 400 Гбит в секунду.

Задача ЦОД — хранение, обработка и передача больших объемов информации. Для работы такого центра необходимы современные системы поддержания постоянной температуры и влажности, высокоскоростной доступ в интернет, а также оборудование для бесперебойного снабжения электроэнергией. С вводом в эксплуатацию ЦОД повышается надежность ИТ-систем банка.

После введения в эксплуатацию всех модулей ЦОД «Сколково» он будет способен вместить до одного экзабайта информации и обрабатывать ее с помощью 24 тыс. серверов. Мощность центра составит до 29,9 МВт, а уровень надежности по международной системе оценки (Uptime Institute) — TIER–III, что предполагает показатель доступности систем не менее 99,98 %.

Энергетические системы ЦОД «Сколково» используют динамические источники бесперебойного питания. Системы холодоснабжения действуют по принципу прямого охлаждения забортным воздухом и работают без расходования электроэнергии более 330 дней в году.

ЦОД прошел экспертизу Руководства по энергоэффективному и экологическому проектированию (LEED-экспертизу) в США. Ему был присужден 51 балл.

Запуск мега-ЦОДа

16 декабря 2017 года Сбербанк запустил первую очередь своего нового мега-ЦОДа, расположенного в «Сколково». Запущен, в частности, один из пяти блоков, из которых будет состоять центр. Четыре основных блока уже построены, ввести их в строй полностью планируется до конца года. Пятый блок по состоянию на декабрь находится в стадии строительства.

Сбербанк заявляет, что его дата-центр - крупнейший в России и один из крупнейших подобного рода в Европе. Его общая площадь составляет около 33 тыс. квадратных метров, а максимальная мощность - около 30 мегаватт. Для сравнения, площадь ранее самого крупного ЦОДа Сбербанка «Южный порт» - 16 000 кв. м., а мощность - 20 мегаватт. Блоки нового ЦОДа содержат 20 машинных залов, в которых можно разместить до 24 тыс. серверов.



Затраты, сроки и подрядчики

По данным президента Сбербанка Германа Грефа, торжественно открывшего ЦОД, на строительство центра к моменту запуска первой очереди потрачено порядка 14 млрд рублей. Эти расходы не включают вычислительную часть и программное обеспечение, уточнили в Сбербанке.



В числе присутствовавших на открытии мега-ЦОДа - президент Сбербанка Герман Греф, вице-премьер Аркадий Дворкович, министр связи Николай Никифоров

Генеральным подрядчиком по строительству дата-центра выступала компания «Инсистемс», входящая в группу «Ланит». Проектный директор Сбербанка Сергей Шуршалин рассказал TAdviser, что в проекте в общей сложности участвовали порядка 150 подрядчиков. При этом Сбербанк специально выбирал небольшие компании, чтобы сэкономить на услугах при строительстве дата-центра, рассказал он TAdviser.

Меморандум о создании дата-центра со «Сколково» Сбербанк подписал еще в 2011 году. При этом сроки начала строительства ЦОДа неоднократно переносились. Представитель Сбербанка объяснил TAdviser задержку, главным образом, тем, что у «Сколково» возникли проблемы с подведением электроэнергии нужной мощности. Начинать стройку, не будучи уверенными в том, что будет обеспечена нужная мощность, было слишком рискованно, сказал собеседник TAdviser.

Функции

В Сбербанке говорят, что основное назначение нового ЦОДа на начальном этапе - выполнять функцию резервной площадки. С его появлением Сбербанк планирует отказаться от арендуемых резервных площадок.

Также ЦОД в «Сколково» планируется использовать для размещения новых ИТ-систем банка в рамках развития инфраструктуры. «Старые», уже работающие системы, из дата-центра «Южный порт» переносить в новый не планируется.

Как устроен мега-ЦОД 2



На нижнем уровне ЦОДа располагаются энергетические установки, станции газового пожаротушения и организация логистической зоны. В ЦОДе применены дизельные динамические источники бесперебойного питания (ДИБП), применение которых на объектах инфраструктуры мощностью от 1 МВТ является экономически более выгодным, чем реализация классических решений с применением отдельных систем ИБП и дизельных генераторных установок (ДГУ), говорят в Сбербанке.

ДИБП с кинетическими накопителями энергии позволил отказаться от свинцовых аккумуляторных батарей, которые часто применяются в дата-центрах. Это как заявляют в Сбербанке, обеспечило экономию до 5,6 тыс. Кондиционируемых площадей.

Машинные залы располагаются на втором уровне дата-центра.





На третьем уровне размещаются вентиляционные камеры с центральными вентиляционными установками. В Сбербанке заявляют, что используют «самое энергоэффективное решение» с охлаждением ИТ-оборудования очищенным подготовленным окружающим воздухом 287 дней в году. Для отвода тепла из машинного зала используется технология прямого естественного охлаждения, которая на 73% эффективнее, чем традиционные технологии, утверждают в Сбербанке.

В системе охлаждения используется программное обеспечение с элементами искусственного интеллекта. Оно анализирует прогноз погоды, данные метеостанций, может обеспечивать накопление холода, если ожидается резкий скачок температуры, и др.



В ЦОДе также развернут ситуационный центр. Наряду с ситуационном центром в дата-центре «Южный порт», он используется для мониторинга состояния всех систем и основных операций банка. В Сбербанке говорят, что нагрузка между двумя этими центрами будет балансироваться.



Как и в ЦОДе «Южный порт», для доступа к помещениям нового дата-центра помимо карточек используются биометрические системы безопасности. Но если в первом внедрено распознавание сотрудника с правами доступа по рисунку вен на руках, то в мега-ЦОДе в «Сколково» применяется система распознавания сотрудников по лицу.



Сергей Шуршалин рассказал TAdviser, что пятый блок нового ЦОДа Сбербанк планирует использовать для развития бизнеса по кибербезопасности как нового направления, оказывая услуги в этой области и внутренним, и внешним заказчикам. Как и в ЦОДе «Южный порт», в новом мега-ЦОДе Сбербанк рассматривает возможность размещения SOC (security operations center), говорит Шуршалин.

Импортозамещение

В Сбербанке заявляют, что в новом мега-ЦОДе широко применяются отечественные решения - они присутствуют и на уровне инфраструктуры, и программного обеспечения, и в вычислительной части. Названия использующихся в ЦОДе продуктов Сбербанк раскрывает неохотно, объясняя это заботой о кибербезопасности. Сергей Шуршалин привел пример, что в ЦОДе имеются отечественные системы хранения данных (СХД) «Баум».

Отчасти использование отечественных решений, в том числе - собственной разработки Сбербанка, связано с желанием минимизировать риски, которые несут в себе санкции Запада в отношении России, объяснил Сергей Шуршалин.

Завершение строительства мега-ЦОДа в «Сколково»

Строительство мега-ЦОДа Сбербанка в «Сколково» завершено, рассказал старший управляющий директор блока «Технологии» Сбербанка Павел Ходалев, выступая 29 ноября 2017 года на конференции TAdviser SummIT. По его словам, этот ЦОД планируется сделать основным местом расположения инфраструктуры Сбербанка.



До его запуска основной площадкой для размещения систем Сбербанка выступает мега-ЦОД «Южный порт». Новый ЦОД значительно превосходит его по площади и мощности. Общая площадь нового ЦОДа составляет порядка 30 тыс. кв. м., а энерговооруженность - 32 МВт, в то время как аналогичные показатели «Южного порта» - 16 тыс. кв. м. и 20 МВт соответственно.

По состоянию на ноябрь завершаются работы по инженерным системам первой очереди объекта, начаты работы по монтажу ИТ-оборудования, запуск планируется в 1 квартале 2018 года, уточнили TAdviser в Сбербанке.

В ЦОДе «Сколково» монтируется новейшее ИТ-оборудование. При этом в ЦОДе «Южный порт» проводятся плановые работы по техническому обновлению ИТ-оборудования с отработанным ресурсом, сообщили TAdviser в Сбербанке.

(состояние стройки мега-ЦОДа Сбербанка ранее, в октябре 2017 года)

С запуском нового ЦОДа Сбербанк планирует отказаться от нескольких арендуемых площадок. Два ЦОДа в «горячем» резервировании обеспечат функционирование промышленных автоматизированных систем банка, заявили TAdviser в Сбербанке.

Ранее в Сбербанке рассказывали TAdviser, что банк планирует строить третий крупный стратегический ЦОД на расстоянии более 1 тыс. км от Москвы, который выполнял бы функцию резервной площадки. По информации TAdviser, по состоянию на ноябрь 2017 года строительство этого ЦОДа еще не началось.

Концепция Сбербанка предусматривает такую архитектуру ЦОДов, в которой третий дата-центр должен появиться в 2019-2020 годах.

О TAdviser SummIT

Конференция TAdviser SummIT состоялась в Москве 29 ноября 2017 года и привлекла более 400 участников. Главные темы мероприятия - ИТ-планы крупнейших компаний и государственных ведомств России на 2018 год, перспективы развития цифровой экономики, ИТ-продуктов и сервисов. В рамках пленарной части и пяти тематических секций прозвучало более 60 докладов и публичных дискуссий. Мероприятие прошло в 5 залах Digital October.

Автор статьи

Куприянов Денис Юрьевич

Куприянов Денис Юрьевич

Юрист частного права

Страница автора

Читайте также: