Google Cloud объясняет, как случайно удалил учетную запись клиента

Как технический энтузиаст, который уже много лет внимательно следит за технологической индустрией, я глубоко обеспокоен недавней неудачей Google Cloud с UniSuper. Внезапное и необратимое удаление такой крупной учетной записи клиента неприемлемо, особенно когда речь идет о чем-то столь важном, как пенсионный фонд.

Как технический энтузиаст, я был ошеломлен, когда услышал о печальном инциденте между Google Cloud и UniSuper в прошлом месяце. UniSuper, австралийский пенсионный фонд, управляющий активами на сумму 135 миллиардов долларов, потерпел серьезную неудачу, когда что-то пошло не так со стороны Google, что привело к удалению всей их учетной записи Google Cloud. Сюда входили данные, которые должны были быть зарезервированы, что привело к двухнедельному простою 647 000 участников. Ситуация привела к совместным заявлениям руководителей обеих сторон, многочисленным извинениям и, по понятным причинам, беспокойству клиентов, опасавшихся, что их пенсионные накопления могут исчезнуть.

На начальном этапе после инцидента сообщалось, что «в процессе настройки служб частного облака UniSuper в Google Cloud произошла непредвиденная цепочка событий, которая привела к непреднамеренному удалению подписки UniSuper». Две недели спустя Google Cloud завершил внутреннее расследование и опубликовал сообщение в блоге, объясняющее причину.

Похоже, что Google отображает «сводку для тех, кто спешит» в начале сообщения, подразумевая, что, возможно, была ошибка в данных, предоставленных члену команды Google.

При настройке частного облака Google Cloud VMware Engine (GCVE) для клиента с помощью внутреннего инструмента во время первоначального развертывания произошла непреднамеренная ошибка, вызванная операторами Google при настройке сервиса GCVE из-за того, что они забыли заполнить необходимые поля. параметр. В результате в частном облаке GCVE клиента был настроен контракт с фиксированным сроком, который автоматически удалялся в конце указанного периода без предварительного уведомления. Этот неожиданный результат был признан позже. Как первоначальный триггер этой проблемы, так и последующее поведение системы были устранены, чтобы предотвратить повторение.

Самым неожиданным поворотом событий из-за ошибки Google стало неожиданное и безвозвратное удаление учетной записи пользователя. Разве не предусмотрены меры безопасности, оповещения и подтверждения для предотвращения подобных происшествий? По данным Google, они есть, но эти меры предосторожности применяются только к «удалениям по инициативе клиента» и не действуют при использовании инструмента администрирования. Google объясняет: «Клиенту не было отправлено никакого уведомления, потому что удаление было инициировано пустым параметром, введенным сотрудниками Google с помощью внутреннего устройства, а не в результате запроса на удаление клиента. Любому удалению, инициированному клиентом, предшествовало бы предупреждение клиенту».

UniSuper столкнулась с неожиданными обновлениями во время простоя, во время которых она признала, что не может получить доступ к резервным копиям Google Cloud, и вместо этого полагалась на дополнительный источник резервных копий. На фоне хаоса процесса восстановления UniSuper сообщила, что у них есть репликация данных в двух разных географических точках в качестве защиты от сбоев. Однако когда подписка на частное облако UniSuper была прекращена, это действие привело к удалению в обеих географических регионах. К счастью, у UniSuper были решения для резервного копирования с альтернативным поставщиком услуг, которые помогли минимизировать потерю данных и ускорить процесс восстановления в сотрудничестве с Google Cloud.

После инцидента Google объяснил, что резервные копии данных, сохраненные в Google Cloud Storage в том же регионе, не были затронуты удалением и сыграли значительную роль в облегчении быстрого процесса восстановления. Однако эти заявления кажутся противоречивыми, особенно если учесть сообщаемый двухнедельный период восстановления. Целью резервного копирования является обеспечение возможности быстрого восстановления; таким образом, резервные копии UniSuper либо не были удалены, но не помогли избежать простоев, либо, наоборот, были бы эффективны, если бы они не были частично или полностью удалены.

В своем блоге Google неоднократно пояснял, что рассматриваемая проблема затронула только одного пользователя, является беспрецедентным явлением и не указывает на какие-либо основные проблемы с Google Cloud.

После инцидента Google Cloud приняла различные меры, чтобы предотвратить повторение инцидента. Эти меры гарантируют, что подобные инциденты не повторятся в будущем.
<ол>
Мы прекратили поддержку внутреннего инструмента, который запускал эту последовательность событий. Этот аспект теперь полностью автоматизирован и контролируется клиентами через пользовательский интерфейс, даже если требуется специальное управление мощностью.
Мы очистили системную базу данных и вручную проверили все частные облака GCVE, чтобы убедиться, что никакие другие развертывания GCVE не подвергаются риску.
Мы исправили поведение системы, при котором частные облака GCVE удалялись для таких рабочих процессов развертывания.

По данным Google, меры безопасности Cloud включают «мягкое удаление, расширенные уведомления и процесс проверки человеком, когда это необходимо». Подтверждено, что эти функции безопасности работают эффективно.

Смотрите также

2024-05-30 20:56