Установка обновления 1.11: что пошло не так

Официальная Цитата (ссылка)

Как вы должно быть знаете, вчера нам не удалось установить обновление 1.11.

Я видел подобное много раз во многих играх в самых разных кампаниях (как в роли игрока, так и в роли разработчика).

Мы в Gazillion ведем внутренний лог ситуации. По большей части он полон технических деталей, но мне показалось, что могли быть заинтересованы в том, что взглянуть на него. Мне он кажется весьма интересным.

Прошлое уже не изменить, но мы можем повлиять на будущее, и сейчас активно работаем над выпуском этого обновления и контентом для нескольких следующих.

В любом случае, вот что получают все наши сотрудники: (я сожалею, что не смогу объяснить все здесь, я буквально пещерный человек в этом деле)

18:00 - Игра запущена с новым обновлением.

18:10 - Мы обратили внимание на краши у некоторых игроков и то, как менеджер клиентов входит в бесконечный цикл. Игра была выключена,чтобы избежать повреждения данных. Лишь небольшое количество игроков успело зайти в игру.

18:11 - Началась работа над тем, чтобы точно определить проблему и как можно быстрее исправить ее.

18:50 - После тестирования разных вариантов стало очевидно, что неполадка заключается в краше GIS, а не проблеме с менеджером клиентов.

19:00 - Команда специалистов начала работу над решением конкретной ситуации.

20:45 - Началась параллельная работа над тем, чтобы в качестве альтернативного варианта перезапустить старую версию игру, в то время как продолжается работа над исправлением и переустановкой новой версии как можно скорее.

22:30 - Серверы готовы к переустановке с образом базой данных прямо перед обновлением.

23:00 - Образ базы данных в нерабочем состоянии из-за проблем с данными учетных записей после крашей. Началась работа над исправлением проблемы.

00:15 - Новый образ базы данных готов, а недостающие данные были исправлены.

00:20 - В качестве источника проблемы точно определен код сериализации базы данных + пользователи BitRaider были "перемещены" до того как система была готова. Мы не смогли определить это на тестовом сервере из-за взаимодействия с BitRaider.

00:25 - Исправление источника проблемы может занять много времени, поэтому началась настройка базы данных для возвращения данных игроков перед обновлением.

01:45 - Магазин и другие дополнительные элементы возвращены к состоянию до обновления, чтобы игроки случайно не купили то, чего еще нет в игре.

02:00 - Найдены дополнительные подробности источника проблемы и решение. Требуется дополнительное тестирование.

02:30 - База данных восстановлена и готова.

02:35 - Началось внутреннее тестирование, чтобы удостовериться в том, что у игроков не будет крашей и база данных работает корректно.

03:15 - Тестирование завершено. Сервер включен в "избирательном" режиме, наши люди устанавливают обновление.

03:45 - Найдена проблема, вызывавшая отключения от сервера. Проблема определена и заключалась в том, что некоторые таблицы не были скопированы.

04:45 - Установлено исправление базы данных.

05:00 - Исправление базы данных проверено. Игра последний раз выключена для резервного копирования данных, на всякий случай.