Как Microsoft проверяет обновления Windows 10 перед их релизом

Так, например, доставка обновления October 2018 Update для Windows 10 была приостановлена через 4 дня после релиза из-за критической проблемы потери пользовательских файлов. Данная проблема затронула лишь небольшую часть пользователей, но серьезный ущерб, с которым они столкнулись, вынудил Редмонд заблокировать развертывание обновления на 6 недель с целью расследования инцидента и исправления ошибки.

Майкл Фортин (Michael Fortin), корпоративный вице-президент Windows, 10 декабря в официальном блоге Windows Experience опубликовал статью «Ежемесячные обновления безопасности и качества для Windows» в рамках нового подхода компании по повышению качества обновлений.

Microsoft: Распространение Windows 10 October 2018 Update будет иметь более взвешенный подход

Фортин объяснил, что в пиковую нагрузку Microsoft обновляет до 1000 устройств в секунду. Инфраструктура и системы компании поддерживают быстрое распространение обновлений безопасности и других обновлений миллионам пользователей устройств Windows.

Фортин убежден, что качество обновлений является критически важным критерием, учитывая «важность исправлений безопасности», которые Microsoft регулярно выпускает в глобальных масштабах:

Каждый день нам приходится разрабатывать и собирать пакеты новейших исправлений, а наши инженеры проводят тестирование и проверку исправлений с помощью комбинации различных активностей.

Фортин приводит следующий список активностей в статье:

• Предварительная программа проверки (Pre-release Validation Program): выполняет проверку обновлений до того, как они станут доступны «реальным клиентам». Microsoft стремится выявить обновления как можно раньше.
• Прохождение глубокого тестирования (Depth Test Pass) – серия автоматизированных и ручных тестов, которые анализируют изменения кода, чтобы убедиться, что проблемы исправлены и исправления не приводят к новым ошибкам.
• Прохождение ежемесячного тестирования (Monthly Test Pass) – запуск обновлений на десятках тысяч «различных устройств», чтобы совместимость приложений и оборудования.
• Программа предварительной оценки Windows (Windows Insider Program) – обновления, не связанные с безопасностью, поставляются на канал Release Preview для получения обратной связи и сбора диагностических данных.
• Программа проверки обновлений безопасности (Security Update Validation Program) – закрытая программа для «крупных коммерческих клиентов и независимых поставщиков программного обеспечения (ISV)», предназначенная для проверки обновлений безопасности и раннего обнаружения проблем.
• Перекрестные тесты совместимости с другими командами разработки продуктов Microsoft, например Azure, Office и SQL Server.
• Проверка в условиях реального использования (Live Site Validation Testing) – обновления становятся доступны через Центр обновления Windows и успешно загружаются на устройства под управлением Windows,
• Мониторинг обращений в техническую поддержку.
• Мониторинг форумов и социальных сетей.

Заключение

Microsoft не смогла обнаружить серьезные проблемы с October 2018 Update, даже несмотря на данную многоуровневую систему проверки. Хотя найти все баги релиза представляется нереальной задачей, все же вполне возможно снизить количество критических проблем, но для этого требуется корректировка процесса тестирования.