Sauce Labs: Самые стабильные (нестабильные) веб-браузеры

Лаборатория Sauce Labs проводит большое количество тестов с помощью пакета инструментов для проверки веб-приложений - Selenium. Во время тестирования возникает большое количество ошибок.  Иногда неудачи вызваны не плохим кодом,  а критическим завершением работы браузера. К счастью, система, осуществляющая тестирование, поддерживает автоматическую перезагрузку браузера. Все это происходит даже без участия специалиста, процесс полностью автоматизирован.

В лаборатории еще помнят времена, когда браузер аварийно закрывался во время проведения ручного теста. Сбор данной статистики поможет проанализировать надежность браузера при взаимодействии с Selenium. Подняв данные за 2011 год, эксперты Sauce Labs выяснили, какие браузеры имели больше всего ошибок и критических состояний.

Аналогичная, но актуальная на 2013 год информация была представлена для сравнения и заключения, какой же браузер имеет наибольшее количество ошибок в работе.

Частота ошибок различных браузеров

Специалисты лаборатории подсчитали общее количество проведенных тестов  - 55 миллионов и обработали информацию об ошибках за все время . Результаты не удивительны.

Действительно, Internet Explorer оказался самым нестабильным среди всех браузеров с 0,25 процентами ошибок. Но это информация не полная, т.к. нет разделения по версии браузера, т.к. все версии отдельного продукта сгруппированы вместе. Было решено обработать статистику по конкретным версиям браузеров.

Частота ошибок различных версий браузеров

Ниже представлена диаграмма с уровнем ошибок в зависимости от версии браузера. Каждая версия проходила не менее 1000 тестирований в Sauce Labs.

Мы видим, что IE 6 и IE 7 «лидируют» с уровнем ошибок  0,31 и 0,29 процентов соответственно. Ниже расположились Chrome 5 и Firefox 3.5. Всего одна более поздняя версия Chrome присутствует в диаграмме – Chrome 19. Большинство версии Chrome имеют недостаточный уровень ошибок, чтобы попасть в диаграмму. Схожая ситуация и в случае с Firefox.

Все браузеры постоянно развиваются и улучшаются, поэтому давайте взглянем на результаты последних версий браузеров, которые прошли не менее 1000 Selenium-тестирований.

Как можно видеть Safari 6 имеет наивысшую частоту ошибок – 0,12 процентов, что более чем в два раза меньше показателя IE 6. Chrome 27 и Firefox 22 практически не имеют ошибок работы, в середине диаграммы Opera и IE.

Opera имеет достаточно высокий показатель ошибок, что удивительно в сравнении с последними версиями браузеров.  Safari 5 имел уровень ошибок 0,16 процентов, Safari  6 – 0,12 процентов, поэтому ситуация в целом улучшается.

Половина тестируемых браузером имела показатель ниже 0,07 процентов. Низкий показатель становится индикатором того, что с выходом новых версий браузеры становятся надежнее и стабильнее в работе.

IE постоянно улучшается

Посмотрим на уровни ошибок различных версий Internet Explorer и заметим интересную закономерность.

Частота ошибок браузера значительно снижается с выходом каждой новой версии. Microsoft успешно понизил исторически сложившийся высокий уровень ошибок и добился результата в 0,05 процента.

Microsoft позиционирует новую версию Internet Explorer как самый современный и самый высокопроизводительный браузер линейки. Результаты тестов доказывают слова разработчиков из Microsoft. Браузер стал стабильнее, ошибки в работе практически отсутствуют. Но смогут ли изменения в Internet Explorer поднять позиции  на рынке и вернуть доверие пользователей? Подождем и проверим.

По материалам официального блога Sauce Labs.