Методы тестирования

"Evaluating testing methods by delivered reliability" - статья которая даёт представление о некоторых методах тестирования с несколько иной точки зрения нежели широко расспростарнённая классическая методика.

Обобщая, можно сказать, что методы тестирования можно разделить на а) "тестирование для устранение ошибок" - которое заключается, в проверке програмного обеспечения на ошибки, чтобы они впослетствии были устранены для достижения необходимого уровня качества, и б) "оперативное тестирование" - основной целью которого является обеспечение надёжности програмного обеспечения.

Хотя эти определения, кажутся абсолютно одинаковыми, они различаются в важных деталях. Тестировние на устранение ошибок ставит целью проверку работоспособности всех возможных функциональностей и их комбинаций, тогда как оперативное тестирование концентрируется на реальных сценариях использования данного програмного обеспечения.

Таким образом вариант "а" позволяет найти и устранить все (или большинство) ошибок, но при этом приводит зачастую к затрате времени на устранение неполадок (трате ресурсов) которые никогда не встретятся при использовании программы клиентами. Иными словами поиск ощибок и их устранение зачастую не приводит к "реальному" увеличеню качества продукта, так как часто не оставляют времени на поиск возможных неполадок в реальных сценариях (тогда как оперативное тестирование концентрирует нас на исправлении наиболее важных ошибок).

Можно сказать, что поиск вариант "а" является активным способом поиска ошибок, а вариант "б" пассивным, ибо при оперативном тестировании просто запускаются реальные сценарии (либо автоматизированно, либо тестер следует им вручную) и мы просто ожидаем появления ошибок.

Обратите внимание, что оперативное тестирование по сути является верояностным тестированием, поскольку каждому возможному сценарию использования программного обеспечения ставится в соответствие вероятность его возникновения и поэтому данное тестирование в большой степени зависит от правильности этих (возможно экспертных) оценок (вероятностей).

Сегодяшнее, широко распространённое мнение, что тестировние есть очень затратное занятие с точки зрения времени и человеческих ресурсов, продиктовано прежде всего применение исключительно варианта "а", тогда как оперативное тестирование используется лишь в очень небольшом наборе бизнес компаний.