Экспертиза ПО (программного обеспечения)

Экспертиза ПО представляет собой исследование, конечной целью которого является проверка завершенности/укомплектованности программного продукта.

В задачи экспертизы ПО входит:

• Проверка на соответствие требованиям технического задания (функциональность, эффективность, надёжность и др.)
• Корректная работа на плановых аппаратных средствах и инфраструктуре программного обеспечения
• проверка укомплектованности эксплуатационной документацией
• проверка готовности программного продукта к внедрению в опытную или промышленную эксплуатацию

Процесс экспертизы ПО требует четкой регламентации. Весь процесс может быть разделен на несколько этапов:

• внутренняя экспертиза ПО, выполняемая сотрудниками исполнителя на определенных этапах разработки
• приемочная экспертиза ПО, выполняемая на оборудовании и с привлечением персонала заказчика для определения степени готовности продукта к внедрению

Экспертиза ПО внутри проектной команды проводится согласно регламентам, принятым на стороне компании-исполнителя. При проведении внешней экспертизы зачастую руководствуются следующими стандартами:

• ГОСТ Р ИСО/МЭК 12207-99,
• ГОСТ Р ИСО/МЭК 12119-2000,
• ГОСТ Р ИСО/МЭК 14764-2002,
• ГОСТ Р ИСО/МЭК ТО 16326-2002,
• ГОСТ Р ИСО/МЭК 15408-2002

На этапе проведения приемо-сдаточных испытаний оформляется документ Программа и методика испытаний, который определяет количественные показатели качества продукта и методики проверки. Разрабатывается программа с позиции минимизации объема тестирования для проверки выполнения всех требований документов.

Программа и методика экспертизы ПО должна содержать следующие разделы (согласно РД 50-34.698-90 АВТОМАТИЗИРОВАННЫЕ СИСТЕМЫ, ТРЕБОВАНИЯ К СОДЕРЖАНИЮ ДОКУМЕНТОВ):

• описание и назначение объекта
• перечень документов на основе, которых выполняется разработка (договор)
• цель экспертизы
• перечень требований и ограничений технического задания, которые должны быть подвергнуты проверке
• программа испытаний комплектности программного средства в соответствии с технической документацией и план тестирования для проверки по всем разделам технического задания (если в процессе разработки были выявлены дополнительные требования, то для них оформляется отдельный сценарий с указанием документов, на основании которых вносились изменения)
• все понятия проверяемых характеристик, условия тестирования, средства, используемые для автоматизации испытаний, методики обработки и оценки результатов тестирования по каждому разделу программы экспертизы.

Программа и методика экспертизы ПО согласуются с разработчиками и Заказчиком.

В процессе экспертизы программного обеспечения осуществляется проверка следующих показателей:

• размер ПО в разных единицах измерения (число функций, строк в программе, размер дисковой памяти и др.);
• время функционирования системы;
• производительность труда
• количество ошибок и число отказов

Также проверяются и корректируются инструкции по эксплуатации комплекса программ во всех заданных режимах.

Экспертиза ПО в момент приемочных испытаний проводится на стендах Заказчика. Сама установка программных средств и отладка стендов осуществляются представителями разработчиков.

В ходе проведения экспертизы ПО допускается использование автоматизированных средств тестирования.

Результат экспертизы программного обеспечения фиксируется в Протоколе испытаний. Протокол должен содержать:

• дата и место проведения экспертизы
• перечень документов, на основании которых проводилась экспертиза
• состав экспертной комиссии
• обобщенный результат испытаний с оценкой их на соответствие требованиям технического задания
• выводы о результатах испытаний и готовности программного продукта к передаче в опытную/промышленную эксплуатацию.

Если в процессе экспертизы ПО выявилась потребность в изменении требований, допускается корректировка технического задания по согласию обеих сторон. Также возможен вариант принятия программного комплекса с отклонениями от первоначальных требований. При этом в протоколе экспертизы ПО фиксируются принятые допущения.

Если отклонения от требований, заявленных в техническом задании существенно влияют на достижение целей программного средства, то программа возвращается на доработку. В протоколе экспертизы фиксируется срок проведения повторного испытания.