СТ РК ИСО/МЭК ТО 15504-1 ОЦЕНКА РАЗРАБОТКИ ПРОГРАММНЫХ СРЕДСТВ

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РЕСПУБЛИКИ КАЗАХСТАН

Часть 1. Общие понятия и вводное руководство

Дата введения 2004.01.01

1 Область применения

Настоящий стандарт предоставляет общую информацию относительно основных понятий оценки разработки программных средств и их использования в контексте усовершенствования процесса и контексте определения зрелости процесса. Она описывает взаимосвязь частей стандарта, обеспечивает руководство по их выбору и применению, а также объясняет требования, содержащиеся в ИСО/МЭК ТО 15504, и их применимость для проведения оценок.

Читатели этого руководства должны ознакомиться с терминологией и структурой комплекта документа и затем обращаться к соответствующим частям комплекта в контексте проведения оценки. В том случае, когда оценка должна проводиться с целью усовершенствования внутреннего процесса в пределах организации, соответствующий контекст описан в ИСО/МЭК ТО 15504-7. Если результаты оценки должны использоваться с целью определения зрелости процесса организационной единицы в контексте определенных требований, руководство содержится в ИСО/МЭК ТО 15504-8.

Более детальное описание применения ИСО/МЭК ТО 15504 дано в разделе 4.

2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

- ИСО/МЭК ТО 15504-2:1998, Информационная технология. Оценка разработки программных средств. Часть 2: Базовая модель процессов и их зрелости.

- ИСО/МЭК ТО 15504-3:1998, Информационная технология. Оценка разработки программных средств. Часть 3: Проведение оценки.

- ИСО/МЭК ТО 15504-5:1999, Информационная технология. Оценка разработки программных средств. Часть 5: Модель оценки и руководство по показателям.

- ИСО/МЭК ТО 15504-6:1998, Информационная технология. Оценка разработки программных средств. Часть 6: Руководство по компетентности экспертов.

- ИСО/МЭК ТО 15504-7:1998, Информационная технология. Оценка разработки программных средств. Часть 7: Руководство по применению в усовершенствовании процессов.

- ИСО/МЭК ТО 15504-8:1998, Информационная технология. Оценка разработки программных средств. Часть 8: Руководство по применению в определении зрелости процессов поставщика.

- ИСО/МЭК ТО 15504-9:1998, Информационная технология. Оценка разработки программных средств. Часть 9: Словарь.

- СТ РК ИСО 9004-2001, Системы менеджмента качества. Рекомендации по улучшению деятельности.

3 Термины и определения

Для целей настоящей части ИСО/МЭК ТО 15504 применяются термины и определения по ИСО/МЭК ТО 15504-9.

4 Общие понятия

4.1 Общее.

ИСО/МЭК ТО 15504 обеспечивает основу для оценки разработки программных средств. Эта основа может использоваться организациями, связанными с планированием, руководством, мониторингом, управлением и улучшением заказа, поставки, разработки, введения в действие, развития и поддержки программных средств.

Оценка процесса исследует процессы, используемые организацией для определения их эффективности в достижении целей. Оценка характеризует текущую деятельность в пределах организационной единицы в терминах зрелости выбранных процессов. Результаты могут использоваться для управления деятельностью по усовершенствованию процесса или определению зрелости процесса, посредством анализа результатов в контексте бизнес-потребностей организации, выявления сильных и слабых сторон процесса, а также присущих ему рисков.

Документы обеспечивают структурированный подход к оценке разработки программного обеспечения для следующих целей:
- самой организацией или по ее поручению для определения текущего состояния внутренних процессов с целью их последующего усовершенствования;
- самой организацией или по ее поручению для определения соответствия внутренних процессов некоторым требованиям или классу требований;
- самой организацией или по ее поручению для определения соответствия процессов другой организации конкретному договору или классу договоров.

Общий вид взаимосвязи оценки процесса, усовершенствования процесса и определения зрелости процесса наряду с индикацией места различных компонентов ИСО/МЭК ТО 15504 в процессах показан на рисунке 3.

Оценка может использоваться с целью усовершенствования процесса или определения зрелости процесса. Руководство по такому использованию содержится в ИСО/МЭК ТО 15504-7 и ИСО/МЭК ТО 15504-8 соответственно. Проведение оценки требует модели (или моделей) совместимой с базовой моделью по ИСО/МЭК ТО 15504-2; пример модели представлен в ИСО/МЭК ТО 15504-5. Процесс оценки должен быть документирован и основан на методе в соответствии с требованиями, определенными в ИСО/МЭК ТО 15504-3, и следовать руководству, представленному в ИСО /МЭК ТО 15504-4. Должен быть определен ведущий эксперт, обладающий навыками для проведения соответствующей оценки; руководство по необходимым навыкам и компетентности находится в ИСО/МЭК ТО 15504-6.

Рисунок 3 – Схема взаимосвязи элементов ИСО/МЭК ТО 15504

ИСО/МЭК ТО 15504 разработан для обеспечения того, чтобы результаты оценки были повторяемы, объективны, сопоставимы в пределах подобных контекстов, и могли использоваться как для усовершенствования процесса, так и для определения зрелости.

Основа для проведения оценок разработана так, чтобы способствовать достижению надежных результатов оценки. Основа включает в себя структуру для процессов характеристики и для предъявления характеристик оценки. Основа оценки также обеспечивает руководство по проведению оценки. ИСО/МЭК ТО 15504 обеспечивает руководство в обоих контекстах: усовершенствование процесса и определение зрелости возможностей процесса. Стандарт также обеспечивает определение требуемой квалификации и опыта работы экспертов.

Данный раздел описывает, как использовать другие части ИСО/МЭК ТО 15504 для проведения оценок процесса и сделать эффективным использование их результатов. Ключевой определяющий фактор в применении ИСО/МЭК ТО 15504 – цель проведения оценки. Это может быть:
- содействие пониманию процесса разработки программных средств;
- поддержка усовершенствования процесса;
- поддержка определения зрелости процесса.

4.2 Основа оценки.

4.2.1 Контекст оценки процесса.

Контекст оценки процесса показан на рисунке 4. ИСО/МЭК ТО 15504-2 определяет базовую модель, обеспечивающую основу для рейтинга зрелости процессов, базирующуюся на достижении ими определенных атрибутов процесса. ИСО/МЭК ТО 15504-3 определяет требования для проведения оценки и излагает обстоятельства, при которых результаты оценки могут сравниваться. ИСО/МЭК ТО 15504-4 обеспечивает руководство по проведению оценки и интерпретации требований в ИСО/МЭК ТО 15504-3. Это руководство достаточно общее и поэтому может применяться любыми организациями для проведения оценок с использованием различных методов, технических приемов и инструментальных средств.

Оценка процесса проводится в двух случаях: в ходе инициативы по усовершенствованию процесса, как описано в ИСО/МЭК ТО 15504-7, или как часть действия по определению зрелости процесса, как описано в ИСО/МЭК ТО 15504-8. В обоих случаях, формальное начало процессов оценки происходит с обязательством инициатора оценки продолжить ее. Затем собираются входные данные для оценки. Входные данные оценки определяет цель оценки (почему проводится), область (контекст) оценки, и какие ограничения (если есть) применяются к оценке. Входные данные оценки также определяет обязательства для проведения оценки.

Оценка проводится путем оценивания выбранных процессов относительно модели оценки, выбранной для оценки. Эта модель оценки должна быть совместима с базовой моделью, определенной в ИСО/МЭК ТО 15504-2. Эта двумерная модель состоит из набора процессов и набора атрибутов процесса. Атрибуты процесса применяются ко во всем процессам. Они сгруппированы в уровни зрелости, которые могут использоваться для определения зрелости процесса. Вывод оценки включает набор профилей процесса и факультативно характеристику уровня зрелости для каждого оцененного процесса.

Рисунок 4 – Контекст оценки процесса

Процесс оценки состоит из по меньшей мере пяти определенных действий: планирование, сбор данных, проверка достоверности данных, характеристика процесса и составление отчета.

Процесс оценки должен быть документирован; кроме того, эксперты должны записывать объективные индикаторы производительности или зрелости, используемые для подтверждения характеристик. Оценка процесса проводится группой, имеющей в своем составе по крайней мере одного ведущего эксперта, имеющего компетентность, описанную в ИСО/МЭК ТО 15504-6; или на постоянной основе, используя подходящие средства сбора данных и будучи проверяемыми ведущим экспертом.

4.2.2 Структура процессов разработки программных средств.

ИСО/МЭК ТО 15504-2 определяет базовую модель процессов и зрелости процесса, которая формирует основу для любой модели, используемую в целях оценки процесса. Базовая модель содержит двумерный подход к оценке зрелости процесса: одна размерность - определяет процессы, которые будут оценены, другая - описывает шкалу для измерения зрелости. Любая модель, совместимая с базовой моделью, может использоваться для оценки, и результаты любых совместимых оценок могут приводиться к общему основанию.
Каждый процесс в базовой модели описан посредством формулировки цели процесса, включающей контуры намеченных результатов реализации процесса. Процессы сгруппированы в пять категорий как показано в таблице 2.

Таблица 2 – Описание категорий процесса

Выявление зрелости процесса выражается в терминах атрибутов процесса, которые по очереди сгруппированы в ряд уровней зрелости. Каждый уровень зрелости представляет возрастающий рост в управлении процессами и их контроле, таким образом, что модели оценки обеспечивают путь для возрастания зрелости.

Измерение зрелости определяет шкалу из пяти уровней зрелости, характеризуемых набором из девяти атрибутов процесса. На рисунке 5 показана двумерная структура базовой модели, определенной в ИСО/МЭК ТО 15504-2.

Рисунок 5 – Структура базовой модели

4.2.3 Индикаторы оценки.

Для того, чтобы максимизировать повторяемость, надежность и непротиворечивость оценок, должно быть записано и сохранено документированное свидетельство подтверждения рейтинга зрелости процесса. Это свидетельство находится в форме индикаторов производительности и зрелости процесса, которые обычно принимают форму объективно показываемых характеристик работы продуктов и практик, связанных с оцениваемыми процессами. Полная модель оценки процесса содержит детали индикаторов, которые должны использоваться.

Самый простой способ, которым такие индикаторы могут быть зарегистрированы - с помощью некоторой формы инструмента оценки. Инструменты могут быть разработаны для работы вручную (например, в формах контрольных списков или вопросников), или для работы в автоматическом режиме. ИСО/МЭК ТО 15504-3 включает требования относительно пригодности и использования индикаторов в течение оценки. Руководство для выбора и использования инструментов оценки и инструментальных средств включено в ИСО/МЭК ТО 15504-4.

4.3 Компетенция экспертов.

Ведущий эксперт в группе имеет стержневую роль обеспечения того, чтобы другие члены группы сообща имели соответствующий объем специализированных знаний и навыков оценки.

Ведущий эксперт обеспечивает необходимое руководство группой и содействует выравниванию заключений и характеристик, сделанных другими членами группы, с целью гарантирования непротиворечивости интерпретации.

ИСО/МЭК ТО 15504-6 имеет отношение к компетентности экспертов, их надлежащему образованию, специальной подготовке и опыту, и включает механизмы, которые могут использоваться для демонстрации компетентности и проверки образования, специальной подготовки и опыта.

4.4 Контекст усовершенствования процесса.

Успешное усовершенствование процесса разработки программных средств происходит в деловом контексте, посредством выбора специфических потребностей и деловых целей организации, и при понимании ключевых ограничений, таких как ресурсы, культура труда и т.д., которые ясно установлены и понятны.

ИСО/МЭК ТО 15504-7 обеспечивает руководство по использованию оценки разработки программных средств как части полной структуры и метода для проведения усовершенствования разработки программных средств в продолжающемся цикле, хотя нет никаких оснований, препятствующих организации использовать данное руководство для однократного цикла усовершенствования. Полный контекст усовершенствования процесса показан на рисунке 6. Руководство охватывает:
- активизацию оценки разработки программных средств;
- использование результатов оценки разработки программных средств;
- измерение эффективности разработки программных средств и эффективности усовершенствования;
- определение действий усовершенствования, отнесенных к деловым целям;
- использование базовой модели по ИСО/МЭК ТО 15504-2 как основы для усовершенствования;
- национальные и культурные особенности в контексте усовершенствования разработки программных средств;
- действия по управлению усовершенствованием разработки программных средств.

Рисунок 6 – Усовершенствование процесса

Руководство основывается непосредственно на СТ РК ИСО 9004. Оно не предполагает наличие специфических организационных структур, основных принципов управления, моделей жизненного цикла программного обеспечения или методов разработки программных средств. Понятия и принципы являются применимыми для широкого ряда различных бизнес-потребностей, сфер деятельности и организаций различного масштаба, так, чтобы они могли использоваться любыми организациями, разрабатывающими программное обеспечение в качестве руководства их деятельностью по усовершенствованию.

4.5 Контекст определения зрелости процесса.

Процедура определения зрелости процесса описана в ИСО/МЭК ТО 15504-8. Определение зрелости процесса главным образом строится на оценке процесса как описано в ИСО/МЭК ТО 15504-3. Процессы оцениваются относительно модели (или моделей) оценки, совместимой с базовой моделью, определенной в ИСО/МЭК ТО 15504-2, и результаты выражаются, используя измерение и структуру рейтинга, включенные в базовую модель. Контекст определения зрелости процесса показан на рисунке 7.

Рисунок 7 – Определение зрелости процесса

Заказчик программной продукции или услуг имеет технические и другие потребности, отраженные в предъявляемых требованиях. До составления контракта заказчик может нуждаться в определении зрелости предполагаемого поставщика или поставщик может желать удостовериться в соответствии зрелости собственных процессов запросам заказчика. Технические и другие потребности для определения зрелости процесса документированы в предъявляемых требованиях.

Предъявляемые требования переводятся в зрелость цели, которая представляет необходимую зрелость процесса и входные данные оценки процесса, которые будут определять оценку процесса. В простой ситуации заявленная зрелость процесса может основываться на последней самостоятельной оценке или посредством других способов. В более сложных случаях поставщик может предполагать, что зрелость процесса будет достигнута в будущем, основываясь на текущем профиле поставщика и соответствующих планах усовершенствования, зафиксированных, если возможно, документально, или на суммарной зрелости, включающий зрелость одного или более суб-подрядчиков.

Вероятность заявленной зрелости процесса анализируется вместе с рисками, связанными и изложенными в отчете о зрелости процесса.

Часть 8 ИСО/МЭК ТО 15504 обеспечивает руководство по использованию результатов оценки в целях определения зрелости поставщиков. Она в частности направлена на определение зрелости процесса как для использования организацией с целью определения рисков, связанных с началом нового проекта (иногда называется первой стороной применения), так и для применения заказчиком с целью оценивания внешних поставщиков (иногда называется второй стороной или договорным применением).

5 Соответствие

ИСО/МЭК ТО 15504 включает две принципиальные области, где может быть потребовано соответствие: в управлении оценкой разработки программных средств и в конструировании моделей оценки, совместимых с базовой моделью. Этот раздел раскрывает сущность соответствия в этих двух областях.

Требования к управлению оценкой содержатся в ИСО/МЭК ТО 15504-3. Подраздел 5.1 обеспечивает дополнительную информацию по проведению оценок. Требования для разработки моделей оценки, совместимых с базовой моделью, содержатся в ИСО/МЭК ТО 15504-2. Подраздел 5.2 обеспечивает дополнительную информацию относительно этих требований.

5.1 Проведение оценки разработки программных средств.

5.1.1 Обзор требований.

Настоящее руководство описывает, как проводить оценки таким путем, чтобы соответствие требованиям могло быть легко продемонстрировано.

Требования к проведению оценки разработки программных средств, содержащиеся в разделе 4 ИСО/МЭК ТО 15504-3, предназначены для гарантии надежности, непротиворечивости и повторяемости результатов. Это важно в тех случаях, когда организация хочет сравнивать результаты оценки с таковыми других подобных организаций и особенно важно в определении зрелости процесса в договорной обстановке, когда сравниваются конкурирующие или сотрудничающие поставщики.

В широком смысле условия оценки, удовлетворяющие требованиям ИСО/МЭК ТО 15504:
- используют процесс оценки, который минимально отвечает требованиям, определенным в ИСО/МЭК ТО 15504-3;
- основываются на моделях оценки, совместимых с базовой моделью, определенной в ИСО/МЭК ТО 15504-2 для оценивания процессов;
- используют полный набор индикаторов производительности и зрелости процесса;
- создают профили процесса с использованием схемы характеристик атрибутов процесса, определенной в ИСО/МЭК ТО 15504-2;
- имеют объективное подтверждение того, что вышеупомянутые условия выдержаны.

5.1.2 Ответственность.

Ведущий эксперт обязан обеспечить соблюдение требований к проведению оценки. Инициатор оценки обычно бывает стороной, требующей, чтобы оценка соответствовала требованиям.

Когда принято решение о проведении оценки, инициатор оценки должен быть ответственен за определение цели оценки.

Инициатор также ответственен за проверку того, что эксперт имеет необходимую компетентность и квалификацию, чтобы выполнять оценку или наблюдать за ней. Руководство по проверке включено в ИСО/МЭК TО 15504-6. Соответствие компетентности эксперта является частью входных данных оценки.

5.1.3 Входные данные оценки.

При проведении оценки ведущий эксперт ответственен за соблюдение и документирование требований к процессу оценки. Специфические требования к документированию:
- соответствие инициатора оценки;
- цель оценки;
- область оценки;
- любые ограничения оценки;
- ответственность оценки;
- любая дополнительная информация, которая будет собрана для усовершенствования процесса или определения зрелости процесса.

Некоторые из пунктов – особенно область и ограничения оценки – состоят из нескольких элементов и необходимо обратить внимание на то, чтобы все они были рассмотрены.

Руководство по обзору входных данных оценки содержится в ИСО/МЭК ТО 15504-4. Сбор входных данных непосредственно зависит от цели оценки и руководство содержится в ИСО/МЭК ТО 15504-7 и ИСО/МЭК ТО 15504-8. Документация входных данных оценки должна быть сохранена в записи оценки, и должно производиться необходимое отслеживание, гарантирующее проведение необходимых обзоров.

5.1.4 Выбор процессов для оценки.

Область оценки определяет процессы организационной единицы, которые должны быть оценены. Модель (модели), используемая в качестве основы для проведения оценки, должна быть совместима с базовой моделью, и она требует, чтобы было установлено соответствие между процессами организационной единицы и базовой модели, с помощью модели (моделей) оценки. Определение области таким путем гарантирует, что имеется общий базис для характеристики и измерения.

Требования по идентификации процессов для оценки изложены в ИСО/МЭК ТО 15504-3. Руководство по выбору совместимой модели (моделей), установке соответствия определяемым процессам, и по характеристике оцениваемых процессов должно быть предоставлено посредством использовавшегося документированного процесса оценки; руководство по выбору и использованию документированного процесса оценки содержится в ИСО/МЭК ТО 15504-4.

Помимо управления процессом оценки, установка соответствия организационных процессов и совместимой модели (моделей) формирует неотъемлемую часть записи оценки. После завершения оценки любой участник процесса, изучающий запись оценки, должен иметь возможность видеть связь между установкой соответствия и записями по организационной структуре, процедурам и стандартам внутри оцениваемой организации.

5.1.5 Индикаторы оценки.

Использование соответствующего набора индикаторов в течение оценки является ключевой составляющей требований ИСО/МЭК ТО 15504. Индикаторы производительности процесса и его зрелости формируют объективную основу, на которой могут базироваться мнения о характеристиках атрибутов процесса. Это та объективная основа принятия решения, которая формирует базис для любых сравнений результатов оценки.

ИСО/МЭК ТО 15504-3 содержит ряд следующих отдельных требований в отношении индикаторов:
- совместимая модель должна содержать всесторонний набор индикаторов, охватывающих оба аспекта базовой модели для всех процессов в области оценки;
- индикаторы должны использоваться в течение оценки, чтобы поддерживать оценки экспертами атрибутов процессов;
- должны записываться свидетельства, базирующиеся на индикаторах, поддерживающие мнение экспертов о характеристиках атрибутов процесса.

Для элементов совместимой модели (включая индикаторы) самый простой способ соблюдения этих требований - это быть встроенными в соответствующие инструментальные средства, ведущие запись наблюдений в течение процесса оценки. ИСО/МЭК ТО 15504-4 содержит руководство по выбору и использованию приборов оценки и инструментальных средств.

5.1.6 Отчет о результатах оценки.

Одной из основных причин проведения совместимой оценки является необходимость гарантии сравнимости с другими выводами оценки. Это возможно при выполнении требований к характеристикам процессов и подсчету результатов в пределах структуры измерения, с последующим составлением отчетов по ним способом, при котором результаты подсчетов очевидны.

Результаты оценки формально составляют набор характеристик атрибута процесса для каждого процесса в области оценки. Набор характеристик атрибутов процесса определен как профиль процесса. Дополнительная информация относительно контекста оценки и оцениваемых процессов должна быть также записана как часть записи оценки; требования к записи выводов оценки содержатся в ИСО/МЭК ТО 15504-3. Характеристики атрибутов могут использоваться для подсчета рейтинга уровня зрелости оцениваемого процесса.

Каким бы ни был выходной формат процесса, важно, чтобы обеспечивалась четкая отслеживаемость процессов и атрибутов процесса, содержащихся в базовой модели, и была возможность проверки процесса вычисления. Четкий механизм для перевода результатов должен быть обеспечен разработчиком совместимой модели и этот механизм должен гарантировать, что такая отслеживаемость будет достигнута.

Следует отметить, что вывод оценки содержит полную детализацию контекста процесса в записи оценки. Эта запись должна также включать дополнительную информацию, собранную как часть оценки, и требуемую в качестве входных данных для усовершенствования процесса или определения зрелости процесса.

5.2 Разработка совместимой модели.

ИСО/МЭК ТО 15504-2 предоставляет базовую модель оценки процесса. Базовая модель идентифицирует критические атрибуты, с которыми процесс может считаться полным и эффективным.

Модели оценки могут быть сформированы таким образом, чтобы охватывать конкретные потребности любого сектора промышленности или организации посредством требований по совместимости, содержащихся в разделе 7 ИСО/МЭК ТО 15504-2. Совместимые модели могут быть разработаны организациями для внутреннего использования; заказчиками систем программного обеспечения; или профессиональными организациями, определяющими требования для специфических прикладных областей или ситуаций использования.

Требования к построению совместимых моделей изложены в ИСО/МЭК ТО 15504-2. Должно иметься четкое и однозначное отображение элементов совместимой модели к основным элементам базовой модели, т.е процессам и атрибутам процесса. Модель должна содержать набор индикаторов производительности и зрелости процесса. И, наконец, должен иметься механизм для перевода результатов оценок, полученных в соответствии с моделью, в форму, определенную в ИСО/МЭК ТО 15504-2.

Приложение А
(справочное)

Библиография

[1] Craigmyle, M., and I. Fletcher, “Improving IT effectiveness through software process assessment”, Software Quality Journal, Vol.2,pp.257-264 (1993).
[2] Humphrey, W.S., Managing the Software Process, Addison Wesley, 1989.
[3] Kuvaja, P., Simila, J., Krzanik, L., Bicego, A., Koch, G. and Saukkonen, S., Software Process Assessment and Improvement: The BOOTSTRAP Approach. Blackwell, 1994.
[4] Mackie, C.A. and Rigby, P.J., “Practical experience in assessing the health of the software process”, Software Quality Journal,Vol.2,pp.265-275,1993.
[5] Paulk, M.C., Curtis, B., Chrissis, M.B. and Weber, C.V. “Capability Maturity Model, Version 1.1”, IEEE Software, Vol.10, No.4, July 1993, pp.18-27.