Cpia no autorizada

AGO 2001

NBR ISO/IEC 14598-1

Tecnologia de informao - Avaliao de produto de software

ABNT Associao Brasileira de Normas Tcnicas
Sede: Rio de Janeiro Av. Treze de Maio, 13 28 andar CEP 20003-900 Caixa Postal 1680 Rio de Janeiro RJ Tel.: PABX (021) 210-3122 Fax: (021) 220-1762/220-6436 Endereo eletrnico: www.abnt.org.br

Parte 1: Viso geral

Copyright 2001, ABNTAssociao Brasileira de Normas Tcnicas Printed in Brazil/ Impresso no Brasil Todos os direitos reservados

Origem: Projeto 21:101.01-003:1998 ABNT/CB-21 - Comit Brasileiro de Computadores e Processamento de Dados CE-21:101.01 - Comisso de Estudo de Qualidade de Software NBR ISO/IEC 14598-1 Information technology - Software product evaluation Part 1: General overview Descriptors: Software. Quality. Information technology Esta Norma equivalente ISO/IEC 14598-1:1998 Vlida a partir de 30.09.2001 Palavras-chave: Qualidade. Software. Tecnologia de informao 14 pginas

Sumrio Prefcio 0 Introduo 1 Objetivo 2 Conformidade 3 Referncias normativas 4 Termos e definies 5 Viso geral das NBR ISO/IEC 14598 e ISO/IEC 9126 6 Processo de avaliao 7 Estabelecimento de requisitos de avaliao 8 Especificao da avaliao 9 Projeto da avaliao 10 Execuo da avaliao 11 Processos de apoio Bibliografia Prefcio A ABNT - Associao Brasileira de Normas Tcnicas - o Frum Nacional de Normalizao. As Normas Brasileiras, cujo contedo de responsabilidade dos Comits Brasileiros (ABNT/CB) e dos Organismos de Normalizao Setorial (ABNT/ONS), so elaboradas por Comisses de Estudo (CE), formadas por representantes dos setores envolvidos, delas fazendo parte: produtores, consumidores e neutros (universidades, laboratrios e outros). Os Projetos de Norma Brasileira, elaborados no mbito dos ABNT/CB e ABNT/ONS, circulam para Consulta Pblica entre os associados da ABNT e demais interessados. A NBR ISO/IEC 14598 consiste nas seguintes partes, sob o ttulo geral "Tecnologia de informao - Avaliao de produto 1) de software": Parte 1 - Viso geral; Parte 2 - Planejamento e gesto; Parte 3 - Processo para desenvolvedores; Parte 4 - Processo para adquirentes;

_________________
1)

As partes 2, 3, 4 e 6 da NBR ISO/IEC 14598 encontram-se em elaborao.

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

Parte 5 - Processos para avaliadores; Parte 6 - Documentao de mdulos para avaliao. 0 Introduo Com o crescente uso da tecnologia de informao, cresce tambm o nmero de sistemas computacionais crticos. Estes sistemas incluem, por exemplo, sistemas crticos quanto a segurana de acesso, segurana de vidas humanas, finanas e meio ambiente. A qualidade de software desses sistemas particularmente importante porque defeitos no software podem levar a conseqncias srias. Atravs da histria da engenharia de software, melhoria na qualidade de software foi o objetivo mais importante. A avaliao da qualidade do produto de software vital tanto para a aquisio, quanto para o desenvolvimento de produto software que satisfaa os requisitos de qualidade. A importncia relativa das vrias caractersticas de qualidade de software depende da misso ou objetivos do sistema ao qual esse software faz parte; produtos de software necessitam ser avaliados para se decidir se caractersticas de qualidade relevantes satisfazem os requisitos do sistema. As partes essenciais da avaliao da qualidade de software so um modelo de qualidade, o mtodo de avaliao, medies do software e ferramentas de apoio. Para desenvolver um bom software, convm que os requisitos de qualidade sejam especificados, que o processo de garantia da qualidade de software seja planejado, implementado e controlado, e tanto os produtos intermedirios, quanto os produtos finais sejam avaliados. Para obter avaliaes objetivas da qualidade de software, convm que os atributos de qualidade do software sejam medidos usando mtricas validadas. O termo mtrica foi usado com vrios sentidos na literatura de engenharia de software. Nesta Norma e definido como uma escala quantitativa e um mtodo que pode ser usado para medio. A palavra medida usada para se referir ao resultado de uma medio. A srie de normas NBR ISO/IEC 14598 apresenta mtodos para medio, julgamento e avaliao da qualidade de produtos de software. Elas no descrevem nem mtodos para avaliao de processos de produo de software nem mtodos para previso de custos (as medidas da qualidade de produto de software podem, no entanto, ser usadas para esses dois propsitos). 1 Objetivo Esta parte da NBR ISO/IEC 14598 uma introduo s outras partes. Ela fornece uma viso geral das outras partes e tambm explica o relacionamento entre a NBR ISO/IEC 14598 e o modelo de qualidade apresentado na ISO/IEC 9126. Esta parte define os termos tcnicos utilizados nas demais partes, contm requisitos gerais para especificao e avaliao da qualidade de software e esclarece os conceitos gerais. Adicionalmente, ela tambm fornece uma estrutura para avaliar a qualidade de quaisquer produtos de software e estabelece os requisitos para mtodos de medio e avaliao de produtos de software. O pblico-alvo da NBR ISO/IEC 14598 so desenvolvedores, adquirentes e avaliadores independentes, particularmente aqueles que so responsveis por avaliaes de produtos de software. Os resultados de avaliaes obtidos a partir da aplicao da NBR ISO/IEC 14598 podem ser utilizados por gerentes, desenvolvedores e mantenedores para medir a aderncia aos requisitos e para fazer melhorias onde necessrio. Estes resultados tambm podem ser utilizados por analistas para estabelecer o relacionamento entre mtricas internas e externas. Os profissionais de melhoria de processo podem usar estes resultados para determinar como o processo pode ser melhorado atravs do estudo e exame das informaes da qualidade de produto obtidas do projeto.
NOTA - Muitas das orientaes na NBR ISO/IEC 14598 no so especficas para software, mas tambm so aplicveis a outros produtos complexos.

2 Conformidade Uma especificao e avaliao de software est em conformidade com esta parte da NBR ISO/IEC 14598 se utilizar os processos da seo 6 e um modelo de qualidade como requerido em 8.3. A conformidade com a NBR ISO/IEC 14598 como um todo deve significar conformidade com todas as partes aplicveis da NBR ISO/IEC 14598 que tenham sido publicadas. 3 Referncias normativas As normas relacionadas a seguir contm disposies que, ao serem citadas neste texto, constituem prescries para esta parte da NBR ISO/IEC 14598. As edies indicadas estavam em vigor no momento desta publicao. Como toda norma est sujeita a reviso, recomenda-se queles que realizam acordos com base nesta que verifiquem a convenincia de se usarem as edies mais recentes das normas citadas a seguir. A ABNT possui a informao das normas em vigor em um dado momento. NBR ISO 8402:1994 - Gesto da qualidade e garantia da qualidade - Terminologia
1)

NBR ISO/IEC 12207:1998 - Tecnologia de informao - Processos do ciclo de vida do software ISO/IEC 2382-1:1993 - Data processing - Vocabulary- Part 1: Fundamental terms ISO/IEC 9126-1:2001 - Information Techology - Software product quality - Part 1: Quality model

_________________
A NBR ISO 8402:1994 foi cancelada e substituda pela NBR ISO 9000:2000 - Sistemas de gesto da qualidade - Fundamentos e vocabulrio.
1)

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

4 Termos e definies Para os efeitos de todas as partes da NBR ISO/IEC 14598, aplicam-se as seguintes definies: 4.1 adquirente: Organizao que adquire ou obtm um sistema, produto de software ou servio de software de um fornecedor. [NBR ISO/IEC 12207:1998] 4.2 atributo: Propriedade mensurvel, fsica ou abstrata, de uma entidade.
NOTA - Atributos podem ser internos ou externos.

4.3 desenvolvedor: Organizao que executa atividades de desenvolvimento (incluindo anlise de requisitos, projeto, testes at a aceitao) durante o processo de ciclo de vida do software. [NBR ISO/IEC 12207:1998] 4.4 medida direta: Medida de um atributo que no depende da medida de qualquer outro atributo. 4.5 mdulo de avaliao: Pacote de tecnologia de avaliao para uma caracterstica ou subcaracterstica de qualidade de software especfica.
NOTA - O pacote inclui mtodos e tcnicas de avaliao, entradas a serem avaliadas, dados a serem medidos e coletados e procedimentos e ferramentas de apoio.

4.6 medida externa: Medida indireta de um produto, derivada de medidas do comportamento do sistema do qual ele faz parte.
NOTAS 1 O sistema inclui qualquer associao de hardware, software (seja personalizado ou de prateleira) e usurios. 2 O nmero de falhas encontradas durante o teste uma medida externa do nmero de defeitos no programa, porque o nmero de falhas contado durante a operao de um sistema computacional executando o programa. 3 Medidas externas podem ser utilizadas para avaliar atributos de qualidade de maneira mais prxima aos objetivos do projeto.

4.7 qualidade externa: O quanto um produto satisfaz necessidades explcitas e implcitas quando utilizado em condies especificadas. 4.8 falha: Trmino da capacidade de um produto de executar uma funo requerida ou a sua incapacidade de execut-la dentro de limites previamente especificados. 4.9 defeito: Passo, processo ou definio de dados incorretos em um programa de computador.
NOTA - Esta definio a mesma da IEEE 610.12-1990.

4.10 necessidades implcitas: Necessidades que podem no ter sido explicitadas, mas esto presentes quando a entidade utilizada em condies particulares.
NOTA - Necessidades implcitas so necessidades reais que podem no ter sido documentadas.

4.11 indicador: Medida que pode ser utilizada para estimar ou prever outra medida.
NOTAS 1 A medida prevista pode, ou no, ser da mesma caracterstica de qualidade do software. 2 Indicadores podem ser utilizados tanto para estimar atributos de qualidade de software, quanto para estimar atributos do processo de desenvolvimento. Eles so medidas indiretas imprecisas dos atributos.

4.12 medida indireta: Medida de um atributo derivada de medidas de um outro ou de vrios outros atributos.
NOTA - Uma medida externa de um atributo de um sistema de computao (como o tempo de resposta a uma entrada de usurio) uma medida indireta de atributos do software, uma vez que a medida ser influenciada por atributos do ambiente de computao, bem como por atributos do software.

4.13 produto de software intermedirio: Produto do processo de desenvolvimento de software que utilizado como entrada para um outro estgio do processo de desenvolvimento de software.
NOTA - Em alguns casos um produto intermedirio tambm pode ser um produto final.

4.14 medida interna: Medida do prprio produto, seja direta ou indireta.

NOTA - O nmero de linhas de cdigo, medidas de complexidade, o nmero de defeitos encontrados em um walkthrough e o fog Index so todas medidas internas feitas no prprio produto.
1)

_________________
1)

Para os efeitos desta parte da NBR ISO/IEC, "fog index" um mtodo comprovado de anlise de material escrito para verificar a sua facilidade de leitura e compreenso.

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

4.15 qualidade interna: Totalidade dos atributos de um produto que determinam sua capacidade para satisfazer necessidades explcitas, e implcitas quando utilizado em condies especificadas.
NOTAS 1 O termo qualidade interna, utilizado na NBR ISO/IEC 14598 em contraste ao termo qualidade externa, possui essencialmente o mesmo significado de qualidade na NBR ISO 8402. 2 O termo atributo utilizado com o mesmo significado que o termo caracterstica em 4.21, sendo que na ISO/IEC 9126 o termo caracterstica utilizado num sentido mais especfico.

4.16 mantenedor: Organizao que executa atividades de manuteno. [NBR ISO/IEC 12207:1998] 4.17 medir (verbo): Fazer uma medio. 4.18 medida (substantivo): Nmero ou categoria atribudo a um atributo de uma entidade atravs de uma medio. 4.19 medio: Uso de uma mtrica para atribuir um valor (o qual pode ser um nmero ou categoria), obtido a partir de uma escala, a um atributo de uma entidade.
NOTA - Medio pode ser qualitativa quando forem usadas categorias. Por exemplo, alguns atributos importantes de produtos de software, como a linguagem de um programa fonte (ADA, C, COBOL, etc.) so categorias qualitativas.

4.20 mtrica: Mtodo e escala de medio definidos.

NOTAS 1 Mtricas podem ser internas ou externas, e diretas ou indiretas. 2 Mtricas incluem mtodos para categorizao de dados qualitativos.

4.21 qualidade: Totalidade de caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades explcitas e implcitas.
NOTAS 1 Numa situao contratual, ou numa rea regulamentada, tal como na rea de segurana nuclear, as necessidades so especificadas, enquanto que em outras rea convm que necessidades implcitas sejam identificadas e definidas. 2 Na NBR ISO/IEC 14598 a entidade relevante um produto de software.

[NBR ISO 8402:1994] 4.22 avaliao da qualidade: Exame sistemtico do quanto uma entidade capaz de atender aos requisitos especificados.
NOTA - Os requisitos podem ser formalmente especificados, por exemplo quando um produto desenvolvido para um usurio especfico sob um contrato ou um produto desenvolvido para um usurio no especfico, ou seja especificado por uma organizao de desenvolvimento. Os requisitos tambm podem ser mais gerais, como quando um usurio avalia produtos com o objetivo de comparao e seleo.

[NBR ISO 8402:1994] 4.23 qualidade em uso: O quanto um produto, utilizado por usurios especficos, atende s necessidades desses usu1) rios para que eles atinjam as metas especificadas com eficcia, produtividade e satisfao , em contextos de uso definidos.
NOTA - Esta definio de qualidade em uso similar definio de usabilidade da ISO 9241-11. Na NBR ISO/IEC 14598 o termo usabilidade refere-se caracterstica de qualidade de software descrita na ISO/IEC 9126-1.

4.24 modelo de qualidade: Conjunto de caractersticas e os relacionamentos entre elas, que fornecem a base para a especificao dos requisitos de qualidade e para a avaliao da qualidade. 4.25 pontuao: Ao de mapear o valor medido em comparao ao nvel de pontuao apropriado. Utiliza-se para determinar o nvel de pontuao do software para uma caracterstica de qualidade especfica. 4.26 nvel de pontuao: Ponto de escala em uma escala ordinal, que usado para categorizar uma escala de medio.
NOTAS 1 O nvel de pontuao permite que o software seja classificado (pontuado) de acordo com as necessidades explcitas ou implcitas (ver 10.2). 2 Nveis de pontuao apropriados podem ser associados a diferentes vises da qualidade, como, por exemplo, viso dos usurios, dos gerentes ou dos desenvolvedores.

4.27 escala: Conjunto de valores com propriedades definidas.

NOTA - Exemplos de tipos de escalas so: uma escala nominal que corresponde a um conjunto de categorias; uma escala ordinal que corresponde a um conjunto ordenado de pontos de escala; uma escala de intervalos que corresponde a uma escala ordenada com pontos de escala eqidistantes; e uma escala de proporo que tem pontos de escala eqidistantes e tambm um zero absoluto. Mtricas usando escalas ordinais ou nominais produzem dados qualitativos e mtricas usando escalas de intervalos ou de proporo produzem dados quantitativos.

_________________
1)

Para os efeitos desta parte da NBR ISO/IEC, a caracterstica segurana foi adotada aps a publicao do texto internacional da ISO/IEC 14598-1.

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

4.28 software: Conjunto completo ou apenas uma parte, dos programas, procedimentos, regras e documentao associada de um sistema de processamento de informao.
NOTA - Software uma criao intelectual que independe do meio no qual armazenado.

[ISO/IEC 2382-1:1993] 4.29 produto de software: Conjunto de programas de computador, procedimentos e possvel documentao e dados associados. [NBR ISO/IEC 12207:1998]
NOTA - Produtos incluem produtos intermedirios e produtos destinados a usurios como desenvolvedores ou mantenedores.

4.30 fornecedor: Organizao que firma um contrato com o adquirente para fornecimento de um sistema, produto de software ou servio de software conforme os termos do contrato. [NBR ISO/IEC 12207:1998] 4.31 sistema: Conjunto integrado que consiste em um ou mais processos, hardware, software, recursos e pessoas, capaz de satisfazer uma necessidade ou objetivo definido. [NBR ISO/IEC 12207:1998] 4.32 usurio: Indivduo que usa o produto de software para executar uma funo especfica.
NOTA - Usurios podem ser operadores, pessoas que recebem o resultado do software, ou desenvolvedores e mantenedores de software.

4.33 validao: Confirmao, por exame e fornecimento de evidncia objetiva, de que os requisitos especficos para um determinado uso pretendido so atendidos.
NOTAS 1 No projeto e desenvolvimento, a validao se refere ao processo de examinar um produto para determinar sua conformidade com as necessidades do usurio. 2 A validao feita normalmente no produto final sob condies de operao definidas, podendo, contudo, tornar-se necessria em fases anteriores. 3 O termo validado usado para designar o estado aps a validao. 4 Validaes mltiplas podem ser realizadas se existirem diferentes usos pretendidos.

[NBR ISO 8402:1994] 4.34 verificao: Confirmao, por exame e fornecimento de evidncia objetiva, do atendimento aos requisitos especificados.
NOTAS 1 No projeto e desenvolvimento, a verificao refere-se ao processo de examinar o resultado de dada atividade para determinar a sua conformidade com os requisitos estabelecidos para a mesma atividade. 2 O termo verificado utilizado para designar o estado aps a verificao.

[NBR ISO 8402:1994] 5 Viso geral das NBR ISO/IEC 14598 e ISO/IEC 9126 5.1 Estrutura das NBR ISO/IEC 14598 e ISO/IEC 9126 A ISO/IEC 9126 define um modelo de qualidade de propsito geral, caractersticas de qualidade e fornece exemplos de mtricas. A NBR ISO/IEC 14598 apresenta uma viso geral do processo de avaliao de produto de software e fornece orientaes e requisitos para avaliao. As ISO/IEC 14598-2 e ISO/IEC 14598-6 so relacionadas ao suporte e gesto da avaliao em nvel corporativo ou departamental, enquanto que as ISO/IEC 14598-3, ISO/IEC 14598-4 e NBR ISO/IEC 14598-5 fornecem requisitos e orientaes para avaliao em nvel de projeto. As figuras 1 e 2 mostram os relacionamentos entre as NBR ISO/IEC 14598 e ISO/IEC 9126. 5.2 Processo de avaliao A NBR ISO/IEC 14598 fornece orientaes e requisitos para o processo de avaliao em trs diferentes situaes: - desenvolvimento (melhorias) (ISO/IEC 14598-3); - aquisio (ISO/IEC 14598-4); - avaliao independente (incluindo avaliao de terceira-parte) (NBR ISO/IEC 14598-5). 5.2.1 Processo para desenvolvedores Convm que a ISO/IEC 14598-3 seja utilizada por organizaes que planejam desenvolver um novo produto ou melhorar um produto existente e pretendam executar avaliao de produto utilizando pessoas de seu prprio corpo tcnico. Seu enfoque se d no uso de indicadores que podem prever a qualidade do produto final atravs da medio de produtos intermedirios desenvolvidos durante o ciclo de vida.

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

5.2.2 Processo para adquirentes Convm que a ISO/IEC 14598-4 seja utilizada por organizaes que planejam adquirir ou reutilizar um produto de software existente, ou previamente desenvolvido. Ela pode ser aplicada para se decidir quanto aceitao de produto ou na seleo entre alternativas de produtos (um produto pode ser autocontido, uma parte de sistema, ou ainda pode ser parte de outro produto maior). 5.2.3 Processo para avaliadores Convm que a NBR ISO/IEC 14598-5 seja utilizada por avaliadores executando julgamento independente de um produto de software. Essa avaliao pode ser executada por solicitao de desenvolvedores, adquirentes ou outra parte interessada. Esta parte da srie destinada queles que executam avaliao independente, os quais freqentemente trabalham para organizaes de terceira parte. 5.3 Apoio para a avaliao Cada uma das normas de processos de avaliao pode ser utilizada em conjunto com a ISO/IEC 14598-2 (Planejamento e gesto) e ISO/IEC 14598-6 (Documentao de mdulos de avaliao) (figura 1).

Apoio avaliao 2. Planejamento e gesto 6. Documentao de mdulos de avaliao

Processo de avaliao

3. Processo para desenvolvedores

4. Processo para adquirentes

5. Processo para avaliadores

Figura 1 - Relacionamento entre as normas do processo de avaliao e as de suporte para a avaliao 5.3.1 Planejamento e gesto A ISO/IEC 14598-2 (Planejamento e gesto) contm requisitos e orientaes relativas s funes de apoio avaliao de produto de software. O apoio est relacionado ao planejamento e gesto de um processo de avaliao de software e atividades associadas, incluindo desenvolvimento, aquisio, normalizao, controle, transferncia e feedback da experincia de avaliao dentro da organizao. Esta parte da NBR ISO/IEC 14598 pode ser usada por gerentes para produzir um plano de avaliao quantitativa. 5.3.2 Mdulos de avaliao A ISO/IEC 14598-6 fornece orientao para documentao de mdulos de avaliao. Esses mdulos contm a especificao do modelo de qualidade (isto , caractersticas, subcaractersticas e mtricas externas e internas correspondentes), as informaes e dados relativos aplicao prevista do modelo e informaes sobre a real aplicao do modelo. Para cada avaliao, so selecionados os mdulos de avaliao adequados. Em alguns casos pode ser necessrio o desenvolvimento de novos mdulos de avaliao. Esta parte da NBR ISO/IEC 14598 pode ser usada por organizaes que produzem novos mdulos de avaliao. 5.4 Caractersticas de qualidade e mtricas de software Convm que cada uma das partes da NBR ISO/IEC 14598 seja utilizada em conjunto com as partes da ISO/IEC 9126 que descrevem as caractersticas de qualidade e mtricas de software: - Caractersticas e subcaractersticas de qualidade (ISO/IEC 9126-1); - Mtricas externas (ISO/IEC 9126-2); - Mtricas internas (ISO/IEC 9126-3). A ISO/IEC 9126-1 define caractersticas de qualidade, subcaractersticas associadas e as relaes entre os trs nveis su1) periores do seu modelo de qualidade. As ISO/IEC 9126-2 e ISO/IEC 9126-3 identificam relacionamentos de cada mtrica (interna e externa) com suas caractersticas e subcaractersticas correspondentes (ver figura 2). notvel que algumas mtricas internas tm correspondncia com mtricas externas. _________________
Para os efeitos desta parte da NBR ISO/IEC 14598, os trs nveis superiores do modelo de qualidade so as caractersticas, subcaractersticas e atributos.
1)

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

1. Caractersticas e subcaractersticas de qualidade

2. Mtricas externas

3. Mtricas internas

Figura 2 - ISO/IEC 9126 Caractersticas de qualidade e mtricas de software 5.4.1 Caractersticas e subcaractersticas de qualidade A ISO/IEC 9126-1 define um conjunto de caractersticas de qualidade e suas subcaractersticas correspondentes. Estas subcaractersticas manifestam-se externamente quando o software utilizado como parte de um sistema computacional e so resultantes de atributos internos de software. A ISO/IEC 9126-1 usada como a base para construo dos trs nveis superiores do modelo de qualidade. O objetivo geral da qualidade sob a perspectiva do usurio a qualidade em uso. 5.4.2 Mtricas externas A ISO/IEC 9126-2 (em elaborao) descreve mtricas que representam a perspectiva externa da qualidade de software quando o software est em uso. As medidas externas so obtidas durante um perodo predefinido enquanto o software est em uso. Valores para dimenses como tempo e esforo so utilizados como base para estas medidas. Estas medidas aplicam-se nas fases de teste e de operao. Quando utilizadas durante a fase de teste elas podem servir como previses antecipadas dos nveis de qualidade que podem ser esperados quando o software estiver em uso e em operao. Estas medidas geralmente representam a qualidade em termos que so relevantes para os usurios. 5.4.3 Mtricas internas A ISO/IEC 9126-3 (em elaborao) descreve mtricas que medem atributos internos do software relacionados ao projeto e ao cdigo. Estas medidas preliminares so utilizadas como indicadores para prever o que pode ser esperado, uma vez que o sistema de software est em teste e operao. Assim sendo, as medidas internas so as mais importantes para gerentes de desenvolvimento, pois so um instrumento valioso para prevenir problemas no processo. Medidas internas so utilizadas para prever valores das medidas externas correspondentes. A ISO/IEC 9126-3 mostra quais mtricas internas possuem mtricas externas correspondentes. 6 Processo de avaliao Para avaliar a qualidade do software, primeiro se estabelecem os requisitos da avaliao, ento se especifica, projeta e executa a avaliao (ver figura 3). Cada etapa est descrita mais detalhadamente nas sees indicadas. Esta parte da NBR ISO/IEC 14598 fornece uma viso geral do processo. As outras partes da NBR ISO/IEC 14598 explicam como o processo se aplica em diferentes circunstncias.
Estabelecer o propsito da avaliao (7.1) Estabelecer requisitos de avaliao Identificar tipos de produto(s) a serem avaliados (7.2) Especificar modelo de qualidade (7.3) 9126-1 Caractersticas de qualidade 9126-2 Mtricas externas 9126-3 Mtricas internas 14598-6 Mdulos de avaliao

Selecionar mtricas (8.1) Especificar a avaliao Estabelecer nveis de pontuao para as mtricas (8.2) Estabelecer critrios para julgamento (8.3) Projetar a avaliao

Produzir o plano de avaliao (9.1)

Obter as medidas (10.1) Executar a avaliao Comparar com critrios (10.2) Julgar os resultados (10.3)

Figura 3 - Processo de avaliao

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

7 Estabelecimento de requisitos de avaliao 7.1 Estabelecimento do propsito da avaliao 7.1.1 Geral O propsito da avaliao da qualidade de software apoiar diretamente o desenvolvimento e a aquisio de software que atenda s necessidades do usurio e do cliente. O objetivo final assegurar que o produto fornea a qualidade requerida que ele atenda as necessidades explcitas e implcitas dos usurios (incluindo operadores, destinatrios dos resultados do software ou mantenedores de software). O propsito da avaliao da qualidade de produto intermedirio pode ser para: - decidir quanto aceitao de um produto intermedirio de um subcontratado; - decidir quanto ao encerramento de um processo e quando enviar produtos para o prximo processo; - prever ou estimar a qualidade do produto final; - recolher informaes sobre produtos intermedirios para controlar e gerenciar o processo. O propsito da avaliao da qualidade de produto final pode ser para: - decidir quanto aceitao do produto; - decidir quando liberar o produto; - comparar o produto com produtos competidores; - selecionar um produto entre produtos alternativos; - analisar os efeitos positivos e negativos da utilizao de um produto; - decidir quando aprimorar ou substituir o produto. A qualidade de software pode ser avaliada ao longo dos processos de desenvolvimento e aquisio referentes ao ciclo de vida de produto, como estabelecido na NBR ISO/IEC 12207. 7.1.2 Aquisio Na aquisio de um produto de software sob encomenda, convm que o adquirente estabelea requisitos de qualidade externa, especifique os requisitos para o fornecedor e avalie compras potenciais em relao a estes requisitos antes da aquisio. Quando um produto est sendo desenvolvido, o objetivo da especificao dos requisitos de qualidade assegurar que o produto atenda as necessidades explcitas e implcitas do usurio (ver ISO/IEC 14598-3). Na compra de um produto de software, a avaliao pode ser utilizada para comparar produtos alternativos e para assegurar que o produto selecionado atende aos requisitos de qualidade (ver ISO/IEC 14598-4 no caso de processo para adquirentes e NBR ISO/IEC 14598-5 no caso de processo para avaliadores, incluindo requisitos para avaliao de terceira parte). 7.1.3 Fornecimento O fornecedor pode utilizar os resultados da avaliao de produto de software para assegurar que os produtos atendem aos critrios de qualidade requeridos, que podem ter sido definidos pelo adquirente, ou por comparao com outros produtos. 7.1.4 Desenvolvimento Os requisitos de produto de software expressam as necessidades do usurio para o produto de software considerado e so definidos antes do desenvolvimento. Se um produto de software dividido em componentes principais, os requisitos derivados do produto global podem variar para os diferentes componentes, bem como requerer critrios de avaliao diferentes. Antes da avaliao da qualidade, convm que os requisitos de qualidade sejam especificados em termos de caractersticas e subcaractersticas de qualidade (ver ISO/IEC 9126-1). No estgio inicial da avaliao, convm que esses requisitos de qualidade sejam estudados e identificados, para o planejamento e implementao da avaliao. Convm que o desenvolvedor estabelea requisitos de qualidade externa para cada caracterstica de qualidade que seja relevante. Convm que a completitude e correo da especificao dos requisitos de qualidade sejam avaliadas para assegurar que todos os requisitos necessrios tenham sido especificados e que requisitos desnecessrios tenham sido excludos. O desenvolvedor necessita avaliar o produto em relao a estes requisitos antes da entrega. As necessidades explcitas e implcitas precisam ser atendidas para que se alcance qualidade. Assim, importante verificar se as necessidades implcitas esto especificadas com detalhes suficientes para cada caracterstica de qualidade relevante. Se possvel, convm que os requisitos sejam avaliados quanto ao atendimento de necessidades implcitas por intermedirios de compras (procurers), compradores e usurios finais. A experincia do usurio com prottipos freqentemente conduz a uma definio mais precisa quanto aos requisitos de qualidade em uso. Convm que o desenvolvedor identifique os requisitos de qualidade interna. Quando so utilizados requisitos de qualidade interna, convm que o desenvolvedor identifique-os usando um modelo de qualidade que os relacione com os requisitos de qualidade externa, e utilize os requisitos internos para verificar a qualidade dos produtos intermedirios durante o desenvolvimento.

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

Convm que a avaliao de software seja utilizada para prever e verificar a qualidade durante o desenvolvimento, especificando requisitos de qualidade interna para os produtos intermedirios no processo de desenvolvimento. A qualidade externa do produto completo para o uso pretendido pode subseqentemente ser avaliada em relao aos requisitos iniciais (ver ISO/IEC 14598-3 no caso do processo de avaliao para desenvolvedores). Os resultados da avaliao da qualidade de software podem ser utilizados para obter feedback sobre o quanto os diferentes processos de desenvolvimento, mtodos de projeto ou ferramentas CASE podem ser utilizados para atender aos requisitos de qualidade. 7.1.5 Operao A organizao que opera um sistema de software pode utilizar a avaliao da qualidade de software para validar se os requisitos de qualidade so atendidos sob diferentes condies de operao, e para fornecer feedback aos responsveis pela manuteno sobre a necessidade de qualquer alterao. 7.1.6 Manuteno A organizao que mantm o sistema de software pode utilizar a avaliao de software para validar se os requisitos de qualidade ainda so atendidos e se os requisitos para manutenibilidade e portabilidade so atingidos. 7.2 Identificar os tipos de produto(s) a serem avaliados O tipo de produto de software, quer seja um dos produtos intermedirios ou final, a ser avaliado depender do estgio no ciclo de vida e do propsito da avaliao (ver figura 4). O objetivo que quando o produto seja realmente utilizado pelo usurio ele atenda s necessidades explcitas e implcitas. A qualidade externa pode ser julgada apenas para um sistema completo de hardware/software do qual o produto de software seja uma parte. As mtricas externas so aplicadas durante a execuo do software. Os valores das medidas externas necessariamente dependem de mais fatores alm do software, assim o software tem que ser avaliado como parte de um sistema em operao. Qualidade em uso o efeito combinado das caractersticas de qualidade relevantes para um usurio em particular (que pode ser um usurio final, operador ou mantenedor). Para o software ter qualidade em uso ele tem que atender s necessidades do usurio para realizar tarefas especficas em ambientes especficos de hardware e software. O software que executa satisfatoriamente em um ambiente pode apresentar defeitos em outro ambiente. A avaliao externa de caractersticas de qualidade deveria como conseqncia ocorrer em condies que simulam o mximo possvel as condies de uso esperadas. Medies externas de caractersticas so realizadas quando o cdigo est completo, contudo como pode no ser possvel simular as condies exatas de utilizao (por exemplo, ambiente de rede e caractersticas do usurio), medidas externas so freqentemente apenas indicadores da real qualidade em uso. Se os requisitos de qualidade externa no so atingidos, os resultados da avaliao podem ser utilizados como feedback para modificar as caractersticas do software para aumentar a qualidade externa, e assim apoiar um processo de melhoria interativo.

Requisitos Qualidade em uso

Operao Necessidades

mundo real

mtricas externas

utilizao e feedback determinam

Especificao
indica

Integrao e teste do sistema mtricas externas

comportamento do sistema

Requisitos de qualidade externa

validao determinam

Qualidade externa

Projeto e desenvolvimento atributos do software Requisitos de qualidade interna

verificao

indica

Qualidade interna

mtricas internas

Figura 4 - Qualidade no ciclo de vida de software

Cpia no autorizada

10

NBR ISO/IEC 14598-1:2001

Para os propsitos de desenvolvimento so definidos requisitos de qualidade interna que permitem verificar a qualidade de produtos intermedirios. As propriedades internas (por exemplo a especificao ou o cdigo fonte) do software podem ser medidas por mtricas internas. Mtricas internas so de muito interesse durante o processo de desenvolvimento. Medidas internas podem ser utilizadas como indicadores de atributos externos. Modularidade e rastreabilidade so exemplos de atributos internos que podem ser medidos. Atingir a qualidade interna requerida ir contribuir para atender aos requisitos externos do software em uso. Medidas da qualidade interna de software podem assim ser utilizadas como indicadores para estimar a qualidade em uso (ver figura 5). Tempo de resposta, por exemplo, uma importante medida, requerida para avaliar a usabilidade e a eficincia do software, mas tempo de resposta no pode ser medido durante o desenvolvimento. Para avaliar a eficincia do produto durante o desenvolvimento, o comprimento do caminho pode ser medido baseado no produto intermedirio ou especificaes, que podem ser utilizados como indicadores que fornecem estimativas grosseiras do tempo de resposta sob certas condies. muito importante que os atributos de qualidade interna de software sejam relacionados com os requisitos de qualidade externa, de maneira que as caractersticas de qualidade de produtos de software em desenvolvimento (itens intermedirios e finais de produtos de software) possam ser avaliadas em relao s necessidades finais da qualidade do sistema em uso. Medidas internas so de pouco valor a no ser que haja evidncias de que elas sejam relacionadas com a qualidade externa.

medem medidas de uso real medem indiretamente indicam medidas externas de software Propriedades externas de sistema computacional qualidade em uso

medem medem indiretamente

indicam medidas internas de software Propriedades internas de software

medem

Figura 5 - Relacionamentos entre medidas e atributos Os atributos especficos que so relevantes para a qualidade final iro depender das condies de uso pretendidas (para um produto interativo dependero das necessidades do eventual usurio final e da tarefa). Outras questes que iro influenciar as necessidades da qualidade do produto de software incluem se o produto est sendo comprado ou desenvolvido, o estgio do desenvolvimento, e o hardware, software e ambiente de rede no qual o produto ser utilizado. Medidas externas de um sistema computacional tambm podem ser utilizadas como medidas indiretas da qualidade interna de software. Assim o tempo de resposta de um sistema computacional pode ser utilizado para medir a eficincia do software em um ambiente de computao especfico. 7.3 Especificar o modelo de qualidade A primeira etapa na avaliao de software consiste em selecionar as caractersticas de qualidade relevantes, utilizando um modelo de qualidade que desdobre a qualidade de software em diferentes caractersticas. Os modelos de qualidade para avaliao de software geralmente representam a totalidade dos atributos de qualidade de software classificados em uma estrutura de rvore hierrquica de caractersticas e subcaractersticas. O nvel mais alto desta estrutura composto pelas caractersticas de qualidade e o nvel mais baixo composto pelos atributos de qualidade do software. A ISO/IEC 9126-1 fornece um modelo de propsito geral que define seis amplas categorias de caractersticas de qualidade de software: funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade. Estas podem ser subdivididas em subcaractersticas que possuem atributos mensurveis. O efeito combinado das caractersticas de qualidade em uma situao particular de uso definido como qualidade em uso. Atributos de qualidade interna de produto de software so as propriedades mensurveis de um produto de software que influenciam a sua capacidade de satisfazer necessidades explcitas e implcitas. Um ou mais atributos podem ser utilizados para avaliar uma caracterstica ou subcaracterstica especfica de qualidade de software (figura 6).

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

11

x x x x x x x x x x x x
atributo subcaracterstica caracterstica Atributos internos

x x x x x x x x x x x x x x x x x x x
x

Atributos externos

Figura 6 - Caractersticas, subcaractersticas e atributos de qualidade Convm que para cada subcaracterstica requerida sejam identificados atributos internos e externos suficientes. As reais caractersticas e subcaractersticas que so relevantes em qualquer situao especfica dependero do propsito da avaliao, e convm que sejam identificadas por um estudo de requisitos de qualidade. A ISO/IEC 9126-1 fornece uma lista de verificao de itens relacionados qualidade, mas outras maneiras de categorizar a qualidade podem ser mais apropriadas em circunstncias especficas.
NOTA - Um exemplo a IEC 60050(191) que define dependabilidade como o quanto um usurio pode depender de modo justificvel do servio fornecido por um sistema. Ela est dividida em caractersticas de confiabilidade, disponibilidade e manutenibilidade. Tambm pode incluir usabilidade, recuperabilidade, segurana, extensibilidade e segurana de acesso.

8 Especificao da Avaliao 8.1 Selecionar mtricas importante que as medies de um produto de software possam ser feitas fcil e economicamente e que as medidas resultantes sejam fceis de usar. Muitas medies de software podem ser feitas convenientemente com algum tipo de ferramenta e podem ser empacotadas como um mdulo de avaliao (ISO/IEC 14598-6). A forma pela qual as caractersticas de qualidade tm sido definidas no permite sua medio direta. necessrio estabelecer mtricas que se correlacionem s caractersticas do produto de software. Todo atributo interno quantificvel do software e todo atributo externo quantificvel do software interagindo com seu ambiente e que se correlacione com uma caracterstica pode ser definido como uma mtrica. Mtricas podem ser diferenciadas, dependendo do ambiente e das fases do processo de desenvolvimento em que so utilizadas. Convm que as mtricas utilizadas no processo de desenvolvimento estejam correlacionadas com as mtricas sob a perspectiva do usurio, pois essas so decisivas.
NOTA - Exemplos de mtricas e uma explanao de como selecionar e sintetizar mtricas para cada subcaracterstica sero apresentados na ISO/IEC 9126-2 e 3 (em desenvolvimento).

8.1.1 Tipos de medies Existem dois amplos objetivos da avaliao: - identificar problemas para que possam ser retificados; e - comparar a qualidade de um produto com produtos alternativos ou com requisitos (inclusive visando certificao). O tipo de medio necessria depender do propsito da avaliao. Se o principal objetivo detectar e corrigir deficincias, vrias medies podem ser feitas no software para monitorar e controlar as melhorias implementadas. Uma grande variedade de medidas pode ser til para estes objetivos, incluindo listas de verificao e opinies de especialistas. O principal requisito que as medies identifiquem corretamente o impacto na qualidade decorrente de qualquer alterao no software. So necessrias medidas mais rigorosas para fazer comparaes confiveis, tanto entre produtos ou com valores determinados a partir de critrios estabelecidos. Convm que os procedimentos de medio meam a caracterstica (ou subcaracterstica) de qualidade de software que eles declaram medir, com acurcia suficiente para permitir que os critrios sejam estabelecidos e as comparaes feitas. importante que a especificao da avaliao apresente um modelo de qualidade preciso e mtodos de medio, escalas e nveis de pontuao para cada mtrica. Dados de lista de verificao e opinies de especialistas podem no ser confiveis quando da comparao de produtos com diferentes atributos. Convm que sejam levados em conta possveis erros de medio causados por ferramentas de medio ou por falha humana. 8.1.2 Requisitos para medies Convm que as mtricas internas tenham validade para efeito de previso, isto , convm que estejam correlacionadas com algum critrio externo desejado. Por exemplo, convm que uma medida interna de um atributo particular de um software esteja correlacionada com algum aspecto mensurvel da qualidade quando o software utilizado. importante que as medies resultem em valores que coincidam com as expectativas; por exemplo, se a medio sugere que o produto de alta qualidade, ento convm que esta constatao seja consistente com a satisfao que o produto proporciona s necessidades especficas de um usurio.

Cpia no autorizada

12

NBR ISO/IEC 14598-1:2001

Mais informaes sobre requisitos para medio podem ser encontradas na ISO/IEC 9126-1. 8.2 Estabelecer nveis de pontuao para as mtricas As particularidades (features) quantificveis podem ser medidas quantitativamente usando-se mtricas de qualidade. O resultado, isto , o valor medido, mapeado numa escala. Este valor por si s no mostra o nvel de satisfao. Para isso, a escala precisa ser dividida em faixas correspondentes aos diversos graus de satisfao dos requisitos. So exemplos: - dividir a escala em duas categorias: satisfatria e insatisfatria; - dividir a escala em quatro categorias delimitadas por: o pior caso, o nvel atual para um produto existente ou alternativo, e o nvel planejado. O nvel atual estabelecido para controlar se o novo sistema no se deteriora em relao situao atual. O nvel planejado o que considerado alcanvel com os recursos disponveis. O pior caso o limite para a aceitao pelo usurio, no caso em que o produto no alcance o nvel planejado (figura 7).

Ultrapassa os requisitos Nvel planejado Valor medido Nvel atual Mnimo aceitvel Pior caso satisfatrio Intervalo-alvo

Inaceitvel

insatisfatrio

Escala de medio

Nveis de pontuao

Figura 7 - Nveis de pontuao para as mtricas 8.3 Estabelecer critrios para julgamento Especificaes de requisitos de qualidade de software devem ser definidas usando um modelo de qualidade apropriado e bem definido. Convm que, para este propsito, o modelo de qualidade e as definies da ISO/IEC 9126-1 sejam usadas, a menos que haja uma razo particular para usar outro modelo. Para julgar a qualidade do produto, o resultado da avaliao de cada caracterstica precisa ser sintetizado. Convm que o avaliador prepare um procedimento para isto, com critrios diferentes para caractersticas de qualidade diferentes, onde cada caracterstica poder estar representada em termos de suas subcaractersticas ou de uma combinao ponderada de subcaractersticas. O procedimento normalmente incluir outros aspectos como tempo e custo, os quais contribuem para o julgamento da qualidade de um produto de software num ambiente particular. 9 Projeto da avaliao 9.1 Produzir o plano de avaliao O plano de avaliao descreve os mtodos de avaliao e o cronograma das aes do avaliador (ver ISO/IEC 14598-3, ISO/IEC 14598-4 ou NBR ISO/IEC 14598-5). Convm que ele esteja consistente com o plano de medies (ISO/IEC 14598-2). 10 Execuo da avaliao 10.1 Obter as medidas Para medio, as mtricas selecionadas so aplicadas ao produto de software. Como resultado obtm-se os valores nas escalas das mtricas. 10.2 Comparar com critrios Na etapa de pontuao, o valor medido comparado com critrios predeterminados (por exemplo, como mostrado na figura 7).

Cpia no autorizada

NBR ISO/IEC 14598-1:2001

13

10.3 Julgar os resultados O julgamento a etapa final do processo de avaliao do software, onde um conjunto de nveis pontuados resumido. O resultado uma declarao de quanto o produto de software atende aos requisitos de qualidade. Ento a qualidade resumida comparada com outros aspectos como tempo e custo. Finalmente uma deciso gerencial ser tomada baseada nos critrios gerenciais. O resultado uma deciso gerencial quanto aceitao ou rejeio, ou quanto liberao ou no do produto de software. Os resultados da avaliao so importantes para decises sobre os prximos passos no ciclo de vida de desenvolvimento do software. Por exemplo, os requisitos devem ser alterados ou so necessrios mais recursos para o processo de desenvolvimento? 11 Processos de apoio Essas so atividades de suporte avaliao: coleta de informaes sobre ferramentas e mtodos de avaliao, desenvolvimento e validao de mtricas e padronizao de mtricas, medies e do processo de avaliao. A ISO/IEC 14598-2 contm requisitos e orientaes aos processos de apoio para avaliao de produto de software.

_________________ /BIBLIOGRAFIA

Cpia no autorizada

14

NBR ISO/IEC 14598-1:2001

Bibliografia Normas Internacionais [1] [2] [3] [4] [5] IEC 60050(191) International electrotechnical vocabulary - Dependability and quality of service. IEEE 610.12-1990 Standard Glossary of Software Engineering Terminology. ISO/IEC 9126-2: Information Technology - Software product quality - Part 2: External metrics (em desenvolvimento). ISO/IEC 9126-3: Information Technology - Software product quality - Part 3: Internal metrics (em desenvolvimento). ISO 9241-11:1998: Ergonomic requirements for office work with visual display terminals (VDTS) - Part 11: Guidance on usability.

Outras referncias [6] Arthur, J.D. and Nance, R.E., Developing an automated procedure for evaluating software development methodologies and associated products- A final report, Technical report SRC-87-007, Systems Research Center and Virginia Tech, 1987 Azuma, M (Editor), Software Quality Evaluation Guide Book (Japanese), JISA, 1994 Azuma, M. Software Products Evaluation System: Quality Models, Metrics and Processes - International Standards and Japanese Practice, Information and Software Technology, Vol. No., 1996, Elsevier Basili, V.R. and Rombach, H.D., The TAME Project: Towards improvement oriented software environments, IEEE Trans. Software engineering, June 1988

[7] [8] [9]

[10] Bevan N Measuring usability as quality of use. Journal of Software Quality, 4, p115-130, 1995. [11] Bevan N and Azuma M (1997) Quality in use: Incorporating human factors into the software engineering lifecycle. In: Proceedings of the Third IEEE International Software Engineering Standards Symposium and Forum (ISESS97), p169-179. [12] Boehm, B.W., et al., Quantitative evaluation of software quality, Proc. ICSE 1976 [13] Bush, M and Russel, M., Software Engineering Measurement: A Modular Course, Proc. COMPSAC'91 P571 -576 [14] Dumke, R. Softwareentwicklung nach Masz (German), Vieweg, 1992 [15] Fenton NE and Pfleeger SL, Software Metrics: A Rigorous and Practical Approach, International Thomson Computer Press, 1996. [16] McCabe, T.J. A Software Complexity Measure, IEEE Transaction on Software Engineering, Vol. 2, No. 6, 1976 [17] McCall et al., Rome Air Develop Center Report, TR-77-369, 1977 [18] Moller, K.H. and Paulish, D.J. Software Metrics, Chapman & Hall (IEEE Press), 1993 [19] Miyoshi, Togashi and Azuma, Evaluating software development environment quality, Proc. COMPSAC'89, 1989 [20] Natale, D. Qualita E Quantita Nei Sistemi Software (Italian), FrancoAngeli, 1995 [21] Sunazuka, T., and Azuma, M., Software quality assessment technology, Proc. ICSE 1985 [22] Wallmuller, E. Software Quality Assurance A practical approach, Prentice Hall, 1994 [23] Zuse, H., Software Complexity - Measures and Methods, Walter de Gruyter, 1991

_________________