Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 1 SM2012-S1C6

EVALUACIN DEL DESEMPEO EN LOS ENSAYOS DE APTITUD
DE LOS LABORATORIOS DE CALIBRACIN Y EL IMPACTO EN
SUS CMCs

Luis O Becerra, Luis M Pea
Centro Nacional de Metrologa
km 4.5 Carretera a los Cus, Mpio. El Marqus, Quertaro, Mxico
442 2 11 05 73, lbecerra@cenam.mx, lpena@cenam.mx

Resumen: Los Ensayos de Aptitud (EA) son una herramienta ampliamente utilizada que permite a los
laboratorios de calibracin evaluar su desempeo. Por otro lado, los EA ayudan a validar las declaraciones
de incertidumbre de los laboratorios y genera confianza en los clientes sobre sus servicios. En el presente
trabajo se presenta una propuesta para establecer el valor de incertidumbre de las CMCs de los laboratorios
en funcin de su desempeo en los EA.


1. INTRODUCCIN
Con el fin de generar confianza a los clientes en los
servicios de calibracin y/o pruebas y soportar sus
Capacidades de Medicin y Calibracin (CMCs), los
laboratorios participan en Ensayos de Aptitud (EA),
con los cuales se puede evaluar su desempeo y
detectar oportunidades de mejora en su sistema de
medicin.

Por lo anterior, el desempeo de los laboratorios en
los EA incide directamente en el reconocimiento de
sus CMCs.

En el presente trabajo se presenta una propuesta
para establecer el valor de incertidumbre de las
CMCs de los laboratorios en funcin de su
desempeo en los EA.


2. EVALUACIN DEL DESEMPEO DE LOS
LABORATORIOS DE CALIBRACIN
Con la intencin de ayudar a interpretar los
resultados de los laboratorios as como permitir la
comparacin de objetivos especficos, usualmente
se requiere calcular un estadstico para evaluar el
desempeo de los laboratorios. La norma ISO/IEC
17043 [1] propone, entre otros estadsticos, el zeta
score (ec. 1) y el error normalizado E
n
(ec. 2), los
cuales son muy utilizados en la evaluacin del
desempeo de laboratorios de calibracin
1
.

x
i
-X
rc]
_u
2
(x
i
)+u
2
(X
rc]
)
(1)


1
Las formulas (1) y (2) se presentan para el caso en el
que no existe correlacin entre el valor de referencia y el
resultado del laboratorio.
n
x
i
-X
rc]
2_u
2
(x
i
)+u
2
(X
rc]
)
(2)

Donde:

zeta score
n
error normalizado

resultado del laboratorio

incertidumbre estndar del

laboratorio
c]
valor de referencia
c]
incertidumbre estndar del valor de
referencia

El criterio para la evaluacin del desempeo para
es,

satisfactorio
cuestionable
no satisfactorio

Para
n
el criterio de desempeo es el siguiente,

n
satisfactorio
n
no satisfactorio

Ambos estadsticos son muy similares, y los datos
de entrada son el resultado declarado por el
laboratorio x
i
, u(x
i,
) y el valor de referencia del EA,
X
ref
, u(X
ref
).

2.1 Valor de referencia
La eleccin del valor de referencia es una de las
actividades ms importantes en la elaboracin del
plan de un ensayo de aptitud, ya que el criterio de
desempeo de los laboratorios participantes
depende de ste.
Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 2 SM2012-S1C6

La ISO/IEC 17043 [1] propone los siguientes
procedimientos para obtener el valor de referencia,
los cuales estn ordenados de menor a mayor
incertidumbre del valor asignado:

Valores conocidos
Valores de referencia certificados
Valores de referencia
Valores consensados por participantes
expertos
Valores consensados por participantes

La intencin es que el valor de referencia del EA
sea asignado de tal manera que los laboratorios
participantes sean evaluados justamente.

3. PROBABILIDAD DE QUE EL VALOR DE
REFERENCIA SE ENCUENTRE CONTENIDO
DENTRO DEL INTERVALO DE PROBABILIDAD
DEL RESULTADO DEL LABORATORIO
Los criterios de desempeo sealados en el Cap. 2,
en esencia indican si la diferencia entre el resultado
del laboratorio y el valor de referencia, es menor a la
incertidumbre combinada de dicha diferencia.

Considerando que tanto el resultado del laboratorio
como el valor de referencia del EA se pueden
expresar como intervalos de probabilidad
provenientes de una distribucin de probabilidad
normal, se puede calcular la probabilidad de que el
valor verdadero del mensurando, con media
c]
y
desviacin estndar
c]
, se encuentre dentro
del intervalo de probabilidad del valor declarado por
el laboratorio con media

y desviacin estndar

, ver figura 1.

Los lmites para el intervalo de probabilidad del valor
declarado por el laboratorio sern:



(3)

es la incertidumbre expandida con

del valor declarado por el
laboratorio.

De la figura 1, se podra asumir una situacin ideal
(supuesto 1) en donde el intervalo de confianza
estimado para el resultado del laboratorio cubre el
valor de referencia; sin embargo, en los supuestos 2
y 3 en donde al considerar la incertidumbre del valor
de referencia, parte del intervalo de probabilidad de
dicho valor no estara cubierto por el intervalo de
probabilidad del valor declarado por laboratorio.
Este problema se puede abordar estimando la
probabilidad de que el valor de referencia est
dentro del intervalo declarado por el laboratorio [2,
3].


Fig. 1. Valor de referencia y resultado del
laboratorio en un EA representados como intervalos
de probabilidad.

La probabilidad de que el intervalo de confianza
estimado por el resultado del laboratorio incluye el
intervalo de confianza estimado por el valor de
referencia, se puede calcular con la siguiente
expresin asumiendo normalidad en los resultados,

b-X
rc]
u(X
rc]
)
u-X
rc]
u(X
rc]
)
(4)

donde:
es el valor de probabilidad
es la funcin estndar de distribucin
acumulada para la distribucin de
probabilidad normal.

4. EJEMPLOS
Se presentan como ejemplos, los resultados de
cuatro laboratorios participantes en un EA para la
calibracin de pesas clase F
2
[6]. Los valores
Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 3 SM2012-S1C6
corresponden a las correcciones en masa
convencional de una pesa cuyo valor nominal es de
500 g. De acuerdo con [6], la incertidumbre de
calibracin requerida (con k=2) para esta pesa
deber ser menor o igual a 2.7 mg.

Caso 1 Para el primer caso se evaluar el
desempeo de un laboratorio contra un valor de
referencia cuya incertidumbre es de un tercio de la
incertidumbre de la incertidumbre del resultado del
laboratorio.

Tabla 1. Valor de referencia y resultado del
laboratorio.
Valor u, k =1 U, k =2
X
ref
0.00 mg 0.30 mg 0.60 mg
x
i
1.0 mg 1.0 mg 2.0 mg


Fig. 2. Valor de referencia y resultado del
laboratorio mostrados con incertidumbre expandida.

El error normalizado calculado para el laboratorio es
n
0.48, por lo tanto cumple con el criterio de
desempeo y al calcular el valor de la probabilidad
resulta 99.96 % lo que indica que el intervalo
de confianza del resultado del laboratorio cubre el
valor de referencia.

Caso 2. En este ejemplo, se evaluar el desempeo
de un laboratorio emite una incertidumbre de un
tercio de la incertidumbre del valor de referencia,

Tabla 2. Valor de referencia y resultado del
laboratorio.
Valor u, k =1 U, k =2
X
ref
0.00 mg 0.30 mg 0.60 mg
x
i
0.10 mg 0.10 mg 0.20 mg


Fig. 3. Valor de referencia y resultado del
laboratorio mostrados con incertidumbre expandida.

El error normalizado calculado para el laboratorio es
n
0.16, por lo tanto cumple con el criterio de
desempeo y al calcular el valor de la probabilidad
resulta 47.2 % lo que indica una baja
probabilidad de que el intervalo de confianza del
resultado del laboratorio cubra el valor de
referencia.

Caso 3. En el tercer ejemplo se evaluar el
desempeo de un laboratorio contra un valor de
referencia cuya incertidumbre es de un tercio de la
incertidumbre del resultado del laboratorio, al igual
que en el primer caso pero la diferencia es mayor.

Tabla 3. Valor de referencia y resultado del
laboratorio.
Valor u, k =1 U, k =2
X
ref
0.00 mg 0.30 mg 0.60 mg
x
i
2.0 mg 1.0 mg 2.0 mg


Fig. 4. Valor de referencia y resultado del
laboratorio mostrados con incertidumbre expandida.

El error normalizado calculado para el laboratorio es
n
0.96, por lo tanto cumple con el criterio de
desempeo y al calcular el valor de la probabilidad
1.50
1.00
0.50
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
Xref xi
V
a
l
o
r
e
s

(
m
g
)
Caso1
0.80
0.60
0.40
0.20
0.00
0.20
0.40
0.60
0.80
Xref xi
V
a
l
o
r
e
s

(
m
g
)
Caso2
1.00
0.00
1.00
2.00
3.00
4.00
5.00
Xref xi
V
a
l
o
r
e
s

(
m
g
)
Caso3
Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 4 SM2012-S1C6
resulta 50.0 % que al igual que en el caso
anterior indica una baja probabilidad de que el
intervalo de confianza del resultado del laboratorio
cubra el valor de referencia.

Caso 4. En esta situacin se evala el desempeo
de un laboratorio que emite una incertidumbre igual
a la incertidumbre del valor de referencia pero
presenta una diferencia significativa.

Tabla 4. Valor de referencia y resultado del
laboratorio.
Valor u, k =1 U, k =2
X
ref
0.00 mg 0.30 mg 0.60 mg
x
i
1.0 mg 0.30 mg 0.60 mg


Fig. 5. Valor de referencia y resultado del
laboratorio mostrados con incertidumbre expandida.

El error normalizado calculado para el laboratorio es
n
1.18, por lo tanto no cumple con el criterio de
desempeo y al calcular el valor de la probabilidad
resulta 9.12 % lo que indica una probabilidad
muy baja de que el intervalo de confianza del
resultado del laboratorio cubra el valor de
referencia.


5. INCERTIDUMBRE DE LOS CMCs EN
FUNCIN DEL DESEMPEO DE LOS
LABORATORIOS DE CALIBRACIN EN LOS EA
En los casos 1, 2 y 3 el error normalizado calculado
es menor a 1, sin embargo no se puede ignorar que
la probabilidad calculada para que el intervalo de
confianza que se obtiene con el resultado declarado
por los laboratorios participantes cubra el intervalo
de confianza del valor de referencia es bajo
(alrededor del 50 %), por otro lado, el resultado
declarado por el laboratorio participante en el caso
4, evidentemente no puede soportar un valor de
incertidumbre de su CMC igual a la incertidumbre
obtenida en el EA, pero podra aceptarse un valor
de incertidumbre mayor a la declarada en el EA
para su CMC?. De ser posible, cul sera un valor
de incertidumbre aceptable en su CMC en vista de
su participacin en el EA?

En la opinin de los autores, para todos los casos
se puede aceptar un valor de incertidumbre
apropiado que estime correctamente todas las
posibles fuentes de incertidumbre y que otorgue a
sus usuarios una probabilidad aceptable (p. ej.
mayor al 90 %) de que el intervalo de confianza
asociado al resultado emitido por ste cubre el valor
verdadero del mensurando.

Para estimar el valor de los CMCs se deben
considerar los siguientes supuestos:

El valor de referencia tiene trazabilidad, y es
confiable. El valor verdadero del mensurando
est contenido en el intervalo de confianza del
valor de referencia.
La estimacin de la incertidumbre del laboratorio
es acorde a su sistema de medicin.
La diferencia entre el valor de referencia y el
valor del laboratorio se debe a algn efecto
sistemtico posiblemente atribuible a este ltimo,
que no fue evaluado en la incertidumbre.
El intervalo de confianza asociado al resultado
de medicin de un laboratorio debe cubrir el
valor verdadero del mensurando con una alta
probabilidad y la incertidumbre de este valor
debe ser congruente con sus CMCs.

Un laboratorio de calibracin, en vista de su
participacin en un EA, debera estimar la
incertidumbre asociada a su CMC agregando dos
nuevas componentes, la primera debida a la
incertidumbre del valor de referencia del EA, y una
segunda debida a la diferencia de su resultado y el
valor de referencia. Esta ltima considerando al
sesgo mostrado en el EA
c]
, como un semi-
intervalo proveniente de una distribucin de
probabilidad uniforme.

La incertidumbre expandida (k =2) que el laboratorio
debe declarar en su CMC debe corresponder a la
siguiente expresin:

2

2
c]
(x
i
-X
rc]
)
2
3
(5)

Para los cuatro casos presentados en este trabajo
se estimaron los lmites inferiores que pueden
1.00
0.50
0.00
0.50
1.00
1.50
2.00
Xref xi
V
a
l
o
r
e
s

(
m
g
)
Caso4
Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 5 SM2012-S1C6
presentar como CMCs los laboratorios, U(CMC), as
como el valor de probabilidad de que el intervalo de
confianza asociado al resultado del laboratorio con
el nuevo valor de la incertidumbre estimada para el
CMC, cubra el intervalo de confianza del valor de
referencia del EA, . Los resultados se muestran en
la tabla 5.


Tabla 5. Resumen de los datos de los ejemplos presentados en el captulo 4, as como los errores
normalizados calculados, la incertidumbre expandida de las CMCs que se soportaran as como los valores
de probabilidad calculados con esta nueva estimacin de incertidumbre.

Xref U(Xref), k=2 xi U(xi) , k=2 dif. En p
U (CMC), k=2

p'
caso 1 0.00 mg 0.60 mg 1.0 mg 2.0 mg -1.00 mg 0.48 99.96% 2.4 mg y 100.00%
caso 2 0.00 mg 0.60 mg 0.10 mg 0.20 mg -0.10 mg 0.16 47.19% 0.64 mg y 95.82%
caso 3 0.00 mg 0.60 mg 2.0 mg 2.0 mg -2.00 mg 0.96 50.00% 3.1 mg y 99.99%
caso 4 0.00 mg 0.60 mg 1.00 mg 0.60 mg -1.00 mg 1.18 9.12% 1.43 mg y 92.55%

Los datos mostrados en la tabla 5 se presentan
grficamente en las figuras 6 a 9.


Fig. 6. Valor de referencia, y resultado del
laboratorio mostrados con incertidumbre expandida
y con la incertidumbre de la CMC estimada, para el
caso 1.


Fig. 7. Valor de referencia, y resultado del
laboratorio mostrados con incertidumbre expandida
y con la incertidumbre de la CMC estimada, para el
caso 2.


Fig. 8. Valor de referencia, y resultado del
laboratorio mostrados con incertidumbre expandida
y con la incertidumbre de la CMC estimada, para el
caso 3.


Fig. 9. Valor de referencia, y resultado del
laboratorio mostrados con incertidumbre expandida
y con la incertidumbre de la CMC estimada, para el
caso 4.

2.00
1.00
0.00
1.00
2.00
3.00
4.00
Xref xi CMC
V
a
l
o
r
e
s

(
m
g
)
Caso1
0.80
0.60
0.40
0.20
0.00
0.20
0.40
0.60
0.80
1.00
Xref xi CMC
V
a
l
o
r
e
s

(
m
g
)
Caso2
2.00
1.00
0.00
1.00
2.00
3.00
4.00
5.00
6.00
Xref xi CMC
V
a
l
o
r
e
s

(
m
g
)
Caso3
1.00
0.50
0.00
0.50
1.00
1.50
2.00
2.50
3.00
Xref xi CMC
V
a
l
o
r
e
s

(
m
g
)
Caso4
Simposio de Metrologa 2012 8 - 12 de Octubre, 2012

Registro ISBN e ISSN en trmite 6 SM2012-S1C6
6. CONCLUSIONES
Las tres contribuciones identificadas para estimar la
incertidumbre mnima a declarar como CMC
soportada por la participacin en un EA son:

i. La incertidumbre declarada por el laboratorio
ii. La incertidumbre del valor de referencia
iii. El sesgo obtenido en el EA

Por lo tanto es muy importante que el laboratorio
mantenga bajo control dichas contribuciones.

La primera y la tercera de ellas dependen del
sistema de medicin del laboratorio. Es importante
que la participacin del laboratorio en el EA sea
realmente representativa del sistema de medicin
con el que usualmente ofrece los servicios
relacionados a los CMCs. En los casos 1 y 3 esta es
la contribucin dominante de la incertidumbre
estimada para sus CMCs, ver figuras 6 y 8.

La segunda contribucin depende del proveedor del
EA, as que un laboratorio que se encuentre en una
situacin similar al caso 2, ver figura 7, se observa
que la estimacin del valor lmite de incertidumbre
de la CMC va a estar dominada por la incertidumbre
del valor de referencia, siendo esta situacin nada
deseable; por el contrario, la situacin ideal sera
que la contribucin del valor referencia no impactara
significativamente en el valor de incertidumbre de la
CMC. Por tal motivo, se debe elegir con cuidado el
ensayo de aptitud en el cual se desea participar.

Finalmente, la tercera contribucin depende del
sesgo presentado en el EA, situacin ejemplificada
con el caso 4, ver figura 9, en cuyo caso se requiere
de un especial anlisis de las posibles causas de
dicho comportamiento.

Bajo esta ptica, en todos los casos, el criterio de
desempeo depende que cul sea el valor de la
incertidumbre del CMC que se desea soportar con
el EA con relacin a la estimacin del valor lmite de
la incertidumbre del CMC calculada de acuerdo a su
participacin en un EA.

Esto es, para el servicio de calibracin de pesas de
500 g, clase F
2
, la incertidumbre requerida de
acuerdo a [6] es U = 2.7 mg (k =2), de los cuatro
laboratorios analizados en el ejemplo, slo el
laboratorio correspondiente al caso 3 no podra
soportar dicha CMC, los otros tres podran hacerlo,
independientemente del valor del error normalizado
calculado para cada caso.

Con lo expuesto en este trabajo, se plantea una
propuesta innovadora para determinar un valor
apropiado en la incertidumbre que ofrecen los
laboratorios para declarar en sus CMCs, con base
en su desempeo demostrado por la participacin
en un EA. El valor incertidumbre, U(CMC),
considerado como el lmite inferior de la CMC del
laboratorio, garantiza con un valor de probabilidad
alto, que el laboratorio es capaz de obtener el valor
verdadero del mensurando. Por esta razn, los
laboratorios deben elegir con sumo cuidado el EA
para demostrar su desempeo, ya que el valor de
referencia y su incertidumbre asociada a este ltimo
juega un rol transcendental dado que impactar
directamente en el valor de la CMC que pretenda
soportar.


REFERENCIAS

[1] ISO/IEC 17043:2010 Conformity assessment
General requirements for proficiency testing.
[2] OIML TC 3/SC 5/N1 Draft 2009 - The role of
the uncertainty in conformity assessment
decision in legal metrology
[3] J CGM 106 Draft 2009 - Evaluation of
measurement data The role of measurement
uncertainty in conformity assessment
[4] ISO/IEC 17000:2004 "Conformity assessment
Vocabulary and general principles".
[5] BIPM, IEC, IFCC, ISO, IUPAC, IUPAP & OIML,
J CGM 100:2008, GUM 1995 with minor
corrections, Evaluation of measurement data
Guide to the expression of uncertainty in
measurement. September 2008.
[6] OIML R111:2004 Weights of classes E
1
, E
2
, F
1
,
F
2
, M
1
, M
12
, M
2
, M
23
and M
3
. Part 1:
Metrological and technical requirements.