Journal Information
Vol. 44. Issue 10.
Pages 578-579 (October 2008)
Share
Share
Download PDF
More article options
Vol. 44. Issue 10.
Pages 578-579 (October 2008)
CARTAS AL DIRECTOR
Full text access
Metodología estadística en los estudios de comparación de métodos de medida
Visits
23879
José-Francisco Pascual-Lledó, Carmen Contreras Santos, Carlos Martín Carrasco
Unidad de Neumología. Hospital La Inmaculada. Huércal-Overa. Almería. España
This item has received
Article information
Full Text
Bibliography
Download PDF
Statistics
Tables (1)
Tabla I. Estudios de validación del medidor de óxido nítrico en aire exhalado y método estadístico utilizado
Full Text

Sr. Director: Hemos leído con interés el artículo de Fortuna et al1, recientemente publicado, sobre la determinación de óxido nítrico en aire espirado (FENO) con el equipo portátil NIOX-MINO® (Aerocrine, Solna, Suecia). Su trabajo se incluye dentro de los denominados estudios de comparación de métodos de medida o estudios de concordancia de métodos, en este caso, de medidas cuantitativas. Uno de los objetivos de este tipo de estudios es evaluar la fiabilidad de las medidas de nuevos equipos de medida2. Para ello los autores comparan las medidas tomadas con el equipo NIOX-MINO® Aerocrine con las obtenidas con un equipo estándar, que consideran de referencia, el sensor de quimioluminiscencia N-6008® (SIR, Madrid, España) y llevan a cabo el análisis estadístico mediante una comparación de valores medios, utilizando el test de Mann-Whitney, y mediante el cálculo del coeficiente de correlación de Pearson para la comparación de resultados individuales. Los autores basan la conclusión de que el equipo es fiable en el hecho de que existe una muy buena correlación de cada determinación de FENO para ambos equipos (r = 0,92; p = 0,001) y dan un intervalo de valores de referencia, con un punto de corte superior que estiman mediante la media más 2 desviaciones estándar.

Se ha demostrado que este método estadístico para evaluar la concordancia entre medidas cuantitativas es insuficiente y que la interpretación del coeficiente de correlación de Pearson como una medida de concordancia es errónea3,4. La igualdad de medias tan sólo garantiza que los 2 métodos se centran en el mismo valor, pero en ningún caso que todos sus valores sean iguales. Más aún, en el caso que nos ocupa, los autores utilizan para la comparación de medias el test de Mann-Whitney, que es una prueba no paramétrica de comparación de medias para grupos independientes; sin embargo, al tratarse de medidas apareadas, deberían haber utilizado el test no paramétrico para la comparación de medias de medidas apareadas, que es la prueba de la T de Wilcoxon. Aunque otros autores también han utilizado sólo el coeficiente de correlación de Pearson (tabla I, trabajos 2, 8 y 11), este valor únicamente indica la fuerza de asociación entre 2 variables (los próximos que están los puntos de los 2 métodos de medida a la recta de regresión) y que dicha relación es lineal, pero no necesariamente que dicha recta sea la bisectriz; ni siquiera una correlación perfecta es sinónimo de concordancia perfecta3,4. Además, los autores no aportan un intervalo de confianza para dicho coeficiente. Calculado por nosotros, dicho intervalo del 95% es de 0,83 a 0,96, lo que implica que valores posibles de dicho coeficiente podrían ser inferiores a 0,90, los cuales empíricamente se han clasificado como correlación sólo buena. Otros trabajos, no mencionados por los autores, ofrecen coeficientes de correlación de Pearson mucho más cercanos a 1 (tabla I).

Tabla I.

Estudios de validación del medidor de óxido nítrico en aire exhalado y método estadístico utilizado

Trabajoa  Coeficiente de correlación de Pearson  Coeficiente de correlación intraclase  Gráfico de Bland y Altman  Coeficiente de concordancia de Bland y Altman 
0,97 y 0,98  Sí  Sí  Sí 
0,97 y 0,98  No  No  No 
  No  No  Sí 
0,992  No  Sí  Sí 
0,977  No  Sí  No 
6 y 7    Sí  Sí  Sí 
0,99  No  No  No 
9 y 10  0,94 y 0,96  No  Sí  No 
11  0,94-0,99b  No  No  No 
a

Relación de trabajos:

  • 1.

    Alving K, Janson C, Nordvall L. Performance of a new hand-held device for exhaled nitric oxide measurement in adults and children. Respir Res. 2006;7:67 [consultado 01/07/2007]. Disponible en: http://www.nioxmino.con/pdffiles/Alving_Janson_Nordvall.pdf y en http://respiratory-research.com/content/7/1/67

  • 2.

    Nordvall SL, Janson C, Alving K. Agreement between NIOX® (stationary device) and NIOX MINO® (hand-held device) for fractional exhaled nitric oxide (FENO) measurements in adults and children. Actas de World Allergy Congress; 2005, junio 26-29; Munich. Poster session 1, Poster No. 164 [consultado 01/07/2007]. Disponible en: http://www.nioxmino.com/pdffiles/WAC-poster.pdf

  • 3.

    Nordvall SL, Janson C, Alving K. Agreement between NIOX and the new hand-held NIOX MINO for FENO measurements in adults and children. Actas de American Thoracic Society 2005 International Conference; 2005, mayo 20-25; San Diego. Poster Discussion Session, Poster 801, A309 [consultado 03/07/2007]. Disponible en: http://www.filt.de/Hauptmenue/Akatuelles/Page10464/Abstracts_for_eNO_at_ATS_2005.pdf.

  • 4.

    Sovijarvi ARA, Jarvinen H, Uusi-Simola J, Nikkinen P, Piirila PL. Accuracy and repeatability of a handheld nitric oxide analyzer in adults with respiratory symptoms. European Respiratory Society Annual Congress; 2005, septiembre 17-21; Copenhagen. Poster 3670 [consultado 01/07/2007]. Disponible en: http://www.nioxmino.com/pdffiles/ers-poster.pdf

  • 5.

    Vahlkvist S, Sinding M, Skamstrup K, Bisgaard H. Daily home measurements of exhaled nitric oxide an asthmatic children during natural birch pollen exposure. J Allergy Clin Immunol. 2006;117:1272-6.

  • 6.

    Turner SW, McGill C, MalikG. Validation of a hand-held exhaled nitric oxide analyser for use in children. Actas de American Thoracic Society 2006 International Conference; 2006, mayo 19-24; San Diego. Poster presentation [consultado 01/07/2007]. Disponible en: http://www.nioxmino.com/pdffiles/MINO%20study.pdf

  • 7.

    McGill C, Malik G, Turner SW. Validation of hand-held exhaled nitric oxide analyzer for use in children. Pediatr Pulmonol. 2006;41:1053-7.

  • 8.

    Torre O, Spencer A, Olivieri D, Parnes PJ, Kharitonov SA. Feasibility and repeatability of fractional exhaled nitric oxide (FENO) measurements using a hand-held NO monitoring device in asthma in general practice. Actas de American Thoracic Society 2006 International Conference; 2006, mayor 19-24; San Diego. Volume 3, Abstracts Issue, p. A484 [consultado 01/07/2007]. Disponible en: http://www.nioxmino.com/pdffiles/ATS_Torre.pdf

  • 9.

    Nair A, Menzies D, Lipworth BJ. Portable exhaled nitric oxide measurement: comparison with the gold-standard technique. Abstracts, British Thoracic Society Winter Meeting 2006, December 6-8, 2006, London. Thorax. 2006;61 Suppl 2:75. Actas de British Thoracic Society Winter Meeting 2006; 2006, diciembre 6-8; London. Poster P059 [consultado 01/07/2007]. Disponible en: http://www.nioxmino.com/pdffiles/BTS%20P059.pdf

  • 10.

    Menzies D, Nair A, Lipworth BJ. Portable exhaled nitric oxide measurement: comparison with the "goldstandard" technique. Chest. 2007;131:410-4.

  • 11.

    Chen W, Purohit A, Barnig C, Casset A, De Blay F. Niox® and NioxMino®: comparison of exhaled NO in grass pollen allergic adult volunteers. Allergy. 2007;62:571-2.

b

Intervalo de confianza del 95%, del coeficiente de correlación.

Entre los procedimientos actualmente más utilizados para determinar la concordancia entre medidas cuantitativas figuran: a) métodos analíticos, a través del cálculo de diferentes coeficientes que evalúan concordancia, como el coeficiente de correlación intraclase o el coeficiente de correlación-concordancia de Lin, modelos de regresión (modelos de regresión de Deming y de Passing-Bablock), ANOVA de medidas repetidas y modelos de ecuaciones estructurales3, y b) métodos gráficos como el método de Bland y Altman4 (en este caso también se calcula un intervalo de concordancia), el gráfico de distribución acumulativa empírica –"gráfico montaña" (mountain plot)– o el gráfico de la concordancia-supervivencia (survival-agreement plot)2,5. Ninguno de estos análisis se realizó en el estudio comentado. Una revisión más exhaustiva de la literatura médica (p. ej., en http://www.nioxmino.com/references.html) muestra diversos estudios que sí utilizan algunos de estos métodos (tabla I). De hecho, un aspecto relevante del uso de los gráficos de Bland y Altman es que algunos estudios demuestran que la relación entre los valores apareadas de FENO con los 2 equipos de medida es heterocedástica, es decir, a mayores valores de FENO, mayores son las diferencias entre las medidas (tabla I, trabajos 6 y 7).

Por otro lado, como hemos mencionado en la introducción, los autores dan un valor de corte, como valor de referencia, a partir de la media más 2 desviaciones estándar. Aunque los resultados obtenidos se encuentren dentro de los establecidos por otros autores, este enfoque de cálculo de valores de referencia sólo puede aplicarse si las variables siguen distribuciones normales6. En este sentido tampoco se aporta ninguna prueba estadística (analítica o gráfica) que demuestre que dichas variables siguen dicha distribución. De hecho, en otros trabajos se han efectuado transformaciones logarítmicas para normalizar la variable (tabla I, trabajos 5 y 10).

Aunque los autores describen las bondades de la medida de FENO con el nuevo equipo (sencillez, rapidez, manejabilidad, coste, etc.) y su utilidad en el diagnóstico y seguimiento del paciente asmático, no puede desprenderse del análisis de sus datos que dicho equipo sea concordante (fiable) con el usado como referencia ni que los valores de referencia aportados sean válidos sin aportar información acerca de la forma de la distribución de la variable.

Afortunadamente, un buen estudio con un análisis insuficiente siempre se puede volver a analizar. Creemos que debería aportarse la información mencionada para que pueda demostrarse la validación del equipo NIOXMINO® Aerocrine en población española. Hay paquetes estadísticos (MedCalc®) que incorporan directamente un procedimiento de comparación de métodos en el que el cálculo de la mayoría de coeficientes antes mencionados, modelos de regresión descritos y métodos gráficos propuestos están implementados, sin que sea necesaria la manipulación algebraica de las variables originales para llevarlos a cabo (SPSS sólo tiene implementado el procedimiento para el cálculo del coeficiente de correlación intraclase). Animamos a los autores a que completen su análisis y aporten los datos pertinentes que demuestren realmente la validación (fiabilidad) de dicho equipo en población española.

Bibliografía
[1.]
A.M. Fortuna, T. Feixas, P. Casan.
Determinación de óxido nítrico en aire espirado (FENO) mediante un equipo portátil (NIOX-MINO® Aerocrine) en población sana.
Arch Bronconeumol, 43 (2007), pp. 176-179
[2.]
Pita Fernández S, Pertegás Díaz S. La fiabilidad de las mediciones clínicas: el análisis de concordancia para variables numéricas [consultado 01/07/2007]. Disponible en: http://www.fisterra.com/mbe/investiga/conc_numerica/conc_numerica.htm
[3.]
J. Lluís Carrasco, L.L. Jover.
Métodos estadísticos para evaluar la concordancia.
Med Clin (Barc), 122 (2004), pp. 28-34
[4.]
D.G. Altman, J.M. Bland.
Measurement in medicine: the analysis of method comparison studies.
The Statistician, 32 (1983), pp. 307-317
[5.]
R.R. Luiz, A.J.L. Costa, P.L. Kale, G.L. Werneck.
Assessment of agreement of a quantitative variable: a new graphical approach.
J Clin Epidemiol, 56 (2003), pp. 963-967
[6.]
E.M. Wright, P. Royston.
Calculating reference intervals for laboratory measurements.
Stat Methods Med Res, 8 (1999), pp. 93-112
Copyright © 2008. Sociedad Española de Neumología y Cirugía Torácica
Archivos de Bronconeumología
Article options
Tools

Are you a health professional able to prescribe or dispense drugs?