Análisis de contenido en SPSS y KALPHAProcedimiento para un Análisis Cuantitativo Fiable con la Kappa de Cohen y el Alpha de Krippendorff

  1. Goyanes, Manuel 1
  2. Piñeiro-Naval, Valeriano 2
  1. 1 Universidad Carlos III de Madrid
    info

    Universidad Carlos III de Madrid

    Madrid, España

    ROR https://ror.org/03ths8210

  2. 2 Universidad de Salamanca
    info

    Universidad de Salamanca

    Salamanca, España

    ROR https://ror.org/02f40zc51

Revista:
Estudios sobre el mensaje periodístico

ISSN: 1988-2696

Año de publicación: 2024

Volumen: 30

Páginas: 125-142

Tipo: Artículo

DOI: 10.5209/ESMP.92732 DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Estudios sobre el mensaje periodístico

Objetivos de desarrollo sostenible

Resumen

Durante las últimas décadas, el análisis de contenido se ha revelado como una de las técnicas de investigación fundamentales en los estudios de comunicación y periodismo. Una amplia literatura ha descrito, con gran detalle, los procedimientos para su sistemática y correcta implementación, lo que ha desembocado en investigaciones empíricamente más robustas y precisas. Este avance en la aplicación de los protocolos metodológicos no se ha trasladado, de manera tan paulatina, a los cómputos y test estadísticos para establecer la fiabilidad entre codificadores en las publicaciones en español, a pesar de su central importancia a la hora de ofrecer evidencias científicas reproducibles. Esto se ha debido, entre otras razones, a la necesidad de calcular los indicadores en programas estadísticos, lo que ha obstaculizado su adopción generalizada. En este trabajo ilustramos, mediante SPSS y la macro KALPHA, la computación de dos pruebas estadísticas para medir el acuerdo entre codificadores: la Kappa (κ) de Cohen y el Alpha (a) de Krippendorff. El objetivo es, por ende, ofrecer y detallar a la comunidad académica hispánica un protocolo para generalizar la utilización de cómputos que permitan reportar, a investigadores sin un avanzado conocimiento estadístico, resultados fiables y estándares en el campo.

Referencias bibliográficas

  • Altman, D. G. (1999). Practical statistics for medical research. Chapman & Hall.
  • Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational linguistics, 34(4), 555-596. https://doi.org/10.1162/coli.07-034-R2
  • Bardin, L. (1986). Análisis de contenido. Akal.
  • Bennett, E. M., Alpert, R., & Goldstein, A.C. (1954). Communications through limited-response questioning. Public opinion quarterly, 18(3), 303-308. https://doi.org/10.1086/266520
  • Berelson, B. (1952). Content analysis in communication research. Free Press.
  • Berger, A. A. (2016). Media and communication research methods. An introduction to qualitative and quantitative approaches (4th Ed.). Sage.
  • Bos, W., & Tarnai, C. (1999). Content analysis in empirical social research. International journal of educational research, 31(8), 659-671. https://doi.org/10.1016/S0883-0355(99)00032-4
  • Caffarel-Serra, C., Ortega-Mohedano, F., & Gaitán-Moya, J. A. (2017). Investigación en comunicación en la universidad española en el periodo 2007-2014. Profesional de la información, 26(2), 218-227. https://doi.org/10.3145/epi.2017.mar.08
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and psychological measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
  • Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
  • Fleiss, J. L., Levin, B., & Paik, M. C. (2003). Statistical methods for rates and proportions (3rd Ed.). John Wiley & Sons.
  • Freelon, D. (2013). ReCal OIR: ordinal, interval, and ratio intercoder reliability as a web service. International journal of internet science, 8(1), 10-16.
  • Goyanes, M., Rodríguez-Gómez, E. F., & Rosique-Cedillo, G. (2018). Investigación en comunicación en revistas científicas en España (2005-2015): de disquisiciones teóricas a investigación basada en evidencias. Profesional de la Información, 27(6), 1281-1291. https://doi.org/10.3145/epi.2018.nov.11
  • Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664
  • Igartua, J. J. (2006). Métodos cuantitativos de investigación en comunicación. Bosch.
  • Kolbe, R. H., & Burnett, M. S. (1991). Content-analysis research: an examination of applications with directives for improving research reliability and objectivity. Journal of consumer research, 18(2), 243-250. https://doi.org/10.1086/209256
  • Krippendorff, K. (2004a). Content analysis: an introduction to its methodology (2nd Ed.). Sage.
  • Krippendorff, K. (2004b). Reliability in content analysis. Some common misconceptions and recommendations. Human communication research, 30(3), 411-433. https://doi.org/10.1111/j.1468-2958.2004.tb00738.x
  • Krippendorff, K. (2011). Agreement and information in the reliability of coding. Communication methods and measures, 5(2), 93-112. http://dx.doi.org/10.1080/19312458.2011.568376
  • Lacy, S., Watson, B. R., Riffe, D., & Lovejoy, J. (2015). Issues and best practices in content analysis. Journalism & mass communication quarterly, 92(4), 791-811. https://doi.org/10.1177/1077699015607338
  • Lombard, M., Snyder-Duch, J.,, & Campanella, C. (2002). Content analysis in mass communication. Assessment and reporting of intercoder reliability. Human communication research, 28(4), 587-604. https://doi.org/10.1111/j.1468-2958.2002.tb00826.x
  • Lovejoy, J., Watson, B. R., Lacy, S. & Riffe, D. (2014). Assessing the reporting of reliability in published content analyses: 1985-2010. Communication methods and measures, 8(3), 207-221. https://doi.org/10.1080/19312458.2014.937528
  • Lovejoy, J., Watson, B. R., Lacy, S., & Riffe, D. (2016). Three decades of reliability in communication content analyses: reporting of reliability statistics and coefficient levels in three top journals. Journalism & mass communication quarterly, 93(4), 1135-1159. https://doi.org/10.1177/1077699016644558
  • Manterola, C., Grande, L., Otzen, T., García, N., Salazar, P., & Quiroz, G. (2018). Confiabilidad, precisión o reproducibilidad de las mediciones. Métodos de valoración, utilidad y aplicaciones en la práctica clínica. Revista chilena de infectología, 35(6), 680-688. https://dx.doi.org/10.4067/S0716-10182018000600680
  • Neuendorf, K. A. (2002). The content analysis guidebook. Sage.
  • Neuendorf, K. A. & Kumar, A. (2016). Content analysis. En G. Mazzoleni (ed.), The International Encyclopedia of Political Communication. Wiley. https://doi.org/10.1002/9781118541555.wbiepc065
  • Piñeiro-Naval, V. (2020). The content analysis methodology. Uses and applications in communication research on Spanish-speaking countries. Communication & society, 33(3), 1-15. http://dx.doi.org/10.15581/003.33.3.1-15
  • Piñeiro-Naval, V., & Morais, R. (2019). Estudio de la producción académica sobre comunicación en España e Hispanoamérica. Comunicar, 27(61), 113-123. http://dx.doi.org/10.3916/C61-2019-10
  • Piñuel, J. L. (2002). Epistemología, metodología y técnicas del análisis de contenido. Estudios de sociolingüística, 3(1), 1-42.
  • Potter, W. J., & Levine-Donnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of applied communication research, 27(3), 258-284. https://doi.org/10.1080/00909889909365539
  • Riffe, D., & Freitag, A. (1997). A content analysis of content analyses: twenty-five years of journalism quarterly. Journalism & mass communication quarterly, 74(3), 515-524. https://doi.org/10.1177/107769909707400306
  • Riffe, D., Lacy, S., Watson, B. R., & Fico, F. (2019). Analyzing Media Messages. Using Quantitative Content Analysis in Research (4th Ed.). Routledge.
  • Scott, W. A. (1955). Reliability of content analysis: the case of nominal scale coding. Public opinion quarterly, 19(3), 321-325. https://doi.org/10.1086/266577
  • Segado-Boj, F., Piñeiro-Naval, V., & Antona-Jimeno, T. (2023). Spanish research on communication in WoS: thematic, methodological, and intellectual comparison between SSCI and ESCI. Profesional de la información, 32(3), e320309. https://doi.org/10.3145/epi.2023.may.09
  • Singletary, M. W. (1993). Mass communication research: contemporary methods and applications. Addison-Wesley.
  • Stemler, S. E. (2015). Content analysis. En: Robert A. Scott; Marlis C. Buchmann (eds.), Emerging trends in the social and behavioral sciences. Wiley. https://doi.org/10.1002/9781118900772.etrds0053
  • Walter, N., Cody, M. J., & Ball-Rokeach, S. J. (2018). The ebb and flow of communication research: seven decades of publication trends and research priorities. Journal of communication, 68(2), 424-440. https://doi.org/10.1093/joc/jqx015
  • Wimmer, R. D., & Dominick, J. R. (2011). Mass media research: an introduction (9th Ed.). Wadsworth.
Fuente de los datos: Dialnet