EVALUACIÓN DE SISTEMAS DE INFORMACIÓN Uso del modelo de evaluación de sistemas de información de DeLone y McLean Margoth Acuña Garzón Universidad Nacional de Colombia
2014
Uso del modelo de evaluación de sistemas de información de DeLone y McLean: una revisión Margoth Acuña Garzón Universidad Nacional de Colombia Maestría en Ingeniería de Sistemas y Computación Facultad de Ingeniería Bogotá, Colombia
RESUMEN La evaluación de los sistemas de información y los factores de éxito de estos, han sido presentados en diversos modelos de evaluación. Este artículo presenta el uso del modelo de evaluación de éxito de los sistemas de información de DeLone y McLean, para determinar si es posible aplicar el modelo en la evaluación de cualquier sistema de información y la identificación de los factores a aplicar. Se hizo la revisión de 150 artículos que tratan sobre evaluación de sistemas de información, y luego se clasificaron en la aplicación del modelo del que trata este artículo. Finalmente, se presenta cómo este modelo puede ser aplicado a diferentes sistemas de información definiendo los factores de interés y la variable dependiente que se desea evaluar.
General Terms Evaluación de sistemas de información.
Keywords Sistemas de información, evaluación de sistemas de información, medidas de éxito de sistemas de información.
1. INTRODUCCIÓN Debido a la importancia de los sistemas de información dentro de las organizaciones, es necesario realizar una completa evaluación de estos para determinar su efectividad y los factores de mayor impacto en las empresas y sus usuarios. Con el fin de determinar los cambios que se deban llevar a cabo para mejorar el uso, la calidad de los sistemas de información y principalmente satisfacer las necesidades de los usuarios. En la literatura existen varios modelos de evaluación de éxito de los sistemas de información que tratan diferentes factores a tener en cuenta. Al respecto, el presente artículo revisa la aplicación del modelo de evaluación de sistemas de información de DeLone y McLean [10] para poder resolver algunas de las preguntas que nos surgen en el desarrollo de la investigación las cuales son: ¿Qué factores se deben tener en cuenta en la evaluación de los sistemas de información? ¿Cuáles han sido los métodos usados en los diferentes trabajos aplicando este modelo? El objetivo del presente artículo es presentar el estado del arte del uso del modelo de evaluación de sistemas de información y los diferentes métodos aplicados para llevar a cabo estas evaluaciones
y poder determinar la forma más adecuada de aplicar esta evaluación, para obtener los mejores resultados. Las demás secciones del artículo están organizadas como sigue: la sección 2 presenta la descripción del modelo de evaluación seleccionado en el presente trabajo; la sección 3 presenta algunos de los diferentes sistemas que se han evaluado usando este modelo y una clasificación de los métodos de evaluación más representativos, junto con una breve descripción de su objetivo; La sección 4 presenta las conclusiones de acuerdo a la revisión de la literatura.
2. MODELO DE EVALUACION DE SISTEMAS DE INFORMACIÓN Un sistema de información (SI) se define como un “Conjunto de componentes interrelacionados que capturan, almacenan, procesan y distribuyen información, para apoyar la toma de decisiones y el control de una organización” [17]. En este artículo definiremos un sistema de información exitoso, como el que satisface las necesidades de los usuarios que lo usan, teniendo en cuenta los diferentes factores de medidas. Definiendo usuario como cualquiera que usa el SI, sea dueño de este o lo financie [34]. La definición de sistema de información exitoso, no es muy clara ya que envuelve muchos factores para medir el éxito, dependiendo de la visión desde la que se vea ya que influyen factores técnicos y sociales [1][19]. En la literatura existen diversos modelos para la evaluación de sistemas de información [19], sin embargo uno de los modelos más citados para realizar la evaluación de sistemas de información es el modelo propuesto por DeLone y McLean (D&M) [9][10] donde se presenta una vista integrada y coherente del concepto de éxito.
2.1 Modelo de DeLone & McLean (1992) DeLone y McLean (1992) [9] realizaron una revisión en 7 revistas en el periodo comprendido entre enero de 1981 a enero de 1988, de las cuales seleccionaron 100 artículos que estuvieran relacionados con algún tema de evaluación de sistemas de información. Como resultado de este estudio, ellos proponen un modelo donde presentan 6 dimensiones o categorías (Calidad del Sistema, Calidad de la Información, Uso, Satisfacción del Uso, Impacto Individual e Impacto Organizacional). En la figura 1 se presenta este modelo propuesto por D&M donde se agrupan por
dimensiones los diferentes factores que influyen en el éxito o fracaso de los sistemas de información.
identificación del problema, efectividad en la toma de decisiones, entre otras. Impacto Organizacional: variables que miden el efecto de la información sobre el desempeño organizacional, como son: reducción de costos, retorno de la inversión, valor agregado, optimización de procesos, entre otros. Sin embargo, no hay un instrumento de medición definido para medir el impacto organizacional.
2.2 Actualización del modelo DeLone & McLean (2003) [10] Figura 1: modelo de éxito de SI Fuente: (D&M, 1992) [9] Los autores del modelo partieron de la taxonomía desarrollada por Richard Mason (1978) para la medición del producto de un sistema de información, éste estudio adaptó la Teoría de Información de Shannon y Weaver (1949) la cual plantea que un mensaje puede medirse en diferentes niveles [9]: Técnico: definido como la precisión y eficiencia del sistema que produce la información. Semántico: como el éxito, la conveniencia y el significado que se quiere transmitir. Efectividad: definido como el efecto que produce la información en el receptor (Shannon y Weaver 1949) [9]. En este modelo se identificaron las variables dependientes utilizadas como base para la medición del éxito de los sistemas de información y construyeron un modelo en donde se percibe el éxito como proceso: la CALIDAD DEL SISTEMA y la CALIDAD DE LA INFORMACIÓN afectan el USO y la SATISFACCION DEL USO del sistema, estas dos últimas categorías interactúan entre sí afectándose simultáneamente y siendo antecedentes directos del IMPACTO INDIVIDUAL que el sistema de información tiene en las personas que trabajan con él, posteriormente este impacto influirá o conllevará a algún IMPACTO ORGANIZACIONAL.
El modelo anterior fue actualizado por D&M diez años después debido a los cambios de los sistemas de información en la práctica que se presentaron. En especial, con la llegada y crecimiento en ese momento del comercio electrónico. Más de 100 artículos fueron revisados por los investigadores desde la publicación del modelo original propuesto en el 1992 hasta el 2002, donde se usó o critico el modelo. La actualización del modelo original incluye otra dimensión relacionada con la calidad (CALIDAD DEL SERVICIO) y unifica dos dimensiones que presentan los beneficios de los roles individuales y organizacionales (BENEFICIOS INDIVIDUALES, BENEFICIOS ORGANIZACIONALES) en una sola dimensión que es BENEFICIOS NETOS. Esto último, debido al cambio en la utilización de las palabras usadas para no presentar confusiones a la hora de realizar el análisis respectivo se unifica y cambia el término. En la figura 2 se presenta el modelo actualizado. Beneficios Netos: variables que miden el efecto de la información sobre los beneficios, como son: los de grupos, industrias, clientes o sociedades.
Las dimensiones de éxito del modelo presentado en la figura 1 incluyen: Calidad del sistema: variables que miden las características propias del sistema, como son: flexibilidad del sistema, tiempo de respuesta, facilidad de uso, utilización de recursos, entre otras. Calidad de la información: variables que miden la información que es generada por el sistema de información, como son: comprensión, suficiencia, fiabilidad, entre otras. Uso: variables que miden uso de la información del sistema, como son: tiempo de aprendizaje, horas de uso, frecuencia de uso, motivación de uso, entre otras. Satisfacción de Uso: variables que miden la respuesta del usuario cuando usa la información que genera el sistema, como son: la satisfacción con el software, satisfacción con la información, satisfacción con la toma de decisiones, entre otras. Impacto Individual: variables que miden el efecto de la información en el comportamiento del usuario, como son: entendimiento de la información, facilidad de interpretación,
Figura 2: Actualización del modelo de éxito de D&M (2003) Fuente: (D&M, 2003) [10]
Calidad del Servicio: variables que miden la efectividad de un sistema de información no solo el producto del sistema sino también el servicio que se brinda sobre este, como son: capacidad de respuesta, fiabilidad, seguridad, entre otras.
2.3 Modelo de éxito de SI de Garrity y Sanders [13] Este modelo presentado por Garrity y Sanders [13] es una extensión de modelo de DeLone y McLean el cual presenta cuatro dimensiones que se muestran en la figura 3, las cuales surgen de una revisión de la literatura de teoría general de sistemas y de los principios básicos de sistemas. Las cuatro subdivisiones de la dimensión SATISFACCIÓN DEL USUARIO surgieron del análisis de tres puntos de vistas que son: el punto de vista
organizacional, el punto de vista máquina-humano y el punto de vista técnico social.
Figura 3: Modelo de éxito de SI Fuente: (Garrity y Sander, 2005)[13]
2.4 Actualización relaciones del modelo DeLone & McLean (2008) [25] Este modelo presenta un análisis de las relaciones existentes en el modelo para la evaluación del éxito de los sistemas de información (modelo de éxito DeLone y McLean – D&M). Enfocándose en el contexto tanto individual como organizacional. Petter, S., DeLone, W., & McLean [25] realizaron una revisión en revistas académicas en el periodo comprendido entre 1992 y 2007 de 180 artículos, de las cuales seleccionaron 90 que usaron las seis (6) dimensiones propuestas por el modelo de DeLone y McLean: CALIDAD DEL SISTEMA, CALIDAD DE LA INFORMACIÓN, CALIDAD DEL SERVICIO, USO, SATISFACCIÓN DE USUARIO y BENEFICIOS NETOS, para la evaluación de sistemas de información. En las figura 4 y 5, se presenta la modificación del modelo teniendo en cuenta las relaciones entre las dimensiones:
Figura 5: Relaciones entre las dimensiones del modelo de D&M a Nivel Organizacional Fuente: (P, D&M 2008) [25]
3. APLICACION DE LA EVALUACION DE SISTEMAS DE INFORMACIÓN A continuación se relacionan ejemplos donde se aplica el modelo de DeLone y McLean, y se muestran diferentes interpretaciones o adaptaciones de este. Los métodos usados para el levantamiento de la información relacionada con cada una de las variables implicadas en las diferentes dimensiones de éxito del modelo de evaluación, fueron la elaboración de entrevistas y encuestas, evidenciados en todos los estudios revisados, los cuales fueron aplicados a los usuarios que de acuerdo a lo que se desea medir se seleccionaron según su rol dentro de la organización, ya sean directivos o no.
3.1 Sistema de información en general El estudio realizado para la evaluación de sistema de información por Agourram [1] muestra que la cultura es un factor importante en el éxito de un sistema de información. Presenta que no es posible tomar los modelos existentes y aplicarlos ya que son afectados por las diferencias culturales. Se identificaron cuatro factores culturales que influyen: cultura nacional, estructura económica, ambiente político, ambiente legal y estatus tecnológico. En las organizaciones multinacionales es más difícil de implementar la estandarización de Sistemas de información [1][16]. Bajwa [3] propone un modelo conceptual donde se tiene en cuenta los siguientes factores que los modelos de evaluación de sistemas de información no contemplan, como son: soporte al SI, apoyo de la dirección, apoyo del vendedor / consultor y éxito de SI. La medida de éxito se centra en el desarrollo, el mantenimiento y la mejora del sistema de información. Figura 4: Relaciones entre las dimensiones del modelo de D&M a Nivel Individual Fuente: (P, D&M 2008) [25]
Hay una gran variedad de medidas que se pueden utilizar para definir el éxito de un sistema de información. El resultado de la evaluación del estudio realizado por Bajwa [3] dice que no son generalizables a otras medidas de éxito como la satisfacción del usuario, nivel de uso, impacto del estudio de impacto ambiental
sobre los individuos o el rendimiento del equipo, o el impacto organizacional. Chen [8], propone factores de éxito para la evaluación del sistema de información de emergencias médicas aplicando el modelo de evaluación de Sistema de información de D&M, utiliza como metodología la aplicación de encuestas y entrevistas, que aplican a empleados del gobierno que usan el sistema. Usa análisis de componentes principales para determinar el modelo con los factores críticos que más miden el éxito de un sistema de información de emergencias.
3.2 Otros Sistemas de información Orientado a Servicios: Otra aplicación del modelo de evaluación de SI usando como referencia el modelo de DeLone y McLean [10], es el presentado por Stephan Aier [2], donde se presentan los factores de éxito para evaluar los SI orientado a servicios. El enfoque de la evaluación está determinado por la dimensión de Satisfacción del usuario.[18] E-Portafolio: Balaban et al. [4], desarrollaron un instrumento para evaluar el éxito de un ePortafolio y construyen un modelo de éxito de ePortafolio basado en el modelo de éxito de sistemas de información de DeLone y McLean (D&M), aplicable a nivel individual. Los autores realizaron una evaluación de como un ePortafolio puede evaluarse como un SI, y determinan que es posible aplicar el modelo. Ellos revisaron alrededor de 50 artículos en los cuales determinan las hipótesis para plantear el modelo de evaluación de éxito de eportafolio, teniendo en cuenta las dimensiones del modelo D&M. Call Center: Baraka et al [5], presenta un modelo para evaluar el desempeño de un call center, basado en el modelo de éxito de un sistema de información de DeLone y Mclean. Propone dos métodos para calcular el índice ponderado de rendimiento, uno donde el peso de las dimensiones es igual y en el otro es diferente. También identifica los indicadores que se evalúan en cada dimensión. El análisis de los pesos determina que dos dimensiones del modelo (Satisfacción del usuario y beneficios netos) son prioritarias. Aplica la regresión lineal múltiple para predecir el valor de las dos dimensiones prioritarias en función de las demás. IT governance: Bernroider [6], presenta la realización de la evaluación de un ERP usando el modelo de D&M adaptándolo e incluyendo el concepto de gobernabilidad de TI. Usaron como metodología encuestas donde quieren medir el efecto de las prácticas de gobierno. Se aplicaron las encuestas a empresas medianas y pequeñas en Austria. Se plantea la hipótesis de que el éxito aumenta en un ERP si se implementan las prácticas de gobernanza de TI. Lo cual concluye con el estudio. En la figura 6, se presenta el modelo adaptado. El modelo de evaluación de Sistemas de Información de D&M no solo es aplicado a los individuos [21], ya que también es aplicado como lo presenta [33] al uso de aplicaciones de e- Goverment que interactúan vía web con el usuario, por lo cual es importante tener sistemas de calidad, lo cual se pretende conseguir con la evaluación de los sistemas.
Figura 6: Modelo de D&M adaptado a las medidas de gobierno Fuente: Bernroider, E. W. N. (2008) [6]
4. CONCLUSIONES De acuerdo a la revisión de la literatura uno de los modelos más usados para la evaluación de los sistemas de información, es el modelo presentado por DeLone y McLean [9]. Sin embargo no es tan sencillo tomar cierto modelo y aplicarlo, pues se debe adaptar al entorno donde se desea realizar la evaluación del sistema de información, debido a los factores que influyen, entre los cuales se encuentra el cultural, social, humano. [11][3][12][20] El modelo aquí presentado de evaluación ha permitido que otros investigadores propongan o adopten el modelo para evaluar diferentes sistemas de información. Esto por los resultados presentados en los diferentes estudios que muestra la literatura. [6][3][5][4][7][13] El modelo de D&M identifica las diferentes medidas de éxito de los sistemas de información ya que no hay una sola. Dicho modelo recopila estas muchas medidas y las divide en seis grandes categorías: CALIDAD DEL SISTEMA, CALIDAD DE LA INFORMACIÓN, CALIDAD DEL SERVICIO, USO, SATISFACCIÓN DE USUARIO, BENEFICIOS NETOS. Por otra parte, estas categorías o componentes están interrelacionados y son interdependientes, formando un modelo de éxito de Sistemas de Información [10]. Existe una gran variedad de medidas que se pueden utilizar para definir el éxito de un sistema de información [3][16]. Puede verse en [14][18] cómo es posible definir los factores de éxito dependiendo de lo que se quiere medir y esto aplicado al modelo de evaluación seleccionado. Una limitación del presente artículo, es que los conceptos y conclusiones planteados se limitan a la literatura revisada, y que es posible que no se haya contemplado algún estudio de gran importancia para el tema abordado.
5. REFERENCIAS [1] Agourram, H. (2009). Defining information system success in Germany. International Journal of Information Management, 29(2), 129-137. [2] Aier, S., Bucher, T., & Winter, R. (2011). Critical Success Factors of Service Orientation in Information Systems Engineering. Business & Information Systems Engineering. Volume: 3, Issue: 2, Pages: 77-88 [3] Bajwa, D. S., Rai, A., & Brennan, I. (1998). Key antecedents of Executive Information System success: a path analytic
approach. Decision Support Systems. Volume: 22, Issue: 1, Pages: 31-43 [4] Balaban, I., Mu, E., & Divjak, B. (2013). Development of an electronic Portfolio system success model: An information systems approach. Computers & Education. Volume: 60, Issue: 1, Pages: 396-411 [5] Baraka, Hesham A., Baraka, Hoda A., & El-Gamily, I. H. (2013). Assessing call centersʼ success: A validation of the DeLone and Mclean model for information system. Egyptian Informatics Journal, 14(2), 99-108. [6] Bernroider, E. W. N. (2008). IT governance for enterprise resource planning supported by the DeLone–McLean model of information systems success. Information & Management, 45 (5), 257-269
[17] LAUDON Kenneth y LAUDON Jane. Administración de los Sistemas de Información. Editorial Prentice Hall .Octava edición. 2008 [18] Lee, S., & Kim, K. jae. (2007). Factors affecting the implementation success of Internet-based information systems. Computers in Human Behavior, 23(4), 1853-1880. [19] Lee, S.-K., & Yu, J.-H. (2012). Success model of project management information system in construction. Automation in Construction. Volume: 25, Pages: 82-93 [20] Li, E. Y. (1997). Perceived importance of information system success factors: A meta analysis of group differences. Information & Management. Volume: 32, Issue: 1, Pages: 15-28
[7] Cavaye, A. L., & Cragg, P. B. (1995). Factors contributing to the success of customer oriented interorganizational systems. The Journal of Strategic Information Systems. Volume: 4, Issue: 1, Pages: 13-30
[21] Lin, F., Fofanah, S. S., & Liang, D. (2011). Assessing citizen adoption of e-Government initiatives in Gambia: A validation of the technology acceptance model in information systems success. Government Information Quarterly, 28(2), 271-279.
[8] Chen, Y. (2012). The Empirical Analysis Model on Critical Success Factors for Emergency Management Engineering Information System. Systems Engineering Procedia. Volume: 5, Pages: 234-239
[22] Lu, X. H., Huang, L. H., & Heng, M. S. H. (2006). Critical success factors of inter-organizational information systems A case study of Cisco and Xiao Tong in China. Information and Management. Volume: 43, Issue: 3, Pages: 395-408
[9] DeLone, W. H., & McLean, E. R. (2003). The DeLone and McLean model of information systems success: A ten-year update. Journal of Management Information Systems, 19(4), 9-30
[23] McLean, W. H. D. and E. R. (2004). Measuring e-Commerce Success: Applying the DeLone ; Measuring the Business Value of Information Techno. International Journal of Electronic Commerce, 9(1), 31-47
[10] DeLone, W. H., & McLean, E. R. (1992). Information systems success: The quest for the dependent variable. Information Systems Research, 3(1), 60-95.
[24] Michel-Verkerke, M. B. (2012). Information Quality of a Nursing Information System depends on the nurses: A combined quantitative and qualitative evaluation. International Journal of Medical Informatics, 81(10), 662673.
[11] Floropoulos, J., Spathis, C., Halvatzis, D., & Tsipouridou, M. (2010). Measuring the success of the Greek Taxation Information System. International Journal of Information Management, 30(1), 47-56. [12] Garcia-Smith, D., & Effken, J. A. (2013). Development and initial evaluation of the Clinical Information Systems Success Model (CISSM). International Journal of Medical Informatics, 82(6), 539-552. [13] Garrity, E. J., Glassberg, B., Kim, Y. J., Sanders, G. L., & Shin, S. K. (2005). An experimental investigation of Webbased information systems success in the context of electronic commerce. Decision Support Systems, 39(3), 485503. [14] Grabski, S. V., Leech, S. A., & Schmidt, P. J. (2011). A Review of ERP Research: A Future Agenda for Accounting Information Systems. Journal of Information Systems. Volume: 25, Issue: 1, Pages: 37-78 [15] Jafari, S. M., Ali, N. A., Sambasivan, M., & Said, M. F. (2011). A respecification and extension of DeLone and McLean model of IS success in the citizen-centric egovernance. 2011 IEEE International Conference on Information Reuse & Integration. IEEE. Pages: 342-346 [16] Kivinen, T., & Lammintakanen, J. (2013). The success of a management information system in health care - A case study from Finland. International Journal of Medical Informatics, 82(2), 90-97.
[25] Petter, S., DeLone, W., & McLean, E. (2008). Measuring information systems success: models, dimensions, measures, and interrelationships. European Journal of Information Systems. Volume: 17, Issue: 3, Pages: 236-263 [26] Petter, S., & Fruhling, A. (2011). Evaluating the success of an emergency response medical information system. International Journal of Medical Informatics, 80(7), 480489. [27] Raymond, L., & Bergeron, F. (2008). Project management information systems: An empirical study of their impact on project managers and project success. International Journal of Project Management, 26(2), 213-220. [28] Rezaei, A., Asadi, A., Rezvanfar, A., & Hassanshahi, H. (2009). The impact of organizational factors on management information system success: An investigation in the Iranʼs agricultural extension providers. International Information and Library Review, 41(3), 163-172. [29] Roh, T. H., Ahn, C. K., & Han, I. (2005). The priority factor model for customer relationship management system success. Expert Systems with Applications. Volume: 28, Issue: 4, Pages: 641-654 [30] Saarinen, T. (1996). An expanded instrument for evaluating information system success. Information and Management, 31(2), 103-118. [31] Sharma, R., & Yetton, P. (2003). The contingent effects of management support and task interdependence on successful
information systems implementation. MIS Quarterly: Management Information Systems, 27(4), 533-555. [32] Skok, W., Kophamel, A., & Richardson, I. (2001). Diagnosing information systems success: Importanceperformance maps in the health club industry. Information and Management, 38(7), 409-419. [33] Wang, Y. S., & Liao, Y. W. (2008). Assessing eGovernment systems success: A validation of the DeLone and McLean model of information systems success. Government Information Quarterly, 25(4), 717-733. [34] Whyte, G., Bytheway, A., & Edwards, C. (1997). Understanding user perceptions of information systems success. The Journal of Strategic Information Systems. Volume: 6, Issue: 1, Pages: 35-68
[35] Yen, H. R., Li, E. Y., & Niehoff, B. P. (2008). Do organizational citizenship behaviors lead to information system success? Testing the mediation effects of integration climate and project management. Information & Management. Volume: 45, Issue: 6, Pages: 394-402 [36] Yusof, M. M., Kuljis, J., Papazafeiropoulou, A., & Stergioulas, L. K. (2008). An evaluation framework for Health Information Systems: human, organization and technology-fit factors (HOT-fit). International Journal of Medical Informatics, 77(6), 386-398.