Evaluación de desempeño Proyecto Terminal de Investigación Interdisciplinaria Mtra. Nora Morales Zaragoza MADIC UAM Cuajimalpa Dic 2019
El (CRI)Communication Research Institute. David Sless lleva 20 años desarrollando estudios de desempeño en documentos, con el propósito de medir la calidad de comunicación con el público de instituciones gubernamentales y el sector público en Australia y otras partes del mundo.
www.communication.org.au/htlm/papers_t0_read.php-
Tipos de documentos o piezas de comunicaciรณn
- Sistemas de voz - Formas de trรกmites - Documentos legales - Recibos de pago - Etiquetado de medicamentos - Instructivos - Sitios web - Estados de cuenta - Informaciรณn nutricional โ จ (empaques) Servicio financiero, Gobierno, Industria Alimenticia, bienes de consumo.
Recibo de Luz y Fuerza del Centro México 2010 “How to measure anything”
Recibo de Luz y Fuerza del Centro México 2010
¿Qué hacen?
Estudian y evalúan el desempeño de “artefactos” de comunicación en la vida cotidiana, utilizados por el gobierno y las empresas para proporcionar información a las personas, como parte de un servicio. Con el propósito de ayudar a las organizaciones a mejorar la comunicación con su público.
Evaluación de desempeño / características
La mayoría se realizan en el contexto Esta prueba generalmente ocurre en cierta etapa del proceso de comunicación donde lo que se pretende es detectar las fallas e identificarlas en el proceso de diagnóstico antes de la nueva propuesta de comunicación o diseño
Pieza actual
diagnóstico
re-diseño
Proceso de diseño
Identif. requerimientos y perímetros
Generación de alternativas Conceptualización y visualización
Identificación de la necesidad/ demanda
Síntesis
Identificación de enfoque?
Evaluación de alternativas Investigación Análisis de los factores del problema: usuarios producto contexto competencia evaluación comparativa (análisis funcional) etc.
Evaluación procesos y resultados
Documentación, especificación producción
Evaluación de desempeño / características
Cada sesión cuantifica el número de fallas en el diseño y mide qué tan alejadas están dentro de los niveles de eficiencia* acordados. Al mismo tiempo estos estudios arrojan información cualitativa, es decir la causa de la falla del diseño
* Requisitos de desempeño (Performance requirements)
Evaluación de desempeño / características
Esta prueba provee datos que permiten al diseñador encontrar las fallas del documento y corregir o rectificar rápidamente antes del re-diseño.
Prueba de diagnóstico
Estas pruebas se pueden comparar a las de un diagnóstico clínico. herramientas de diagnostico
Doctor
paciente tratamiento apropiado
síntomas de una patología
contexto clínico http://www.flickr.com/photos/komal_soin/3593021593/sizes/l/
Como se realiza una Prueba de diagnóstico*
La técnica se realiza en sesiones que constan de un investigador y un participante en una conversación alrededor de una documento en particular. 1.-El investigador explica al participante que la prueba tiene como propósito encontrar las fallas en el documento y no a él.
Como se realiza una Prueba de diagnóstico
2.- después le pide que realice un número determinado de tareas “grabando” o documentando todo lo que él dice y hace. Se le pide al participante que verbalice lo que esta haciendo y destaque los problemas con los que se encuentra para terminar la tarea
Como se realiza una Prueba de diagnรณstico
3.- Mientras se realiza la prueba el investigador tiene que registrar 3 tipos de observaciones cuantitativas para cada tarea: a) Puede encontrar la informaciรณn si no b) Tiene dificultad de encontrar si no c) Usa la informaciรณn adecuadamente (denota entendimiento) si no
Como se realiza una Prueba de diagnóstico
4.- Ademas del registro anterior el investigador describe detalladamente el tipo de dificultad que experimentó el participante y sus comentarios durante la sesión de diagnóstico ¿Cuántos usuarios es lo común? De 6 a 8 participantes encuentran las mismas fallas en el documento
Requisitos de desempeño y protocolo.
Los requisitos de desempeño se definen con las primeras pruebas de lo que ya existe. Se enfoca a los síntomas o patología de la pieza de comunicación al ocasionar usos inapropiados o fracasos parte del participante
Atención
El error es pensar que podemos medir “todo” antes de cualquier prueba hay que tener muy claro lo que queremos medir. Es por eso que es importante definir los “Requisitos de desempeño”, de otra manera quedaríamos en la incertidumbre.
* “How to measure anything” Finding the value of intangibles in bussines. Douglas W. Hubbard
Requisitos de desempeño
Es MUY IMPORTANTE acordar los requisitos mínimos de los que pretendemos lograr con la pieza partiendo del tipo de documento que se diseña. Principalmente 2 puntos
• Lista de tareas que creemos que la gente debe ser capaz de efectuar con la pieza de comunicación o documento
• Definir un nivel de eficiencia aceptable al que esperamos alcanzar.
Eficacia y eficiencia
Eficaz: Que logra hacer efectiva un intento o propósito (completa la tarea o acción). Eficiente: Que consigue un propósito empleando los medios idóneos (completa la tarea o acción, de la forma mas fácil, rápida, amigable, o satisfactoria).
Diccionario de la Lengua Española España-Calpe ® 2005
Requisitos de desempeño
Decidir o acordar el “paquete” de requisitos envuelve una extensiva consulta con los “stakeholders” involucrados en el proyecto. (grupos de interés). ¿Qué es importante para la empresa, o institución” ¿Qué es importante para el usuario? ¿Qué es importante para los expertos? o patrocinadores
Si el tiempo y la presión del proyecto no lo permite, debemos confiar en nuestra experiencia previa en documentos similares.
Anรกlisis funcional Una manera de disectar el documento para considerar lo importante de cada grupo de interes.
Requisitos de desempeño
Identificar “a priori”
• Tipo de documento de interacción
• Quién es el proveedor de la información
• A quién le habla, “se dirige a mi”
Tareas básicas
Tareas interactivas
• Encontrar un dato y
• Encontrar y
explicar
• Encontrar y
explicar ciertas acciones
explicar un concepto
• Encontrar y
• Encontrar y
• Identificar
explicar aspectos de la pieza de com.
explicar como... conceptos específicos de la pieza de com.
Ejemplo de Requisitos de desempeĂąo
Ejemplos de Requisitos de desempeĂąo
Protocolo
Los RD sirven de guía para elaborar el protocolo de la sesión de diagnóstico Es recomendable hacer una “Prueba piloto” antes de la prueba inicial.
Ejemplo de protocolo
Protocolo prueba de diagnóstico CEAD Š 2005
Ejemplo de protocolo
Protocolo prueba de diagnóstico CEAD Š 2005
Resultados
El nivel de eficiencia definido que ha funcionado en otros contextos de documentos de diseño de información de basa en: La información del documento debe permitir al participante que sabe leer: • Encontrar los datos que se le piden por lo menos un 90% de las veces. • Usar apropiadamente la información que encontró el 90%. Concluyendo con un objetivo del 81%
Ejemplo de tabla de resultados
Las celdas marcadas en amarillo seĂąalan la situaciĂłn en donde el participante tuvo dificultad para encontrar o identificar la informaciĂłn.
Ejemplo de reporte de resultados
Estudio de estados de cuenta de tarjetas CRI 2008
Piezas de comunicación que usaron la técnica
Instrucciones: una página de un folleto de instrucciones para un medicamento utilizado para tratar el VIH (cria, 1995).
Bibliografía “Writing about medicines for people. Communication research institute of Australia. Communication Research Institute Australia. (CRIA). Sless, David and Wiseman Rob; “Professional Guidelines Guidelines for Evaluating Community CrimePrevention Projects.” (CRIA), Commonwealth Australia. 2003 Tolleson, Steve; “Soak, Spin, Wash, Rinse.” Princeton Architectue “How to measure anything” Finding the value of intangibles in business. Douglas W. Hubbard Sitios web Credit Card Statements: Communication Benchmarks http://communication.org.au/publications/communication-be Communication benchmarks