Evaluación de Desempeño

Evaluación de desempeño Proyecto Terminal de Investigación Interdisciplinaria Mtra. Nora Morales Zaragoza MADIC UAM Cuajimalpa Dic 2019

El (CRI)Communication Research Institute. David Sless lleva 20 años desarrollando estudios de desempeño en documentos, con el propósito de medir la calidad de comunicación con el público de instituciones gubernamentales y el sector público en Australia y otras partes del mundo.

www.communication.org.au/htlm/papers_t0_read.php-

Tipos de documentos o piezas de comunicaciรณn

- Sistemas de voz - Formas de trรกmites - Documentos legales - Recibos de pago - Etiquetado de medicamentos - Instructivos - Sitios web - Estados de cuenta - Informaciรณn nutricional โ จ (empaques) Servicio financiero, Gobierno, Industria Alimenticia, bienes de consumo.

Recibo de Luz y Fuerza del Centro México 2010 “How to measure anything”

Recibo de Luz y Fuerza del Centro México 2010

¿Qué hacen?

Estudian y evalúan el desempeño de “artefactos” de comunicación en la vida cotidiana, utilizados por el gobierno y las empresas para proporcionar información a las personas, como parte de un servicio.

Con el propósito de ayudar a las organizaciones a mejorar la comunicación con su público.

Evaluación de desempeño / características

La mayoría se realizan en el contexto Esta prueba generalmente ocurre en cierta etapa del proceso de comunicación donde lo que se pretende es detectar las fallas e identificarlas en el proceso de diagnóstico antes de la nueva propuesta de comunicación o diseño

Pieza actual

diagnóstico

re-diseño

Proceso de diseño

Identif. requerimientos y perímetros

Generación de alternativas Conceptualización y visualización

Identificación de la necesidad/ demanda

Síntesis

Identificación de enfoque?

Evaluación de alternativas Investigación Análisis de los factores del problema: usuarios producto contexto competencia evaluación comparativa (análisis funcional) etc.

Evaluación procesos y resultados

Documentación, especificación producción

Evaluación de desempeño / características

Cada sesión cuantifica el número de fallas en el diseño y mide qué tan alejadas están dentro de los niveles de eficiencia* acordados.

Al mismo tiempo estos estudios arrojan información cualitativa, es decir la causa de la falla del diseño

* Requisitos de desempeño (Performance requirements)

Evaluación de desempeño / características

Esta prueba provee datos que permiten al diseñador encontrar las fallas del documento y corregir o rectificar rápidamente antes del re-diseño.

Prueba de diagnóstico

Estas pruebas se pueden comparar a las de un diagnóstico clínico. herramientas de diagnostico

Doctor

paciente tratamiento apropiado

síntomas de una patología

contexto clínico http://www.flickr.com/photos/komal_soin/3593021593/sizes/l/

Como se realiza una Prueba de diagnóstico*

La técnica se realiza en sesiones que constan de un investigador y un participante en una conversación alrededor de una documento en particular.

1.-El investigador explica al participante que la prueba tiene como propósito encontrar las fallas en el documento y no a él.

Como se realiza una Prueba de diagnóstico

2.- después le pide que realice un número determinado de tareas “grabando” o documentando todo lo que él dice y hace.

Se le pide al participante que verbalice lo que esta haciendo y destaque los problemas con los que se encuentra para terminar la tarea

Como se realiza una Prueba de diagnรณstico

3.- Mientras se realiza la prueba el investigador tiene que registrar 3 tipos de observaciones cuantitativas para cada tarea: a) Puede encontrar la informaciรณn si no b) Tiene dificultad de encontrar si no c) Usa la informaciรณn adecuadamente (denota entendimiento) si no

Como se realiza una Prueba de diagnóstico

4.- Ademas del registro anterior el investigador describe detalladamente el tipo de dificultad que experimentó el participante y sus comentarios durante la sesión de diagnóstico ¿Cuántos usuarios es lo común?

De 6 a 8 participantes encuentran las mismas fallas en el documento

Requisitos de desempeño y protocolo.

Los requisitos de desempeño se definen con las primeras pruebas de lo que ya existe.

Se enfoca a los síntomas o patología de la pieza de comunicación al ocasionar usos inapropiados o fracasos parte del participante

Atención

El error es pensar que podemos medir “todo” antes de cualquier prueba hay que tener muy claro lo que queremos medir.

Es por eso que es importante definir los “Requisitos de desempeño”, de otra manera quedaríamos en la incertidumbre.

* “How to measure anything” Finding the value of intangibles in bussines. Douglas W. Hubbard

Requisitos de desempeño

Es MUY IMPORTANTE acordar los requisitos mínimos de los que pretendemos lograr con la pieza partiendo del tipo de documento que se diseña.

Principalmente 2 puntos

• Lista de tareas que creemos que la gente debe ser capaz de efectuar con la pieza de comunicación o documento

• Definir un nivel de eficiencia aceptable al que esperamos alcanzar.

Eficacia y eficiencia

Eficaz: Que logra hacer efectiva un intento o propósito (completa la tarea o acción).

Eficiente: Que consigue un propósito empleando los medios idóneos (completa la tarea o acción, de la forma mas fácil, rápida, amigable, o satisfactoria).

Diccionario de la Lengua Española España-Calpe ® 2005

Requisitos de desempeño

Decidir o acordar el “paquete” de requisitos envuelve una extensiva consulta con los “stakeholders” involucrados en el proyecto. (grupos de interés). ¿Qué es importante para la empresa, o institución” ¿Qué es importante para el usuario? ¿Qué es importante para los expertos? o patrocinadores

Si el tiempo y la presión del proyecto no lo permite, debemos confiar en nuestra experiencia previa en documentos similares.

Anรกlisis funcional Una manera de disectar el documento para considerar lo importante de cada grupo de interes.

Requisitos de desempeño

Identificar “a priori”

• Tipo de documento de interacción

• Quién es el proveedor de la información

• A quién le habla, “se dirige a mi”

Tareas básicas

Tareas interactivas

• Encontrar un dato y

• Encontrar y

explicar

• Encontrar y

explicar ciertas acciones

explicar un concepto

• Encontrar y

• Encontrar y

• Identificar

explicar aspectos de la pieza de com.

explicar como... conceptos específicos de la pieza de com.

Ejemplo de Requisitos de desempeĂąo

Ejemplos de Requisitos de desempeĂąo

Protocolo

Los RD sirven de guía para elaborar el protocolo de la sesión de diagnóstico Es recomendable hacer una “Prueba piloto” antes de la prueba inicial.

Ejemplo de protocolo

Protocolo prueba de diagnóstico CEAD Š 2005

Ejemplo de protocolo

Protocolo prueba de diagnóstico CEAD Š 2005

Resultados

El nivel de eficiencia definido que ha funcionado en otros contextos de documentos de diseño de información de basa en: La información del documento debe permitir al participante que sabe leer: • Encontrar los datos que se le piden por lo menos un 90% de las veces.

• Usar apropiadamente la información que encontró el 90%.

Concluyendo con un objetivo del 81%

Ejemplo de tabla de resultados

Las celdas marcadas en amarillo seĂąalan la situaciĂłn en donde el participante tuvo dificultad para encontrar o identificar la informaciĂłn.

Ejemplo de reporte de resultados

Estudio de estados de cuenta de tarjetas CRI 2008

Piezas de comunicación que usaron la técnica

Instrucciones: una página de un folleto de instrucciones para un medicamento utilizado para tratar el VIH (cria, 1995).

Bibliografía “Writing about medicines for people. Communication research institute of Australia.

Communication Research Institute Australia. (CRIA).

Sless, David and Wiseman Rob; “Professional Guidelines Guidelines for Evaluating Community CrimePrevention Projects.” (CRIA), Commonwealth Australia. 2003 Tolleson, Steve; “Soak, Spin, Wash, Rinse.” Princeton Architectue “How to measure anything” Finding the value of intangibles in business. Douglas W. Hubbard Sitios web Credit Card Statements: Communication Benchmarks http://communication.org.au/publications/communication-be Communication benchmarks