UX Practice: Remote testing

UX REMOTE TESTING

UX PRACTICE REPORTE UX REMOTE TESTING

INTRODUCCIÓN

Al hacer un acercamiento al trabajo de experiencia de usuario y de diseño centrado en el usuario es fácil reconocer la relevancia del testing como herramienta en un proyecto UX. Con el testing de usabilidad buscamos determinar qué funciona y qué no funciona en nuestro diseño mediante el análisis del comportamiento del usuario.

Determinar qué mantener, qué mejorar y qué desechar.

Normalmente con el test, pedimos a los usuarios participantes que completen tareas típicas de nuestro proyecto mientras los moderadores observan, escuchan, anotan y sacan conclusiones sobre las acciones de nuestros usuarios.

El objetivo no es otro distinto a identificar problemas de usabilidad, recolectar datos cualitativos y cuantitativos y medir la satisfacción del participante con nuestro producto.1

1

http://www.usability.gov/how-to-and-tools/methods/usability-testing.html

Sabiendo lo importante que es el testeo de usabilidad en el diseño centrado en el usuario, nos encontramos con un problema: ¿Cómo garantizar que pes posible entender a los usarios vía testeo si estamos separados geográficamente?

SENCILLO, TESTING REMOTO Antes de profundizar en lo que es el testing remoto, vale la pena detenerse y analizar otras opciones existentes para así poder entender sus beneficios y posibles contratiempos. En primera medida, hablemos del testing presencial.

1

TESTING PRESENCIAL

Como su nombre indica, es referido al testing que realizamos con un grupo de usuarios ubicados en nuestro mismo entorno geogrรกfico; esta clase de testing puede ser moderado o no moderado, dependiendo de las necesidades del proyecto y de los objetivos que buscamos cumplir a la hora de iniciar el testing.

En caso de ser moderado se realiza en presencia de un mediador o moderador que hace parte del grupo de desarrollo UX de nuestro proyecto. ร sta persona serรก la encargada de guiar la sesiรณn, moderarla, hacer las preguntas pertinentes y ayudar al usuario, en el caso en que sea necesario.

1

TESTING REMOTO

El testing de usabilidad remoto es en teoría idéntico al testing tradicional, con una gran diferencia: Los participantes y moderadores están en dos locaciones físicas distintas.

En el testing remoto no es necesario que el moderador esté presente, los participantes interactúan con nuestro diseño en su casa, oficina o locación de preferencia, mientras el equipo de UX controla de forma remota (testing moderado) o simplemente deja al usuario interactuar libremente y espera los resultados (testing no moderado). 2

2 https://www.nngroup.com/articles/remote-usability-tests/

La principal ventaja del testing remoto con respecto al testing presencial es que permite hacer de forma orgánica e iterativa el proceso de testing (lo cual también es posible con el testing presencial, solo que considerablemente mas caro), reclutando usuarios que encajen perfectamente en los criterios de nuestra búsqueda.

1

TESTING REMOTO_ventajas

El dinero: el testing local requiere de encontrar personas que hagan parte del target especificado, tener a la mano los distintos dispositivos en los cuales la plataforma será usada y un espacio neutral y relajado en el cual pueda llevarse a cabo el testing.

Si bien el testing remoto también conlleva costos, analizado globalmente suele ser mucho mas económico que hacer testing presencial.3 El tiempo: El testing remoto es una excelente solución cuando los tiempos apremian, ya que no es necesario coordinar viajes y horarios (lo

3 https://www.nngroup.com/articles/remote-usability-tests/

cual puede ser mas complicado en el caso de grupos de muestra grandes); Usualmente los participantes pueden ser de cualquier locación geográfica lo cual hace el proceso de reclutamiento mas rápido, no por mencionar que existen múltiples servicios online que proporcionan bases de datos de usuarios ayudando a acelerar el proceso de gran forma.

TESTING REMOTO MODERADO

El testing moderado permite el contacto directo entre participantes y moderadores, el moderador guía la sesión o puede (de ser necesario) profundizar en problemas con los que el usuario se encuentre mediante preguntas a medida que realiza una tarea, o una vez terminada.

El reto en el testing moderado remoto es que puede ser difícil saber cuándo hacer preguntas, al no haber un contacto físico directo es mas difícil determinar el origen de ciertos comportamientos como por ejemplo el silencio; mientras que en un testing presencial el silencio es fácilmente interpretable si se tiene en cuenta el contexto, la forma en la que el usuario trabaja o sus gestos y expresiones, en un testing remoto el silencio bien podría ser que nuestro usuario

4 http://www.usefulusability.com/remote-moderated-usability-tools/

está distraído, confundido o simplemente inmerso en el contenido de nuestra página o aplicación. Si bien esto también es factible en un testing moderado presencial, el mismo problema se magnifica en un testing remoto.

En general, la ausencia de contacto físico es el principal problema del testing moderado remoto; en presencia de un moderador pequeños detalles como un movimiento de cabeza, cejas en posición asertiva, o pausas entre acciones son mas fácilmente interpreta1 fácilbles y el moderador puede establecer mas mente cuándo debe intervenir. 4

TESTING MODERADO_beneficios

A diferencia del testing no moderado, la presencia de un moderador garantiza que podremos encontrar información y sacar conclusiones acerca del usuario, usualmente datos cualitativos acerca de lo que esperaban encontrar o cómo creían que algo pasaría. Esta información se muestra crucial a la hora de entender los porqués de los fallos de la aplicación y permitirá posteriormente mejorar la usabilidad de esa tarea en particular.

1

TESTING MODERADO_conclusiones

El test remoto moderado es prácticamente igual a su contraparte presencial, permitiéndonos llegar a conclusiones sobre el proyecto y la forma como los usuarios se involucran con él.

El método aún siendo remoto se basa en el mismo principio: conectar al moderador con el usuario en tiempo real. La única diferencia es que en el testing remoto usaremos software para grabar la sesión, vías de comunicación y en últimas software de edición para crear highlights de la sesión grabada para así poder sacar mejores conclusiones con el equipo de diseño.5 Los beneficios del testing remoto moderado son idénticos a los del testing presencial, nos permitirá guíar la sesión, ayudar al usuario, evaluar

5 http://www.usefulusability.com/remote-moderated-usability-tools/

sus reacciones y determinar qué parte de nuestro proyecto se puede mejorar. Todo esto a un costo relativamente bajo en comparación con el testing presencial, sin ignorar las facilidades que nos permite a la hora de organizarlo y reclutar usuarios para la sesión de testing.

TESTING REMOTO NO MODERADO

En las sesiones de testing no moderado el usuario se encuentra completamente solo.

Si bien no hay contacto en tiempo real con el participante, la mayoría de herramientas de testing remoto nos permiten

6 https://www.nngroup.com/articles/remote-usability-tests/

cargar surveys o preguntas que deseamos que nuestros usuarios respondan una vez finalizado el test. Hay que resaltar que estas preguntas suelen ser generales y pre-establecidas para todos los

usuarios, ya que ante la1 ausencia de moderación es imposible hacer preguntas detalladas y específicas concernientes a un usuario o una acción en particular.6

En cuanto al test no moderado, el principal problema es que los usuarios no tendrán ayuda y soporte en tiempo real en caso de que tengan dudas o necesiten aclaración. Solo será discernible hacia el final de la

sesión si el usuario encontró un problema, se saltó tareas o falló a la hora de completar alguna. Este problema hace que algunas sesiones sean inservibles y no se puedan sacar conclusiones impor-

tantes respecto a la usabilidad 1 de la aplicación.

TESTING REMOTO NO MODERADO_consideraciones

Si bien el testing sin moderación es una excelente herramienta en escenarios en los que es necesario llevar a cabo múltiples tests con poco espacio de tiempo, también tiene sus complicaciones implícitas: el hecho de que no haya presente un miembro del equipo, si bien le da mas libertad al usuario, puede complicar la sesión hasta el punto de hacerla inservible. Es por ello que es importante establecer pautas que nos permitan llevar nuestro testing a buen término:

7 https://www.nngroup.com/articles/remote-usability-tests/

Es primordial asegurarse de conocer a la perfección la herramienta mediante la cual grabaremos la sesión, cerciorarnos de su correcto funcionamiento y de que es lo suficientemente sencilla para los usuarios testers.

Es necesario incluír un lenguaje sencillo y práctico, que ayude al usuario a entender fácilmente las tareas que se le encomienda. En una sesión moderada estaremos presentes y podemos guíar al

usuario en caso de que algo no esté del todo claro, esta es una red de seguridad con la que no contamos mientras hacemos testing no moderado.

Es importante reclutar mas usuarios, muchos tests no moderados no llegan a conclusiones con las que podamos trabajar y es algo que no sabremos hasta tener los resultados, razón por la cual se hace imprescindible trabajar con un número mayor de usuarios.7

TESTING REMOTO NO MODERADO_cuando usarlo

Evidentemente cada método de testing tiene pros y contras, cada uno de ellos tiene escenarios en los cuales sus resultados pueden ser mas fieles o útiles a las necesidades de nuestro proyecto.

El testing remoto no moderado en particular, es excelente cuando es necesario trabajar con una muestra grande. Por ejemplo, cuando un nuevo diseño es crítico y necesario para una organización o va a tener gran impacto entre sus usuarios, un estudio de testing remoto con muchos partici-

pantes puede dar un insight apropiado acerca de las medidas que se consideran tomar para el proyecto.

Cuando nuestro target o persona tiene poca disponibilidad temporal. En el caso de que el proyecto esté visionado para ser usado por ejecutivos, es mas probable que éstos accedan a ser parte de la muestra si pueden hacerla de forma independiente, en tiempo corto y sin ninguna restriccón de tiempo u horario.

Por otro lado, el testing remoto moderado conlleva el problema

8 http://uxmastery.com/how-to-run-an-unmoderated-remote-usability-test-urut/

9 https://validately.com/pricing

de la coordinación de horarios, tanto del moderador, como del usuario, haciendo así al test remoto no moderado la opción mas viable si el tiempo es un gran factor en nuestro proyecto. 8 Cuando el dinero es un factor, el testing remoto no moderado también se presenta como la opción ganadora, ya que no se necesitan muchos recursos tec1 nológicos, y la gran mayoría de servicios de testing manejan tarifas mas baratas a la hora de conducir tests no moderados. 9

TESTING REMOTO MODERADO vs TESTING REMOTO NO MODERADO

ESCENARIO

TESTING MODERADO PROTOTIPOS TEMPRANOS O INCOMPLETOS INTERFACES COMPLEJAS PRODUCTOS CON ACCESO A INFORMACIÓN SENSIBLE TESTING A UNA GRAN CANTIDAD DE USUARIOS TESTING A UN TARGET CON SERIOS LÍMITES DE DISPONIBILIDAD PRESUPUESTO AJUSTADO TIEMPOS AJUSTADOS/RELEASE CERCANO TESTING DE UNA PARTE CRÍTICA DEL PRODUCTO

TESTING NO MODERADO

HERRAMIENTAS PARA TESTING REMOTO MODERADO / NO MODERADO

HERRAMIENTA

PRECIO

ANOTACIONES

SKYPE

GRATIS

No permite grabar la sesión

GOTOMEETING

GRATIS

Permite grabar sólo audio de la sesión

TEAMVIEWER

GRATIS

No permite grabar la sesión, sí generar screenshots

CAMTASIA

USD $299

Captura pantalla, graba audio y webcam

USERTESTING

USD $49

Captura pantalla, graba audio, base de usuarios propia

USD $49.95

Captura pantalla, graba audio, base de usuarios propia

VALIDATELY

USD $79/199/398 a month

Captura pantalla, graba audio, base de usuarios propia

USERZOOM

PERSONALIZADA

WHATUSERSDO

Captura pantalla, graba audio y webcam

HERRAMIENTAS DISPONIBLES / TIPOS DE TESTING

ANÁLISIS DE CONTENIDO Este tipo de test ayuda a determinar qué tan bien un usuario entiende el propósito de una página o interfaz. Suele producir resultados mas cualitativos y si bien toma mucho tiempo para analizar y sacar conclusiones apropiadamente, es una herramienta imprescindible a la hora de hacer testing de usabilidad.

FEEDBACK ARMY, USERTESTING, FIVESECONDTEST

9 http://www.uxbooth.com/articles/picking-the-right-tool-for-your-remote-user-testing/

HERRAMIENTAS DISPONIBLES / TIPOS DE TESTING

ANÁLISIS DE CLICKS Esta clase de test funciona para interfaces con propósitos definidos, como landing pages o páginas que contengan acciones (Comprar un item, agregar al carrito de compras, por ejemplo).

Suele ofrecer pobres resultados a la hora de testear home pages con múltiples links

USABILLA, INTUITIONHQ, CLICKTEST, CHALKMARK

9 http://www.uxbooth.com/articles/picking-the-right-tool-for-your-remote-user-testing/

HERRAMIENTAS DISPONIBLES / TIPOS DE TESTING

EYETRACKING Con un test de eyetracking buscamos medir en qué se fija el ojo del usuario, así como su patrón de movimiento. La idea es ver qué parte de la interfaz atrae más, qué partes son ignoradas, y como el tamaño y la posición de los elementos afectan a la atención que cada parte de la página obtiene.

SMI EYETRACKER, EYELINK REMOTE, EYETECH HD

9 http://www.uxbooth.com/articles/picking-the-right-tool-for-your-remote-user-testing/

10 http://www.usability.gov/how-to-and-tools/methods/eye-tracking.html

HERRAMIENTAS DISPONIBLES / TIPOS DE TESTING

ANÁLISIS DE CONVERSIÓN Este test es usado para determinar qué tan fácil es para un usuario completar un proceso con uno o mas pasos (Registrarse en una página, hacer una compra), a medida que el test avanza, los clicks y métricas asociadas son grabados para su posterior análisis

LOOP11, NAVFLOW

9 http://www.uxbooth.com/articles/picking-the-right-tool-for-your-remote-user-testing/

HERRAMIENTAS DISPONIBLES / TIPOS DE TESTING

CARD SORTING Técnica consistente en pedirle a los usuarios que agrupen contenido y funcionalidades en categorías abiertas o cerradas. Nos da idea de cómo categorizar la información, así como también de jerarquía y flujo.

OPTIMALSORT, USERZOOM, USABILITYTOOLS

9 http://www.uxbooth.com/articles/picking-the-right-tool-for-your-remote-user-testing/

Hay que dejar en claro que existen muchas otras formas de testing de usabilidad que no han sido incluĂ­das en este informe debido a su complejidad a la hora de ser reproducidas en un ambiente remoto; ejemplo de ĂŠstas pueden ser los testing de Prototipos de papel, testing de ofrecimiento.

CONSIDERACIONES FINALES

El testing remoto es una herramienta funcional, eficaz y económica; no debe ser visto como una opción menor o de descarte ante la imposibilidad de realizar testing presencial, sino como un poderoso instrumento en sí mismo que permite llegar a conclusiones de forma rápida y que facilita el trabajo a la hora de hacer rondas cortas de diseño/testing. El testing remoto nos permite mantener un constante contacto con el usuario, obteniendo sus ideas, nociones, frustraciones y feedback. Le da al usuario espacio para usar nuestra aplicación o página web con la comodidad de no sentirse observado y en un entorno natural sin factores externos que incidan en la forma como usa la aplicación o página.

Siendo testing moderado o no moderado, se hace evidente que existen múltiples herramientas que facilitan la labor de obviar el obstáculo mas evidente: La distancia.

Los resultados pueden ser igual de fieles a nivel cualitativo y cuantitativo a los de un testing presencial y las evidentes ventajas a nivel económico y de tiempo facilitan hacer rondas rápidas que permitan encontrar de antemano posibles problemas y solucionar mas fácilmente errores. Gracias al testing remoto es mas sencillo iniciar el testing en etapas tempranas haciendo así el proceso mas orgánico, pues hacer testing posteriormente es solo validación, no diseño centrado en el usuario.

4 http://www.usefulusability.com/remote-moderated-usability-tools/

Siendo la experiencia de usuario un campo abocado a la búsqueda constante de soluciones, hacer uso de testing remoto no solo representa la solución mas práctica y eficiente a la hora de lidiar con usuarios que están geográficamente lejos o con poco márgen en sus tiempos.

1 4

Pasaría ya a consideración y criterio del grupo de trabajo (y según el proyecto, la clase de usuario, el tiempo disponible, el presupuesto, etc.) si conviene más realizar un test moderado o no moderado, siendo que ambos son perfectamente realizables gracias a herramientas online de uso cotidiano como Skype, GoToMeeting o TeamViewer, o algunas mas especializadas que si bien son pagas, representan una clara ventaja en la relación costo - beneficio.

La mayoría de servicios online (como TryMyUI, WhatUsersDo, o Validately) presentan excelentes opciones a la hora de adelantar el testing y el uso de una u otra herramienta depende mas de pequeños factores (por lo general los precios y planes disponibles son bastante parecidos).

Es posible afirmar que la forma mas evidente de

4 http://www.usefulusability.com/remote-moderated-usability-tools/

tratar el tema del testing de usuario es hacer uso discrecional de estas herramientas, así como de una planificación cuidadosa sobre el testing que adelantaremos teniendo en cuenta la clase de resultados que necesitamos y buscamos obtener.

1 4

En conclusión, con el testing remoto no moderado obtenemos datos estadísticos importantes en un periodo de tiempo muy corto; sin embargo, hay mucho menos tolerancia o espacio para el error ya que no es posible revisar tareas o cuestionar directamente al usuario a medida que avanza en el testing.

El testing remoto moderado, por su lado, nos puede dar nociones claras de qué podemos cambiar aunque nos enfrentamos al problema de la representatividad: es muy relativo establecer si un grupo de control de 10 o 20 personas realmente representan fielmente a nuestro target, razón por la cual cuando se hace testing de partes críticas del proyecto es buena idea validar resultados con un testing no moderado

4 http://www.usefulusability.com/remote-moderated-usability-tools/

con un número mayor de participantes.

No existe una respuesta en cuánto a qué metodología funciona mejor, ya que ambas apuntan a funcionar bajo distintos contextos y etapas de nuestro proyecto. Cada una de estas formas de testing tiene su lugar y momento y es mejor pensar en el testing de usabilidad como una herramienta iterativa. Diferentes estados o etapas del proceso de diseño se benefician de distinta forma de una u otra clase de testing. Es mejor pensar en ellos no como antagónicos, sino como análogos y complementarios.1 4

ANEXOS & LINKS

Sesión de testing remoto no moderado https://www.youtube.com/watch?v=Ie8L8SYaGlc Sesión de testing remoto moderado https://www.youtube.com/watch?v=c7cRYX9BoDk Guía sobre Usability testing publicada por UX Pin https://studio.uxpin.com/ebooks/guide-to-usability-testing/ Estudio Usability testing presencial vs Testing remoto no moderado http://www.upa-dc-metro.org/resources/Documents/conference/2007/presentations/fowler.pdf Sesión de testing remoto moderado con un prototipo de baja fidelidad https://www.youtube.com/watch?v=qQMTprp-zw4 Sesión de testing remoto no moderado en la página de Walmart https://www.youtube.com/watch?v=KJYlWbrQpQ8

4 http://www.usefulusability.com/remote-moderated-usability-tools/

1 4

UX PRACTICE REPORTE UX REMOTE TESTING