Growing together in the field of classroom assessment by British Council

Growing Together in the Field of Classroom Assessment: A Preliminary Analysis on the Practicality of Applying Rubrics in an EFL Program Edgar Picón Jácome Grupo de Investigación Acción y Evaluación en Lenguas Extranjeras GIAE – School of Languages - UdeA

14th National ELT Conference: Innovation and Professional Development in ELT

Universidad Javeriana Bogotá, Septiembre 19, 20 & 21, 2011

Outline of the Presentation The Study Group  The Action Research Project  Findings  Conclusions 

Starting Point Arias & Maturana (2005) ◦ Ante todo fue reiterativa la imprecisa definición del constructo lingüístico. . . . La falta de definición de las características de las tareas lingüísticas y de sus propósitos de instrucción o de evaluación sumativa o formativa, de medición o valoración, ocasionó la inclusión de aspectos no lingüísticos que terminaron imponiéndose a la hora de tomar decisiones de promoción. . . . Falta consenso entre los profesores y en las directrices de los programas en el tema de la evaluación (pp. 87-88).

Peale 1: Study that took place in one of the EFL Extension Programs

 Summary of the Starting Point ◦ Lack of clarity about the construct of evaluation ◦ Lack of consensus among administrators and teachers about evaluation in general terms ◦ Doubtful promotion of students

The Study Group 

Characteristics ◦ A collaborative form to grow professionally ◦ Coordinators and teachers ◦ A common interest

Birchak et al., 1998; Frodden & Picón, 2005; Mc Nulty & Usma, 2005; Sierra, 2007

Where We Are School of Languages

Extension Programs (External & Internal) 9

Study Group: 6 Programs

PIJ- Level 1

The Study Group ď&#x201A;&#x2014;

Who We Are Cadocentes: Coordinator

Multilingua: Coordinator Idiomas UdeA: Coordinator

PIJ: Coordinator & 4 teachers

PIP: Coordinator

PIN: Coordinator

The Study Group Goals

Strategies

•Impact assessment practices of Extension Programs

•Involve coordinators and teachers

•Clarify concepts & establish common assessment criteria

•Read and discuss about evaluation

•Clarify the construct

•Study the concept of Communicative Competence

•Promote reflection & develop research skills

•Carry out AR

The AR Project Context:The Teenagersâ&#x20AC;&#x2122; English Program o Created in 2000 o CLT & Content-based o Project work and autonomy o 450 students, aged from 10 to 18 o 33 teachers o Assessment: Follow up, 2 rotated interviews, project and final exam

Research Question ÂżTo what extent does the consensual design and application of rubrics, to evaluate the Communicative Competence of the students, contribute to establish useful, fair and democratic assessment practices, in the Teenagersâ&#x20AC;&#x2122; English Program, of the School of Languages of Universidad de Antioquia?



Principles that We Follow ◦ Usefulness  Validity, reliability, practicality, impact, authenticity, interactiveness, transparency  Bachman & Palmer (1996), Arias et al. (2009)

◦ Fairness  Transparency, validity, equity, inclusion, respect for the difference, multiplism perspective in evaluation  Suskie (2002), Shohamy (1998)

◦ Democracy  Participation, collaboration, empowering  Shohamy (2001)

The Action Clarify the concept of Communicative Competence (Construct) ď&#x201A;&#x2014; Design and apply evaluative tasks and scoring rubrics for the summative evaluation events ď&#x201A;&#x2014;

The Construct: Communicative Competence

◦ Grammatical competence:  Lexicon, Morphology, Syntax, Phonology

◦ Discourse competence:  Coherence and Cohesion

◦ Socio-cultural competence:  Social rules of language use, roles, information shared, function of the interaction, conventions, appropriateness, cultural awareness

◦ Strategic competence:

 Coping strategies: ask for information, seek clarification, negotiate meaning, use circumlocution

Savignon (2001)

The Rubric ď&#x201A;&#x2014;

A set of characteristics inherent to the evaluative task (or tasks) that compose a determined exam. These include the instructions, the structure, the time set for the completion of the task and the scoring method. Bachman and Palmer (1996)

The Rubric 

“a scoring device that specifies performance expectations and the various levels at which learners can perform a particular skill” (Mansoor & Grant, 2002, p. 33).

Goodrich-Andrade s. f.; O’Malley & Valdez-Pierce, 1996; Moskal, 2000; Mertler, 2001; Stevens & Levi, 2005



The rubric needs to be closely linked to the evaluative task.



The Evaluative Tasks: Interview & Profile ◦ Authentic and Interactive  O'Malley & Valdez –Pierce (1996)

◦ Constructed-response  Brown & Hudson (1998).



The Scoring Method ◦ Criterion- reference ◦ Analytic ◦ Transparent ◦ Flexible  Arias et al.(2009), Hewitt (1995), Mansoor & Grant (2002). Mertler (2001), Moskal (2000), O'Malley & Valdez –Pierce (1996), Picón (2010).

Development of Actions

Planned: Four evaluative tasks and their rubrics

Designed: Three evaluative tasks and their rubrics

Applied last semester: Interview and its rubric

Applied this semester: Profile and its rubric

Development of Actions: Oral Test

Group discussion about the task: Interview

PIJ coordinator and teachers design rubric

Group gives feedback & PIJ fixes

Data collection & analysis

Research Methodology Data Collection Observations Questionnaires to students Interviews to teachers Analysis of scores Reflections Minutes

Analysis & Interpretation Assembling, coding, comparing, building interpretations Inductive-Deductive categorization Triangulation Inter-subjectivity

What We Have Done So Far Data Collection for the Interview Analysis & Interpretation: Interviews and Reflections Observations (Collected) Questionnaires (Collected)

Interviews (Analyzed) Reflections (Analyzed) Observations (On the process of analysis)

Assembling, coding, comparing, building interpretations Inductive-Deductive categorization Triangulation Inter-subjectivity

Focus of this Presentation

ď&#x201A;&#x2014;

The Practicality of implementing this type of assessment for an EFL program ď&#x201A;&#x2013; The impact of the study group on the professional development of the participants so far.



According to Bachman and Palmer (1996), practicality “pertains primarily to the ways in which the test will be implemented, and, to a large degree, whether it will be developed and used at all” (p. 35)



Brown (2004) asserts that a test is practical if it “is not excessively expensive, stays within appropriate time constraints, is relatively easy to administer, and has a scoring/evaluation procedure that is specific and time efficient” (p. 19)

Practicality A quality of assessment linked to

Material Resources

Human Resources

Space Equipment Materials

Test Designers Scorers Administrators Clerical support

Time

Planning Designing Training teachers

Designing or adapting Scoring Interpreting Reporting (feedback)

Material Resources 



Space ◦ The classrooms Equipment ◦ The program counts on printers and scanners and the university counts on a photocopy center and other printing sources Materials ◦ The Extension Center include the price of the copies in the course fee

Human Resources 

Test Designers ◦ Coordinator ◦ Teachers



Scorers

◦ Teachers



Administrators ◦ Teachers



Clerical support

◦ The program counts on two assistants (monitores) to help with printing the files and making the copies

Time

Coordinator

• • • •

Make changes to the syllabus Plans the whole assessment process Designs the rubrics Supports teachers

Teachers

• • • • •

Design or adapt the rubrics Apply them Interpret results Score Provide feedback

Time: The Stronger Concern

â&#x20AC;˘ Although human resources are paid by the program, the fact that coordinators and teachers are the ones in charge of designing, administering, scoring, interpreting results and providing feedback, places the higher practicality concern on the time devoted for those activities..



(…) every semester I have to revise all the rubrics and tasks teachers design and do the training from zero with the new teachers.This has been time consuming although worth doing (Coordinator)



“Es muy demandante de tiempo: tenés que sentarte, planear una actividad, mirar qué querés evaluar en los estudiantes y cómo querés llegar allá.” (T1)

Time and Procedures for Feedback

â&#x20AC;˘ Teachersâ&#x20AC;&#x2122; expressions of concern related to (1) the procedures needed to record evidence and (2) the best moment and the time required to provide feedback were recurrent. These aspects interrelate and affect practicality.

◦ [El feedback] “yo creo que el mejor momento es ahí, de una, cierto…pero, dado lo detallado que es la rúbrica, para mí personalmente es muy difícil hacerlo y hacerlo a corto tiempo, (…) la parejita conmigo y yo tomando buen registro dentro de todo lo que ellos están haciendo… poderlo hacer yo solo sin necesidad de algo … yo pienso que por pareja 20 o 25 minutos hasta 30 dándoles el feedback de una, me parece ya que es demasiado tiempo tener a los estudiantes ahí.” (T1)

◦ (…) porque en ese momento los muchachos acaban de hacer las cosas y recuerdan lo que han hecho (…) hace más fácil la corrección(…) después se les pueden olvidar detalles (T2) ◦ “De una vez, apenas termine la entrevista. Porque es que a uno se le olvida las cosas. Por lo menos yo trato de anotar detallitos, en la estructura, en alguna pregunta qué se equivocó, en el orden de la pregunta, pronunciación para sustentarles porque le puse esa nota de acuerdo al criterio y entonces, si yo lo hago después, muy seguramente voy a tratar de recordar y no va a ser lo mismo; en el momento uno se acuerda de las cosas y es mejor” (T3)

Practicality Relies on Teacherâ&#x20AC;&#x2122;s Familiarity with the Instrument

â&#x20AC;˘ Practicality seems to be reliant on the development of teachersâ&#x20AC;&#x2122; expertise on the use of the rubric. The feelings experienced by them at the time of interpreting, scoring and providing feedback are linked to the level of familiarity they have developed to using the instrument: the more they get familiar with it, the easier it becomes to apply it, the less time they spend on the process, and the better they feel

◦ “Al principio me dio dificultad el formato, para clasificar la información (….) las tuve [Dificultades]en el momento de evaluar porque me confundí con lo de los porcentajes (…) me sentí un poco tensionada al principio porque se me hacía difícil categorizar inmediatamente lo que me decían (….) más o menos con el tercer estudiante ya la manejaba y me sentí más cómoda” (T2)

Transparency Promotes Self-Confidence

â&#x20AC;˘ Transparency will positively affect practicality as teachers will become more self-confident with their judgments at the time of assessing. Having clear criteria for evaluation helps decrease teachersâ&#x20AC;&#x2122; anxiety and grow pleasant feelings.

◦ “Se siente bien transparente, no con dudas al evaluar. Me deja tranquila porque evalúo lo que tengo que evaluar y no se presta para ambigüedades y se ve la transparencia. De igual forma los estudiantes tienen una idea más amplia de lo que se les va a evaluar, (…)” (T3)

◦ “…no tuve ningún inconveniente, en principio pensé que era complicado porque tenía dos estudiantes y pensé que no iba a tener tiempo de escribir los comentarios para cada uno (…)Todo estaba muy claro, muy organizado, incluso para la suma de los puntajes ya era más fácil porque ya estaban establecidos y se hace muy rápido” (AC)

Transparency Increases Validity

â&#x20AC;˘ Construct and content validity are directly connected to transparency since the rubric states what aspects of the studentâ&#x20AC;&#x2122;s competence will be evaluated.

◦ “Con la rúbrica uno cae en cuenta de cosas que antes no tenía en cuenta a la hora de evaluar (….) (T2) ◦ “cubrí todos los temas que incluía (…) había pensado en incluir algo sobre el proyecto, pero [la coordinadora del programa] sugirió dejarlo por fuera porque eran otros temas los que se debían evaluar”. (T3)

◦ “(…) uno generalmente evalúa muy subjetivo pero con la rúbrica tenemos la descripción de cada aspecto a evaluar” (T3) ◦ [La rúbrica]debe estar enfocada a lo que se ha hecho en la clase debe evaluar lo que se le ha enseñado a hacer al estudiante. No sólo los temas sino también la parte lingüística, a nivel de sintaxis, vocabulario y la parte de pronunciación.” (T1)

◦ “tenían en cuenta cosas que yo no les había dicho pero que estaban en la rúbrica” “Se preocupaban porque las preguntas estuvieran bien hechas, la mayoría de las veces los estudiantes se preocupan por lo que van a responder y no por preguntar.” (T2) ◦ “Es muy demandante de tiempo (….) Pero a la vez, creo que es gratificante saber que es un proceso más transparente y que los estudiantes van a saber en realidad qué es lo que se espera de ellos y la evaluación no va a estar en las nubes como siempre había estado.” (T1)

The Process Benefits Teaching

â&#x20AC;˘ The fact that teachers have to prepare to give students feedback result on positive washback on teaching and provide space for argumentation

◦ “Bueno eso es casi como pegarse uno una pelita y analizar mejor el proceso de cada estudiante. Te da mejores bases para dar tus clases después de…después de la aplicación de la rúbrica.” ◦ “ (…) saber que te tenés que pedir más como evaluador, como docente. Tenés que darle más argumentos al estudiante y argumentarte vos mismo por qué un estudiante saca un cinco ó un 4, no es simplemente una valorización holística, ya tenés que ir más allá y detallar más las cosas” ◦ (T1)

◦ “Haber cuando yo les entregué la hojita con los resultados yo me senté con cada uno, no en el momento de la entrevista sino después, me senté con cada uno y analizamos las anotaciones que yo había hecho. De los diez estudiantes la mayoría me preguntó: „¿cómo puedo mejorar eso?‟ (….) Yo vi a más de uno después sentado allá en su puesto mirando la hojita.” (T1)

There is Evidence of Evaluation for Learning

â&#x20AC;˘ The fact that students are presented with the scoring instrument and explained the evaluation criteria promotes their engagement in events of self-monitoring and self-evaluating their performance. Those events lead them to self-regulation and give them arguments to support their judgments.

◦ “(…) como yo les escribía, y les decía por ejemplo no pronunciaste esto bien, omitiste tal palabra, entonces los estudiantes se acordaban, estaban de acuerdo con lo que yo les estaba diciendo. Ninguno me dijo eso es mentira, o usted no se acuerda, o usted entendió mal, ninguno se opuso. No tuve ningún inconveniente con eso.” ◦ “ (…) entonces, cuando les iba explicando cómo había sido su desempeño de acuerdo al criterio, ellos eran conscientes de que: „sí me equivoque, no dije tal cosa, se me olvidó‟, ellos eran conscientes de lo que se les había evaluado.” (T3)



“Durante la entrevista muy normal…muy tranquilos, con la hojita…ya ellos sabían para que era; entonces la manejaban bien, entendían, ellos sabían qué se les estaba evaluando porque yo les estaba haciendo el feedback” (T3)

Validity, Transparency & Washback Increase Positive Feelings

â&#x20AC;˘ The qualities observed are appreciated by the teachers who feel time is worth spending to reach them.

◦ “Hay que mirarlo desde dos puntos.: para mí como docente me parece como dije anteriormente un proceso que demanda muchísimo tiempo , pero como las cosas en la vida que demandan tiempo… por lo general dan buenos resultados (…) Entonces me parece que vale la pena utilizar las rubricas una experiencia muy enriquecedora para uno como docente (….) pienso que se debe seguir trabajando las rúbricas, seguir con el acompañamiento por parte de la coordinación. El factor tiempo siempre va a ser un problema, pero es parte de la profesión, creo que viene con el trabajo entonces, es como aprender a manejar eso y a jugar con eso.” (T1)

As teachers

They

• Adapt or design the rubric • Analyze results • Score • Provide feedback

• Gain or clarify knowledge • Develop skills • Gain confidence • Develop positive attitudes

As a result they develop professionally !

◦ “Hice algunos cambios en la tarea evaluativa respecto a lo que habíamos trabajado con los estudiantes, pero fue más como de adaptación, por cuestiones de tiempo y no tuve la posibilidad de crear una tarea desde cero con la rúbrica desde cero. Que me hubiera gustado porque ese es el verdadero proceso de aprendizaje. El semestre pasado si hice yo todo, la tarea a evaluar. ..pero en este nivel si fue un proceso de adaptar” (T1) ◦ “El modelo que utilicé me ayuda para diseñar nuevas rúbricas para darle más claridad a los estudiantes en cuanto a lo que voy a evaluar.” (T2)

◦ “Algunos [profesores del PIJ] ya negocian la tarea evaluativa y los criterios de evaluación con los estudiantes, otros simplemente hacen lo que se les pide, otros hacen menos, pero en general, los resultados han sido muy buenos porque los profesores se han cuestionado sobre sus prácticas evaluativas y las de enseñanza al momento de notar algún tipo de contradicción entre lo que enseñan y lo que evalúan.” (Coordinadora)

Final Conclusions: 1 â&#x2014;Ś Due to their initial perceptions about the process to be time consuming and difficult, teachers experience feelings of anxiety and discomfort when faced with the endeavor of applying rubrics. However, as they clarify concepts and develop the skills needed to design and/or adapt the scoring instrument, they gain self-confidence, release those negative feelings, and develop positive attitudes.

Final Conclusions: 2 â&#x2014;Ś Interaction among some assessment qualities was evident in the analysis. On the one hand, teacherâ&#x20AC;&#x;s development of self-confidence was supported by the transparency of the rubric as it made it easier for them to evaluate. On the other hand, as teachers spend less time in scoring and interpreting, practicality increases. Likewise, transparency seems to enhance teachersâ&#x20AC;&#x; awareness of validity. Finally, the use of the rubric benefits positive washback to take place.

Practicality At the beginning

As teachers gain experience

Professional Development

Teacher’s evidence 

“Hay que mirarlo desde dos puntos.: para mí como docente me parece como dije anteriormente un proceso que demanda muchísimo tiempo , pero como las cosas en la vida que demandan tiempo… por lo general dan buenos resultados (…) Entonces me parece que vale la pena utilizar las rubricas una experiencia muy enriquecedora para uno como docente (….) pienso que se debe seguir trabajando las rúbricas, seguir con el acompañamiento por parte de la coordinación. El factor tiempo siempre va a ser un problema, pero es parte de la profesión, creo que viene con el trabajo entonces, es como aprender a manejar eso y a jugar con eso.” (T1)

Professional Development • “processes that improve the job-related knowledge, skills and attitudes of school employees” • Sparks and Loucks-Horsley’s (1990)

◦ Collegial Dialog  “me genera satisfacción encontrar que mi experiencia y conocimiento le pueda aportar a otros. Así mismo me satisface descubrir en los compañeros su capacidad para exponer su punto de vista con claridad y fundamentación. Opuestamente también siento a veces cierta angustia cuando encuentro que algunos conceptos o relaciones sobre el tema que tratamos de desarrollar todavía no están claros, y percibo que en ocasiones la comprensión del asunto no evoluciona. “ (i3)

◦ Knowledge  “También me ha dado la oportunidad de comprender términos y aspectos referentes a la investigación que en mi especialización no fueron claros. Por ejemplo, ahora tengo claro que una cosa es el análisis y otro es la interpretación de los datos; que el análisis puede ser deductivo, inductivo y uno no excluye al otro.” (i4)

◦ Skills  “En el primer programa diseñé una rúbrica para la evaluación del diario pedagógico (….) considero que el hecho de haberla realizado y haber convocado a varios docentes para que me colaboraran en su edición, fue un gran logro. Además, el haber identificado la necesidad de un instrumento, me mostró el impacto que ha tenido el grupo en mis prácticas docentes y profesionales.” (i2)  “Aunque apenas estoy iniciando en el diseño de rúbricas, esto me ha permitido tener una mayor claridad al momento de evaluar a mis estudiantes. Al tener esta mayor claridad, me siento más segura y cómoda al decirle a un estudiante porqué no aprobó una determinada tarea.” (i4)

◦ Skills  “Como coordinadora (…) estar en este proyecto también me ha ayudado a: establecer los criterios y a guiar a los docentes en el diseño, implementación y evaluación del examen escrito; a darme cuenta que actividades como la evaluación oral necesitan ser reformuladas, que no tienen unos criterios lo suficientemente concretos y sustentados (…)” (i1)

◦ Sense of partnership  “Ha sido maravilloso compartir con un grupo de coordinadores donde incluimos a los maestros y donde parece ser los hemos enganchado con el cuento de hacer investigación. Ha sido magnífico compartir con todos ellos y que te digan lo que haces bien y lo que no, de una manera respetuosa, responsable, amigable, profesional y que no nos veamos como individualidades sino como un equipo.” (i1)

◦ Sense of partnership  “Otro aporte del trabajo que adelantamos en equipo, es el compañerismo que se ha desarrollado, y el empoderamiento al tener la confianza de que podemos hacer cosas juntos, y que ello surge en principio de un interés común, pero que al final es el resultado del conceso y el disenso por el que pasan los temas de discusión. “ (i3)  “A nivel personal me ha dado la posibilidad de conocer diferentes formas de trabajo, de expresión de mis compañeros, me gusta ver lo apasionados que son algunos a exponer sus puntos de vista y cómo esto no afecta las relaciones interpersonales. “ (i4)



Attitudes ◦ “En lo personal mi relación y trabajo con el otro, me ayuda a reevaluar constantemente mis “verdades”, o aquello en lo que creo, a veces la diferencia, la diversidad de formas de percibir e interpretar la realidad me lleva a reafirmarme, a seguir construyéndome o a transformar mis propias prácticas y posicionamiento frente al saber y al conocimiento. “ (i3)



Attitudes ◦ “Hay que estar muy comprometidos y amar mucho lo que

se hace para hacer lo que hacemos. Sin embargo, he aprendido que a pesar de todas las dificultades se pueden hacer las cosas bien, que nunca hay situaciones ideales y que es decisión de uno hacer las cosas o no. “ (i1)



Attitudes ◦ “(…) el pensar en la importancia de ser objetivos a la hora de evaluar (…) me hace ser un poco más paciente con las personas que me relaciono día a día (…) cuando quiero juzgar a alguien por algún comportamiento que no me agrada (…) reflexiono y pienso si los criterios que estoy teniendo en cuenta para hacer este tipo de evaluación son los que deberían ser. “ (i2)

Final Conclusions: 3 â&#x2014;Ś The experience of applying rubrics as the scoring instrument in the PIJ has proved to help teachers clarifying the construct of evaluation. However, coordinators need to be knowledgeable about the theoretical models that support their programs so that they can design transparent instruments coherent with those models and train their faculty.

Final Conclusions: 4 ď&#x201A;&#x2013; This teacher study group has proved to be supporting for the PIJ coordinator, and the other study group members, in terms of providing them a space for collegial dialog. Likewise, the coordinatorâ&#x20AC;&#x;s mentoring has been acknowledged and appreciated by the teachers as paramount for them to clarify the construct of evaluation and improve their assessment practices.

Final Conclusions: 5 ď&#x201A;&#x2013; In this experience, we have observed a process of professional development taking place in terms of knowledge acquisition and skill development. Both of them seem to lead teachers and coordinators to experience positive feelings and develop constructive attitudes towards the implementation of more valid alternatives of assessment. Professional development strategies are therefore needed to be implemented if we want this type of change to be successful.

Coordinator’s evidence 

“Es increíble ver lo que uno puede hacer cuando le dan feedback (…) al estar en el proyecto del grupo, me involucré en un programa de entrenamiento uno a uno con los profesores del programa para capacitarlos en el proceso de la evaluación con rúbricas.Todo esto porque cuando discutimos la experiencia al pilotear la primera rúbrica concluimos que los profesores necesitan entrenamiento en la implementación de una innovación curricular como ha sido lo de la rúbrica.” (Coodinadora)

References   



  

Altrichter, H., Posch, P. & Someck, B. (1993). Teachers investigate their work: An introduction to the methods of action research. London-NY: Routledge. Arias, C., & Maturana, L. (2005). Evaluación en lenguas extranjeras: discursos y prácticas. Ikala: Revista de Lenguaje y Cultura, 10, 63-91. Arias, C., Estrada, L., Areiza, H. & Restrepo, E. (2009). Sistema de evaluación en Lenguas Extranjeras. Medellín, Colombia: Reimpresos, Universidad de Antioquia. Bachman, L. F. & Palmer, A. S. (1996). Language testing in practice. NY: Oxford University Press. Birchak, B., Connor, C., Crawford, K. M., Kahn, L.H. Kaser, S., Turner S. & Short K. (1998). Teacher study groups: Building community through dialogue and reflection. Urbana, Ill.: National Council of Teachers of English. Brown, D. H. (2004). Language assessment: Principles and classroom practices. NY: Longman. Brown, J. D. & Hudson, T. (1998). The alternatives in language assessment. En Tesol Quarterly 32, (4), 653-675. Burns, A. (1999). Collaborative action research for English language teachers. London-NY: Cambridge University Press.

 

  



Frodden, M., & Picón, E. (2005). El desarrollo de la autonomía del profesor: un estudio de caso. Boletín de Investigación Educacional, 20, 285-300. Frodden, M., Restrepo, M. & Maturana, L. (2004). Analysis of assessment instruments used in foreign language teaching. Ikala: Revista de Lenguaje y Cultura, 9, 171-201. Goodrich-Andrade, H. (s.f.) Understanding rubrics. En Julio 1, 2008 de: http://learnweb.harvard.edu/ALPS/thinking/docs/rubricar.htm European Council (2001). Common European Framework of reference for languages. UK: Cambridge University Press Mansoor, I. & Grant, S. (2002). A writing rubric to assess ESL student performance [Electronic version]. Adventures in Assessment, 14, 33-38. (ERIC Document Reproduction Service No. ED 482885). Mc Nulty, M., & Usma, J. (2005). Evaluating research skills development in a Colombian undergraduate foreign teaching program. Ikala: Revista de Lenguaje y Cultura, 10, 95-125. Mertler, Craig A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). Retrieved October 4, 2007 from http://PAREonline.net/getvn.asp?v=7&n=25. Moskal, Barbara M. (2000). Scoring rubrics: what, when and how. Practical Assessment, Research & Evaluation, 7(3). Retrieved October 8, 2007 from http://PAREonline.net/getvn.asp?v=7&n=3



O'Malley, J. M. & Valdez -Pierce, L. (1996). Authentic assessment for English language learners: Practical approaches for teachers. NY: Longman



Picón-Jácome, E. (2007). Teacher-student partnership assessment on foreign language writing. Tesis de maestría sin publicar, Greensboro College, Greensboro, NC, United States.



Savignon, S.J. (2001). Communicative language teaching for the twenty-first century. En M. Celce-Murcia (Ed.), Teaching English as a second or foreign language (3rd ed., pp. 13-28). Boston, MA: Heinle & Heinle.



Sierra, A. (2007). Developing knowledge, skills and attitudes through a study group: a study on teacher’s professional development. Ikala: Revista de Lenguaje y Cultura, 12, 279-305.



Williams, J. (2003). Preparing to teach writing: Research, theory and practice (3rd ed.). Mahwah, NJ: Erlbaum. En December 20, 2005 de NETLIBRARY database (83850).