Revista de Educación Andrés Bello, Nº4, 2016, pp.131-154.
ISSN 0719-7403 versión en línea
Recibido: 15 agosto 2016
Aceptado: 24 octubre 2016
1. INTRODUCCIÓN
El presente trabajo de investigación se enmarca en un proyecto de innovación desarrollado por la Facultad de Psicología y el Centro de Desarrollo para la Docencia de la Universidad del Desarrollo, cuyo objetivo general fue elaborar un instrumento que permita monitorear el desarrollo de competencias de entrevista psicológica en los estudiantes del curso taller de Desarrollo de Competencias I, del ciclo Licenciatura de la carrera de Psicología de la Universidad del Desarrollo. Dicho instrumento es una rúbrica de evaluación que permite considerar los desempeños esperados y los niveles de logro para cada dimensión establecida a partir de las competencias específicas y genéricas propuestas en el programa del curso.
En este contexto, se presenta a continuación los resultados de dicha innovación en la dimensión evaluativa del curso taller de Desarrollo de Competencias I: Entrevista Psicológica, relevando la importancia de la evaluación como un proceso de aprendizaje continuo, contextualizado y progresivo.
La Facultad de Psicología de la Universidad del Desarrollo plantea un currículum orientado por competencias, lo cual trae aparejado nuevas demandas y desafíos para la evaluación, la cual por una parte pretende promover, mejorar y optimizar el aprendizaje de los estudiantes, centrándose en el proceso, y por otra, responde al requerimiento de certificar, emitiendo un juicio sobre los desempeños que evidencian las competencias requeridas. Es así, como la formación por competencias permite concebir los resultados de aprendizaje como desempeños observables a nivel conceptual, procedimental y actitudinal.
La evaluación por competencias obliga a desarrollar en los docentes y en los estudiantes un tipo de práctica reflexiva, a poner en juego y desplegar marcos y encuadres favorables a la tarea, a proponer y mantener dispositivos de evaluación más elaborados (Cappelletti, 2010).
El principal desafío, es asegurar dentro del currículum, procesos de aprendizaje, enseñanza y evaluación, que permitan generar aprendizajes con sentido, contextualizados y pertinentes a los contextos de desempeño.
Este curso práctico persigue desarrollar en los estudiantes las competencias necesarias para realizar entrevistas psicológicas en distintos contextos de aplicación. La metodología utilizada por los docentes de este curso, se caracteriza por la constante ejercitación, observación y análisis de entrevistas psicológicas con casos reales o simulados. Sin embargo, los instrumentos o procedimientos para evaluar los aprendizajes, difieren en función de los docentes a cargo de la asignatura, pues no se han diseñado instrumentos y procedimientos de uso generalizado y sistemático para evaluar el desempeño de los estudiantes en la realización de entrevistas psicológicas.
Si bien el curso es altamente valorado por las y los estudiantes de acuerdo a las encuestas docentes, existen algunas inquietudes respecto de la evaluación, especialmente respecto de las diferencias entre el examen final y el desarrollo del curso y la falta de explicitación de los estándares por los cuales los alumnos y alumnas serán evaluados. A su vez, es posible apreciar que han existido diferencias entre los distintos profesores que han dictado el curso, específicamente respecto de los instrumentos para la evaluación de las competencias (uso de rúbricas o listas de cotejo), así como en relación a los agentes involucrados en la evaluación (auto-evaluación, co-evaluación o hetero-evaluación).
Además, como parte del seguimiento del proceso de enseñanza-aprendizaje que realiza la Facultad, se ha detectado que, los instrumentos para evaluar el desarrollo de competencias prácticas, especialmente a nivel procedimental, actitudinal y genérico, varían mucho en función del docente a cargo de los cursos y no se cuenta con instrumentos o procedimientos “formales” u “oficiales” de uso generalizado para este tipo de aprendizajes, que orienten tanto a los docentes como a los estudiantes de cursos prácticos, respecto de los estándares de desempeño y sus distintos niveles de logro.
La complejidad que acompaña a las competencias obliga a considerar las múltiples manifestaciones del desempeño del estudiante en diversos contextos, lo cual impone diferentes procedimientos e instrumentos para obtener información que permita verificar el logro o no de las competencias. Por otra parte, al evaluar competencias se debe ceder espacio para que los estudiantes autovaloren y se aplique la coevaluación, es decir, considerar los distintos agentes en su formación (Camperos, 2008).
Por otra parte, considerando este nuevo escenario, se produce un paso desde la evaluación de los aprendizajes a una evaluación para el aprendizaje, entendiéndolo como un proceso permanente de recogida de información para la transformación tanto de los estudiantes como de los docentes, basándose en la constante retroalimentación, en la implicación de los estudiantes y en tareas que representen adecuadamente las condiciones en que dichos aprendizajes se utilizarán en la realidad (Padilla y Gil, 2008).
Este enfoque de “evaluación para el aprendizaje”, plantea que la tarea de evaluación debe ser congruente con el contexto en que se aprende y en el que se utilizará esa competencia, existiendo retroalimentación directa del desempeño, involucrando a los estudiantes en la evaluación (Padilla y Gil, 2008).
Además la evaluación por competencias deberá considerar la coherencia entre los objetivos de aprendizaje y los de evaluación, junto con la retroalimentación sobre el progreso de aprendizajes de los estudiantes (Villadrón, 2006).
Las consecuencias en las prácticas evaluativas tanto para los estudiantes, profesores y sistema educativo en general, han conducido a plantear aproximaciones donde se promueva el aprendizaje. Para lograr lo anterior, se deben cumplir dos supuestos: el primero se relaciona con la coherencia entre los objetivos de aprendizaje y los objetivos de la evaluación y el segundo se refiere a utilizar la retroalimentación como herramienta fundamental que contribuye a observar el progreso de los estudiantes (Villadrón, 2006).
Al considerar que la evaluación orientada al aprendizaje de los estudiantes no es una mera cuestión técnica de cambiar los instrumentos o estrategias de evaluación, se requiere un replanteamiento de las prácticas docentes. La evaluación para el aprendizaje considera tres requisitos: promover tareas auténticas, aportar retroalimentación y fomentar el papel activo del estudiante en su proceso de evaluación (Padilla y Gil, 2008).
Bajo este enfoque las tareas de evaluación son tareas de aprendizaje, por lo que «debe requerir en algún momento una demostración activa de su capacidad de poner en acción el conocimiento en contraste con hablar o escribir sobre él» (Padilla y Gil, 2008, p.470). En este sentido, la tarea propuesta debiera ser lo más real posible, ya que la idea es que los estudiantes puedan pensar, decidir y actuar en un mundo real, es decir, que sea considerada en un contexto de evaluación auténtica.
En relación al requisito de aportar retroalimentación al estudiante, ésta debe orientar la ejecución futura, es decir optimizar y mejorar el aprendizaje. Para esto se deben reconocer los logros, se debe estar abierto al diálogo y la retroalimentación debe apuntar a desarrollar en los estudiantes mejores desempeños.
En palabras de Padilla y Gil «la evaluación compromete a los estudiantes con estándares y criterios que los implican en juicios de valor sobre la calidad del trabajo y sobre cómo puede éste mejorarse» (Padilla y Gil, 2008, p.472).
Que los estudiantes puedan evaluarse y que se evalúen entre compañeros trae consecuencias positivas en la confianza, tolerancia, colaboración, responsabilidad y favorece la autonomía entre otras. Sin embargo, cualquiera de las dos técnicas debe ir acompañada con la retroalimentación del profesor de manera de contribuir al desarrollo de la metacognición (Padilla y Gil, 2008).
Los estudiantes a partir de esto, se harán cargo de sus aprendizajes y tomarán conciencia de sus logros, fortalezas y debilidades, implicándose realmente en el proceso de enseñanza y aprendizaje.
En este contexto, la construcción y uso de rúbricas como instrumentos de evaluación que establecen criterios y estándares para los desempeños esperados, describiendo niveles en una gradiente, con el propósito de determinar la calidad de una ejecución realizada son herramientas valiosas para evaluar competencias y su progresión (Vera Vélez, 2008 en Villarroel, 2010). Esto porque su propósito fundamental es evaluar lo que los estudiantes sí pueden hacer, refiriéndose a situaciones prácticas en las que se verifica el dominio de habilidades, destrezas y competencias a través de la observación del desempeño en la ejecución de una tarea determinada. Los estudiantes conocen de antemano los desempeños esperados en cada una de las dimensiones, lo que permite al estudiante conocer cuáles son las habilidades que necesita desarrollar y qué destrezas necesita ir adquiriendo para lograr el máximo de desempeño.
El diseño de las rúbricas transita entre dos polos, según su extensión. Existen rúbricas globales o comprehensivas y rúbricas analíticas. Las primeras, evalúan los desempeños como un todo, sin separar cada uno de los elementos que componen el desempeño, son útiles cuando en las ejecuciones pueden aceptarse ciertos errores o diferencias con respecto al estándar sin que esto afecte la calidad del resultado final, tienen la ventaja de agilizar el proceso de calificación y la desventaja, de perder la observación de detalles que podrían ser interesantes de retroalimentar. Las segundas, evalúan por separado los componentes del desempeño, son útiles cuando los aprendizajes requieren precisión y exactitud, la ventaja es que los estudiantes pueden recibir retroalimentación detallada de su ejecución y la desventaja, es que la calificación puede resultar lenta, dado que implica distinguir aspectos específicos de la ejecución.
Una tabla de especificaciones es la delimitación de aquello que pretendemos evaluar, constituye una “carta de navegación” que orienta el proceso de construcción del instrumento. El objetivo central de una tabla de especificación es establecer y organizar sinópticamente las relaciones entre:
-El objetivo, finalidad o propósito de aprendizaje
-Las dimensiones a evaluar
-Los indicadores observables
-La ponderación de cada una de las áreas en el instrumento total
De acuerdo a lo anterior, la rúbrica en tanto es un instrumento que permite evaluar competencias y sus distintos componentes, especifica niveles de logro que se dan a conocer a los estudiantes y permite que estos sean retroalimentados a partir de indicadores válidos y confiables, aparece como un aporte a la solución de la problemática planteada.
2. METODOLOGÍA
A partir de la necesidad detectada, se decidió postular a un fondo que ofrece el Centro de Desarrollo de la Docencia (CDD), destinado a apoyar la implementación del Proyecto Educativo, promoviendo una docencia de excelencia en las distintas facultades de la UDD y ofreciendo a sus docentes la posibilidad de fortalecer y perfeccionar la enseñanza, mediante la realización de iniciativas orientadas a la calidad e innovación del quehacer pedagógico. Este proyecto fue denominado “Construcción y uso de instrumentos para evaluar competencias de entrevista psicológica, con enfoque de evaluación para el aprendizaje” y tenía por objetivo monitorear el desarrollo de competencias para realizar entrevistas psicológicas, a través de sistemas de hétero y autoevaluación con enfoque de evaluación para el aprendizaje.
El equipo estuvo conformado por dos docentes que dictan el curso, una tutora (docente de la carrera), la coordinadora curricular y la encargada institucional de innovaciones metodológicas. En conjunto se decidió utilizar rúbricas analíticas para evaluar las competencias de entrevista psicológica en el Taller de Competencias.
Las etapas de la innovación, fueron las siguientes:
2.1. Diseño y validación de Rúbrica:
2.1.1. Construcción de tabla de especificaciones: las docentes del curso listaron las dimensiones que consideraban esenciales para focalizar la evaluación de competencias de entrevista psicológica, buscaron soporte teórico para caracterizar cada dimensión y consensuaron indicadores de evaluación para cada dimensión, integrando la información teórica recopilada con su experiencia en la realización de entrevistas psicológicas y como docentes (ver tabla 1)
Tabla 1. Tabla de especificaciones
| Objetivo de evaluación | Dimensión | Indicadores | Ponderación |
| Realizar entrevistas psicológicas, siguiendo la estructura adecuada, utilizando habilidades de escucha activa y manteniendo un comportamiento ético de acuerdo a los estándares de la disciplina. | Manejo habilidades no verbales | – Mantiene contacto ocular con el entrevistado.-Postura corporal acogedora.
– Usa silencios para facilitar expresión de emociones. |
20% |
| Manejo en la recolección de la información | – Utiliza preguntas abiertas.- Clarifica expresiones ambiguas.
– Verifica escuchas. – Establece y mantiene el hilo narrativo. |
20% | |
| Fase Apertura de la entrevista | – Saluda al entrevistado- Se presenta
– Presenta encuadre – Explica finalidad de la entrevista |
15% | |
| Fase Desarrollo de la entrevista | – Indaga el problema central del entrevistado.- Pregunta por el motivo de consulta.
– Pregunta por elementos de la historia personal, familiar o antecedentes relevantes que se relacionen con la situación actual que expone el entrevistado. |
15% | |
| Fase Cierre de la entrevista | – Realiza una síntesis o resumen coherente de la entrevista.- Incluye las principales emociones y contenidos observados.
– Aclara dudas. – Explicita pasos a seguir como honorarios, horas, etc. – Indaga en expectativas del entrevistado. |
15% | |
| Comportamiento ético | – Noemitir juicios de valor.- No devaluar al entrevistado.
– No presentar actitud de experto/autoritario. – Formalidad del encuadre. |
15% |
2.1.2. Caracterización de los niveles de desempeño: una vez definidas las dimensiones e indicadores a evaluar, las docentes caracterizaron los desempeños esperados para cada dimensión, graduándolos en cuatro niveles de logro: insuficiente, suficiente, bueno, muy bueno.
2.1.3. Validación con jueces expertos: se solicitó a 3 jueces expertos evaluaran la tabla de especificaciones y la rúbrica en función de su pertinencia, relevancia y adecuación, con respecto a los objetivos del Taller de Competencias I. Estos jueces fueron 2 docentes de la carrera de Psicología, asociados al área organizacional y clínica; además se contó con la evaluación de 1 juez experto en currículum, que apoya los procesos de análisis curricular en el CDD. Cada juez manifestó su apreciación en tres opciones: A: de acuerdo; AM: de acuerdo con modificaciones; DA: en desacuerdo, pudiendo dejar comentarios.
2.1.4. Construcción de la versión definitiva: con todo lo anterior, se confeccionaron las rúbricas finales, realizando distinciones para el área clínica y organizacional (ver tablas 2 y 3, respectivamente).
Tabla 2. Rúbrica para evaluación de competencias de entrevista psicológica, área clínica.
| DIMENSIÓN | INDICADORES | INSUFI-CIENTE1 pto. | SUFICIENTE2 ptos. | BUENO3 ptos. | MUY BUENO4 ptos. |
| Manejo habilidades no verbalesKeats, D. (1992). La entrevista perfecta. Pax: México D.F. Capítulo 5 (p.79-87) | -Mantiene contacto ocular con el entrevistado.-Postura corporal acogedora.
– Usa silencios para facilitar expresión de contenidos y emociones durante la entrevista. |
No mantiene contacto ocular,No mantiene una postura corporal acogedora y no utiliza los silencios para facilitar expresión de contenidos y emociones. | Mantiene contacto ocular, durante toda la entrevista,y
mantiene una postura corporal acogedora sólo en ocasiones, que se observa por ejemplo en, uso de inclinaciones de cabeza y cuerpo, brazos abiertos, cuerpo relajado. Además, no utiliza el silencio como facilitador de expresión de emociones y contenidos en el entrevistado. |
Mantiene contacto ocular, durante toda la entrevista,y
mantiene una postura corporal acogedora, que se observa por ejemplo en, uso de inclinaciones de cabeza y cuerpo, brazos abiertos, cuerpo relajado. Sin embargo, no utiliza el silencio como facilitador de expresión de emociones y contenidos en el entrevistado. |
Mantiene contacto ocular durante toda la entrevista,y
mantiene una postura corporal acogedora, que se observa por ejemplo en, uso de inclinaciones de cabeza y cuerpo, brazos abiertos, cuerpo relajado. y Utiliza el silencio como facilitador de expresión de emociones y contenidos en el entrevistado. |
| Manejo en la recolección de la información
Echeverría, R. (2006). Actos del lenguaje, Vol. 1. La Escucha. Lom: Santiago |
– Utiliza preguntas abiertas.- Clarifica expresiones ambiguas.
– Verifica escuchas. – Establece y mantiene el hilo narrativo. |
No clarifica expresiones ambiguas, no utiliza preguntas abiertas ni verifica escuchas.
o
El hilo narrativo se pierde más de una vez, sin poder retomarlo. |
Clarifica expresiones ambiguas, utiliza preguntas abiertas y verifica escuchas.
Sin embargo, el hilo narrativo se pierde más de una vez, logrando retomarlo. |
Clarifica expresiones ambiguas, utiliza preguntas abiertas y verifica escuchas.
Sin embargo, el hilo narrativo se pierde sólo en un momento, logrando retomarlo.
|
Clarifica expresiones ambiguas, utiliza preguntas abiertas y verifica escuchas.
Establece y mantiene el hilo narrativo en todo momento.
|
| Fase Apertura de la entrevistaGarcía Arzeno (2000).
Nuevas aportaciones al psico-diagnóstico clínico. Cap. 5. Ed. Nueva Edición, Bs Aires. |
– Saluda al paciente- Se presenta
– Presenta el encuadre – Explica finalidad de la entrevista chequeando si el entrevistado el objetivo de ésta. |
No saluda ni se presenta,O bien,
No presenta el encuadre ni la finalidad de la entrevista. |
Saluda, se presenta y presenta el encuadre, pero no explicita la finalidad de ésta. | Saluda, se presenta, presenta el encuadre y explica la finalidad de la entrevista, pero no chequea si el entrevistado comprende el objetivo de ésta.Por ejemplo, explicitar contexto de espejo unidireccional, tiempo aproximado de la entrevista, n° de sesiones de entrevistas. | Saluda, se presenta, presenta el encuadre y explica la finalidad de la entrevista chequeando si el entrevistado comprende el objetivo de ésta.Por ejemplo, explicitar contexto de espejo unidireccional, tiempo aproximado de la entrevista, n° de sesiones de entrevistas. |
| Fase Desarrollo de la entrevista
García Arzeno (2000). Nuevas aportaciones al psicodiagnóstico clínico. Cap. 5. Ed. Nueva Edición, Bs Aires. |
– Indaga el problema central del entrevistado.- Pregunta por el motivo de consulta.
– Pregunta por elementos de la historia personal, familiar o antecedentes relevantes que se relacionen con la situación actual que expone el entrevistado. |
No indaga el problema central del entrevistado, ni pregunta por el motivo de consulta,
O bien,
Realiza preguntas aisladas, que no se relacionan con el motivo de consulta ni con la situación actual que expone el entrevistado. |
Indaga el problema central del paciente, preguntando por el motivo de consulta,
Sin embargo, explora elementos de la historia personal, familiar u otros antecedentes, que no están vinculados al motivo de consulta ni a la situación actual que expone el entrevistado. |
Indaga el problema central del entrevistado por el motivo de consulta.
Sin embargo, hay elementos de la historia personal, familiar o antecedentes relevantes respecto de éste, que no explora.
|
Indaga el problema central del entrevistado, preguntando por el motivo de consulta y por elementos de la historia personal, familiar o antecedentes relevantes respecto de éste que se relacionen con la situación actual que expone el entrevistado.
|
| Fase Cierre de la entrevista
García Arzeno (2000). Nuevas aportaciones al psicodiagnóstico clínico. Cap. 5. Ed. Nueva Edición, Bs Aires. |
– Realiza una síntesis o resumen coherente de la entrevista.- Incluye las principales emociones y contenidos observados.
– Aclara dudas. – Explicita pasos a seguir como honorarios, horas, etc. – Indaga en expectativas del entrevistado. |
No realiza síntesis,o bien, realiza una síntesis o resumen que no es coherente con lo sucedido en la entrevista.
O,
Sólo explicita los pasos a seguir y no indaga ni integra expectativas del entrevistado. |
Realiza una síntesis o resumen coherente de la entrevista, incluyendo las principales emociones o contenidos observados.
Además, explicita pasos a seguir como honorarios, horas, etc.
Sin embargo, no aclara dudas ni pregunta por expectativas del entrevistado. |
Realiza una síntesis o resumen coherente de la entrevista, incluyendo las principales emociones y contenidos observados.
Además, aclara dudas y explicita pasos a seguir como honorarios, horas, etc.
Sin embargo, no pregunta por expectativas del entrevistado. |
Realiza una síntesis o resumen coherente de la entrevista, incluyendo las principales emociones y contenidos observados.
Además, aclara dudas, explicita pasos a seguir como honorarios, horas, etc. e indaga en expectativas del entrevistado. |
| Comportamiento éticoCódigo de ética del colegio de psicólogos. | – No emitir juicios de valor.- No devaluar al paciente.
– No presentar actitud de experto/autoritario- Formalidad del encuadre |
No se ajusta a estándares éticos de la disciplina, puesto que no establece una relación asimétrica, no respeta al paciente, no explicita la confidencialidad con el entrevistado y evidencia sesgos personales en su comunicación con el entrevistado, llegando a devaluarlo. | Se ajusta a los estándares éticos de la disciplina, actuando de acuerdo al rol profesional, lo que se observa en comportamientos como:Establecer una relación asimétrica
Y, respeta al entrevistado y evita daños a éste. Pero no explicita la confidencialidad con el entrevistado y, en ocasiones evidencia sesgos personales en su comunicación con él, sin llegar a que éstos lo devalúen o lo dañen. |
Se ajusta a los estándares éticos de la disciplina, actuando de acuerdo al rol profesional, lo que se observa en comportamientos como:Establecer una relación asimétrica
Y, evita sesgos personales en la comunicación con el entrevistado Y, respeta al entrevistado y evita daños a éste. Pero no explicita la confidencialidad con el entrevistado. |
Se ajusta a los estándares éticos de la disciplina, actuando de acuerdo al rol profesional, lo que se observa en comportamientos como:Establecer una relación asimétrica,
Y, explicitar la confidencialidad con el entrevistado Y , evita sesgos personales en la comunicación con el entrevistado Y, respeta al entrevistado y evita daños a éste. |
Tabla 3. Rúbrica para evaluación de competencias de entrevista psicológica, área clínica
| Pregunta | Muy en desacuer-do | En desacuer-do | Ni de acuerdo ni en desacuer-do | De acuerdo | Muy de acuerdo |
| Me permitió monitorear mi estado de avance y mis logros finales | 6 | 1 | 5 | 25 | 19 |
| El autoevaluarme ayudó a conocer mis competencias y habilidades. | 4 | 3 | 7 | 16 | 26 |
| Las rúbricas son buen sistema de evaluación para las competencias de entrevista psicológica. | 5 | 1 | 5 | 17 | 28 |
| Me gustaría seguir aprendiendo de esta forma. | 6 | 1 | 7 | 14 | 28 |
| Me sentí partícipe del proceso de evaluación con rúbricas | 6 | 1 | 4 | 16 | 29 |
| Recomendaría el uso de rúbricas | 5 | 2 | 3 | 16 | 30 |
| El uso de la rúbrica me permitió mejorar mis aprendizajes. | 4 | 1 | 6 | 15 | 30 |
| Me ayudó para autoevaluar mi desempeño | 6 | 0 | 2 | 12 | 36 |
| Me sirvió la retroalimentación de la docente para mejorar mis competencias | 5 | 1 | 1 | 12 | 37 |
| Me ayudó a saber qué se espera de mi desempeño | 5 | 0 | 2 | 11 | 38 |
| Fue un aporte conocer la rúbrica | 5 | 0 | 3 | 7 | 41 |
| Ocupé la rúbrica como guía | 5 | 0 | 1 | 9 | 41 |
2.2. Uso de las rúbricas para auto y hétero evaluación:
2.2.1. Socialización y familiarización con las y los estudiantes: se dio a conocer a las y los estudiantes, los desempeños esperados para la competencia de entrevista psicológica, se explicitaron los criterios de evaluación y se los entrenó en el uso de la rúbrica para auto-evaluarse. En este proceso se realizaron ajustes en el lenguaje y modificaciones menores en redacción, según sugerencias de alumnos y su nivel de entendimiento de la rúbrica.
2.2.2. Evaluación de proceso: se trabajó con la rúbrica en los ejercicios de clases y se registraron los datos de autoevaluación y hétero evaluación, durante el proceso de aprendizaje.
2.2.3. Evaluación final: la evaluación final se realizó en el examen de la asignatura, que consiste en una entrevista simulada con un actor, que se realiza en una sala de espejo bidireccional. Una vez finalizada la entrevista, se les pide a todos que completen su autoevaluación y hétero evaluación, se les da feedback y se les entrega la calificación.
3. EVALUACIÓN Y DIVULGACIÓN DE LA EXPERIENCIA
Al finalizar cada fase de la evaluación (proceso y resultado), la información fue analizada de manera transversal, a través de análisis descriptivos del nivel de logro en cada una de las distintas dimensiones evaluadas y de las diferencias entre la evaluación de docentes y estudiantes. Esta información se utilizó para reorientar las prácticas docentes en términos de la distribución del tiempo disponible, la precisión de las retroalimentaciones y del material de apoyo para los estudiantes; a los y las estudiantes, se les sugirió utilizar la información para ejercitar con mayor énfasis aquellas dimensiones con menor logro.
Al final el semestre, se pidió a las y los estudiantes que respondieran una encuesta on-line para recoger su apreciación respecto de la innovación.
Junto con ello, se realizaron análisis estadísticos para comparar los niveles de desempeño en las dos mediciones tomadas (proceso y resultado) y entre los dos agentes involucrados (estudiantes y docentes). Con esta información, se hicieron reflexiones entre el equipo docente y se acordaron mejoras para la siguiente versión del curso.
Finalmente, se elaboró un afiche que fue presentado en la ceremonia de cierre de los PIM, se redactó un artículo que fue incluido en un anuario del CDD y se presentó la estrategia en una reunión de docentes de la carrera sobre buenas prácticas en evaluación.
4. INSTRUMENTOS Y PROCEDIMIENTOS DE EVALUACIÓN
4.1. Encuesta de apreciación
Es una encuesta de 12 preguntas, en una escala tipo likert de 5 niveles y 2 preguntas de respuesta breve. Se utilizó para recoger la apreciación de las y los estudiantes respecto de la innovación en cuatro áreas: a) Conocimiento y comprensión del estándar de desempeño; b) Usan estándar de desempeño para realizar entrevistas psicológicas; c) Uso de la rúbrica para autoevaluación; d) Juzgar avances.
4.2. Rúbricas
Se utilizaron los niveles de logro de las rúbricas construidas en la innovación como medidas de aprendizaje de las y los estudiantes. Para los análisis se utilizaron pruebas no paramétricas, debido a que los datos no se distribuyen normalmente en esta muestra. Se realizó una comparación de medias para muestras relacionadas utilizando el estadístico U de Mann Withney, para evaluar si existían diferencias estadísticamente significativas entre la evaluación de proceso y final, en cada una de las dimensiones de la rúbrica y en el puntaje total, según la autoevaluación de las y los estudiantes y según la hétero evaluación de las docentes, utilizando el estadístico.
5. RESULTADOS
Para contrastar si había diferencias estadísticamente significativas entre las autoevaluaciones y las hétero evaluaciones, se realizó una comparación de medias para muestras independientes utilizando la prueba de rangos con signos de Wilcoxon.
5.1. Apreciación de las y los estudiantes respecto de la innovación
Al analizar la frecuencia directa de las opciones de respuesta a cada pregunta de la rúbrica, se observa que los aspectos asociados al uso de la rúbrica como instrumento de automonitoreo y evaluación de aprendizajes, son las menos reconocidas por las y los estudiantes; mientras que, el conocimiento de la rúbrica y su uso como guía, son los reactivos con mayor adhesión (ver tabla 3).
Tabla 3. Frecuencias de respuesta a la encuesta de apreciación de estudiantes
| Pregunta | n | Muy en desacuerdo | En desacuerdo | Ni de acuerdo ni en desacuerdo | De acuerdo | Muy de acuerdo |
| Me permitió monitorear mi estado de avance y mis logros finales | 57 | 6 | 1 | 5 | 25 | 19 |
| El autoevaluarme ayudó a conocer mis competencias y habilidades. | 57 | 4 | 3 | 7 | 16 | 26 |
| Las rúbricas son buen sistema de evaluación para las competencias de entrevista psicológica. | 57 | 5 | 1 | 5 | 17 | 28 |
| Me gustaría seguir aprendiendo de esta forma. | 57 | 6 | 1 | 7 | 14 | 28 |
| Me sentí partícipe del proceso de evaluación con rúbricas | 57 | 6 | 1 | 4 | 16 | 29 |
| Recomendaría el uso de rúbricas | 57 | 5 | 2 | 3 | 16 | 30 |
| El uso de la rúbrica me permitió mejorar mis aprendizajes. | 57 | 4 | 1 | 6 | 15 | 30 |
| Me ayudó para autoevaluar mi desempeño | 57 | 6 | 0 | 2 | 12 | 36 |
| Me sirvió la retroalimentación de la docente para mejorar mis competencias | 57 | 5 | 1 | 1 | 12 | 37 |
| Me ayudó a saber qué se espera de mi desempeño | 57 | 5 | 0 | 2 | 11 | 38 |
| Fue un aporte conocer la rúbrica | 57 | 5 | 0 | 3 | 7 | 41 |
| Ocupé la rúbrica como guía | 57 | 5 | 0 | 1 | 9 | 41 |
Para analizar los datos, de acuerdo a las categorías en que se organizó la encuesta, se asignó un puntaje a cada opción de respuesta, donde “Muy en desacuerdo” corresponde a la opción con puntaje mínimo 0 y “muy de de acuerdo” se le asignó puntaje máximo 4. A partir de este análisis, se observa que en términos generales, la apreciación de los estudiantes está en por sobre los tres puntos, lo que quiere decir que, en promedio, están de acuerdo en que conocían y comprendían el estándar de desempeño y que lo utilizan para realizar las entrevistas psicológicas, a su vez, están de acuerdo en que la rúbrica es un buen instrumento para juzgar avances y que la utilizan para autoevaluarse (ver tabla 4).
Tabla 4. Resultados en encuesta de apreciación, según categorías.
| Área | X | Ds |
| Conocimiento y comprensión del estándar de desempeño | 3,13 | 1,3 |
| Juzgar avances | 3,11 | 1,2 |
| Usan estándar de desempeño para realizar entrevistas psicológicas | 3,33 | 1,2 |
| Uso de la rúbrica para autoevaluación | 3,19 | 1,2 |
5.2. Aprendizajes de las y los estudiantes
5.2.1. Según hétero evaluación de las docentes
De acuerdo a la evaluación de las docentes, hubo diferencias estadísticamente significativas en la dimensión de Ética (ver tabla 5).
Tabla 5. Comparación de proceso y final, según hétero evaluación
| Dimensión | Proceso | Final | Sig. | ||
| Media | ds | Media | ds | ||
| Habilidades no verbales | 3.72 | 0.45 | 3.65 | 0.62 | 0,324 |
| Manejo de recolección de información | 3.58 | 0.60 | 3.5 | 0.60 | 0,438 |
| Fases de la entrevista | 3.45 | 0.50 | 3.23 | 0.81 | 0,192 |
| Ética | 3.58 | 0.49 | 3.81 | 0.45 | 0,002 |
| Total | 3.55 | 0.35 | 3.41 | 0.61 | 0,684 |
5.2.2. Según autoevaluación de las y los estudiantes
De acuerdo a la autoevaluación de las y los estudiantes, hubo un aumento de los puntajes en la evaluación final, en todas las dimensiones evaluadas, sin embargo, éstas fueron estadísticamente significativas sólo para la dimensión de ética y para la evaluación total (ver tabla 6).
Tabla 6. Comparación de proceso y final, según autoevaluación
| Dimensión | Proceso | Final | Sig. | ||
| Media | ds | Media | ds | ||
| Habilidades no verbales | 3.52 | 0.64 | 3.73 | 0.47 | 0,015 |
| Manejo de recolección de información | 3.47 | 0.55 | 3.48 | 0.65 | 0,988 |
| Fases de la entrevista | 3.39 | 0.63 | 3.54 | 0.62 | 0,057 |
| Ética | 3.71 | 0.53 | 3.87 | 0.43 | 0,03 |
| Total | 3.48 | 0.40 | 3.62 | 0.39 | 0,007 |
5.3. Comparación de las evaluaciones entre docentes y estudiantes
Al comparar si existía diferencias entre la evaluación de docentes y estudiantes, se observó que en la evaluación de proceso no existían diferencias estadísticamente significativas en ninguna de las dimensiones evaluadas, ni en el total. Mientras, que al hacer la misma comparación en la evaluación final, se observa que había diferencias estadísticamente significativas en la dimensión de fases de la entrevista y en el total (ver tabla 7).
Tabla 7. Comparación de proceso y final, según autoevaluación
| Dimensión | Proceso | Final |
| Habilidades no verbales | 0,119 | 0,692 |
| Manejo de recolección de información | 0,204 | 0,923 |
| Fases de la entrevista | 0,944 | 0,010 |
| Ética | 0,061 | 0,325 |
| Total | 0,373 | 0,026 |
6. CONCLUSIONES
Se planteó este proyecto de innovación como una propuesta frente al problema de la falta de instrumentos y procedimientos generalizados de evaluación de competencias para la realización de entrevistas psicológicas que puedan ser utilizados tanto por los estudiantes como por los docentes como insumo para monitorear el estado de avance y el logro final, a nivel procedimental, actitudinal y genérico. Es decir, a nivel de dirección y coordinación académica se detectan estas dificultades y se considera el proceso de evaluación como un continuo progresivo de aprendizaje, donde se interrelacionan distintos elementos que contribuyen al desarrollo de competencias profesionales y que se deben considerar en el proceso evaluativo.
En relación a los resultados, uno de los aspectos que llama la atención es las diferencias entre las profesoras y estudiantes con respecto a la evaluación. Probablemente las profesoras fueron más exigentes que los estudiantes, porque la experiencia profesional hace tener un estándar más alto sobre el desempeño y, además, por la modalidad del examen, donde se sortea al azar la fase que les va a tocar dejando menos repertorio al alumno cuando no puede desarrollar una entrevista completa. Este mismo fenómeno puede explicar el hecho de que las evaluaciones docentes bajaran en la instancia final, el examen. En esta instancia se agrega además una nueva exigencia ya que los estudiantes realizan la entrevista con un actor, mientras que en las instancias anteriores lo hacían con sus compañeros. Por lo tanto, si bien la rúbrica se utiliza en todo el proceso, el contexto cambia. De todos modos, es interesante observar que la autoevaluación de los estudiantes sea mayor hacia el final del curso ya que es posible que indique que ha habido un proceso donde todos han podido implicarse y valorar el desarrollo de las competencias de manera gradual, considerando mejoras en su desempeño comparándolo con sus inicios, mostrando cómo se implicaron en su aprendizaje.
Por otra parte, destaca las mejoras observadas en ética; esto es muy relevante porque es un aprendizaje ético contextualizado, que junto con mejorar en ciertas “conductas” se observó también un cuidado mayor en el trato hacia las personas, juicios de valor expresados verbal o corporalmente. La ética es una competencia genérica trabajada a cabalidad en el curso y tributa al perfil de egreso donde tanto docentes como estudiantes la incorporan como fundamental en los objetivos de evaluación y valoran el proceso de aprendizaje. Además, en esto hubo acuerdo y coincidencia en la percepción tanto de estudiantes como de docentes.
A la luz de lo anterior, pareciera que considerar la evaluación para el desarrollo de competencias de entrevista psicológica implica considerar no sólo la rúbrica como un instrumento aislado, sino que la evaluación como un proceso orientado al aprendizaje, a través de la realización de tareas auténticas, donde se observa la evolución del aprendizaje y se realiza retroalimentación permanente, para esto la utilización de la rúbrica, parece tener valor en la medida que se utilice como una oportunidad de aprendizaje implicando al estudiante en su proceso formativo.
En cuanto a la evaluación en sí misma, si no hay un trabajo compartido y participativo de carácter reflexivo que lleve a consensos entre los académicos sobre qué competencias deben adquirir los alumnos y qué debe evidenciarse cómo logro, no se podrá concretar un proceso de evaluación pedagógicamente válido. Ese es el desafío, hay que comenzar a lograr consensos, a vincular el hacer didáctico de los profesores con el ejercicio profesional de los futuros egresados, precisar qué manifestaciones necesitamos para decidir que los alumnos se han apropiado de las competencias deseables. Por otra parte, implicar a los estudiantes, fomentando su participación en el proceso de evaluación es otro desafío que bajo esta mirada parece ser relevante para lograr aprendizajes significativos.
Una de las limitaciones de esta investigación fue el factor tiempo que dificultó el querer incorporar otros actores en el proceso diagnóstico, como son los estudiantes, sin embargo el investigador pudo desarrollar el conocimiento práctico, la comprensión reflexiva y mejorar en último término su práctica docente.
En este sentido, el cambio en los instrumentos debería preceder el cambio o al menos la reflexión sobre las creencias que sustentan el proceso evaluativo, la inclusión del desarrollo de competencias complejas relacionadas con el ejercicio profesional requiere la necesidad de que el proceso de evaluación se oriente a optimizar el aprendizaje, es decir, considerarla en su vertiente formativa, que va más allá del control y la certificación.
REFERENCIAS
Camperos, M. (2008) La evaluación por competencias, mitos, peligros y desafíos. Educere, Meridad, 12, (43).
Cappelletti, G. (2010). La evaluación por competencias. Anijovich Rebeca (2010). La evaluación significativa. Cap, 7.
Código de Ética profesional del Colegio de Psicólogos de Chile (1996). Santiago, Chile: Colegio de Psicólogos de Chile.
Echeverría, R. (2006). Actos de lenguaje. Volumen 1: La escucha. Santiago: J.C.Saez Editor.
García Arzeno, M. E. (2000). Nuevas Aportaciones al Psicodiagnóstico Clínico. Buenos Aires: Paidos.
Keats, D. (1992). La entrevista perfecta. México D.F.: Editorial Pax.
Padilla, M. y Gil, J. (2008). “La evaluación orientada al aprendizaje en la Educación Superior: condiciones y estrategias para su aplicación en la docencia universitaria”. Revista española de pedagogía, Año LXVI (241), 467-486.
Villadrón, L. (2006). Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio siglo XXI (24), 57-76.
Villarroel, V. (2010). Manual para el docente universitario. La evaluación del aprendizaje en el modelo competencias. Universidad del Desarrollo, Facultad de Psicología.