En la modalidad virtual, de la cual somos tutores, es común el uso de herramientas de nuevas tecnologías de información para el desarrollo de mediaciones de aprendizaje; ya es bien claro que la mediación solo es el canal para intentar transmitir el conocimiento, que debe ser apropiado por los estudiantes de acuerdo con sus características, y que la construcción de ellos en los escenarios de aprendizaje son holísticos, conforme las construcciones de constructos y elaboraciones de cada uno de los estudiantes (Bowe & Armstrong, 2017). Usar herramientas como vídeos, audios, objetos virtuales de aprendizaje interactivos, blogs, foros, wikis y diapositivas, así como propiciar espacios de socialización -como los encuentros y discusiones- son herramientas habituales para la práctica de la docencia en la virtualidad (Cowie, 2019). Sin embargo, tanto los profesores como los estudiantes necesitan un nuevo nivel de conciencia en la evaluación de estos productos y metodologías, aún más dada su heterogeneidad y disparidad en términos de formación. Una posible forma en la que tanto los profesores como los estudiantes aprendan a evaluar esos productos digitales es que ambas partes participen en el proceso de evaluación, concretamente en la elaboración de la rúbrica como elemento que pretende eliminar ciertos sesgos de subjetividad, pero además sirve como criterio para la toma de decisiones, así como para modificar y optimizar el aprendizaje del estudiante.

De esta manera, este proceso no puede ser unidireccional por parte de la institución; es inminente la co-creación de los involucrados en el proceso de construcción de rúbricas y el uso de esa herramienta de evaluación en los módulos de aprendizaje propuestos por la metodología virtual del Politécnico Grancolombiano, que si bien identifica en sus escenarios de aprendizaje los elementos de recursos asociados - lecturas fundamentales, materiales de apoyo y actividades de refuerzo-, plantea como último elemento las actividades evaluativas, que en la metodología propuesta por la plataforma están configuradas antes de iniciar el proceso de aprendizaje, con unos criterios de evaluación que conforman una apreciación de la apropiación de los elementos anteriormente explicados (Tarimo & Hickey, 2017; Worlitz, Branke, Troike, Hettling, & Woll, 2019, Daza-Orozco. CE, 2019). Hasta este punto, el tutor debe asumir su compromiso como facilitador en el proceso de apropiación orientado a desarrollar las competencias y ejes temáticos propuestos por el módulo; por tanto, la institución en su syllabus y contenido ya definió los objetivos puntuales a desarrollar.

La dinámica a la que los tutores nos vemos avocados, entonces, es a la revisión y supervisión del componente grupal (Parthasarathy, Apampa, & Manfrin, 2019), que plantea entregas de proyectos, que en nuestro campus se denominan las actividades en contexto, asignadas a grupos aleatorios configurados por el azar, “sin embargo, las estrategias más centradas, incluidas las actividades de creación de equipos y las habilidades de facilitación de los expertos, podrían hacer frente a la resistencia al trabajo en equipo por parte de los estudiantes, además a la participación de estos en la elaboración de las estrategias de medición” (Parthasarathy et al., 2019, p. 23), algo que debemos tener muy en cuenta desde nuestro rol como tutores virtuales.

El proceso de colaboración pone de relieve dos desafíos que los tutores y los estudiantes enfrentan. El primero es evaluar la combinación de la apropiación de los contenidos propuestos y los productos digitales disponibles en la plataforma. El segundo y más importante es el cómo potenciar a los profesores y estudiantes a indagar para apropiar información fuera del contexto del aula virtual propuesta por la institución, y medir este proceso para buscar estrategias que la potencialicen.

“El aula inteligente es la materialización del entorno de aprendizaje, de la sabiduría que proporciona apoyo técnico para el desarrollo de la enseñanza y el aprendizaje” (Chen & Zhang, 2018, p.34). La evaluación co-creada es útil para mejorar las habilidades de pensamiento de alto orden de los estudiantes. De modo que la construcción de una rúbrica dinámica que se adapte a los diferentes grupos y equipos conformados propone un enfoque de evaluación basado en los ejes temáticos y logros que se esperan del estudiante. Estos son de gran utilidad para diseñar propuestas de minería de información, propiciar la investigación y la elaboración de mapas mentales que demuestren los grados de apropiación de los conceptos objetos del módulo. Además de esto, les permite evaluar los trabajos de sus compañeros y modificar sus propios trabajos de acuerdo con constructos elaborados a partir de su interacción grupal (Dutton et al., 2017; Rogne & Gamlem, 2019).

Para la evaluación del rendimiento del enfoque valorativo, basado en las rúbricas, para mejorar la conciencia meta-cognitiva de los estudiantes y los logros de aprendizaje de estudios como los de Chang, Hsu, & Jong (2020); Chang et al. (2020), plantean los beneficios de una co-construccion involucrando a los estudiantes. Es necesario medir si las rúbricas deberían ser elaboradas en conjunto antes de diseñar la propuesta de investigación o después de terminarlas. Para esto nos remitimos a un estudio titulado Un enfoque de evaluación basado en la tecnología para mejorar la conciencia meta-cognitiva y los logros de aprendizaje de los estudiantes (Chen & Zhang, 2018), que elabora esta práctica a modo de experimento. Como resultado encontró que la asignación de las rúbricas antes de diseñar la propuesta de investigación y el mapa mental mejoró significativamente la conciencia meta-cognitiva de los estudiantes y los logros de aprendizaje, y redujo la carga cognitiva de los estudiantes.

Otro estudio que elabora el concepto de la rúbrica, titulado Rúbricas basadas en la evaluación continua para el aprendizaje efectivo del curso de laboratorio de electrónica digital (Nayak, Umadevi, & Preeti, 2017), concluye en los intentos realizados por los profesores del curso para lograr estos objetivos. Determina que el primer paso es el establecer los resultados apropiados del curso. El siguiente es el de alinear los objetivos con los resultados adecuados del programa mediante las competencias pertinentes, y finalmente plantea la realización de indicadores de rendimiento. El conocimiento se puede medir en las competencias adquiridas por el estudiante en los campos del saber, el ser y el hacer mediante el análisis cuantitativo y cualitativo de los datos obtenidos a partir del instrumento de rúbrica, para así averiguar qué tipo de evaluación o retroalimentación tenía un mayor efecto en la percepción del aprendizaje, la autonomía y la motivación del estudiante (Pujals & Lasagabaster, 2019). Esto se puede constatar con la elaboración de pruebas con rúbricas que generan indicadores de medición para orientar el curso, del proceso de enseñanza y aprendizaje de los estudiantes con indicadores individuales y grupales. La investigación de los profesores Nayak & Preeti (2017), dio como resultado que, al redactar las rúbricas posteriores para evaluar el logro de cada uno de los resultados propuestos, permitió un aumento de los niveles de motivación entre los estudiantes, aumentó su participación en el equipo y mejoró sus conocimientos gracias al autoaprendizaje.

La evaluación se constituye, entonces, en un indicador de los resultados del aprendizaje en el proceso de formación; con el tiempo se hace indispensable preguntarse si los contextos de evaluación tienen en cuenta todos los aspectos que nos puedan arrojar luces sobre el nivel de apropiación del conocimiento de los estudiantes, más aún cuando la población es heterogénea y cuenta con diversos estilos de apropiación de la información. Dado esto, se hace indispensable la preparación de indicadores concretos que le den luces al tutor sobre los giros que debe ir dando dentro de la aplicación de un currículo, con el fin de lograr el objetivo de aprendizaje propuesto.

Las características básicas del modelo de diseño de pruebas objetivas se plantean desde la aplicación de instrumentos evaluados por medio de estadísticas de ajuste de los diversos ítems propuestos. Para que este tipo de propuesta funcione correctamente es necesario revisar el funcionamiento diferencial de los ítems individuales y las correlaciones con otros constructos -por ejemplo, autoeficacia, eficacia colectiva, utilidad percibida y aspiraciones- (Siddiq, Gochyyev, & Wilson, 2017).

Una posible forma de que tanto los tutores como los estudiantes aprendan a evaluar esos productos digitales es que ambas partes participen en el proceso de evaluación, concretamente en la elaboración de la rúbrica (Pujals & Lasagabaster, 2019). Este debe ser un ejercicio de co-creación, con el fin de proporcionar elementos básicos tanto de la construcción como de la aplicación. La asignación de las rúbricas antes de diseñar la propuesta de investigación y el mapa mental podría mejorar la conciencia meta-cognitiva de los estudiantes y los logros de aprendizaje; esto, al mismo tiempo, puede disminuir la carga cognitiva de los estudiantes (Chen & Zhang, 2018). El estudiante podría hacer transparente su aprendizaje mediante el reto de creación, lo que le brinda oportunidades para la reflexión y el desarrollo de una comprensión del mundo real, con todas sus complejidades y desafíos (Farrell, 2020).

De acuerdo con los objetivos propuestos para este tipo de aplicación, se podrían plantear los siguientes ítems de evaluación. En el primero podría indagarse sobre los resultados apropiados del curso. El paso siguiente sería la alineación con los resultados esperados por el syllabus del módulo por medio de las competencias pertinentes allí indicadas, y finalmente identificar los indicadores de rendimiento acordes con la evolución del estudiante en el objetivo propuesto. Finalmente, se redacta una rúbrica posterior para evaluar el logro de cada uno de los resultados conseguidos. Esta metodología, de acuerdo con la literatura, puede aumentar los niveles de motivación entre los estudiantes, así como su participación en el equipo y mejorar sus conocimientos gracias al autoaprendizaje (Nayak, Umadevi, & Preeti, 2017; Matus, Mickan, & Noble, 2020).

Desde un punto de vista teórico, como lo plantean (Dennis et al., 2019; ElAtia & David, 2019; Fete, Haight, Clapp, & McCollum, 2017), el mecanismo de evaluación comprometería a los estudiantes a progresar en su competencia en paralelo con los ítems a evaluar. De acuerdo con estos estudios, esta puede ser una forma provocativa y única de integrar y ver la evaluación como una herramienta de enseñanza.

Otro aspecto a tener en cuenta, además del individual, es que el estudiante -como ser social- se ve permeado por su contexto y sus compañeros propiciando procesos de aprendizaje recíprocos, los cuales son otros factores a tomar en consideración, pues pueden propiciar resultados favorables en términos de las percepciones de los estudiantes sobre el aprendizaje. Algunos estudios como el de Naiksatam, Khanchandani, & Chachra (2018), indican que estas herramientas también permiten al tutor evaluar cómo las practicas grupales fomentan en los estudiantes el hacer preguntas en grupos pequeños, que propician espacios de conocimiento y cumplimiento de indicadores.

Es persistente en la literatura un instrumento de evaluación de pares planteado como una retroalimentación formativa y sumativa mediante puntuaciones cualitativas y cuantitativas, que permiten a los estudiantes reconocer las contribuciones diferenciales de los miembros individuales del grupo (Fete et al., 2017), y permiten interiorizar mejor el conocimiento, incluso desde puntos de vista diferentes al propio.

Finalmente, encontramos el criterio de validación de la rúbrica como un elemento consistente en la revisión; la evaluación del aprendizaje de los estudiantes por medio de las rúbricas permite la adopción de estrategias basado en la evidencia (Butz & Branchaw, 2020). Las curvas de aprendizaje pueden servir de apoyo a un enfoque de la evaluación de las competencias para el aprendizaje. “Cuando se interpretan los datos de evaluaciones repetidas que se muestran como curvas de aprendizaje, una pregunta clave de la evaluación es: "¿Qué tan bien aprende cada estudiante?" (Hatala, Gutman, Lineberry, Triola, & Pusic, 2019, p. 56; Colaco, Hughes, Pearse, Arnander, & Tennent, 2017; Hasty et al., 2020). La anterior pregunta es a la que nos vemos avocados los tutores virtuales todos los días, se convierte en un reto a nuestra labor y una constante en nuestro ejercicio; así pues, analizar la validez de una medida de las habilidades de pensamiento crítico, la evaluación del aprendizaje y las implicaciones de utilizar esta rúbrica estandarizada puede ser un ejercicio tutorial que debemos replantearnos constantemente los tutores, que no podemos limitarnos a afirmar que no es asunto nuestro por no ser los autores del módulo.

Referencias

Bowe, C., & Armstrong, E. (2017). Assessment for Systems Learning: A Holistic Assessment Framework to Support Decision Making Across the Medical Education Continuum. Academic Medicine, 92(5), 585–592. https://doi.org/10.1097/ACM.0000000000001321

Butz, A., & Branchaw, J. (2020). Entering Research Learning Assessment (ERLA): Validity Evidence for an Instrument to Measure Undergraduate and Graduate Research Trainee Development. CBE Life Sciences Education, 19(2), ar18. https://doi.org/10.1187/cbe.19-07-0146

Chang, S.-C., Hsu, T.-C., & Jong, M. (2020). Integration of the peer assessment approach with a virtual reality design system for learning earth science. Computers and Education, 146. https://doi.org/10.1016/j.compedu.2019.103758

Chen, B., & Zhang, Y. (2018). A rubric-based technology-enhanced assessment approach to improve students’ meta-cognitive awareness and learning achievement. In L. J., N. S., J. Q., & Z. H. (Eds.), 6th International Conference of Educational Innovation Through Technology, EITT 2017 (Vol. 2018-March, 111–115). https://doi.org/10.1109/EITT.2017.34

Colaco, H., Hughes, K., Pearse, E., Arnander, M., & Tennent, D. (2017). Construct Validity, Assessment of the Learning Curve, and Experience of Using a Low-Cost Arthroscopic Surgical Simulator. Journal of Surgical Education, 74(1), 47–54. https://doi.org/10.1016/j.jsurg.2016.07.006

Cowie, N. (2019). The use of rubrics for the assessment of digital products in language learning. 32nd Annual Conference of the Australasian Society for Computers in Learning and Tertiary Education, ASCILITE 2015, 626–628. Recuperado de: https://www.scopus.com/inward/record.uri?eid=2-s2.0-85071726889&partnerID=40&md5=b98008c666cc0e5e9a7e2c18a9d32bc8

Daza-Orozco, CE. (Ed.). (2019) Iniciación cientifíca: conceptualización, metodologías y buenas prácticas. Bogotá, Colombia. Institución Universitaria Politécnico Grancolombiano.

Dennis, V., Craft, M., Bratzler, D., Yozzo, M., Bender, D., Barbee, C., … Robinson, M. (2019). Evaluation of student perceptions with 2 interprofessional assessment tools—the Collaborative Healthcare Interdisciplinary Relationship Planning instrument and the Interprofessional Attitudes Scale—following didactic and clinical learning experiences in t. Journal of Educational Evaluation for Health Professions, 16. https://doi.org/10.3352/JEEHP.2019.16.35

Dutton, P., Bickerstaff, H., Rymer, J., Webb, M., Ballinger-Mills, D., Greenough, A., & Reynolds, P. (2017). Investigation of Formative Assessment of Learning (INFORMAL): The Performance Indicator Tool (PIT). Technology, Knowledge and Learning, 22(2), 161–171. https://doi.org/10.1007/s10758-017-9307-2

ElAtia, S., & David, E. (2019). Using learning analytics within an e-assessment platform for a transformative evaluation in bilingual contexts. In U. J., L. H., & Z. S. (Eds.), 11th International Conference on Computer Supported Education, CSEDU 2019 (Vol. 1, 674–680). Recuperado de: https://www.scopus.com/inward/record.uri?eid=2-s2.0-85067097069&partnerID=40&md5=9c82c01a28fb5a2dcdf03ab52aeb8d20

Farrell, C. (2020). Do international marketing simulations provide an authentic assessment of learning? A student perspective. International Journal of Management Education, 18(1). https://doi.org/10.1016/j.ijme.2020.100362

Fete, M., Haight, R., Clapp, P., & McCollum, M. (2017). Peer evaluation instrument development, administration, and assessment in a team-based learning curriculum. American Journal of Pharmaceutical Education, 81(4). https://doi.org/10.5688/ajpe81468

Hasty, B., Lau, J., Tekian, A., Miller, S., Shipper, E., Bereknyei Merrell, S., … Park, Y. (2020). Validity Evidence for a Knowledge Assessment Tool for a Mastery Learning Scrub Training Curriculum. Academic Medicine : Journal of the Association of American Medical Colleges, 95(1), 129–135. https://doi.org/10.1097/ACM.0000000000003007

Hatala, R., Gutman, J., Lineberry, M., Triola, M., & Pusic, M. (2019). How well is each learner learning? Validity investigation of a learning curve-based assessment approach for ECG interpretation. Advances in Health Sciences Education, 24(1), 45–63. https://doi.org/10.1007/s10459-018-9846-x

Matus, J., Mickan, S., & Noble, C. (2020). Developing occupational therapists’ capabilities for decision-making capacity assessments: how does a support role facilitate workplace learning? Perspectives on Medical Education, 9(2), 74–82. https://doi.org/10.1007/s40037-020-00569-1

Naiksatam, A., Khanchandani, K., & Chachra, S. (2018). Effective online assessment and evaluation though online laboratory work submission for technology enhanced learning. In K. V., M. S., Kinshuk, & I. S. (Eds.), 9th International Conference on Technology for Education, T4E 2018 (212–213). https://doi.org/10.1109/T4E.2018.00056

Nayak, A., Umadevi, F., & Preeti, T. (2017). Rubrics based continuous assessment for effective learning of digital electronics laboratory course. In R. M., G. D., & K. V. (Eds.), 4th IEEE International Conference on MOOCs, Innovation and Technology in Education, MITE 2016 (290–295). https://doi.org/10.1109/MITE.2016.15

Parthasarathy, P., Apampa, B., & Manfrin, A. (2019). Perceptions of team-based learning using the Team-Based Learning Student Assessment Instrument: An exploratory analysis amongst pharmacy and biomedical students in the United Kingdom. Journal of Educational Evaluation for Health Professions, 16. https://doi.org/10.3352/jeehp.2019.16.23

Pujals, A., & Lasagabaster, D. (2019). The role of assessment and corrective feedback on autonomy and motivation in the learning of Spanish as an L3. Revista Española de Lingüística Aplicada, 32(2), 455–485. https://doi.org/10.1075/resla.17050.gar

Rogne, W., & Gamlem, S. (2019). Pupils’ Information Processing and Its Implications for Learning and Assessment: A Think-Aloud Study. Scandinavian Journal of Educational Research, 63(4), 520–533. https://doi.org/10.1080/00313831.2017.1402369

Siddiq, F., Gochyyev, P., & Wilson, M. (2017). Learning in Digital Networks – ICT literacy: A novel assessment of students’ 21st century skills. Computers and Education, 109, 11–37. https://doi.org/10.1016/j.compedu.2017.01.014

Tarimo, W., & Hickey, T. (2017). Groupwork: Learning during collaborative assessment activities. In Smith, B. M., M. E., & L. K. (Eds.), 12th International Conference on Computer Supported Collaborative Learning - Making a Difference: Prioritizing Equity and Access in CSCL, CSCL 2017 (Vol. 1, 463–470). Recuperado de: https://www.scopus.com/inward/record.uri?eid=2-s2.0-85073331026&partnerID=40&md5=63948aa92cd3bf7503af947f8348bff5

Worlitz, J., Branke, M., Troike, M., Hettling, L., & Woll, R. (2019). The Contribution of Learning, Teaching and Assessment Activities to the Development of 21st Century STEM Competencies. In L. M., N. S., W. G., S. J., R. M., L. L., & V. N. (Eds.), 2018 IEEE International Conference on Teaching, Assessment, and Learning for Engineering, TALE 2018 (316–321). https://doi.org/10.1109/TALE.2018.8615320

[1] Trabajo presentado en el marco del “DIPLOMADO ROL DEL TUTOR EN ESCENARIOS PARA EL APRENDIZAJE” como actividad evaluativa del escenario “La evaluación como indicador del aprendizaje”.