1. Introducción

En la actualidad las instituciones educativas, en especial en el nivel Superior, enfrentan grandes retos y uno de ellos es el uso y aplicación de las tecnologías de la información y la comunicación (TIC) por tratar de enseñar, proveer y dar a conocer a sus estudiantes herramientas necesarias, que les permita desarrollar competencias básicas para su formación profesional, mismas que los docentes deben de utilizar en el proceso de trasformación de enseñanza y aprendizaje, permitiéndoles acceder al conocimiento y a la información.

De esta forma, las TIC [1] como todos los recursos electrónicos que hacen uso de la digitalización, la información en todas sus formas y aspectos, mediante canales de transmisión y recepción, son capaces de compartir esta información, tanto local como globalmente utilizando redes de usuarios. Aunado a lo anterior, la tecnología ofrece grandes oportunidades para mejorar el desempeño de los estudiantes, así como el acceso a la educación, su calidad y gestión, abriendo posibilidades de aprendizaje, donde gracias a estas tecnologías el estudiante tiene la oportunidad de aprender de una manera virtual, contribuyendo a su formación autodidacta en los procesos educativos. En este sentido, los EVEA [2] ponen en práctica los modelos apoyados en Internet, sustentados en una plataforma tecnológica que permita desarrollar los elementos necesarios para que se pueda llevar a cabo el proceso formativo, conceptualizado como soporte que posibilita la interacción virtual por medios tecnológicos.

El presente trabajo muestra los resultados de la investigación realizada al Instituto Tecnológico Superior de Mulegé, de la carrera en Ingeniería en tecnologías de la información y la comunicación, materia de Negocios Electrónicos I, donde el objetivo principal es la evaluación formativa en EVEA Moodle para mejorar la eficacia y eficiencia de los estudiantes, aplicando la prueba t student, misma que determinará si hay una diferencia significativa entre las medidas de dos muestras independientes, con el fin de comprobar si el resultado de las actividades es más eficiente mediante la retroalimentación en los procesos de evaluación formativa, así como verificar si el desempeño académico del estudiante se ve incrementado mediante una más eficiente retroalimentación. Con esta idea en mente, los procesos de evaluación formativa [3] realimentan la práctica, posibilitando su regulación por parte del estudiante. De esta manera junto al educador, pueden ajustar su progresión y adaptar las actividades de acuerdo con sus necesidades y posibilidades. Así, la evaluación formativa permite conocer donde se encuentra el discípulo respecto a su estudio determinado. Con ello el docente puede tomar decisiones que reorienten los procesos y las estrategias didácticas utilizadas.

Es importante mencionar que, existen herramientas de evaluación que dan validez a los conocimientos que adquieren los estudiantes a través de su proceso de formación profesional, un claro ejemplo de ello son las actividades que realiza durante su estudio académico, como actividad de enseñanza y aprendizaje en los EVEA. Sin embargo, los procesos de evaluación formativa pueden convertirse en un problema al momento de asignar una actividad, ya que algunas de ellas son sencillas y otras con grado de dificultad. Esto dependerá de los criterios definidos por el educativo el cual plasma en sus planeaciones e instrumentaciones, donde se crea una rúbrica de cómo debe de estar conformado el trabajo para su entrega, así como los tiempos de dicha actividad. Además, se desconoce el estilo de aprendizaje para realizar actividades, cuando existe una dificultad no siempre está el maestro para orientarlo o explicar de otra forma, ocasionando que no entregue sus actividades adecuadamente; en algunos casos, se carece de unificación de criterios de evaluación de este recurso, causando con esto, problemas de comunicación entre ambas partes.

Sin embargo, para este estudio se realizará un análisis paramétrico utilizando la prueba t student que sirve para evaluar si dos grupos difieren entre sí de manera significativa respecto a sus medidas en una variable, se simboliza t, en el que la hipótesis: de diferencia entre dos grupos difieren de manera significativa entre sí, y la nula propone que los grupos no difieren significativamente. La variable de comparación se realiza sobre una variable, si hay diferentes variables, se efectuaran varias pruebas t, y la razón que motiva la creación de dos grupos puede ser una variable independiente [10].

Por lo que en este contexto se considera que existe una diferencia significativa antes sin rúbrica y después con rúbrica en los procesos de formación en la plataforma EVEA, en donde el desempeño académico del estudiante se ve incrementado y mejorado a través del tiempo, ya que el resultado de la aplicación de la prueba t student dan validez a la hipótesis planteada. Por lo que es importante mencionar que las TIC en la educación son de suma importancia, ya que se deben de aprovechar como una herramienta de apoyo para la formación, la cual mejora la calidad de los procesos educativos.

Finalmente, este trabajo de investigación está estructurado de la siguiente manera. En la Sección 2 se encuentra el estado del arte donde se identifican estudios previos relacionados con esta investigación. Posteriormente, en la Sección 3 se encuentran los materiales y métodos que describen el diseño metodológico del estudio. Luego, en la Sección 4 se establecen los resultados, en la Sección 5 las conclusiones y en la Sección 6 las referencias bibliográficas que apoyan al estudio.

2. Estado del arte

2.1. Propuesta de Instrumentos de evaluación de aprendizaje en entornos virtuales. Perspectiva de estudiantes y aportes de docentes

En [4], el autor propone instrumentos de evaluación de aprendizaje en entornos virtuales, relacionados con el uso de las tecnologías de la información y la comunicación (TIC) a través de fundamentos pedagógicos que sustentan una valoración auténtica, como oportunidades de preparación y de estimación mediante las TIC, Sin embargo, existe una problemática: cuando el docente diseña los cursos, plantea y crea una estimación inadecuada cuyo resultado frecuentemente impide o dificulta la calidad del acompañamiento didáctico del curso, es por ello que se propone que al momento de diseñar el cálculo en internet se deben considerar fundamentos constructivistas, basado en recursos, colaborativo, situado, entre otras. No obstante, los resultados demuestran un análisis sobre la apreciación de formación, el uso de instrumentos de cálculo de amaestramientos y los procesos de retroalimentación desde la perspectiva del alumno, por lo que se puede afirmar que los estudios sobre la eficacia de la valoración en línea son abundantes, esto surge en el momento de la puesta en práctica, a partir de la toma de decisiones y su implementación en los espacios de formación por parte del profesorado, reconociendo el potencial que representa para los estudiantes.

2.2. Propuesta de instrumentos para evaluar el desempeño del estudiante

En [5], el autor presenta la propuesta de un módulo para la evaluación de un nuevo modelo educativo, esta herramienta es conocida como portafolio, un instrumento novedoso y dinámico que permite la gestión del aprendizaje de los estudiantes que utilicen la plataforma. Por ello se analizaron: (a) los instrumentos de evaluación más apropiados para medir el aprendizaje en entornos virtuales; (b) la información que aporta cada instrumento; (c) las herramientas que son necesarias desarrollar y sus características para proponer su integración a la plataforma para la gestión del aprendizaje, el cual se basa en un modelo de adaptación de contenidos sensibles al contexto (ZERA). Como resultado el autor identificó lo siguiente: (a) existen muchos instrumentos para evaluar el desempeño de enseñanza y aprendizaje con la finalidad de evaluar a los estudiantes para operar con los contenidos aprendidos; (b) el análisis y solución de casos son muy útiles para el desarrollo de capacidades y habilidades del pensamiento; (c) los mapas conceptuales son utilizados para la presentación de las relaciones entre conceptos; (d) se cuenta con portafolios para la compilación de trabajos realizados por los estudiantes durante un período, que evidencian el avance de los procesos de aprendizaje. El autor realizó la validación de la propuesta mediante el método criterio de expertos, ya que permite consultar un conjunto de expertos para validar la propuesta sustentado en conocimientos, investigaciones, experiencia y estudios bibliográficos, alcanzándose resultados que demostraron que la implementación de la propuesta contribuye a mejorar los procesos de evaluación en la plataforma para la gestión del aprendizaje (ZERA).

2.3. Educación a distancia y evaluación del aprendizaje

En [6], el autor expone una revisión, no exhaustiva, de las opiniones de diversos autores, referidas a la temática de la evaluación de los aprendizajes en la educación a distancia, particularmente la evaluación en línea. Sin embargo existen algunos problemas que son traducidos en necesidades de los estudiantes relacionados con su progreso, como las deficiencias de los profesores verificando que se están alcanzado los resultados, también como las carencias institucionales como el logro de la evidencia correspondiente y por último saber si las instituciones y docentes son efectivos, por ello se proponen ejemplos de evaluación formativa y sumativa por ejemplo: (a) auto evaluación y evaluación por pares; (b) tareas en equipo y colaborativas; (c) debate en línea; (d) portafolios; (e) evaluación de trabajo en grupo; (f) exámenes y proyectos. Así también presenta otros tipos de evaluación en línea: (a) la web como recurso; (b) nuevos roles del estudiante; (c) sitios web; (d) preguntas y respuestas cortas de tipo ensayo; (e) uso de un boletín de noticias, entre otros. Se puede observar que muchos de estos recursos son utilizados en la evaluación de entornos virtuales de aprendizaje, los cuales pueden transformar creativamente para aprovechar las ventajas que ofrecen las tecnologías de la información y la comunicación, todo esto puede darse si te toma en cuenta con profesores debidamente motivados y capacitados, es así como se logra el proceso de automatización cuando son evaluados y puede beneficiarse la evaluación formativa si se recibe una retroalimentación frecuente. Estos resultados darán pauta a automatizar el proceso de evaluación: mediante un análisis y puntuación de los trabajos, a través de la red, que dé como resultado, un informe por medio del internet.

2.4. Modelo de evaluación del aprendizaje: dimensión formativa y sumativa

En [7], el autor propone un modelo de evaluación en entornos virtuales, Massive Open Online Course (MOOC), adecuado para los alumnos del programa de extensión cultural y deportivo de la Universidad Militar Nueva Granada, el problema esencial es la elaboración de estos cursos que deben de estar acorde a las necesidades e intereses de los estudiantes, también están elaborados con una programación única, no están diseñados para que se puedan adaptar a los conocimientos previos, además, desconoce el tiempo necesario para llevarlas a cabo, no hay especificidad en los criterios que se establecen en su planeación, cuando existe amplia dificultad los participantes no siempre alcanzan la certificación en ocasiones se saltan actividades planteadas con el fin de llegar rápidamente a la evaluación, existe ausencia de la interacción del colaborador y los métodos de evaluación no se enfocan a medir el aprendizaje real para que lo motiven alcanzar su certificación, por lo cual se propone un modelo donde pretende mostrar las distintas y complejas relaciones entre las dimensiones, como los procesos que inciden y orientan los cambios: define los niveles y componentes a evaluar estableciendo las dimensiones diagnóstico, formativa y sumativa, permitiendo una evaluación integral. Por lo que, los resultados demuestran que la evaluación formativa: es el proceso de obtener, sintetizar e interpretar información para facilitar la toma de decisiones orientadas a ofrecer retroalimentación al alumno, es decir, para modificar y mejorar el aprendizaje, así como los ajustes que debe de hacer el docente para adecuar la planeación al momento. Por otra parte, la evaluación sumativa o final: permitió acreditar los reales conocimientos adquiridos durante cada módulo. En este sentido los MOOC es una herramienta de aprendizaje de entorno virtual de evaluación formativa y continua que permite medir el proceso del curso, así como los ajustes que debe de hacer el docente para adecuar la planeación al momento que se está viviendo el grupo, se encontró que a través de esta evaluación los alumnos están dando los pasos correctos para alcanzar los objetivos.

2.5. Hacia una propuesta para evaluar (AVEA) en la Educación Superior

En [8], el autor propone evaluar (AVEA), basado principalmente en los factores que facilitan y dificultan la inclusión de la enseñanza en la Educación Superior, sin embargo. La problemática que presenta es la implementación de un ambiente virtual que cumpla con integración de TIC, y para intervenir en el factor capacitación hacia los docentes. Para llegar a proponer una rúbrica a fin de evaluar los AVEA, esta comprueba el grado de sabiduría y debe de servir como medio de comunicación entre el estudiante, el docente y de ejercicio de retroalimentación para la mejora continua. Se diseña una rúbrica donde aborda siete criterios de evaluación: 1. Objetivos de enseñanza y competencias siglo XXI; 2. Enfoque pedagógico; 3. Actores y comunicación; 4. Estrategias y contenido; 5. Actividades académicas y evaluación; 6. Integración de las TIC; 7. Calidad y pertinencia. La evaluación de esta herramienta consiste en una estrategia para el desarrollo de las competencias y la creatividad basada en una formación significativa que resalta las actividades académicas del estudiante. Los resultados indican que la rúbrica es transversal y aplica a cualquier área de conocimiento, permitió a los participantes diseñar actividades, las evaluaciones planteadas corresponden a los temas vistos y al material diseñado e implementado, también las actividades dan cuenta y enuncian como se va a evaluar en coherencia con las sesiones, promoviendo la autoevaluación, involucrando el proceso de evaluación a todos los participantes. Ya que todo está bien estructurado logrando el objetivo de la lección.

2.6. Estrategias de aprendizaje en la educación a distancia

En [9] el autor plantea tácticas de enseñanza en la educación a distancia, por ello se necesitan acompañarse de propuesta que ayuden a superar los problemas que se están enfrentando con esta nueva normalidad de estudio, como por ejemplo la baja eficiencia terminal que suele ser una consecuencia de la reprobación y deserción escolar, sin embargo, existen desventajas que limitan los avances de esta modalidad. Es importante entonces buscar formas de enseñanza que influyan en el proceso de adquisición de conocimiento que ayuden a mejorar. En este estudio se identificaron algunas problemáticas: dificultad para trabajar en equipo; escaso desarrollo de habilidades comunicativas; relación débil; motivación insuficiente, además, no solo las condiciones en esta modalidad, sino también el perfil del maestro. Es por ello que se debe de mejorar la calidad de la instrucción y de las actividades, es así que es necesario, enfocar los esfuerzos en el diseño de destrezas de formación que permitan atender el tipo de dificultades, por lo que los resultados demuestran la propuesta para atender algunas de las problemáticas identificadas como más recurrentes, tales como; trabajo colaborativo, escaso desarrollo de habilidades comunicativas en público, relaciones débiles, motivación insuficiente que presentan los cursos a distancia, por ello se identifican fortalezas y debilidades que se enfrentan en esta modalidad, para posteriormente presentar propuestas que contribuyan a mejorar el desempeño académico.

3. Materiales y métodos

3.1. Enfoque de la investigación

El presente trabajo de evaluación formativa en EVEA Moodle para mejorar la eficacia y la eficiencia de los estudiantes, se llevó a cabo mediante la investigación cuantitativa con un estudio de tipo cuasi experimental, donde también manipulan deliberadamente, al menos, una variable independiente para observar su efecto y relación con una o más variables dependientes. La investigación cuantitativa utiliza la recolección de datos para probar hipótesis con base en la medición numérica y el análisis estadístico, con el fin de establecer pautas de comportamiento y probar teorías [10], esto permitirá medir, evaluar, recolectar datos del fenómeno a investigar y para el análisis paramétrico se utilizará la prueba t student que sirve para evaluar si dos grupos difieren entre sí de manera significativa respecto a sus medidas de una variable [10]. En este sentido se busca determinar si hay una diferencia significativa entre las medidas del grupo, en función de la eficacia (desempeño académico del estudiante) y la eficiencia basada en el tiempo del estudiante (antes sin-rúbrica y después con-rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

3.2. Instrumentos para la recolección de datos

Se elaboró un instrumento para la recolección de datos: el cual fue una encuesta aplicada a los estudiantes, de las actividades de la 1 a la 5, con el fin de determinar la eficacia y ver si hay una diferencia significativa en el desempeño académico del estudiante antes-sin rúbrica y después con-rúbrica, el mismo instrumento se aplicó de la actividad 6 a la 9, para constatar si existe una diferencia significativa en el desempeño académico del estudiante (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle. En ese sentido se utilizó el mismo instrumento para ver la eficiencia basada en el tiempo antes y después.

3.3. Diseño de la propuesta tecnológica¹

La evaluación formativa es un proceso que retroalimenta el aprendizaje, posibilitando su regulación por parte del estudiante. De esta manera junto al educador, permite saber mejor donde se encuentra el estudiante respecto a un aprendizaje determinado, pero también saber hasta dónde puede llegar. Con ello el docente puede tomar decisiones que reorienten los procesos de aprendizaje y las estrategias didácticas. Así, existen herramientas de evaluación que dan validez a los conocimientos que adquieren a través de su proceso de formación profesional, un claro ejemplo de ello son las actividades que el estudiante realiza durante su formación académica, como actividad de enseñanza y aprendizaje en los EVEA. En este trabajo de investigación se consideró utilizar Moodle ya que es una plataforma de código libre, es fácil de usar, se mantiene actualizado, tiene soporte, es flexible y personalizable, se puede usar en cualquier dispositivo, es seguro y es una plataforma todo en uno. En ese sentido es importante el diseño de una propuesta tecnológica de gestión de rúbricas, para poder determinar si alcanzó la competencia para medir de manera conjunta el aprendizaje adquirido y que al mismo tiempo proporcione una retroalimentación significativa (evaluación formativa), donde se realice un análisis que pueda emitir como resultado a través del EVEA. Por lo que, se desarrolló una evaluación formativa en EVEA Moodle para mejorar la eficacia y la eficiencia de los estudiantes.

Esta propuesta tecnológica de gestión de rubrica funciona en coordinación con el EVEA Moodle para la evaluación formativa. La herramienta opera sobre la plataforma web desde un servidor Apache y está desarrollada en el lenguaje de programación PHP. Además, es posible realizar la gestión de rúbricas de diferentes docentes y diferentes materias en la institución educativa. El diseño de indicaciones desde esta propuesta tecnológica permite la captura y el cálculo de los procesos de evaluación de las actividades desarrolladas en la plataforma Moodle. La propuesta tecnológica tiene la opción de exportar los resultados de una evaluación en formato portable PDF y el estudiante puede recibir mediante correo electrónico de manera automática (o bien, desde el sistema) una retroalimentación eficiente permitiendo identificar sus debilidades y mejorar la calidad de las actividades de enseñanza y aprendizaje, no solo con una calificación numérica sino también mediante comentarios específicos, que él mismo podrá observar y atender. Como se muestra en la Figura 1.

Figura 1.
Diseño de rúbrica.
Elaboración propia, tomada del estudio propuesta tecnológica.

3.4. Población y muestra

Un dato importante es la población y muestra, la cual está conformada por un total de nueve estudiantes pertenecientes a la Ingeniería Tecnologías de la Información y la Comunicación en el Instituto Tecnológico Superior de Mulegé, ubicado en el municipio de Mulegé, en la ciudad de Santa Rosalía Baja California Sur. Los estudiantes cursaban la asignatura de Negocios Electrónicos I en el séptimo semestre (agosto a diciembre del 2018) y sus características principales fueron las siguientes: 1. Son estudiantes del área de Informática (computación), permitiendo facilitar el uso adecuado de la computadora; 2. Por ser de la carrera de TIC, cuenta con al menos un dispositivo móvil o Laptop; 3. Son capaces de buscar, recopilar, e interpretar información; 4. Tienen la capacidad de manejar aplicaciones de multimedia o interfaces amigables de comunicación; 5. Conocen bases de datos; y 6. Tienen conocimientos de programación. También se tomó como muestra al docente que impartía la asignatura, con la finalidad de poder obtener datos sobre el predominio del método de enseñanza, así como la preparación de los contenidos hacia sus estudiantes.

Además, se identificaron dos categorías: la retroalimentación eficiente de los aprendizajes mediante la automatización de los procesos de evaluación formativa de las actividades en el EVEA Moodle y el desempeño académico del estudiante.

3.5. Procedimiento Cuasi experimental

La metodología cuasi experimental se utiliza para estudiar el posible efecto causal de las intervenciones o de los tratamientos en situaciones abiertas, estos plantean cuestiones prácticas que tienen interés en distintos contextos de aplicación, estos parten de grupos que ya están formados o bien que son grupos naturales [12]. Los métodos cuasiexperimentales que implican la creación de un grupo de comparación se utilizan cuando no es posible asignar de manera aleatoria los individuos [12].

El procedimiento para realizar la evaluación fue el siguiente:

1. 1. Primero, se llevó a cabo la contratación del dominio donde el proveedor fue una empresa externa a la institución educativa, así como la contratación del hospedaje correspondiente para poder instalar y configurar la plataforma EVEA Moodle.
2. 2. Posteriormente, se diseñó el curso de la materia Negocios Electrónicos I, con sus actividades correspondientes en dicha plataforma. Se diseñó con seis módulos donde el estudiante podía ver la secuencia de las tareas asignadas por parte del docente.
3. 3. Luego, se llevó a cabo la creación de una rúbrica acorde a las características de los estudiantes, diseñada primero en borrador, con la información necesaria que permitiera identificar los factores clave de calidad de una actividad, y entonces, poder realizar los trabajos sobre esta base. Los factores clave en la estructura de cualquier actividad son: portada, índice, introducción, desarrollo, conclusión, elementos de redacción, gramática y ortografía donde los valores que corresponden a esos factores son: excelente 100, bueno 90, regular 80, deficiente 70.
4. 4. En seguida, se procedió a diseñar la rúbrica en la propuesta tecnológica de gestión de rúbricas en PHP, para colocarla en la plataforma EVEA Moodle para poder evaluar el desempeño del estudiante con base a las actividades desarrolladas.
5. 5. Después se aplicó un examen diagnóstico de conocimientos previos tanto a estudiantes como docentes.
6. 6. Al inicio del curso el docente además de proporcionar información sobre el contenido temático indicó la forma de evaluar el curso de la materia Negocios Electrónicos I en la plataforma EVEA Moodle.
7. 7. Para la evaluación de la eficacia y la eficiencia basada en el tiempo (en función de las actividades asignadas) se definieron dos momentos en el tiempo: Primer momento. Durante los primeros 3 meses del curso se desarrollaron actividades desde la plataforma EVEA Moodle y se evaluaron sin el uso de rúbricas; Segundo momento. Posteriormente, los últimos 3 meses del curso se desarrollaron actividades desde la plataforma EVEA Moodle y se evaluaron con el uso de la rúbrica.
8. 8. La evaluación de la eficacia y la eficiencia basada en el tiempo se desarrolló de la siguiente manera:

   • El desempeño académico del estudiante se mide mediante la eficacia. Para calcular la eficacia en el cumplimiento de las actividades en el proceso de enseñanza y aprendizaje se estableció la siguiente fórmula: $\mathrm{eficacia=}\frac{{\mathrm{resultado}}_{\mathrm{alcanzado}}}{{\mathrm{resultado}}_{\mathrm{previsto}}}$

     La eficacia consiste en lograr los resultados esperados. Los valores para evaluar la eficacia se encuentran en función del rango de 0 a 1, donde 1 representa el 100% de los objetivos trazados, con ello se determinó la eficacia de cada uno de estudiantes.

   • Para calcular la eficiencia basada en el tiempo, se estableció la siguiente fórmula: $\mathit{Eficiencia\; basada\; en\; el\; tiempo=}\frac{\text{Eficacia}}{{\text{Tiempo}}_{\text{Invertido}}}$

     La eficiencia es el trabajo de desarrollo en función de las actividades basadas en el tiempo ejecutadas en el EVEA Moodle[11]. Los valores para evaluar la eficiencia se encuentran en función del rango de 0 a la eficiencia que indique el docente experto.

     Para este trabajo se decidió tomar en consideración el tiempo de la siguiente manera (Tabla 1):

   • Posteriormente, se decidió aplicar la “prueba t”. La prueba t es una prueba estadística para evaluar si dos grupos difieren entre sí de manera significativa respecto a sus medias en una variable, se simboliza con t. La prueba t se basa en una distribución muestral o poblacional de diferencia de medias conocida como la distribución t de Student. La hipótesis de investigación propone que los grupos difieren de manera significativa entre sí y la hipótesis nula plantea que los grupos no difieren significativamente [10]. Para ello se plantearon las hipótesis:

Para el desempeño académico de estudiantes medido mediante la eficacia

1. Hipótesis nula de la eficacia = No hay diferencia significativa en el desempeño académico del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

   Hipótesis alternativa de la eficacia = Hay una diferencia significativa en el desempeño académico del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

Para la eficiencia basada en el tiempo

1. Hipótesis nula de la eficiencia = No hay diferencia significativa en la eficiencia basada en el tiempo del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

   Hipótesis alternativa de la eficiencia = Hay una diferencia significativa en la eficiencia basada en el tiempo del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

El cálculo e interpretación se realizó mediante el programa estadístico IBM SPSS (https://www.ibm.com/mx-es/analytics/spss-statistics-software), para interpretar el valor t y su significancia. En ese sentido, el análisis se realizó a través de estadísticos descriptivos y comparación de medidas, aplicando la prueba t para muestras relacionadas, interpretando así la información correspondiente, esto se realizó con la muestra de los estudiantes, tomando como variables la eficacia y la eficiencia basada en el tiempo.

4. Resultados

Es importante mencionar que los datos se obtuvieron a partir de los resultados de la propuesta tecnológica para evaluación formativa en la plataforma EVEA Moodle para mejorar la eficacia y eficiencia de los estudiantes. A continuación, se presentan los resultados encontrados:

4.1. Evaluación de la eficacia

Se puede observar en la Tabla 2, la evaluación de la eficacia a partir de los resultados del cumplimiento de las actividades de enseñanza y aprendizaje en el proceso de evaluación formativa. Así, la eficacia se evalúa en el rango de 0 al 1, donde 1 significa que se ha logrado el 100% de la solución correcta en el desarrollo de las actividades. Es importante mencionar, que un valor igual o superior al 70% indica que las actividades evaluadas alcanzan una eficacia positiva, en caso contrario, un valor menor al 70% es una eficacia negativa. A continuación, se muestran los resultados de la eficacia.

En la Tabla 2, se observa que la eficacia en los dos momentos fue aceptable, ya que en el primer momento fue del 79.2% y en el segundo momento fue de 95.6% determinando una diferencia del 16.4%, esto quiere decir que el desempeño académico del estudiante fue incrementado mediante la retroalimentación con la rúbrica en los procesos de formación en la plataforma EVEA Moodle.

La Figura 2 muestra una vista de los resultados de la eficacia en el primero y en el segundo momento. La línea de color azul representa un promedio de 79.2% de eficacia alcanzada por los estudiantes participantes en el primer momento. Mientras que la línea naranja indica una eficacia alcanzada de 95.6% por los estudiantes participantes en el segundo momento. Esto indica que en los dos momentos los estudiantes participantes alcanzaron una eficacia positiva con un valor igual o superior al 70%.

Figura 2.
Resultados de la eficacia.
Elaboración propia.

Con base a lo expuesto en la gráfica, los puntos de color naranja indican que existe un incremento de la eficacia de los usuarios participantes. Esto representa que en un primer momento el estudiante recibió una mínima retroalimentación en los procesos de formación en el EVEA Moodle, pero en un segundo momento con la retroalimentación con la rúbrica en los procesos de formación en la plataforma EVEA Moodle el desempeño académico del estudiante se incrementó.

La eficacia incrementó de un 79.2% a un 95.6%, es decir 16.4%, es ahí donde el resultado de las actividades es más eficiente mediante la retroalimentación con la rúbrica en los procesos de formación en la plataforma EVEA Moodle.

4.2. Evaluación de la eficacia a través de la prueba t student

En este trabajo de investigación el desempeño académico del estudiante se mide mediante la eficacia. Para determinar qué tan significativa es la diferencia en el desempeño académico del estudiante, se compararon ambos grupos usando la prueba t student para muestras dependientes. Esta prueba permite comparar dos medias en un mismo grupo en dos momentos distintos.

Es importante mencionar que la prueba de normalidad calculada mediante el software IBM SPSS indica que los datos relacionados con el desempeño académico del estudiante provienen de una distribución normal. En este sentido, fue válido proceder para realizar prueba t student.

Posteriormente, se definió el valor alfa (margen de error) para la prueba t student de 0.05 (5% de error) con un intervalo de confianza para la media de un 95%. El resultado de la prueba t student calculada mediante IBM SPSS se observa en la Tabla 3.

Observe en la Tabla 3 que el cálculo de la desviación estándar de la eficacia alcanzada por los estudiantes participantes indica que en el primer momento (de la retroalimentación sin la rúbrica en los procesos de formación en la plataforma EVEA Moodle) obtuvo una desviación estándar de .04147 contra una desviación estándar de .02007 en el segundo momento (de la retroalimentación con la rúbrica en los procesos de formación en la plataforma EVEA Moodle). Esto indica que el desempeño académico del estudiante obtenido por los estudiantes participantes en el segundo momento tuvo poca variabilidad, por lo que se asume que el conocimiento adquirido por el grupo fue más homogéneo.

En la Tabla 4 se puede apreciar que la significancia bilateral es .000, esto indica que es menor al nivel alfa de 0.05 (5% de margen de error), incluso menor al 0.01 (1% de margen de error) por lo que existe una diferencia significativa en las medias relacionadas con el desempeño académico del estudiante, recordemos que es medido mediante la eficacia. En este sentido, se acepta la hipótesis alternativa de la eficacia - Hay una diferencia significativa en el desempeño académico del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle – y se rechaza la hipótesis nula de la eficacia - No hay diferencia significativa en el desempeño académico del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

4.3. Evaluación de la eficiencia basada en el tiempo

La eficiencia se calcula dividiendo la eficacia entre el recurso empleado en esta situación el tiempo y se evalúa en el rango del 0 al valor de la eficiencia expresada por el docente experto. Considerar el tiempo en los procesos de formación en la plataforma EVEA Moodle es importante ya que se puede estimar el tiempo que tardan los estudiantes en el desarrollo de una actividad cuando no hacen uso de rúbricas y cuando si hacen uso de rúbricas.

Se muestra en la Tabla 5 que la diferencia de la eficiencia en los dos momentos es considerable, ya que en el primer momento el promedio fue del 0.4676 con un promedio total de tiempo invertido en el desarrollo actividades de 1.7181 horas. Por otro lado, en el segundo momento el promedio fue de 3.0033 con un promedio total de tiempo invertido en el desarrollo actividades de 0.3240 horas. Es evidente que la inversión de tiempo en el segundo momento es menor con un incremento de la eficacia, en este sentido la eficiencia basada en el tiempo tiene un incremento con el uso de las rúbricas en los procesos de formación en la plataforma EVEA Moodle.

La Figura 3, muestra los resultados de la eficiencia basada en el tiempo. Se presenta que la eficiencia a través del tiempo es aceptable por parte de los estudiantes participantes. La línea de color azul muestra la eficiencia alcanzada en las actividades que los estudiantes desarrollaron en un primer momento. La línea de color naranja muestra la eficiencia alcanzada en las actividades que los estudiantes desarrollaron en un segundo momento.

En la Figura 3, se observa un incremento de la eficiencia basada en el tiempo, debido a una eficacia positiva y a una reducción del tiempo en el desarrollo de actividades, tomando como referencia la primera y la segunda evaluación. Esto indica que el usuario considero la retroalimentación que el docente le brindo a través de la rúbrica al revisar cada una de las actividades que subió a la plataforma, en promedio la eficiencia basada en el tiempo incremento de un 0.4676 a un 3.0033, es decir, 2.5357.

No obstante, aunque los estudiantes participantes incrementaron su eficiencia basada en el tiempo en el segundo momento, con la retroalimentación por medio de las rúbricas desde la plataforma EVEA Moodle, es importante mencionar que pueden existir otros factores que también hayan influido, a continuación se mencionan: 1) en el segundo momento de la evaluación el estudiante estaba mejor adaptado a la forma de evaluar del docente y al uso de la plataforma; 2) el estudiante no solamente se apoyó de la retroalimentación del docente para mejorar su trabajo, sino también de las recomendaciones de los compañeros de clase; y 3) en el primer momento los estudiantes tuvieron problemas de acceso Internet para el envío de actividades, mientras que en el segundo momento estas dificultades se fueron eliminando.

Figura 3.
Eficiencia basada en tiempo.
Elaboración propia.

4.4. Evaluación de la eficiencia basada en el tiempo a través de la prueba t student

Para determinar qué tan significativa es la diferencia de la eficiencia basada en el tiempo alcanzada por el estudiante, se compararon ambos grupos usando la prueba tstudent para muestras dependientes. Como ya se mencionó anteriormente esta prueba permite comparar dos medias en un mismo grupo en dos momentos distintos, en este caso antes y después.

Es importante mencionar que para este caso la prueba de normalidad calculada también mediante el software IBM SPSS indica que los datos relacionados con la eficiencia basada en el tiempo del estudiante provienen de una distribución normal. En este sentido, también fue válido proceder para realizar prueba tstudent.

Al igual que en el caso de la eficacia también se definió el valor alfa (margen de error) para la prueba t student de 0.05 (5% de error) con un intervalo de confianza para la media de un 95%. El resultado de la prueba tstudent calculada mediante IBM SPSS se observa en la Tabla 7.

Observe en la Tabla 6 que el cálculo de la desviación estándar de la eficiencia alcanzada por los estudiantes participantes indica que en el primer momento (de la retroalimentación sin la rúbrica en los procesos de formación en la plataforma EVEA Moodle) obtuvo una desviación estándar de .0565361contra una desviación estándar de .4208189 en el segundo momento (de la retroalimentación con la rúbrica en los procesos de formación en la plataforma EVEA Moodle). Esto indica que la eficiencia basada en el tiempo obtenido por los estudiantes participantes en el segundo momento tuvo mayor variabilidad, por lo que se asume que el tiempo invertido por el grupo fue más heterogéneo.

En la Tabla 7 se puede apreciar que la significancia bilateral es .000, esto indica que es menor al nivel alfa de 0.05 (5% de margen de error), incluso menor al 0.01 (1% de margen de error) por lo que existe una diferencia significativa en las medias relacionadas con la eficiencia basada en el tiempo del estudiante. En este sentido, se acepta la hipótesis alternativa de la eficiencia - Hay una diferencia significativa en la eficiencia basada en el tiempo del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle – y se rechaza la hipótesis nula de la eficiencia - No hay diferencia significativa en la eficiencia basada en el tiempo del estudiante antes (sin rúbrica) y después (con rúbrica) en los procesos de formación en la plataforma EVEA Moodle.

5. Conclusiones

Este trabajo concluye en la evaluación formativa en entornos virtuales de enseñanza y aprendizaje (EVEA) Moodle para mejorar la eficacia y la eficiencia de los estudiantes a través de los procesos de valoración, objetivo que se cumple, ya que se determina que existe una diferencia significativa antes sin rúbrica y después con rúbrica en los procesos de formación en la plataforma EVEA, en el que el desempeño académico se ve incrementado y mejorado a través del tiempo, en donde el resultado de la aplicación de la prueba tstudent dan validez a las hipótesis planteadas.

En ese sentido, se puede apreciar que, en un primer momento, al evaluar la eficacia el promedio fue del 79.2% y en el segundo momento fue de 95.6% determinando una diferencia en eficacia del 16.4 %, esto quiere decir que el desempeño académico del estudiante fue incrementado mediante la retroalimentación en los procesos de formación en un EVEA. Además, se observa que la eficiencia en los dos momentos fue aceptable, el promedio fue del 0.4676, y en el segundo momento de 3.0033, donde se puede observar un incremento de 2.5357 de eficiencia y el tiempo para dedicarle a las actividades disminuye, esto debido a la retroalimentación en los procesos de formación a través del tiempo realizadas por el docente, con ello se comprueba la hipótesis planteada, en el que existe una diferencia significativa.

Con esta idea en mente, los objetivos que persigue este trabajo se cumplen al observar el impacto que tiene el uso de la rúbrica para incrementar el desempeño académico del estudiante y que con ello pueda mejorar sus actividades de formación académica, a través de la evaluación formativa, esto se refleja en el aprendizaje adquirido, en el cual el transmite, el entusiasmo y la motivación que tiene por querer conocer y aprender más a través de los EVEA, los cuales brindan un sinfín de oportunidades para aquellos estudiantes que desean participar aún más a su formación profesional de una manera semipresencial.

Durante la implementación de la plataforma EVEA Moodle con la herramienta de gestión de rúbricas se detectó lo siguiente:

• Los docentes realizan mejor sus actividades debido a que existe un entorno para el diseño de rúbricas que les permite establecer los requisitos completos que deben cumplir trabajos y con ello evaluarlos con mayor objetividad.

• Los estudiantes consideran que estas herramientas han permitido una retroalimentación más efectiva de los trabajos que desarrollan.

• Los estudiantes lograron comprender mejor los contenidos educativos gracias a la implementación de esta rúbrica.

• En general se observa que mejoraron las buenas prácticas educativas tanto del docente como del estudiante.

Sin embargo, la evaluación formativa, en el proceso de enseñanza y aprendizaje de estos estudiantes, ha dado pauta al acompañamiento basado en el análisis de la evidencia en la plataforma, en el que se realizan los comentarios, se demandan conocimientos, se les pone atención constante a sus ideas expresadas, se reconocen las dificultades de aprendizaje, se implementan acciones, mismas, que han permitido mejorar la comprensión, así como el reto que se enfoca el docente de implementar estrategias de enseñanza que van respondiendo a las necesidades de sus estudiantes, con el fin de ir mejorando la calidad de su educación.

Además, es importante mencionar que las TIC’s en la educación son de suma importancia, ya que se deben de aprovechar como una herramienta de apoyo en el proceso de enseñanza y aprendizaje, la cual mejora la calidad de los procesos educativos, es por ello que es de suma importancia que los maestros de hoy en día, deben de aprender, adquirir y a utilizar estrategias de enseñanza lo cual permitirá desarrollar capacidades y habilidades tanto para su proceso de formación, como para transmitir conocimiento, donde se pueden aprovechar los EVEA, permitiendo desarrollar competencias así como para su proceso de formación académica.

Cabe destacar que la herramienta de gestión de rúbricas desarrollada como apoyo a la evaluación formativa se encuentra en una etapa inicial de desarrollo y se espera como trabajo futuro su integración completa con el EVEA Moodle. La intención es que esta herramienta sea un espacio donde los docentes puedan crear, modificar y compartir rúbricas de diferentes áreas temáticas con completa integración con la plataforma Moodle. Por otra parte, se espera que los estudiantes puedan consultar las rúbricas de cada actividad o proyecto para que tengan pleno conocimiento de los requisitos del trabajo, así también se espera contar con un historial de las retroalimentaciones que en todo momento apoyen al estudiante para no cometer los mismos errores.

6. Referencias

[1] Hernández, R. M. (2017). Impacto de las TIC en la educación: Retos y Perspectivas. Propósitos y Representaciones, 5 (1), 325-347.doi: http://dx.doi.org/10.20511/pyr2017.v5n1.149

[2] Segovia, D., Pérez, M. (2015). Aprendiendo a enseñar, Manual práctico de didáctica (1era. Ed.). Madrid, España: Ediciones Pirámide.

[3] Condemarín, M., Medina, A. (2000). Evaluación de los Aprendizajes: un medio para mejorar las competencias lingüísticas y comunicativas (1era. Ed.). Chile: Ministerio de Educación, Chile.

[4] Lezcano, L., Vilanova, G. (2017). Instrumentos de evaluación de aprendizaje en entornos virtuales. Perspectiva de estudiantes y aportes de docentes. Informes Científicos Técnicos – UNPA, 9 (1). doi: https://doi: 10.22305/ict-unpa.v9i1.235

[5] Meriño Almaguer, Y., Lorente Rodríguez, A. E., Gari Maribona, M. (2011). Propuesta de instrumentos de evaluación para entornos virtuales de aprendizaje: una experiencia en la universidad de las ciencias informáticas. Revista de Informática Educativa y Medios Audiovisuales, 8 (15), 1–8. Recuperado de: http://laboratorios.fi.uba.ar/lie/Revista/Articulos/080815/A1mar2011.pdf

[6] Dorrego, E. (2006). Educación a distancia y evaluación del aprendizaje. RED. Revista de Educación a Distancia, M6, 1–23. Recuperado de: https://revistas.um.es/red/article/view/24301

[7] Gutiérrez Muñoz, F., Triana Gallo, O. I. (2015). Modelo de evaluación en entornos virtuales MOOC para los estudiantes del programa de extensión cultural y deportivo de la Universidad Militar Nueva Granada (Tesis de Maestría). Universidad Militar Nueva Granada, Bogotá. Recuperado de: https://repository.unimilitar.edu.co/bitstream/handle/10654/6687/PROYECTO DE GRADO - Modelo Evaluación MOOC.pdf?sequence=1&isAllowed=y

[8] Estrada Villa, E. J., Boude Figueredo, O. R. (2015). Hacia una propuesta para evaluar ambientes virtuales de aprendizaje (AVA) en Educación Superior. Revista Academia y Virtualidad, 8 (2), 14–23. doi: https://doi.org/10.18359/ravi.1156

[9] Miramontes Arteaga, M. A., Castillo Villapudua, K. Y., Macías Rodríguez, H. J. (2019). Estrategias de aprendizaje en la educación a distancia. Revista de Investigación en Tecnologías de la Información (RITI), 7 (14), 199–214. doi: https://doi.org/10.36825/RITI.07.14.017

[10] Hernández Sampieri, R. (2014). Metodología de la Investigación (6ta. Ed.). Ciudad de México: McGraw-Hil Interamericana.

[11] Varo, J. (1994). Gestión estratégica de la calidad en los servicios sanitario. Un modelo de gestión hospitalaria. Madrid: Ediciones Díaz Santos, S.A.

[12] Balluerka, N., Vergara, A. I. (2002). Diseños de Investigación Experimental en Psicología. Madrid: Pearson Educación Prentice Hall.

Notas