Extracto
Contenido
1.Antecedentes
2. Propósito
3. Método
Técnica
Limitaciones o Restricciones
4. Resultados y Discusión
Presentación de Resultados
Estudiantes
Medios de comunicación,
procedimientos y materiales
Análisis Concentrado
5. Recomendaciones
Decisiones de Diseño
Materiales de Instrucción
Procedimientos de Instrucción
Medios de Comunicación y Sistema de Entrega
Recursos
Apéndices
A. Plan General de Evaluación Formativa
B1. Protocolo de Evaluación Formativa por Experto
B2. Protocolo de Evaluación Formativa Individual
C. Instrumento 1 – Evaluación Formativa – Experto en la Materia
D. Instrumento 2 – Evaluación Formativa Individual – Estudiantes
1. Antecedentes
Este informe de evaluación formativa, surge como elemento indispensable del proceso metodológico del modelo Dick & Carey (2015). Por lo que este curso de planeación estratégica (PE) virtual surgió de la necesidad de generar alternativas instruccionales para fortalecer el proceso de la enseñanza-aprendizaje en la unidad de planeación estratégica de la Licenciatura en Administración y Promoción de la Obra Urbana (LAPOU) de una Universidad en el estado de México. Por lo anterior, el propósito de la lección fue que los estudiantes de la LAPOU del 9°semestre aplicarán el modelo de planeación estratégica de Kotter (2004) para desarrollar la misión, visión y objetivos de un proyecto específico.
Bajo ese contexto, se destaca que este informe de evaluación formativa requirió de una revisión bajo una técnica de experto (s) y uno a uno, a cada uno de los componentes del curso. En lo general, se necesitó comprobar el funcionamiento del uso de la plataforma blackboard y el software go to meeting para trabajar virtualmente. En lo particular se revisaron: instrucciones, objetivos, presentación, ejemplos, agrupación, medios, participación, práctica, retroalimentación, evaluación, rúbricas, las actividades de seguimiento, resultados y discusión. Esos componentes, pertenecen a las secciones de la plataforma: syllabus, módulos semanales, asignaciones, materiales audiovisuales, foros y blogs. Todos con los elementos indispensables del curso que en su momento se revisaron por los sujetos mencionados
2. Propósito
El informe de la evaluación formativa del curso virtual tiene por objeto proporcionar un panorama sobre el contenido, proceso y resultados del proyecto instruccional. Ello pretende revisar el desempeño de los componentes que conformaron la lección mediante la técnica de análisis de contenido. En ese sentido, se requirió que especialistas y estudiantes, ya sean uno a uno o en grupo, mediante un instrumento que se aplicó, proporcionaran información. Esa data se tradujo en resultados que fueron analizados y contribuyeron para la mejora continua de este proyecto.
3. Método
Un informe de evaluación formativa forma parte de una metodología propuesta por Dick & Carey (2015) en relación con el diseño de un proyecto instruccional. Este informe se apoyó de diversos elementos para la mejora continua de una propuesta educativa. Los elementos se componen de fases, evaluadores, fechas, objetivos e instrumentos. En este caso particular, (véase Tabla del Plan General en el Apéndice A), las fases se conformaron de un experto quien se eligió por su trayectoria en el desarrollo de planes estratégicos durante más de 15 años, y que está familiarizado con la población objeto.
Asimismo, participaron dos estudiantes, quienes formarán parte de un curso virtual de planeación estratégica y en este caso, apoyaron con el llenado de un instrumento para conocer su percepción al respecto (Ballesteros, 2007). Grosso modo este informe describe los resultados de la aplicación de los instrumentos a tales sujetos, en donde se identificó evaluadores, fechas de aplicación de los instrumentos y a la vez, los componentes de la lección. En concreto, la parte más importante fue revisar la operatividad del curso completo. Las implicaciones surgen a partir de las observaciones de los evaluadores y al mismo tiempo, en cada uno de los componentes siguiendo el proceso de revisión de instrucción de Dick y Carey.
Técnica: Revisión de Experto
Descripción del Experto
La doctora en administración de empresas Bonola, es experta en planeación estratégica, implementación y reingeniería, gestión del cambio para el logro de resultados. Con más de 15 años de experiencia en alta dirección a nivel empresarial, gubernamental y que está familiarizada con la población objeto. Se caracteriza por su alto desempeño, siempre orientado al logro de objetivos considerando la importancia de los equipos de trabajo y la alta gerencia. Así como en el desarrollo de planes y estrategias no sólo educativas, sino comerciales para diferentes unidades de negocio (Aramayo, s/f).
Instrumentos
El instrumento que se utilizó con el experto (SME), tuvo como propósito hacer una revisión eficaz del contenido sobre el diseño instruccional del curso virtual de planeación estratégica. Lo anterior, requirió cotejar una lista contemplando los siguientes componentes de la instrucción: actividades preinstruccionales, presentación de la información, participación de los estudiantes, evaluación y actividades de retención o transferencia; estimando tipo de aprendizaje, contenido, claridad y motivación (véase Apéndice C).
Procedimiento
A continuación se describen las actividades en el orden que se especifican como parte del proceso para la recolección de los datos, todos fueron necesarios para llevar a cabo la evaluación formativa por el experto en la materia del curso virtual de PE:
1. Se contactó al SME mediante correo electrónico. Se le envió una carta de invitación, para participar en la evaluación formativa del curso de planeación estratégica. Se destacó el propósito de la evaluación.
2. Se solicitó al SME que confirmara su participación por el mismo medio.
3. Una vez confirmada la participación del SME, se le explicaron a detalle todas las características del curso virtual de PE. Se le recalcó que un conjunto de materiales instruccionales se diseñaron, y que por técnica se requería contar con su participación, para valorar la pertinencia de los contenidos.
4. Posteriormente, se le informó al SME que accediera a la plataforma Blackboard en donde se situaba el curso de PE (se proporcionó el enlace), se solicitó que revisara la pertinencia de los componentes del curso bajo su propio método. En lo general, comprobó el funcionamiento del uso de la plataforma Blackboard y el software go to meeting para trabajar virtualmente. En lo particular, revisó: instrucciones, objetivos, presentación, ejemplos, agrupación, medios, participación, práctica, retroalimentación, evaluación, rúbricas y las actividades de seguimiento. Esos componentes, pertenecen a las secciones siguientes de la plataforma: syllabus, módulos semanales, asignaciones, materiales audiovisuales, foros y blogs. Todos con los materiales instruccionales indispensables del curso.
5. Enseguida, se le indicó al SME que una vez realizada la revisión en la plataforma Blackboard procediera a dar respuesta al instrumento de evaluación que se le envió. Se le solicitó lo regresara dentro de los cinco días posteriores a la recepción.
6. Una vez recibido el instrumento con las respuestas correspondientes, se le agradeció al SME por su tiempo y las contribuciones; se le mencionó si era de su interés colaborar con una revisión posterior del curso.
7. Con el instrumento completo se procesaron los datos.
8. Se categorizaron, codificaron y clasificaron las respuestas de los componentes del cuestionario.
9. Se analizaron los datos, mediante la técnica correspondiente y se emitió el siguiente informe.
Técnica: Uno-a-Uno
Sujeto
Para la evaluación formativa individual del curso virtual de planeación estratégica se contactó a dos estudiantes del 9º semestre de la LAPOU, sin importar edad o sexo: (a) estudiante de mayor desempeño académico, considerando su objetividad, crítica y compromiso académico; (b) estudiante que estaba por debajo de la media de desempeño académico, se contempló su objetividad y crítica. Quienes en lo sucesivo cursarían la asignatura durante el ciclo escolar de otoño 2022.
Instrumentos
Para el cumplimiento del propósito de la evaluación formativa, la recolección de datos se logró con aplicación de un instrumento de forma individual (sujetos del estudio). Fue un cuestionario en línea (google survey), el cual tuvo como meta identificar las dificultades que el estudiante detectaría con respecto a la estructura del curso. Dicho instrumento constaba de 20 preguntas, las cuales examinaban las actividades preinstruccionales, presentación de la información, participación de los estudiantes, evaluación y actividades de retención o transferencia; se consideraron los criterios de claridad, impacto y viabilidad de la información.
Para claridad de la instrucción
Hubo tres categorías de información: mensajes, enlaces y procedimientos. La primera categoría, mensaje, se refirió a la claridad del mensaje para el alumno, determinada por el vocabulario, la complejidad de las oraciones, y estructura del mensaje. Independientemente de si el alumno leía, escuchaba o veía el mensaje, él o ella sería capaz de seguirlo. La segunda categoría, enlaces, se refirió a cómo el mensaje estaba diseñado para que el alumno, incluyera contextos, ejemplos, analogías y demostraciones. La tercera, los procedimientos, se refirío a las características de la instrucción, tales como la secuencia, el tamaño de la unidad presentada, la transición entre las unidades, el ritmo y la variación incorporada en la presentación. La claridad de la instrucción cambiaría cuando cualquiera de estos elementos hubiera sido apropiado para los estudiantes. La instrucción sería tan lenta e interactiva que el alumno perdería el interés, o procedería tan rápidamente que la comprensión se haría difícil (Gangé, 1975).
El segundo criterio, impacto en alumno
Se refirió a las actitudes del alumno sobre la instrucción y a sus logros en los objetivos específicos. Es decir, la relevancia para él o ella; realizable con un esfuerzo razonable y si la experiencia era interesante y satisfactoria.
El tercer criterio, la viabilidad
Incluía la capacidad del alumno, el medio de instrucción y la instrucción ambiental.Asimismo, la escala de valor contemplada en el instrumento, se basó en evaluaciones específicamente cualitativas. En todo caso, se asignaron a las evaluaciones factores numéricos, mediante una escala de Likert. Es decir, una escala de uno a cinco, en la que 1 significaba mal y 5 excelente. De tal manera que la recogida de datos a partir del instrumento y las escalas de valor respectivas permitieron dar cumplimiento al propósito de la evaluación (véase Apéndice D).
Procedimiento
A continuación se describen las actividades en el orden que se especifican como parte del procedimiento para la recolección de los datos necesarios para este informe:
1. Se solicitó el permiso con el Director de la Escuela del programa académico de LAPOU para realizar el estudio.
2. Se sometió al Institutional Review Board (IRB) de la institución, la solicitud y los documentos requeridos para llevar a cabo el estudio.
3. Se aplicó el instrumento a los sujetos del estudio (estudiantes seleccionados), respetando los criterios que se enmarcaban en la estructura del curso virtual de PE, así como la escala de valor respectivo.
4. Se solicitó la autorización de la Dirección de la Escuela del programa académico de la LAPOU, para la aplicación del instrumento.
5. Para la aplicación del instrumento a los sujetos del estudio, se le solicitó al Director de la Escuela del PA, el nombre de dos estudiantes de 9º semestre, uno con el más alto desempeño académico, y el otro, que estuviera por debajo de la media del desempeño, incluyendo su correo electrónico, con la finalidad de enviar una carta de invitación para que participaran voluntariamente, bajo todas las salvedades en este estudio y el anonimato respectivo.
6. Se les envió a los estudiantes vía correo electrónico, una carta de invitación para que participaran en el estudio.
7. Se les explicó a los alumnos que un nuevo conjunto de materiales de instrucción se diseñó para el curso virtual de planeación estratégica y que se requería contar con su participación para valorar su percepción al respecto.
8. Se les informó a los estudiantes que accedieran a la plataforma Blackboard en donde se encontraba el curso de PE (se les proporcionó el enlace), solicitándoles que revisaran la pertinencia de los componentes del curso bajo las técnicas correspondientes. En lo general, comprobaron el funcionamiento del uso de la plataforma Blackboard y el software go to meeting para trabajar virtualmente. En lo particular, revisaron: instrucciones, objetivos, presentación, ejemplos, agrupación, medios, participación, práctica, retroalimentación, evaluación, rúbricas y las actividades de seguimiento. Esos componentes, pertenecen a las secciones siguientes de la plataforma: syllabus, módulos semanales, asignaciones, materiales audiovisuales, foros y blogs. Todos con los materiales instruccionales indispensables del curso que en su momento revisaron.
9. Se les indicó a los estudiantes que una vez realizada la revisión en la plataforma Blackboard accedieran al enlace que se les envió, que los redireccionaría al cuestionario que contestarían, siendo lo más objetivos, críticos y reflexivos en sus respuestas.
10. El instrumento incluyó las escalas de valor conforme lo establecido en la escala de Likert, que midió las actitudes o las predisposiciones individuales con respecto a conceptos específicos, mediante ítems codificados y seleccionados, como en este caso (Kerlinger y Lee, 2002).
11. El cuestionario se completó y fue devuelto a los diseñadores instruccionales durante los cinco días posteriores a su recepción; se incluyeron en el instrumento sus correos electrónicos, para aclararles cualquier duda.
12. En el momento en que se contó con los cuestionarios ya contestados por los sujetos del estudio, se procesaron los datos recopilados.
13. Se categorizaron, codificaron y clasificaron las respuestas de todos los constructos de los cuestionarios.
14. Se consideró la escala de valor definida en el instrumento y se procedió al análisis de datos para generar el siguiente informe.
Limitaciones o restricciones.
No se tuvieron limitaciones ni restricciones.
4. Resultados y Discusión (implicaciones)
En este apartado se exponen los resultados obtenidos de la evaluación de la propuesta instruccional relativa al contenido, proceso y evaluación del curso de PE. Se revisó el desempeño de los componentes que conformaban la lección mediante la técnica de análisis bajo el esquema de Dick y Carey (2015). En ese sentido, se requirió que especialistas y estudiantes, ya sean uno a uno o en grupo, mediante un instrumento que se aplicó proporcionaran información para comprender las implicaciones de las respuestas.
Cabe señalar que mediante esa técnica de análisis se obtuvieron resultados de corte cualitativo que permiten sustentar no sólo el proyecto, sino estar en la posibilidad de hacer mejoras continuamente. En tanto, es preciso señalar que en cuanto a la población muestra estuvo representada por un experto en planeación estratégica y dos alumnos (técnica uno a uno) del 9º semestre de la Licenciatura en Administración y Promoción de la Obra Urbana de la Universidad Autónoma del Estado de México. Se aclara que los sujetos participaron activamente en el estudio.
Esta intervención permitió observar el comportamiento de los materiales instruccionales con respecto al curso de planeación estratégica virtual (PEV-900). En consecuencia, se revisó el desempeño de los componentes de la lección por parte del experto y los alumnos. Para posteriormente analizar la data, clasificar, establecer categorías y definir la codificación respectiva.
En lo general, la información procedió de dos fuentes: (a) el protocolo de evaluación formativa - experto (SME) que establecía una caracterización de los principales componentes de los materiales, tipo de aprendizaje, contenido, claridad y motivación; (b) el protocolo de evaluación formativa – individual, que contemplaba 20 preguntas relacionadas con los principales componentes de los materiales, mismas que fueron medidas mediante la escala Likert. El análisis de los resultados permitió establecer un panorama contextual, in situ, para comprender cuál era la percepción del diseño instruccional del curso de planeación estratégica virtual.
[...]