Migración de datos del TICómetro a Superset: optimizando el análisis de habilidades TIC

1. Introducción

El TICómetro (Dirección General de Cómputo y de Tecnologías de Información y Comunicación [DGTIC], 2025) es un instrumento de evaluación diagnóstica que permite analizar las habilidades en el uso de las Tecnologías de la Información y Comunicación (TIC) de los estudiantes de nuevo ingreso a la Universidad Nacional Autónoma de México. Desde su implementación en 2012, utiliza la plataforma Moodle (Moodle, 2025) como entorno tecnológico para la aplicación del cuestionario y el registro de resultados, y aprovecha su capacidad para gestionar actividades de evaluación en línea y generar estadísticas sobre el desempeño de los participantes. Su base pedagógica socio-constructivista, según Devi y Aparna (2020), respalda el trabajo del TICómetro al promover un aprendizaje centrado en la interacción.

Apache Superset (Sanz, 2023) es una herramienta de análisis y visualización de datos de código abierto que permite crear tableros interactivos y personalizar visualizaciones a partir de diversas fuentes de información. La migración de los datos del TICómetro a esta plataforma ofrece una estructura homogénea y escalable que facilita el análisis comparativo de habilidades digitales a lo largo de distintos periodos académicos.

A partir de las migraciones para la integración de los datos del TICómetro en Apache Superset (Apache Superset, 2024) realizadas entre 2022 y 2024, se contaba ya con una estructura de base de datos diseñada y funcional, así como con visualizaciones disponibles en el sitio institucional https://ticometro.unam.mx/resultados/. Este antecedente técnico permitió contar con un punto de partida consolidado para ampliar el proceso de migración hacia los datos históricos correspondientes al periodo 2012–2021, realizado entre septiembre y diciembre de 2024, previo a la etapa de visualización. Los scripts que me fueron proporcionados en la Dirección de Innovación en Tecnologías para la Educación (DITE) de la DGTIC¹, los cuales habían sido utilizados en las migraciones previas, junto con una copia de una máquina virtual y un sistema de pruebas, fueron elementos fundamentales para la comprensión del proceso y la correcta ejecución de la nueva migración.

La necesidad de realizar la migración de los datos históricos del TICómetro respondió a la heterogeneidad de las versiones de Moodle empleadas entre 2012 y 2021, cuyas diferencias estructurales en los modelos de datos dificultaban la aplicación directa de los procesos de extracción, transformación y carga (ETL) desarrollados para los años más recientes. Cada versión de Moodle presenta variaciones en el diseño de tablas, nombres de campos y relaciones entre datos, lo que hizo necesario desarrollar un proceso técnico de migración adaptado a cada estructura. Este desafío de ETL heterogéneo constituyó el núcleo del trabajo técnico aquí descrito.

En este contexto, el presente reporte se enfoca exclusivamente en las actividades técnicas relacionadas con la migración de los datos de Moodle hacia la fuente de datos empleada por Apache Superset. Dichas actividades comprendieron la extracción de datos desde las distintas versiones de Moodle, su limpieza y normalización, así como su carga en una base de datos PostgreSQL ya existente y estructurada para su uso con Superset. Es importante destacar que la estructura de esta base de datos no fue creada nuevamente para este proyecto, sino que se reutilizó y adaptó para integrar los datos históricos de los años 2012 a 2021.

El desarrollo técnico incluyó la creación de scripts propios escritos en Python, ejecutados en Google Colaboratory Notebooks, que permitieron automatizar el proceso ETL y garantizar la consistencia de los datos. Aunque los scripts originales de los años 2022–2024 que me fueron proporcionados por la DITE sirvieron como referencia metodológica, las diferencias entre las versiones antiguas de Moodle y los cambios en la organización de los datos requirieron la reescritura completa de los procedimientos y la optimización de su desempeño mediante bibliotecas de análisis de datos y control de errores.

Entre los productos técnicos derivados de este proceso se encuentran:

1. Los scripts en Python desarrollados para la migración de los datos del periodo 2012–2021.
2. Los archivos Excel con los resultados anuales correspondientes a los niveles de bachillerato y licenciatura.
3. La normalización de catálogos institucionales y académicos que garantizó la uniformidad de los registros.
4. La documentación metodológica del proceso de migración y las verificaciones de integridad de datos.

El objetivo del trabajo técnico es llevar a cabo el proceso de migración de los datos del TICómetro, almacenados en Moodle, hacia una nueva fuente de datos estructurada para su análisis en Apache Superset, con el propósito de facilitar su transformación, limpieza, normalización y carga, de acuerdo con las necesidades analíticas del proyecto Migración de datos del TICómetro a Superset. Su importancia radica en la consolidación de los datos históricos del TICómetro dentro del mismo entorno analítico empleado por las versiones recientes, lo que brinda una base técnica unificada que fortalece la capacidad institucional para generar reportes y análisis longitudinales sobre las competencias digitales de los estudiantes.

2. Desarrollo técnico

La migración de los datos del TICómetro (DGTIC, 2012) a Apache Superset facilita el análisis de las habilidades digitales de los estudiantes de nuevo ingreso de la UNAM al consolidar, por primera vez, datos homogéneos con esquemas unificados para los años migrados (2012–2021); permite disponer de una fuente de datos estructurada y consistente que servirá como base para la futura visualización dinámica de resultados en el sitio https://ticometro.unam.mx/resultados/. La integración en Superset (Apache Superset, 2024) favorece la interoperabilidad de los datos, la consulta transversal por periodo académico y la preparación para la siguiente etapa del proyecto: Sitio de Resultados del TICómetro.

El proceso técnico presentado en este documento forma la primera parte del proyecto institucional Sitio de Resultados del TICómetro, desarrollado por la DGTIC. Entre 2022 y 2024 se realizaron las primeras migraciones correspondientes a dichos años en la DITE². A partir de los scripts iniciales de migración y una máquina virtual para pruebas que me fueron proporcionados, se revisó también el diseño del modelo de datos en Superset³ y otros elementos como el desarrollo web, la integración del sitio de resultados, el manual de procedimientos y la transferencia de conocimientos sobre la creación de dashboards⁴;estos elementos son fundamentales para la continuidad del proyecto hacia la fase web.

El presente trabajo amplía dicho proceso al incorporar los datos históricos de 2012 a 2021, un desafío técnico que requirió adaptar el proceso de extracción, transformación y carga (ETL) a múltiples versiones de Moodle con modelos de datos heterogéneos. La Tabla 1 resume las versiones de Moodle utilizadas, y muestra al menos seis versiones distintas que debieron ajustarse para generar una fuente de datos homogénea compatible con Superset.

Tabla 1

Evolución de versiones de Moodle utilizadas entre 2012 y 2021

Año	Versión	Build
2012	1.9.19+ (Build: 20120726)	Estructura inicial basada en tablas planas, sin normalización; campos como description y assignmenttype.
2013	2.4.4 (Build: 20130513)	Renombrado de description → intro y adición de introformat; nueva collation utf8_unicode_ci.
2015-2016	2.6.11 (Build: 20150511)	Cambios en tablas mdl_user y mdl_quiz_attempts; incorporación de campos modifided y timelimit.
2017-2018	3.2.9 (Build: 20180517)	Reestructuración de mdl_question_attempts; nuevos identificadores en tablas de usuarios.
2019-2021	3.3.9+ (Build: 20190201)	Consolidación de esquemas; adopción definitiva de UTF-8 universal.

Estas diferencias motivaron a la redefinición de las consultas SQL y las rutinas de transformación de datos, particularmente en los campos de texto, identificadores y tipos de relación. El análisis de las estructuras mostró que las versiones 1.9.x y 2.4.x requerían mayor intervención debido a la falta de consistencia en las claves primarias y foráneas, mientras que las versiones posteriores permitieron automatizar parcialmente la extracción.

El proceso ETL se ejecutó bajo un enfoque modular y reproducible en el entorno de Google Colaboratory Notebooks, para garantizar trazabilidad, seguridad y control de versiones. Los datos del TICómetro ya estaban anonimizados desde su origen, antes de su exportación desde Moodle, en cumplimiento con la normatividad universitaria sobre protección de datos.

Los volúmenes de información migrados permiten dimensionar la magnitud del trabajo técnico realizado. En el nivel bachillerato, la tabla fac_evaluación acumuló entre 22,917 y 33,620 registros anuales, con un promedio de 31,000 registros por año. En el nivel licenciatura, a partir de 2013, se registraron volúmenes entre 826 y 15,709 evaluaciones anuales, lo que representa en total más de 300,000 registros migrados. En la tabla población_institución, que contiene la información institucional y de grupos, se integraron 14 planteles de bachillerato y hasta 482 registros de grupos de universitarios por año en licenciatura, según el periodo correspondiente.

El análisis de las diferencias estructurales entre versiones de Moodle permitió desarrollar una estrategia de migración flexible. Las modificaciones incluyeron la detección de cambios de tipo de dato (por ejemplo, de varchar a text) y ajustes de collation a utf8_unicode_ci y renombrado de campos (como description - intro), lo que requirió reestructurar las consultas de extracción y los mapeos de transformación. Esta labor garantizó que los datos migraran sin pérdida ni duplicidad y bajo un modelo de datos unificado en Superset.

El modelo de datos proporcionado en Superset sigue un diseño relacional y permite una estructura analítica uniforme y escalable para futuros tableros interactivos; fue diseñado originalmente por el equipo de colaboradores del proyecto Sitio de Resultados del TICómetro, con las siguientes tablas:

• dim_cinta: niveles de competencia TIC (cinturón blanco a negro).
• dim_fecha: control temporal del año y periodo de aplicación.
• dim_institución: dependencias, planteles y facultades.
• dim_sexo: variable demográfica normalizada.
• fac_evaluación: tabla de hechos con los resultados individuales por usuario y nivel.
• población_institución: totales agregados por dependencia.

Se incorporaron mejoras al proceso ETL modificado respecto a las migraciones anteriores, tales como:

1. Entorno de trabajo: configuración del entorno en Google Colab e importación de las bibliotecas pandas, numpy, psycopg, sqlalchemy, os, re, datetime y google.colab, con el fin de automatizar la conexión, limpieza y carga de datos.
2. Extracción (E): conexión directa a las bases de datos Moodle mediante psycopg y ejecución de consultas SQL con filtros por fecha y estado de finalización (qa.state='finished').
3. Transformación (T): creación de funciones de categorización (categorize_cinta, nivel, convert_to_list) para clasificar, limpiar y reestructurar los datos.
4. Procesamiento diferenciado: tratamiento individual de los datos de los niveles bachillerato y licenciatura, transformando respuestas en formato largo (long format) a formato ancho (wide format) y aplicando codificación one-hot para preguntas de opción múltiple.
5. Carga (L): modelado en base de datos PostgreSQL bajo esquema de estrella, creación de tablas con to_sql() y almacenamiento de datos agregados.
6. Exportación: generación de reportes en Excel por nivel educativo y año para su validación por las dependencias académicas.

En total, el proceso de migración se ejecutó en un solo archivo de código en Google Colaboratory, lo que permitió reproducir la operación de principio a fin. La automatización de rutinas y la limpieza de datos incrementaron la eficiencia del proceso y redujeron el riesgo de errores manuales.

La migración de datos entre múltiples versiones de Moodle hacia un modelo homogéneo en Superset representa una valiosa optimización técnica: homogeneiza los esquemas, reduce la fragmentación de los datos, mejora la capacidad de análisis comparativo interanual y sienta las bases para la generación de tableros analíticos que integrarán todos los años históricos del TICómetro en un mismo entorno visual. Este tema será motivo de un trabajo técnico posterior, enfocado en la etapa de elaboración y publicación de los dashboards.

2.1 Metodología

A continuación se describen los pasos realizados durante el proceso de migración de los datos del TICómetro, correspondientes al periodo 2012–2021, ejecutado entre septiembre de 2024 y diciembre de 2024. Este procedimiento tuvo como objetivo trasladar la información almacenada en las bases de datos Moodle hacia los esquemas de la fuente de datos utilizada por Superset, en formato PostgreSQL, para su posterior análisis e integración en el proyecto Sitio de Resultados del TICómetro.

Los datos se extrajeron desde un servidor de respaldo proporcionado por la DITE de la DGTIC⁵. La extracción se realizó por año, para lo cual se emplearon consultas SQL directas mediante la biblioteca psycopg de Python. Para garantizar la trazabilidad y control de versiones, se desarrolló un archivo independiente de Google Colaboratory Notebook por cada año migrado desde 2012 hasta 2021.

Cabe recalcar que los datos del TICómetro ya se encontraban anonimizados desde su origen, es decir, antes de su exportación desde Moodle, en cumplimiento con la normatividad universitaria sobre protección de datos académicos.

El proceso de migración se estructuró conforme al enfoque ETL (Extracción, Transformación y Carga), con la siguiente secuencia de pasos y herramientas empleadas en cada fase:

Tabla 2

Herramientas utilizadas en cada fase del proceso ETL

Fase	Herramientas utilizadas	Función
Extracción	Python (psycopg, sqlalchemy), Google Colab	Conexión directa al servidor Moodle de respaldo y ejecución de consultas SQL para cada año.
Transformación	pandas, numpy, re, datetime	Limpieza, categorización y normalización de los datos; conversión de estructuras y formatos.
Carga	sqlalchemy, método to_sql()	Inserción de datos procesados a la base PostgreSQL (fuente de datos utilizada por Superset).
Validación y reporte	pandas, openpyxl	Generación de reportes Excel y verificación de integridad de los datos migrados.
Control y respaldo	Google Drive (Colab)	Almacenamiento de archivos de salida y registro de bitácoras de ejecución.

Los pasos realizados entre los meses de septiembre y diciembre de 2024 fueron:

1. Respaldo y conexión inicial: se estableció conexión con la base de datos Moodle de respaldo, definiendo los rangos de fechas de extracción y ejecutando las consultas SQL a través de psycopg.
2. Extracción de usuarios y respuestas: se obtuvieron datos de las tablas mdl_user, mdl_quiz_attempts y mdl_question_attempts, filtrando intentos finalizados y transformando los resultados a estructuras manejables mediante pandas.
3. Transformación de datos: se aplicaron funciones para categorizar resultados, normalizar nombres de instituciones, limpiar duplicados y transformar los formatos de tiempo.
4. Procesamiento diferenciado por nivel educativo: se separaron los conjuntos de datos de bachillerato y licenciatura, y se ajustaron los esquemas y campos de cada uno de acuerdo con las versiones de Moodle correspondientes.
5. Carga en la fuente de datos utilizada por Superset: los datos limpios se insertaron en la base PostgreSQL, respetando la estructura de seis tablas (dim_cinta, dim_fecha, dim_institución, dim_sexo, fac_evaluación y población_institución).
6. Validación y exportación: se verificó la correspondencia entre los datos migrados y los resultados originales, generando reportes en formato Excel para su análisis institucional.

Con el propósito de conservar la coherencia visual y estructural con las publicaciones previas del proyecto, la generación de reportes en Excel se realizó siguiendo el formato de los reportes oficiales del TICómetro⁶. Posteriormente, en el año 2025 las actividades se centraron en la consolidación y verificación de los datos históricos migrados y en la preparación de los dashboards interactivos que integrarán los resultados de los años 2012 a 2021 con los datos más recientes. Cuando dichos dashboards estén disponibles públicamente en el sitio oficial, se habrá completado la segunda fase del proyecto Sitio de Resultados del TICómetro.

3. Resultados

La migración de los datos del TICómetro correspondientes al periodo 2012–2021 permitió consolidar una fuente de datos histórica bajo un mismo modelo analítico, compatible con la herramienta Apache Superset. En total, se procesaron y migraron más de 600,000 registros, provenientes de los niveles de bachillerato y licenciatura, que incluyeron información demográfica, académica y de desempeño en las evaluaciones de habilidades digitales.

El proceso de migración culminó con la carga exitosa de los datos en los esquemas de la fuente de datos utilizada por Superset, con independencia por año. Esta organización estructural permite mantener la integridad de los datos y evitar conflictos derivados de las diferencias entre versiones de Moodle. Cada año cuenta con su propio esquema, lo que facilita las operaciones de comparación interanual y garantiza la trazabilidad de las transformaciones realizadas durante el proceso ETL.

En términos de volumen, las tablas principales migradas fueron fac_evaluación, que concentra las respuestas individuales de los estudiantes, y poblacion_institución, que contiene la información de los planteles, facultades y grupos participantes. La Tabla 3 resume el volumen de registros migrados por nivel educativo y año en la tabla fac_evaluación.

Tabla 3

Registros migrados en la tabla fac_evaluacion por año y nivel académico

Año	Bachillerato (respuestas individuales)	Licenciatura (respuestas individuales)
2012	22 917	-
2013	31 949	826
2014	32 024	3 434
2015	33 385	5 047
2016	33 272	11 300
2017	33 620	12 412
2018	31 019	12 058
2019	32 000	14 455
2020	31 746	14 009
2021	28 984	15 709

La creación de esquemas independientes por año se justifica por las diferencias estructurales entre las versiones de Moodle de las que provienen los datos, para evitar conflictos de integridad y garantizar la compatibilidad con los modelos de datos empleados en cada periodo. Este enfoque permite conservar la trazabilidad de las modificaciones y facilita el mantenimiento en futuras actualizaciones.

En cuanto al archivo de preguntas, su actualización anual impacta de manera significativa la coherencia y calidad analítica de los datos; se compone de los reactivos demográficos, de habilidades y de conocimiento sobre el uso de TIC aplicados en Moodle, posteriormente migrados a Superset. Dado que el cuestionario cambia cada año, la gestión y estandarización del archivo de preguntas resultan fundamentales para mantener la continuidad de las métricas y posibilitar el análisis longitudinal de los resultados entre generaciones de estudiantes.

La migración también mejoró la consistencia de los datos históricos al actualizar los catálogos de dependencias participantes y normalizar la codificación de instituciones, modalidades y grupos. Estos resultados conforman la base para la siguiente fase del proyecto, que contempla la creación de dashboards interactivos en Apache Superset, que integrarán y mostrarán los resultados de los años 2012 a 2021 junto con los datos más recientes.

4. Conclusiones

El proyecto “Migración de datos de Moodle a Superset” permitió consolidar una fuente de datos homogénea en PostgreSQL, diseñada específicamente para su uso analítico dentro de Apache Superset, lo que constituye el principal logro técnico del trabajo desarrollado entre septiembre y diciembre de 2024. Este proceso garantizó la integración de los datos del TICómetro correspondientes a los años 2012 a 2021, homologando estructuras provenientes de distintas versiones de Moodle en un modelo de datos unificado, confiable y reutilizable para análisis posteriores.

A partir de las migraciones previas en las que se procesaron los datos de los años 2022 a 2024, el alcance del presente reporte se concentró en la migración histórica de los periodos no integrados, bajo criterios de unicidad y consistencia, lo que permitió así completar el acervo digital del TICómetro.

La migración realizada contribuye de manera directa a facilitar la generación de informes técnicos y académicos, al disponer de una fuente de datos estandarizada y verificable que puede ser consultada por diferentes herramientas analíticas, entre ellas Apache Superset. Si bien la generación de gráficas y tableros no forma parte del alcance de este reporte técnico, la estructura creada constituye la base fundamental sobre la cual podrán desarrollarse posteriormente los dashboards interactivos previstos para el trabajo complementario que dará continuidad al proyecto.

Asimismo, el proceso dio como resultado dos productos adicionales: en primer lugar, los archivos en formato Excel, que consolidan los datos migrados y permiten la consulta, validación y análisis inmediato por parte de investigadores, docentes, funcionarios universitarios y público en general interesado en los niveles de competencia digital de los estudiantes de la UNAM; en segundo lugar, los scripts en Python ejecutados en Google Colaboratory Notebooks, que documentan paso a paso la extracción, transformación y carga de los datos. Ambos productos, junto con los esquemas por año creados en la base de datos final en PostgreSQL, constituyen la documentación detallada del proceso de migración y permiten su réplica o actualización en futuras versiones del sistema.

En conjunto, este trabajo técnico representa un avance sustancial en la infraestructura analítica del TICómetro, al ofrecer un entorno unificado para el manejo de datos históricos y recientes, lo que promueve la transparencia, la interoperabilidad y la continuidad institucional que ha caracterizado a los proyectos de evaluación de habilidades TIC en la UNAM desde sus inicios.

Agradecimientos

El autor expresa su agradecimiento a la DGTIC de la UNAM por el apoyo institucional brindado para la realización del proyecto “Migración de datos de Moodle a Superset”, desarrollado entre septiembre y diciembre de 2024, en especial a Angélica Ramírez Bedolla.

En particular, se reconoce la valiosa colaboración de Javier Rodrigo Díaz Espinosa por proporcionar los scripts y la máquina virtual utilizados como referencia en las migraciones previas, así como a Miguel Zúñiga González por el respaldo y acceso a los servidores que permitieron realizar las extracciones de datos históricos.

Asimismo, se agradece la participación de Cristian Ricardo Ortega Ramírez, responsable del diseño del modelo de datos de Superset y del esquema de conexión utilizado en la visualización de resultados, así como el apoyo de José Larios Delgado y de César Ordóñez Rodríguez en la transferencia de conocimientos sobre la interfaz de creación de tableros del TICómetro con la herramienta de Superset, ya que sin su apoyo y asesoría no habría sido posible la puesta en línea de la información durante el año 2025.

Finalmente y de manera muy especial, se reconoce la colaboración de Néstor Abdy García Fragoso, cuyo apoyo en la programación en Python y en el uso de la herramienta Google Colaboratory (Colab) fue determinante para la elaboración y depuración de los scripts de migración; su asesoría técnica hizo posible completar satisfactoriamente el proceso.