De Excel a Power BI para reducir tiempo de procesamiento de datos

1. Introducción

La ingeniería de datos es una disciplina que se centra en la implementación de infraestructura y sistemas que sirven como soporte a la recopilación, almacenamiento, procesamiento y análisis de datos. En el contexto anterior, la optimización de la gestión de datos se genera a partir del impulso a las prácticas y el uso de tecnologías para garantizar que los datos sean de alta calidad, confiables, accesibles y útiles para impulsar la toma de decisiones (Deekshith Deekshith, 2021).

Estudiar e identificar los elementos que intervienen en el análisis de datos permitirá introducir mejoras puntuales que incrementen la calidad del análisis y de los resultados. La exploración de herramientas para su uso durante el análisis de datos será una forma de introducir dichas mejoras.

Existen diferentes herramientas para analizar datos, en este caso se abordará con mayor detalle el uso de Excel y Power BI. Excel fue una herramienta concebida originalmente como una hoja de cálculo, ha evolucionado como un conjunto cada vez más potente de herramientas, funciones y capacidades de análisis modelado de negocios y simulación de datos (Guerrero, 2018), por otra parte Power BI es una herramienta de inteligencia de negocios que tiene modelos para relacionar conjuntos de datos y aumentar las capacidades de análisis de los mismos, mejora la integración de datos y la experiencia de usuario para manejar análisis de datos complejos (Bansal, 2023). Su uso permite analizar datos de diferentes orígenes y facilita la generación de paneles de visualización e informes dinámicos (Bermeo-Moyano et al., 2020).

Enseguida se presenta un ejemplo de uso de Power BI para verificar los resultados cuantitativos del cuarto estudio del nivel de desarrollo de las TIC en las entidades y dependencias de la UNAM 2023 (Cuarto estudio TIC) (Dirección General de Cómputo y de Tecnologías de Información y Comunicación Dirección de Colaboración y Vinculación, 2023) con lo cual se logró reducir el tiempo de análisis de datos puesto que anteriormente se realizaba con Excel.

2. Desarrollo técnico

El cuarto estudio TIC fue realizado en el año con el objetivo de comprender el estado de las Tecnologías de Información y Comunicación (TIC) en las entidades y dependencias de la UNAM, desde una perspectiva de gobierno y gestión (Dirección General de Cómputo y de Tecnologías de Información y Comunicación Dirección de Colaboración y Vinculación, 2023). Este es parte del proyecto 6.2.22 Integrar la Red de Responsables TIC de la UNAM, como un órgano participativo para impulsar el desarrollo y aprovechamiento eficiente de las tecnologías de la información y comunicación, del Plan de Desarrollo Institucional (PDI) 2019-2023 (Graue Wiechers, 2020).

Se brinda atención a través de 8 tipos diferentes de servicios entre los que se encuentran, asesorías y gestión de proyectos de TIC, desarrollo de software a la medida, diagnóstico de procesos informáticos, entre otros. Se colabora con diferentes entidades y dependencias de la UNAM y organizaciones externas.

En el rubro de servicios de diagnóstico de procesos informáticos es en donde se realiza la actividad de análisis de datos con mayor frecuencia, tradicionalmente se utiliza Excel como herramienta de análisis ya que la información recabada no supera la cantidad límite soportada, en este rubro se encuentra el cuarto estudio TIC. Los académicos que realizan análisis de datos cuentan con conocimientos de análisis de datos en un nivel intermedio y la asignación de sus actividades se realiza por área de especialidad y prioridad de los proyectos por lo que no siempre el mismo académico efectúa el proceso análisis de datos completo.

En el cuarto estudio TIC se obtuvieron conclusiones a partir de la información recabada, dando seguimiento al proceso de análisis de datos que consta de las fases: preguntar, preparar, procesar, analizar, compartir y actuar (Google, 2022). En seguida se describen de manera general las actividades realizadas en cada fase para obtener resultados correctos y oportunos:

• Preguntar: Se habilitó un instrumento en línea compuesto por 20 preguntas respondido por Responsables TIC de 172 entidades y dependencias universitarias.
• Preparar: Se obtuvo una hoja de datos que fue preparada para el procesamiento de los datos.
• Procesar: Posteriormente, se realizó procesamiento en extenso de los datos con Excel, como en los tres estudios anteriores, en cinco unidades de tiempo. Después se verificó el procesamiento usando Power BI en una unidad de tiempo y no en cinco como anteriormente.
• Analizar: Tras haber procesado y verificado los datos, se realizó el análisis descriptivo y se correlacionaron los resultados numéricos para la integración del informe.
• Compartir: El informe revisado y ajustado fue puesto a disposición de los interesados en una página web de la UNAM en la dirección https://www.red-tic.unam.mx/recursos/2023/2023_EstudioTIC.pdf.

A continuación, se aborda con mayor detalle la fase de procesamiento de datos en el cuarto estudio TIC debido a mi participación y contribución específica en la misma.

2.1 Metodología

Los cálculos obtenidos en el procesamiento base se realizaron con Excel, se usaron fórmulas y la copia de éstas en cada celda, todas las preguntas se procesaron en diferentes hojas de cálculo con su gráfica correspondiente y se incluyeron resultados numéricos por subsistema universitario. Se determinó que esta forma de procesamiento era la adecuada debido a que el tipo de información de la que se trataba podría requerir de comprobación y rastreo de cada cifra obtenida, y porque así se hizo en estudios anteriores. Esta actividad tuvo una duración de cinco unidades de tiempo.

La verificación de resultados requerida se hubiera llevado a cabo procesando los datos con Excel de la misma forma en la que se realizó el procesamiento inicial, para después hacer un cruce de resultados entre los académicos que participaban en el estudio.

En este estudio, el reto consistió en realizar la verificación de los resultados cuantitativos obtenidos en el procesamiento en el menor tiempo posible en comparación con el método tradicional usando Excel, es decir en menos de cinco unidades de tiempo, por lo tanto, fue necesario encontrar una estrategia diferente para lograrlo. Se exploró la verificación tradicional del procesamiento de datos, habilidades personales y la disponibilidad de herramientas en la Universidad, se concluyó que el requerimiento podía cubrirse usando una herramienta específica.

Se realizó una comparativa de herramientas que se pudieran usar en este caso, por lo que se evaluaron diferentes características de Python, Tableau y Power BI, se muestran en la Tabla 1.

Tabla 1

Resultados de la comparativa de herramientas para el procesamiento y visualización de datos

Característica evaluada	Python	Tableau	Power BI
Descarga gratuita o con acceso a comunidad UNAM	Sí	No (cuenta con una versión de prueba de 14 días)	Sí
Capacidad de mostrar resultados en corto tiempo	No	Sí	Sí
Interfaz intuitiva	No	No	Sí
Inversión de tiempo en la curva de aprendizaje acorde a las habilidades y conocimientos personales	Alto	Medio	Bajo

Python implicaba una curva de aprendizaje más lenta por el conocimiento necesario en programación, Tableau es un software con costo que tiene una versión de prueba gratuita por sólo 14 días.

Por su parte Power BI contó con la opción de uso para universidades con la que se pudo experimentar y aprender por un periodo mayor a 15 días, entre sus principales características se encontró que es una herramienta que permite trabajar, tratar y mostrar rápidamente los datos por lo que se adaptaba al requerimiento principal, además es muy útil para análisis y visualización de datos, se integra perfectamente con otras herramientas de Microsoft, es relativamente fácil de aprender, no requiere habilidades avanzadas en programación o estadística, y es adecuada para el análisis y visualización de datos básicos (Mendoza González, 2023).

Se estudiaron 17 videos tutoriales sobre Power BI (7.3 h), orientados al procesamiento de encuestas, durante tres días. Después se hizo la verificación de los resultados numéricos del cuarto estudio TIC con los siguientes pasos:

1. Carga y transformación de datos
2. Creación de un modelo de datos
3. Creación de un panel de visualización

3. Resultados

A continuación se presentan los resultados obtenidos en la verificación del procesamiento del cuarto estudio TIC, se estableció la forma en la que se realizó con Excel y cómo se resolvió con algunas funcionalidades específicas de Power BI, se representó la variación en tiempo de las estrategias para el análisis de datos con Excel y con el uso de Power BI, y los problemas específicos que se resolvieron.

3.1 Carga y transformación de datos

Se hizo la carga de datos limpios y homogeneizados en Power BI. Al Transformar datos se inicia el editor de Power Query útil para hacer operaciones de revisión y limpieza de los datos antes de cargarlos en el modelo de Power BI (Microsoft Learn, s.f.), en este caso se usó la Transformación de datos con la modalidad gráfica para continuar preparando los datos (ver Figura 1). Los resultados se presentan en la Tabla 2.

Tabla 2

Diferencias de la carga y transformación de datos en Excel y Power BI del Cuarto estudio TIC

Cuarto estudio TIC con Excel

Cuarto estudio TIC con Power BI

- Se usaron como fuente de datos 2 archivos de Excel. - Cualquier operación sobre los datos se hace a través de fórmulas. - Las fórmulas se tienen que replicar en las celdas que lo requieran, por lo regular con arrastre manual.

- Cada hoja de cálculo de los diferentes archivos se cargó como una tabla de una base de datos. -La transformación de datos se realiza por medio de operaciones como cambiar tipo de dato, anexar consultas, dividir columnas y reemplazar valores, las cuales quedan registradas y cuentan con la opción de revertirse o eliminarse de requerirse. En este caso: Identificó automáticamente los nombres de los campos y el tipo de valor de cada columna para poder hacer operaciones sobre los datos.

Figura 1

Ejemplo de operaciones de transformación de datos

Nota: Captura de pantalla de la opción Transformación de datos de la instalación local de Power BI (2024)

3.2 Creación de un modelo de datos

Power BI puede establecer una relación de las hojas de cálculo a través del modelado de datos, con lo que se puede obtener un modelo de dependencias entre los archivos. En el Cuarto estudio TIC, se tenían dos archivos en Excel con una hoja de cálculo cada una (ver Figura 2), los resultados de la creación del modelo de datos se encuentran en la Tabla 3.

Tabla 3

Diferencias de la creación de un modelo de datos en Excel y Power BI del Cuarto estudio TIC

Cuarto estudio TIC con Excel	Cuarto estudio TIC con Power BI
Para facilitar la consulta de datos de hojas de cálculo en diferentes archivos, se tuvieron que copiar en el mismo archivo.	Cada hoja de cálculo de los archivos Excel se consideró como una tabla de una base de datos y se relacionaron con un identificador único.Se generaron varias tablas para analizar preguntas específicas.

Figura 2

Dependencias entre tablas de datos

Nota. Captura de pantalla del modelado de datos en la versión local instalada de Power BI (2024)

3.3 Creación de un panel de visualización

La visualización proporciona información sobre los datos de una manera interesante, sencilla y comprensible para todos sin ninguna barrera lingüística. El panel de analítica de Power BI permite representar una gran cantidad de datos en un espacio pequeño con mucha facilidad (Singh et al., 2023), seleccionar diferentes tipos de gráficos o tablas de relación para obtener elementos visuales (ver Figura 3) con estos elementos se hizo la verificación del procesamiento de datos del Cuarto estudio TIC, lo cual sería un símil de lo que se haría con tablas dinámicas de Excel, pero en una versión más avanzada y fácil de usar, más el componente gráfico. El detalle de cómo se realizó en Power BI se encuentra en la Tabla 4.

Tabla 4

Diferencias de la Creación de un panel de visualización de datos en Excel y Power BI

Cuarto estudio TIC con Excel	Cuarto estudio TIC con Power BI
Cuando se genera una tabla dinámica para procesar datos de una pregunta o se agregan respuestas, se debe seleccionar el rango de datos cada vez.	Se aprovechó el manejo de tablas dinámicas de una forma más eficiente para evitar la selección del rango cada vez por cada pregunta. El rango de datos se actualiza de manera automática.
Para cada pregunta, el análisis por columnas de datos se generó en una hoja de cálculo diferente del libro de Excel.	En un mismo panel de visualización se mostraron los gráficos de diferentes preguntas, se construyeron varios paneles.
Para cada pregunta del Cuarto estudio TIC se generó un gráfico en una hoja de cálculo diferente del libro de Excel.	Permite cambiar de forma dinámica entre diferentes tipos de visualización la que mejor transmita los resultados y cambiar entre gráfico o tabla de resultados en el mismo panel.
El análisis por subsistema universitario se realizó por separado, en la misma hoja de cálculo por pregunta y en una tabla diferente, no es dinámico.	Se agregó y quitó la capa de análisis por subsistema con facilidad, de igual forma se generó el gráfico correspondiente.

Figura 3

Ejemplo de panel de visualización de datos del Cuarto estudio TIC

Nota: Captura de pantalla de ejemplo de un panel de visualización que se puede generar con Power BI instalado localmente (2024).

3.4 Comparativa de estrategias de análisis de datos

En seguida se muestra la variación en unidades de tiempo en las dos formas de análisis de datos adoptadas en diferentes Estudios TIC. De la forma tradicional se tienen 22 unidades de tiempo utilizadas en total para el análisis de datos, en tanto que usando Power BI para la verificación del procesamiento se usaron en total 18 unidades de tiempo, reduciendo un 20% de las unidades totales empleadas en el análisis de datos (ver Figura 4).

Figura 4

Unidades de tiempo empleado para las estrategias de análisis de datos por fases abordadas para estudios TIC

Se estima que si se sustituye el uso de Excel por Power BI en la preparación, procesamiento y verificación de datos del siguiente Estudio TIC (ver Figura 4) el tiempo se pueda reducir de 22 a 12 unidades de tiempo, el 55% de las unidades totales, sin embargo, se identificaron algunas características de Power BI que en el caso particular de los estudios TIC sería necesario tomar en cuenta para su único uso:

• No se puede comprobar la fórmula u operación para la obtención de cada dato.
• Para que otros colaboradores accedan al procesamiento, es necesario tener Power BI instalado de manera local y tener una copia del origen de datos. Únicamente las licencias colaborativas admiten que varios colaboradores puedan acceder al análisis de datos.
• Si termina el licenciamiento de Power BI para comunidad UNAM no se podría acceder al procesamiento o a la visualización de este.

3.5 Ejemplos de problemas solucionados con Power BI

Transformación de datos

Dado que el origen de los datos fue a partir de una encuesta se tenían algunas preguntas específicas cuyas respuestas se tenían distribuidas en diferentes columnas, en este tipo de respuestas la transformación de los datos en Power BI se usó para:

• Hacer una copia de la tabla de datos original.
• Aislar las respuestas de la pregunta candidata eliminando columnas que no estaban involucradas en el análisis.
• Transponer las respuestas que estaban distribuidas en varias columnas para facilitar su procesamiento.

Modelado de datos

Cuando se hicieron copias de la hoja de cálculo para analizar preguntas cuyas respuestas estaban distribuidas en varias columnas compartían un identificador único, en Power BI se estableció la relación entre ambas tablas a través del modelado de datos, posteriormente se pudieron generar los gráficos o tablas que contenían información de ambas tablas.

Visualización

Para el Cuarto estudio TIC se analizaron tres preguntas con Power BI bajo la hipótesis de que se podría establecer alguna correlación entre las respuestas, se graficaron obteniendo una visualización compleja. En este caso a partir de la visualización se comprobó que no existía correlación.

También permite seleccionar un rango de datos de un gráfico y analizar su comportamiento en otras visualizaciones del mismo panel.

Omisiones al copiar fórmulas celda por celda

Cuando se copian las fórmulas en varias celdas, Excel permite replicar la fórmula en un rango de celdas. Existe la probabilidad de no seleccionar por completo el rango de datos requerido para realizar las operaciones. Power BI hace la carga de los nuevos datos y actualiza los paneles de visualización o tablas de análisis de manera automática.

4. Conclusiones

La aplicación de operaciones de transformación, el modelado de datos y el tablero de visualización dinámico con Power BI en el Cuarto estudio TIC fueron clave para acortar tiempo en la verificación del procesamiento de datos y reducir el tiempo total del análisis de datos en un 20%, se obtuvieron resultados en menor tiempo, por lo que puede ser usado como una herramienta de aproximación que aporta valor en la fase de procesamiento de datos durante el análisis de estos. En el área se atienden varios servicios en paralelo, por lo que el ahorro de tiempo en los procesos representa mayor productividad.

Excel es una herramienta que se ha usado en el área como primera herramienta de análisis de datos debido a que los conjuntos de datos lo han permitido y a las opciones colaborativas con las que cuenta. Se estima que con el uso de Power BI, las próximas actividades de análisis de datos que se realizan en el área se reduzcan hasta en un 45%, añadiendo valor al proceso y comprobando las ventajas que ofrece.

En próximos procesos de análisis de datos se propone explorar la conexión de Power BI con una encuesta en Survey Monkey en tiempo real, construir un panel de visualización y así obtener resultados preliminares en tanto se recaba la información. Por otra parte, se puede profundizar en el conocimiento de Power BI para explorar las opciones avanzadas de análisis prospectivo para el análisis de tendencias para los estudios TIC anteriores y observar los resultados.

Referencias