Gestionando datos industriales: más vale prevenir que curar
En el campo de la salud, se sabe que es mucho más efectivo prevenir enfermedades que tratarlas una vez que ya se han manifestado. De manera similar, se puede aplicar en el contexto de los datos industriales, su mantenimiento continuo y proactivo ayuda a evitar la necesidad de un extenso pre-tratamiento antes de utilizar técnicas avanzadas de analítica de datos para toma de decisiones y generación de conocimiento.
El pre-tratamiento de los datos implica realizar diversas tareas como: (1) limpieza de datos, (2) corrección de errores, (3) eliminación de valores atípicos y (4) la normalización de formatos, entre otros. Estas actividades son necesarias para asegurar la calidad y la coherencia de los datos antes de utilizarlos en análisis, toma de decisiones o aplicaciones específicas.
Sin embargo, si se puede implementar un mantenimiento sólido de los datos desde el principio, se pueden prevenir muchas de estas irregularidades y errores. Al establecer procesos adecuados de ingreso de datos, aplicar validaciones y controles de calidad, y mantener registros actualizados, es posible reducir la cantidad de pre-tratamiento necesario posteriormente, identificando y abordando problemas potenciales antes de que se conviertan en obstáculos importantes. Esto incluye detección temprana de errores como datos inexactos, corrección de inconsistencias y actualización de información obsoleta. Es cierto que en la actualidad las empresas almacenan grandes cantidades de datos pero es importante destacar que no todos esos datos son necesariamente válidos o útiles, por ejemplo, para ser usados en un proyecto de inteligencia artificial. De hecho, muchas organizaciones se enfrentan al desafío de mantener y gestionar datos que carecen de relevancia o calidad. Esta gestión tiene como objetivo garantizar la integridad, calidad y disponibilidad de los datos a lo largo del tiempo.
Un mantenimiento eficiente de los datos es crucial para garantizar que éstos sean confiables, actualizados y precisos, pero ello implica una supervisión y gestión continuas por parte del personal de la empresa, asegurándose de que sigan siendo precisos, coherentes, completos y actualizados. Las actividades más comunes relacionadas con el mantenimiento de datos incluyen:
- Monitoreo regular: Se realiza un seguimiento periódico de los datos para detectar posibles problemas, como errores, inconsistencias, pérdidas o valores atípicos. Esto puede implicar la revisión de informes, análisis de tendencias o la implementación de alertas automatizadas para detectar anomalías.
- Actualización y corrección: Si se identifican errores o inconsistencias en los datos, el personal de mantenimiento se encargará de corregirlos y actualizarlos de manera adecuada. Esto puede implicar la revisión de registros, la verificación de fuentes externas o la comunicación con los responsables de la recopilación de datos.
- Respaldo y recuperación: Se establecen procedimientos y sistemas para realizar copias de seguridad de los datos y garantizar su recuperación en caso de fallos o pérdidas. Esto puede incluir la implementación de políticas de respaldo regular y la realización de pruebas periódicas de recuperación de datos.
- Gestión de accesos y seguridad: El personal de mantenimiento de datos se asegura de que los datos estén protegidos y solo sean accesibles por usuarios autorizados. Esto puede implicar la implementación de medidas de seguridad, como el control de accesos, el cifrado de datos o la supervisión de registros de auditoría.
- Actualización de documentación y metadato: Se mantiene actualizada la documentación relacionada con los datos, incluyendo la descripción de los campos, la estructura de la base de datos y los metadatos asociados, Esto facilita la comprensión y utilización adecuada de los mismos por parte de los usuarios.
En resumen, el mantenimiento de datos implica: (1) supervisar regularmente, (2) corregir errores, (3) respaldar y (4) asegurar los datos para garantizar que estén en buen estado y sean confiables. Estas acciones son fundamentales para mantener la calidad y la seguridad de la información almacenada.
En CARTIF, nos enfrentamos a este tipo de problemas de diferentes proyectos relacionados con la optimización de procesos de fabricación para diferentes empresas e industrias. Somos conscientes de la cantidad de tiempo consumido en horas de personal debido a la problemática explicada, por lo que estamos trabajando en dotar de ciertos mecanismos automáticos que hagan la vida más fácil a los responsables del citado «mantenimiento de datos». Un ejemplo se encuentra en el proyecto s-X-AIPI centrado en el desarrollo de soluciones de IA con capacidades auto y que requieren una especial atención a la calidad de los datos empezando por la ingesta de éstos.
Co-autores
Mireya de Diego. Investigadora de la División de Sistemas Industriales y Digitales.
Aníbal Reñones. Director del área de Industria 4.0 de la División de Sistemas Industriales y Digitales.