Dataware House y Data Lake. ¿Para que sirven? ¿Quién los utiliza?

 Data wareHouse

"Un Data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa. El repositorio puede ser físico o lógico y hace hincapié en la captura de datos de diversas fuentes sobre todo para fines analíticos y de acceso.

Normalmente, un data warehouse se aloja en un servidor corporativo o cada vez más, en la nube. Los datos de diferentes aplicaciones de procesamiento de transacciones Online (OLTP) y otras fuentes se extraen selectivamente para su uso por aplicaciones analíticas y de consultas por usuarios.

Data Warehouse es una arquitectura de almacenamiento de datos que permite a los ejecutivos de negocios organizar, comprender y utilizar sus datos para tomar decisiones estratégicas. Un data warehouse es una arquitectura conocida ya en muchas empresas modernas."

tomado de: powerdata.es

Función: 

Según ChatGPT(2023), 

1. Análisis de negocios: Un Data Warehouse proporciona una plataforma para realizar análisis complejos y generar informes para respaldar la toma de decisiones estratégicas. Los usuarios pueden realizar consultas ad hoc, análisis de tendencias, segmentación de clientes y pronósticos basados en datos históricos y en tiempo real.

2. Integración de datos: Los Data Warehouses son capaces de integrar datos de diferentes fuentes y formatos, lo que permite a las organizaciones consolidar información dispersa y obtener una visión unificada de su negocio. Esto facilita la detección de relaciones y patrones ocultos entre los datos.

3. Rendimiento optimizado: Los Data Warehouses están diseñados para ofrecer un rendimiento optimizado en consultas complejas y de alto volumen. Utilizan técnicas como la indexación, la optimización de consultas y el almacenamiento de datos en un esquema específico para acelerar el acceso a la información.

4. Datos históricos: A diferencia de las bases de datos operativas, que almacenan principalmente datos transaccionales actuales, un Data Warehouse retiene datos históricos a lo largo del tiempo. Esto permite realizar análisis retrospectivos y comprender la evolución y los patrones a largo plazo.

5. Apoyo a la toma de decisiones: Los datos almacenados en un Data Warehouse son utilizados por gerentes y analistas para tomar decisiones informadas y basadas en datos. Proporciona una visión holística de la organización y ayuda a identificar oportunidades, evaluar el rendimiento y optimizar las operaciones.

Utilizado por:

Según ChatGPT(2023):

1. Gerentes y ejecutivos: Los altos directivos y gerentes utilizan el Data Warehouse para obtener una visión integral de la organización y respaldar la toma de decisiones estratégicas. Pueden acceder a informes y análisis que les ayuden a evaluar el rendimiento, identificar tendencias y oportunidades, y planificar el futuro.

2. Analistas de negocios: Los analistas de negocios utilizan el Data Warehouse para realizar análisis detallados y generar informes especializados. Pueden explorar los datos, realizar consultas ad hoc, identificar patrones y tendencias, y crear modelos predictivos. Su objetivo es proporcionar información valiosa para mejorar la eficiencia operativa y la toma de decisiones.

3. Analistas de datos: Los analistas de datos se encargan de extraer, transformar y cargar (ETL) los datos en el Data Warehouse. También son responsables de mantener la calidad y la integridad de los datos, asegurándose de que estén disponibles y sean confiables para su uso posterior.

4. Equipos de inteligencia de negocios: Los equipos de inteligencia de negocios utilizan el Data Warehouse para desarrollar paneles de control, cuadros de mando y visualizaciones interactivas. Estas herramientas les permiten monitorear el rendimiento en tiempo real y comunicar los resultados de manera clara y comprensible.

5. Departamentos de ventas y marketing: Los profesionales de ventas y marketing utilizan el Data Warehouse para comprender mejor a los clientes, identificar segmentos de mercado, realizar análisis de comportamiento y evaluar el éxito de las campañas. Pueden acceder a datos históricos y en tiempo real para tomar decisiones más informadas y personalizar sus estrategias.

6. Departamentos de finanzas y contabilidad: Los equipos financieros utilizan el Data Warehouse para realizar análisis financiero, presupuestario y de rentabilidad. Pueden rastrear los ingresos y gastos, realizar pronósticos financieros y evaluar el desempeño general de la organización.

Data Lake

"Un data lake es un repositorio centralizado diseñado para almacenar, procesar y proteger grandes cantidades de datos estructurados, semiestructurados o no estructurados. Puede almacenar datos en su formato nativo y procesar cualquier variedad de datos, ignorando los límites de tamaño."

tomado de: https://cloud.google.com/learn/what-is-a-data-lake?hl=es-419

Función: 

Según ChatGPT(2023): 

1. Almacenamiento de datos sin procesar: Un Data Lake es capaz de almacenar datos de diferentes formatos, como archivos de texto, imágenes, videos, registros de eventos, datos de sensores, datos de redes sociales, entre otros. No impone restricciones en cuanto a la estructura o el esquema de los datos, lo que permite guardar todo tipo de información sin necesidad de una transformación previa.

2. Integración de datos heterogéneos: Los Data Lakes permiten la integración de datos de diversas fuentes, como bases de datos, aplicaciones, servicios en la nube y sistemas de almacenamiento distribuido. Esto facilita la consolidación de datos de diferentes departamentos y sistemas en un solo repositorio, proporcionando una vista unificada y completa.

3. Escalabilidad y flexibilidad: Los Data Lakes están diseñados para escalar horizontalmente y manejar grandes volúmenes de datos. Pueden almacenar tanto datos estructurados como no estructurados, y su flexibilidad les permite adaptarse a cambios y actualizaciones en los tipos y fuentes de datos sin interrupciones.

4. Exploración y análisis de datos: Los Data Lakes proporcionan un entorno flexible y de bajo costo para explorar y analizar datos. Los usuarios pueden aplicar técnicas de análisis avanzado, como el procesamiento de lenguaje natural, el aprendizaje automático (machine learning) y la minería de datos, para descubrir patrones, tendencias y relaciones ocultas en los datos almacenados.

5. Almacenamiento de datos históricos: Al igual que un Data Warehouse, un Data Lake puede retener datos históricos a largo plazo. Esto permite realizar análisis retrospectivos y realizar estudios comparativos a lo largo del tiempo.

6. Preparación de datos para análisis posteriores: Los datos almacenados en un Data Lake pueden ser refinados, transformados y preparados para análisis posteriores. Esto implica aplicar procesos de extracción, transformación y carga (ETL) para estructurar los datos según las necesidades específicas del análisis o para alimentar un Data Warehouse u otras plataformas analíticas.

Utilizado por:

Según ChatGPT(2023): 

1. Analistas de datos: Los analistas de datos aprovechan un Data Lake para realizar exploración y análisis avanzado de datos. Pueden descubrir patrones, tendencias y relaciones ocultas en grandes volúmenes de datos sin procesar. Utilizan herramientas de análisis, minería de datos y aprendizaje automático para extraer información valiosa y obtener ideas útiles.

2. Científicos de datos: Los científicos de datos utilizan un Data Lake como fuente de datos para desarrollar modelos predictivos y realizar investigaciones en profundidad. Pueden acceder a datos sin procesar y utilizar técnicas avanzadas de análisis y aprendizaje automático para construir modelos y realizar experimentos.

3. Departamento de TI: El departamento de Tecnología de la Información (TI) puede utilizar un Data Lake para almacenar y gestionar datos de diferentes fuentes. Son responsables de garantizar la integridad, seguridad y disponibilidad de los datos en el Data Lake. También pueden implementar herramientas y tecnologías para administrar y acceder a los datos de manera eficiente.

4. Departamento de analítica y inteligencia de negocios: Los equipos de analítica y inteligencia de negocios utilizan un Data Lake como una fuente de datos para realizar análisis y generar informes. Pueden extraer datos relevantes, transformarlos y prepararlos para su uso en cuadros de mando, paneles de control y visualizaciones interactivas.

5. Desarrolladores de aplicaciones: Los desarrolladores de aplicaciones pueden utilizar un Data Lake para obtener datos necesarios para el desarrollo y la mejora de aplicaciones. Pueden acceder a datos sin procesar y utilizar APIs o consultas para extraer información específica para sus aplicaciones.

6. Departamento de seguridad: El departamento de seguridad puede utilizar un Data Lake para almacenar y analizar grandes volúmenes de datos relacionados con la seguridad de la organización. Pueden realizar análisis de registros de eventos, detección de anomalías y monitoreo de amenazas utilizando datos almacenados en el Data Lake.

Opinión personal:

Teniendo en cuenta las definiciones y comentarios anteriores, dicho en palabras mas sencillas por mi persona puedo definir los 2 tipos de estructura de almacenamiento de la siguiente manera:

Data Warehouse:

Es un repositorio con datos recopilados de diferentes fuentes pero con un esquema o estructura definidos.

Data Lake:

Es un repositorio con datos recopilados desde distintas fuentes y formatos almacenados en bruto y pueden ser estructurados, semiestructurados o sin estructura.

Función:

Las funciones de las 2 estructuras son muy similares, básicamente las 2 funcionan para almacenar datos y tener una fuente fiable e integra de la información para posteriormente, las personas encargadas hagan su trabajo de análisis. Un aspecto importante de estas estructuras es que permiten agrupar mucha información proveniente de distintas fuentes, es mucho mejor tener toda la información necesario o de interés en un solo lugar que estar recurriendo a diferentes lugares, de esta manera podemos ahorrar tiempo, recursos, y personal. También hay que tener en cuenta que manejar este tipo de almacenamiento también llevara una demanda monetaria extra pero el papel que desempeña vale la pena.

Quienes lo utilizan:

Los 2 tipos de estructuras de almacenamiento son usadas por todos aquellos roles en los que su trabajo tenga que ver con el análisis de información, recolección de información y carga de información. Estas personas el trabajo que realizan con la información es el de ver mas a allá de lo que a simple vista se ve en el día a día de las empresas ya que gracias a la cantidad de datos se pueden descubrir patrones, datos atípicos, prever problemas o posibles situaciones y tomar medidas correctivas antes de que pase dicho evento. Todo esto se hace con el fin de poder tomar buenas acciones en pro del bienestar de la institución y en base a algunos resultados y análisis saber si se están haciendo bien las cosas o saber que se debe corregir y cuando

Ejemplos: 

Data warehouse: 

Según ChatGPT(2023)

1. Fuente de datos: La empresa de comercio minorista recopila datos de diversas fuentes, como transacciones de ventas, inventario, clientes y proveedores. Estas fuentes pueden incluir sistemas de punto de venta (POS), sistemas de gestión de inventario, sistemas de gestión de relaciones con los clientes (CRM) y sistemas de gestión de proveedores.

2. Extracción, Transformación y Carga (ETL): Los datos se extraen de las fuentes de origen y se transforman para asegurar la consistencia y calidad. Durante la transformación, los datos pueden ser limpiados, normalizados y enriquecidos con información adicional. Luego, los datos transformados se cargan en el Data Warehouse.

3. Almacenamiento: El Data Warehouse utiliza una estructura de almacenamiento específica, como un esquema en estrella o en copo de nieve, para organizar y almacenar los datos de manera eficiente. Esto implica la creación de tablas dimensionales (por ejemplo, dimensión de productos, dimensión de tiempo, dimensión de ubicación) y tablas de hechos (que contienen medidas cuantitativas, como ventas, inventario).

4. Procesamiento y análisis: Una vez que los datos se encuentran en el Data Warehouse, los analistas y usuarios pueden realizar consultas y análisis para obtener información relevante. Se pueden utilizar herramientas de análisis y visualización de datos para explorar los datos, generar informes y realizar análisis de tendencias, segmentación de clientes, análisis de rentabilidad, entre otros.

5. Actualización periódica: El Data Warehouse se actualiza periódicamente para garantizar que los datos estén actualizados y reflejen la información más reciente. Esto implica la ejecución regular del proceso de ETL para extraer datos de las fuentes, transformarlos y cargarlos en el Data Warehouse.

6. Acceso y seguridad: El acceso al Data Warehouse está controlado y se definen niveles de seguridad para garantizar que los usuarios solo puedan acceder a la información relevante para sus roles y responsabilidades. Se pueden establecer permisos y roles de usuario para proteger la confidencialidad y privacidad de los datos.

Data Lake:

Según ChatGPT(2023):

1. Almacenamiento de datos sin procesar: El Data Lake recopila y almacena datos sin procesar de diversas fuentes, como transmisiones en tiempo real, archivos de video, imágenes, registros de eventos, datos de redes sociales y registros de clics en el sitio web. Estos datos se mantienen en su forma original, sin transformación previa.

2. Integración de datos heterogéneos: El Data Lake puede aceptar datos de diferentes formatos y fuentes, incluyendo archivos estructurados (como CSV o JSON), archivos no estructurados (como archivos de video o imágenes) y transmisiones en tiempo real (como feeds de Twitter o registros de eventos). Esto permite la integración de datos heterogéneos y su almacenamiento en un único repositorio.

3. Escalabilidad y flexibilidad: El Data Lake está diseñado para manejar grandes volúmenes de datos y puede escalar horizontalmente para adaptarse a futuros crecimientos en la cantidad de datos. Puede almacenar datos estructurados y no estructurados de manera flexible, sin imponer una estructura predefinida.

4. Catálogo de datos: Un catálogo de datos es una parte integral de un Data Lake. Proporciona metadatos y descripciones de los datos almacenados, como la fuente de origen, la fecha de adquisición, el formato y la descripción del contenido. Esto facilita la búsqueda y el descubrimiento de datos dentro del Data Lake.

5. Preparación y procesamiento de datos: Antes de realizar análisis o consultas en el Data Lake, los datos pueden ser preparados y transformados según sea necesario. Esto puede implicar la limpieza de datos, la agregación, la normalización y la estructuración para su uso posterior. Las herramientas de procesamiento de datos, como Apache Spark o Hadoop, pueden utilizarse para realizar estas tareas.

6. Análisis y exploración de datos: Una vez que los datos están en el Data Lake y han sido preparados, los analistas pueden utilizar herramientas y técnicas de análisis de datos, como análisis estadístico, aprendizaje automático (machine learning) y minería de datos, para descubrir patrones, tendencias y relaciones ocultas en los datos. Esto puede ayudar a obtener información valiosa y tomar decisiones basadas en datos.