Blog

Con las soluciones modernas de Business Intelligence centradas en gran medida en estar "en la nube", un aspecto del enfoque de almacenamiento de datos tradicional que a menudo se pasa por alto o se pasa por alto es el de su organización. Procesos ETL .

ETL (Extraer, Transformar y Cargar) los procesos suelen cumplir dos funciones principales: mover datos de un origen a un destino y transformar esos datos para que las herramientas de generación de informes los utilicen de la mejor manera. Muchas personas con las que hablo a menudo piensan de ellos principalmente como medios para mover datos a un lugar donde sus herramientas de informes puedan consumirlos de manera eficiente, doblemente cuando se habla de soluciones en la nube. Cuando los grupos están diseñando soluciones en la nube, a menudo quedan atrapados en dónde se pueden almacenar los datos y todos los procesos que interactúan dentro de una solución pueden acceder a ellos, pero en muchas organizaciones, la pieza de transformación es tan crítica, si no más, que simplemente mover datos.

Es raro encontrar una solución robusta y con gran cantidad de BI que informe sobre los datos exactamente como viven en un sistema transaccional. Por lo general, los datos deben volver a modelarse para crear dimensiones conformes, unir elementos de datos semirelacionados, o simplemente para dar forma a los datos de una manera que responda preguntas analíticas específicas.

In the traditional BI solution , this would be handled by a tool like SSIS, Informatica, ODI, or a similar product that allows you to build out processes that map data from a source to target while performing any necessary transformations along the way. These can range from very basic copies of the data from the source system to a data mart for querying purposes to huge, complex processes that heavily transform the data to feed a system of interrelated processes to serve reporting and analytical needs.

En términos de soluciones de Cloud BI , la buena noticia es que no tiene mucho que cambiar si no está preparado para ello. En la mayoría de los casos, puede continuar utilizando en las instalaciones soluciones ETL para cargar datos en soluciones de bases de datos y almacenamiento basadas en la nube. La conectividad entre las arquitecturas locales y las basadas en la nube puede volverse complicada debido a las redes privadas, los firewalls y otras infraestructuras de seguridad. En la mayoría de las soluciones, la ruta es difícil de conectar desde un servidor basado en la nube a su red, pero la conexión desde su red a la nube generalmente es sencilla. Esto significa que si el servidor iniciar cualquier transacción está dentro de su red, no debería tener que preocuparse por abrir ningún punto de acceso.

Aquí hay una advertencia importante que parece surgir cada vez que hablo de herramientas basadas en la nube: siempre involucre a sus equipos de red y seguridad cuando diseñe soluciones integradas en la nube. Esto asegura que el diseño cumpla políticas corporativas y las mejores prácticas de la industria para mantener la integridad de sus datos, de modo que no queden susceptibles a interferencias externas. Si no involucras a estas personas, eventualmente infórmese sobre su sistema y solicite (a veces no tan amablemente) una revisión de su sistema y sus puntos de interfaz con Internet abierto.

A menudo abogo por pasos iterativos hacia la nube para la mayor parte de mi BI a gran escala clientela. Esto significa identificar un esquema en estrella o un conjunto de informes para migrar a la nube. Luego pasamos por los procesos para construir solo los objetos que soportan esa especificación relativamente estrecha. conjunto de requisitos. Una vez que tenga éxito, puede desarrollarlo con el tiempo, agregando más esquemas y requisitos de informes en función de su prioridad y disponibilidad de recursos. Esto mantiene los proyectos en movimiento. enérgicamente con un equipo pequeño y enfocado.

Un enfoque iterativo para ETL las transiciones a veces pueden significar simplemente apuntar los procesos existentes a un nuevo objetivo, asumiendo que la tecnología entre el objetivo existente y el nuevo objetivo no requiere una renovación/reescritura significativa de los procesos Por ejemplo, si tienes un proceso ETL que carga tablas en una base de datos de Oracle y se está moviendo a una base de datos en la nube de Oracle, este cambio debería ser sencillo.

Sin embargo, si estás buscando un herramienta ETL basada en la nube , todavía tienes muchas opciones. ODI de Oracle tiene una contraparte basada en la nube, al igual que Informatica, Microsoft y muchos otros. El que use dependerá de una variedad de factores, incluido el costo, las obligaciones de licencia existentes, la disponibilidad de recursos, y otros, pero lo importante es que ahora hay una variedad de opciones para satisfacer las necesidades de transformaciones de datos complejas para herramientas de informes en la nube que están tanto en las instalaciones como en la nube.

Hemos trabajado con clientes que han querido mantener un pie en las instalaciones a veces, lo que hace que los enfoques híbridos sean ideales para ellos donde la herramienta de informes está en la nube, pero los datos se mantienen en sus instalaciones. bases de datos También hemos trabajado con clientes más nuevos, por lo general empresas más jóvenes sin un gran historial de sistemas de TI para mantenerse integrados y en funcionamiento, que no desean alojar un servidor en su sistema interno. red para incluso herramientas de desarrollo. Quieren estar 100% basados ​​en la nube y estos ETL ciertamente existen soluciones para ellos también.