Migración de data warehouse iterativo e incremental hacia Oracle Exadata

Caso de estudio: Migración de data warehouse iterativo e incremental hacia Oracle Exadata

Resumen

Una empresa de telefonía adquirió Oracle Exadata para data warehouse y cuenta con una pequeña ventana de tiempo para realizar la migración de la base de datos.

Los métodos tradicionales de migración toman demasiado tiempo y la migración en línea con herramientas del vendor no es una opción.

Datum creó un método a la medida de migración híbrido incremental/iterativo para ajustar el proceso al tiempo provisto por el cliente.

Situación

La empresa de telefonía necesitaba mejorar el rendimiento de su data warehouse para poder consolidar bases de datos. Después de un proceso de pruebas de concepto, se tomó la decisión de adquirir Oracle Exadata debido a mejoras en rendimiento de 10X a 100X.

La plataforma fuente era Oracle Database 11.2.0.3 corriendo sobre IBM AIX. La migración se debía realizar en el menor tiempo posible y de forma transparente para los usuarios.

Complicación

La plataforma fuente y destino eran incompatibles, haciendo los métodos tradicionales de migración demasiado lentos. Adicionalmente, el uso de Oracle GoldenGate no era factible técnicamente debido a que era necesario realizar extensas modificaciones a la base de datos.

Solución

Los especialistas de Datum diseñaron un método automatizado de migración incremental/iterativo utilizando la funcionalidad de Oracle Database llamada “Partitioning and Compression for OLTP”. El procedimiento incluía el uso de dblinks, actualizaciones de secuencias, código procedural y finalmente auditoría de datos.

Implementación

El proceso completo siguió una metodología:

  1. Después de la instalación del hardware y software Exadata, Datum configuró la infraestructura para adaptarse a las necesidades del cliente y creó la base de datos de destino.
  2. Se realizó una carga inicial de metadatos y se escribieron e implementaron scripts para transferir los datos de manera incremental / iterativa, verificando la calidad de los datos y registrando su transferencia para mantener los controles.
  3. Los datos se transfirieron continuamente a Exadata hasta que solo hubo un mes de diferencia de datos en comparación con el sistema de producción
  4. La migración de la plataforma finalmente se realizó en una ventana mucho más pequeña que la estimada originalmente porque solo se actualizaron los datos restantes. Se actualizaron las secuencias, se cargaron los metadatos finales, y se controló la calidad. Los disparadores y las restricciones se habilitaron, y las aplicaciones se redirigieron al nuevo destino. En el último paso, los procedimientos y las cargas ETL se ejecutaron como lo hacían en el sistema anterior.

Resultados

  • El procedimiento de migración fue exitoso y ejecutado en menos tiempo del estimado originalmente.
  • Los datos fueron transferidos y al mismo tiempo reestructurados para facilitar el mantenimiento en el futuro.
  • La nueva infraestructura era mucho más rápida y los analistas pudieron incrementar la cantidad de data a analizarse.