Una migración fallida de la infraestructura de TI resultó en la corrupción de 1,3 millones de registros de clientes bancarios. Todo esto se debió a pruebas insuficientes y a una actitud frívola hacia los sistemas informáticos complejos. Cloud4Y cuenta cómo sucedió.
En 2018 inglés Se dio cuenta de que su “divorcio” de dos años con el grupo bancario Lloyds (ambas empresas se fusionaron en 1995) era demasiado caro. TSB todavía estaba vinculado a su antiguo socio a través de sistemas informáticos de Lloyds clonados apresuradamente. Lo peor de todo es que el banco tuvo que pagar una “pensión alimenticia”, una tasa de licencia anual de 127 millones de dólares.
A pocas personas les gusta pagar dinero a sus ex, por eso el 22 de abril de 2018 a las 18:00 TSB inició la etapa final de un plan de 18 meses que se suponía cambiaría todo. Estaba previsto transferir miles de millones de registros de clientes al sistema informático de la empresa española Banco Sabadell, que compró TSB por 2,2 millones de dólares en 2015.
El director general de Banco Sabadell, José Olu, habló sobre el próximo evento dos semanas antes de la Navidad de 2 durante una reunión festiva de personal en una prestigiosa sala de conferencias de Barcelona. La herramienta de migración más importante iba a ser una nueva versión del sistema desarrollado por Banco Sabadell: Proteo. Incluso pasó a llamarse Proteo2017UK específicamente para el proyecto de migración de TSB.
En la presentación de Proteo4UK, el director ejecutivo de Banco Sabadell, Jaime Guardiola Romojaro, presumió de que el nuevo sistema es un proyecto de gran envergadura, sin igual en Europa, en el que han trabajado más de 1000 especialistas. Y que su implantación supondrá un importante impulso al crecimiento de Banco Sabadell en Reino Unido.
Se fijó el 22 de abril de 2018 como día de la migración. Era una tranquila tarde de domingo a mediados de primavera. Los sistemas informáticos del banco estaban inactivos mientras los registros se transferían de un sistema a otro. Con el restablecimiento del acceso público a las cuentas bancarias a última hora del domingo, uno esperaría que el banco volviera a funcionar lenta y sin problemas.
Pero mientras Olyu y Guardiola Romojaro transmitían alegremente desde el escenario la implementación del proyecto Proteo4UK, los empleados responsables del proceso de migración estaban muy nerviosos. El proyecto, que tardó 18 meses en completarse, estaba muy retrasado y excedía el presupuesto. No hubo tiempo para realizar pruebas adicionales. Pero transferir todos los datos de la empresa (que, recordemos, son miles de millones de registros) a otro sistema es una tarea hercúlea.
Resultó que los ingenieros estaban nerviosos por una buena razón.
Un fragmento del sitio que los clientes vieron durante demasiado tiempo
20 minutos después de que TSB abriera el acceso a las cuentas, confiando plenamente en que la migración se realizó sin problemas, llegaron los primeros informes de problemas.
Los ahorros de la gente desaparecieron repentinamente de sus cuentas. Las compras de importes insignificantes se registraron erróneamente como gastos multimillonarios. Algunas personas iniciaron sesión en sus cuentas personales y no vieron sus cuentas bancarias, sino las cuentas de personas completamente diferentes.
A las 21:00 horas, los representantes de TSB informaron al regulador financiero local (la Autoridad de Conducta Financiera del Reino Unido, FCA) que el banco estaba en problemas. Pero la FCA ya se ha dado cuenta: TSB realmente ha cometido un error grave y ha dejado a los clientes como tontos. Y, por supuesto, empezaron a quejarse. (y hoy en día escribir unas líneas en Twitter o Facebook no resulta especialmente difícil). A las 23:30 p. m., otro regulador financiero, la Autoridad de Regulación Prudencial (PRA), se puso en contacto con la FCA, que también percibió que algo andaba mal.
Ya pasada la medianoche consiguieron comunicarse con uno de los representantes del banco. Y hacerles la única pregunta: “¿qué diablos está pasando?”
Tomó tiempo comprender la magnitud de la tragedia, pero ahora sabemos que 1,3 millones de registros de 5,4 millones de clientes resultaron dañados durante la migración. Durante al menos una semana, los clientes no pudieron administrar su dinero desde sus computadoras o dispositivos móviles. No pudieron pagar el préstamo y muchos clientes del banco sufrieron una mancha en su historial crediticio, además de cargos por pagos atrasados.
Así era el banco online de clientes de TSB
Cuando comenzaron a aparecer los fallos, casi inmediatamente después, los representantes del banco insistieron en que los problemas eran “intermitentes”. Tres días después, se emitió un comunicado de que todos los sistemas estaban normales. Pero los clientes continuaron reportando problemas. No fue hasta el 26 de abril de 2018 que el director ejecutivo del banco, Paul Pester, admitió que TSB estaba "de rodillas" ya que la infraestructura de TI del banco seguía teniendo un "problema de ancho de banda" que impedía que alrededor de un millón de clientes accedieran a los servicios bancarios en línea.
Dos semanas después de la migración, todavía se informó que la aplicación de banca en línea experimentaba errores internos relacionados con la base de datos SQL.
Las dificultades de pago, especialmente en el caso de facturas comerciales e hipotecarias, continuaron durante hasta cuatro semanas. Y los periodistas de todas partes descubrieron que TSB rechazó una oferta de ayuda del Lloyds Banking Group al comienzo de la crisis migratoria. En general, hasta el 3 de septiembre se observaron problemas asociados con el inicio de sesión en servicios en línea y la capacidad de transferir dinero.
Un poco de historia
El primer cajero automático se abrió el 27 de junio de 1967 cerca de Barclays en Enfield.
Los sistemas de TI bancarios se están volviendo cada vez más complejos a medida que aumentan las necesidades de los clientes y las expectativas del banco. Hace unos 40 o 60 años, nos habría gustado visitar nuestra sucursal bancaria local durante el horario comercial para depositar efectivo o retirarlo a través del cajero.
La cantidad de dinero en la cuenta estaba directamente relacionada con el efectivo y las monedas que entregamos al banco. La contabilidad de nuestra casa se podía seguir con lápiz y papel, y los clientes no tenían acceso a los sistemas informáticos. Los empleados del banco colocaron datos de libretas y otros medios en dispositivos que contaban el dinero.
Pero en 1967, en el norte de Londres, por primera vez un cajero automático que no estaba ubicado en las instalaciones del banco. Y este evento cambió la banca. La comodidad del usuario se ha convertido en un referente para el desarrollo de las instituciones financieras. Y esto ha ayudado a los bancos a volverse más sofisticados en términos de trabajar con los clientes y su dinero. Después de todo, si bien los sistemas informáticos estaban disponibles sólo para los empleados del banco, estaban satisfechos con la antigua forma "en papel" de interactuar con los clientes. Sólo con la llegada de los cajeros automáticos y luego de la banca en línea, el público en general obtuvo acceso directo a los sistemas informáticos de los bancos.
Los cajeros automáticos fueron sólo el comienzo. Pronto la gente pudo evitar la cola en la caja registradora simplemente llamando al banco por teléfono. Esto requería tarjetas especiales insertadas en un lector capaz de descifrar las señales multifrecuencia de doble tono (DTMF) transmitidas cuando el usuario presionaba la tecla “1” (retirar dinero) o “2” (depositar fondos).
Internet y la banca móvil han acercado a los clientes a los sistemas centrales que impulsan los bancos. A pesar de sus diferentes limitaciones y configuraciones, todos estos sistemas deben interactuar efectivamente entre sí y con la computadora principal, realizando verificaciones de saldos de cuentas, realizando transferencias de dinero, etc.
Pocos clientes piensan en lo compleja que es la ruta de información cuando, por ejemplo, inicia sesión en un banco en línea para ver o actualizar información sobre el dinero en su cuenta. Cuando inicia sesión, estos datos pasan a través de un conjunto de servidores; cuando realiza una transacción, el sistema duplica estos datos en la infraestructura backend, que luego hace el trabajo pesado: transferir dinero de una cuenta a otra para pagar facturas, hacer pagos y continuar con las suscripciones.
Ahora multiplique este proceso por varios miles de millones. Según datos recopilados por el Banco Mundial con la ayuda de la Fundación Bill y Melinda Gates, Los adultos de todo el mundo tienen una cuenta bancaria. Cada una de estas personas tiene cuentas que pagar. Alguien paga una hipoteca o transfiere dinero para clubes infantiles, alguien paga una suscripción a Netflix o alquila un servidor en la nube. Y toda esta gente utiliza más de un banco.
Numerosos sistemas informáticos internos de un banco (banca móvil, cajeros automáticos, etc.) no deben interactuar simplemente entre sí. Necesitan interactuar con otros sistemas bancarios en Brasil, China y Alemania. Un cajero automático francés debería poder dispensar dinero que esté en una tarjeta bancaria emitida en algún lugar de Bolivia.
El dinero siempre ha sido global, pero nunca antes el sistema había sido tan complejo. El número de formas de utilizar los sistemas informáticos bancarios está aumentando, pero las antiguas todavía se utilizan. El éxito de un banco depende en gran medida de qué tan "mantenible" sea su infraestructura de TI y de qué tan efectivamente el banco pueda hacer frente a una falla repentina que haga que el sistema quede inactivo.
Sin pruebas: prepárese para los problemas
El director general del Banco de Sabadell, Jaime Guardiola (izquierda), se mostró confiado en que todo saldrá bien. No funciono.
Los sistemas informáticos de TSB no eran muy buenos para resolver problemas rápidamente. Por supuesto, hubo fallos en el software, pero en realidad el banco "quebró" debido a la excesiva complejidad de sus sistemas informáticos. Según el informe, que se preparó en los primeros días de la interrupción masiva, "la combinación de nuevas aplicaciones, el mayor uso de microservicios combinado con el uso de dos centros de datos Activo/Activo condujo a un riesgo complejo en la producción".
Algunos bancos, como HSBC, operan globalmente y, por lo tanto, también tienen sistemas interconectados muy complejos. Pero se prueban, migran y actualizan periódicamente, según un gerente de TI de HSBC en Lancaster. Ve a HSBC como un modelo de cómo otros bancos deberían gestionar sus sistemas de TI: dedicando personal y dedicando su tiempo. Pero al mismo tiempo admite que para un banco más pequeño, especialmente uno que no tiene experiencia en migración, hacer esto correctamente es una tarea muy difícil.
La migración de TSB fue difícil. Y, según los expertos, el personal del banco simplemente no podía alcanzar este nivel de complejidad en términos de cualificación. Además, ni siquiera se molestaron en comprobar su solución ni en probar la migración con antelación.
Andrew Bailey, director ejecutivo de la FCA, confirmó esta sospecha durante un discurso en el Parlamento británico sobre los problemas bancarios. El código incorrecto probablemente sólo causó los problemas iniciales en TSB, pero los sistemas interconectados de la red financiera global hicieron que sus errores se perpetuaran y fueran irreversibles. El banco siguió viendo errores inesperados en otras partes de su arquitectura de TI. Los clientes recibieron mensajes que no tenían sentido o no estaban relacionados con sus problemas.
Las pruebas de regresión podrían ayudar a prevenir desastres al detectar código incorrecto antes de que se lanzara a producción y causara daños al crear errores que no se podían revertir. Pero el banco decidió atravesar un campo minado que ni siquiera conocía. Las consecuencias eran predecibles. Otro problema fue la “optimización” de costos. ¿Cómo se manifestó? El hecho es que anteriormente se decidió eliminar las copias de seguridad almacenadas en Lloyds, ya que "consumían" demasiado dinero.
Los bancos británicos (y también otros) se esfuerzan por alcanzar un nivel de disponibilidad de cuatro nueves, es decir, el 99,99%. En la práctica, esto significa que el sistema informático debe estar disponible en todo momento, con hasta 52 minutos de inactividad al año. El sistema de los “tres nueves”, 99,9%, a primera vista no difiere mucho. Pero en realidad esto significa que el tiempo de inactividad alcanza las 8 horas al año. Para el banco, “cuatro nueves” es bueno, pero “tres nueves” no.
Pero cada vez que una empresa realiza cambios en su infraestructura de TI, asume riesgos. Después de todo, algo puede salir mal. Reducir los cambios puede ayudar a evitar problemas, mientras que los cambios requeridos necesitan pruebas cuidadosas. Y los reguladores británicos han centrado su atención en este punto.
Quizás la forma más sencilla de evitar el tiempo de inactividad sea simplemente realizar menos cambios. Pero cada banco, como cualquier otra empresa, se ve obligado a introducir cada vez más funciones útiles para los clientes y su propio negocio para seguir siendo competitivos. Al mismo tiempo, los bancos todavía están obligados a cuidar de sus clientes, protegiendo sus ahorros y datos personales, brindándoles condiciones cómodas para el uso de los servicios. Resulta que las organizaciones se ven obligadas a gastar mucho tiempo y dinero en mantener la salud de su infraestructura de TI y, al mismo tiempo, ofrecer nuevos servicios.
El número de fallas tecnológicas reportadas en el sector de servicios financieros en el Reino Unido aumentó un 187 por ciento entre 2017 y 2018, según datos publicados por la Autoridad de Conducta Financiera del Reino Unido. Muy a menudo, la causa de las fallas son problemas en el funcionamiento de la nueva funcionalidad. Al mismo tiempo, es fundamental que los bancos garanticen el funcionamiento constante e ininterrumpido de todos los servicios y la notificación casi instantánea de las transacciones. Los clientes siempre se ponen nerviosos cuando su dinero está colgado en alguna parte. Y un cliente que está nervioso por el dinero siempre es señal de problemas.
Unos meses después de la quiebra del TSB (cuando el director general del banco ya había dimitido), los reguladores financieros del Reino Unido y el Banco de Inglaterra para debatir cuestiones de sostenibilidad operativa. Así que intentaron plantear la cuestión de hasta qué punto los bancos han llegado en busca de innovación y si pueden garantizar el funcionamiento estable del sistema que tienen ahora.
El documento también proponía cambios en la legislación. Se trataba de responsabilizar a las personas dentro de la empresa por lo que sale mal en los sistemas de TI de esa empresa. Los parlamentarios británicos lo explicaron de esta manera: "Cuando eres personalmente responsable y puedes arruinarte o ir a prisión, esto cambiará enormemente la actitud hacia el trabajo, incluido el aumento de la cantidad de tiempo dedicado a la fiabilidad y la seguridad".
resultados
Cada actualización y parche se reduce a la gestión de riesgos, especialmente cuando están involucrados cientos de millones de dólares. Después de todo, si algo sale mal, puede resultar costoso en términos de dinero y reputación. Parecerían cosas obvias. Y la quiebra del banco durante la migración debería haberles enseñado mucho.
Tenía. Pero él no me enseñó. En noviembre de 2019, TSB, que volvía a conseguir rentabilidad y poco a poco iba mejorando su reputación, “deleitó” a sus clientes en el campo de las tecnologías de la información. El segundo golpe al banco significó que se verá obligado a cerrar 82 sucursales en 2020 para reducir sus costes. O simplemente no pudo ahorrar en especialistas en TI.
La tacañería con la TI en última instancia tiene un costo. TSB informó una pérdida de 134 millones de dólares en 2018, en comparación con una ganancia de 206 millones de dólares en 2017. Los costos posteriores a la migración, incluida la compensación al cliente, la corrección de transacciones fraudulentas (que aumentaron considerablemente durante el caos bancario) y la asistencia de terceros, ascendieron a 419 millones de dólares. Al proveedor de TI del banco también se le facturaron 194 millones de dólares por su papel en la crisis.
Sin embargo, independientemente de las lecciones que se aprendan de la quiebra del banco TSB, seguirán produciéndose perturbaciones. Son inevitables. Pero con pruebas y un buen código, las fallas y el tiempo de inactividad se pueden reducir considerablemente. Cloud4Y, que a menudo ayuda a grandes empresas a migrar a la infraestructura de la nube, comprende la importancia de pasar rápidamente de un sistema a otro. Por lo tanto, podemos realizar pruebas de carga y utilizar un sistema de respaldo multinivel, así como otras opciones que permitan verificar todo lo posible antes de iniciar la migración.
¿Qué más puedes leer en el blog?
→
→
→
→
→
Suscríbase a nuestro -canal, para no perderse el próximo artículo! Escribimos no más de dos veces por semana y solo por negocios.
Fuente: habr.com