Việc di chuyển cơ sở hạ tầng CNTT không thành công đã dẫn đến việc 1,3 tỷ hồ sơ khách hàng của ngân hàng bị hỏng. Tất cả đều là do thiếu thử nghiệm và thái độ phù phiếm đối với các hệ thống CNTT phức tạp. Cloud4Y cho biết sự việc đã xảy ra như thế nào.
Năm 2018 Tiếng Anh nhận ra rằng cuộc “ly hôn” kéo dài hai năm của anh với tập đoàn ngân hàng Lloyds (cả hai công ty sáp nhập năm 1995) là quá đắt đỏ. TSB vẫn bị ràng buộc với đối tác cũ thông qua hệ thống CNTT của Lloyds được sao chép vội vàng. Tệ nhất là ngân hàng phải trả “tiền cấp dưỡng”, phí cấp phép hàng năm là 127 triệu USD.
Rất ít người thích trả tiền cho người yêu cũ, vì vậy vào lúc 22:2018 TSB ngày 18 tháng 00 năm 18 đã bắt đầu giai đoạn cuối cùng của kế hoạch 2,2 tháng được cho là sẽ thay đổi mọi thứ. Người ta đã lên kế hoạch chuyển hàng tỷ hồ sơ khách hàng sang hệ thống CNTT của công ty Banco Sabadell của Tây Ban Nha, công ty đã mua TSB với giá 2015 tỷ USD vào năm XNUMX.
Giám đốc điều hành Banco Sabadell José Olu đã phát biểu về sự kiện sắp tới 2 tuần trước Giáng sinh 2017 trong cuộc họp nhân viên lễ hội tại hội trường uy tín ở Barcelona. Công cụ di chuyển quan trọng nhất là phiên bản mới của hệ thống được phát triển bởi Banco Sabadell: Proteo. Nó thậm chí còn được đổi tên thành Proteo4UK dành riêng cho dự án di chuyển TSB.
Tại buổi giới thiệu Proteo4UK, giám đốc điều hành Banco Sabadell Jaime Guardiola Romojaro đã khoe rằng hệ thống mới là một dự án quy mô lớn không có dự án tương tự ở châu Âu, với hơn 1000 chuyên gia đã làm việc. Và việc triển khai nó sẽ mang lại động lực đáng kể cho sự phát triển của Banco Sabadell ở Anh.
Ngày 22 tháng 2018 năm XNUMX được chọn là ngày di cư. Đó là một buổi tối chủ nhật yên tĩnh giữa mùa xuân. Hệ thống CNTT của ngân hàng ngừng hoạt động do hồ sơ được chuyển từ hệ thống này sang hệ thống khác. Với quyền truy cập công khai vào tài khoản ngân hàng được khôi phục vào cuối ngày Chủ nhật, người ta có thể mong đợi ngân hàng sẽ hoạt động trở lại hoạt động một cách chậm rãi và suôn sẻ.
Nhưng trong khi Olyu và Guardiola Romojaro đang vui vẻ phát sóng từ sân khấu về việc triển khai dự án Proteo4UK thì các nhân viên chịu trách nhiệm về quá trình di chuyển lại rất lo lắng. Dự án mất 18 tháng để hoàn thành và bị chậm tiến độ nghiêm trọng và vượt quá ngân sách. Không có thời gian để tiến hành các bài kiểm tra bổ sung. Nhưng việc chuyển tất cả dữ liệu của công ty (hãy nhớ là hàng tỷ bản ghi) sang một hệ thống khác là một nhiệm vụ khó khăn.
Hóa ra các kỹ sư lo lắng là có lý do chính đáng.
Một sơ khai trên trang web mà khách hàng đã xem quá lâu
20 phút sau khi TSB mở quyền truy cập vào tài khoản, hoàn toàn tin tưởng rằng quá trình di chuyển diễn ra suôn sẻ, những báo cáo đầu tiên về sự cố đã đến.
Tiền tiết kiệm của người dân đột nhiên biến mất khỏi tài khoản của họ. Những khoản mua với số lượng không đáng kể đã bị ghi nhầm là chi phí trị giá hàng nghìn đô la. Một số người đăng nhập vào tài khoản cá nhân của họ và không thấy tài khoản ngân hàng của họ mà là tài khoản của những người hoàn toàn khác.
Lúc 21h, đại diện TSB thông báo với cơ quan quản lý tài chính địa phương (Cơ quan quản lý tài chính Anh, FCA) rằng ngân hàng đang gặp khó khăn. Nhưng FCA đã nhận thấy: TSB đã thực sự làm việc rất tệ và khách hàng đã bị biến thành kẻ ngu ngốc. Và tất nhiên, họ bắt đầu phàn nàn với (và ngày nay, việc viết vài dòng trên Twitter hoặc Facebook không phải là điều đặc biệt khó khăn). Vào lúc 23:30 tối, FCA đã được liên hệ với một cơ quan quản lý tài chính khác, Cơ quan quản lý thận trọng (PRA), cơ quan này cũng cảm thấy có điều gì đó không ổn.
Đã quá nửa đêm, họ liên lạc được với một trong những đại diện ngân hàng. Và hỏi họ câu hỏi duy nhất: "Chuyện quái gì đang xảy ra vậy?"
Phải mất thời gian để hiểu quy mô của thảm kịch, nhưng giờ đây chúng ta biết rằng 1,3 tỷ hồ sơ của 5,4 triệu khách hàng đã bị hư hỏng trong quá trình di chuyển. Trong ít nhất một tuần, khách hàng không thể quản lý tiền của mình từ máy tính hoặc thiết bị di động. Họ không thể trả khoản vay và nhiều khách hàng của ngân hàng nhận được những sai sót về lịch sử tín dụng cũng như các khoản phí trễ hạn.
Ngân hàng trực tuyến của khách hàng TSB trông như thế này
Khi trục trặc bắt đầu xuất hiện, gần như ngay sau đó, đại diện ngân hàng khẳng định trục trặc chỉ diễn ra “không liên tục”. Ba ngày sau, một tuyên bố được đưa ra rằng tất cả các hệ thống đều bình thường. Nhưng khách hàng vẫn tiếp tục báo cáo vấn đề. Mãi đến ngày 26 tháng 2018 năm XNUMX, giám đốc điều hành của ngân hàng, Paul Pester, mới thừa nhận TSB đã "quỳ gối" khi cơ sở hạ tầng CNTT của ngân hàng tiếp tục gặp "vấn đề về băng thông" khiến khoảng một triệu khách hàng không thể truy cập các dịch vụ ngân hàng trực tuyến.
Hai tuần sau khi di chuyển, ứng dụng ngân hàng trực tuyến vẫn được báo cáo là gặp lỗi nội bộ liên quan đến cơ sở dữ liệu SQL.
Khó khăn trong thanh toán, đặc biệt là với các hóa đơn kinh doanh và thế chấp, tiếp tục kéo dài đến bốn tuần. Và các nhà báo có mặt khắp nơi đã phát hiện ra rằng TSB đã từ chối lời đề nghị giúp đỡ từ Tập đoàn Ngân hàng Lloyds ngay khi bắt đầu cuộc khủng hoảng di cư. Nhìn chung, các vấn đề liên quan đến việc đăng nhập vào các dịch vụ trực tuyến và khả năng chuyển tiền đã được quan sát cho đến ngày 3 tháng XNUMX.
Một chút lịch sử
Máy ATM đầu tiên được mở vào ngày 27 tháng 1967 năm XNUMX gần Barclays ở Enfield
Hệ thống CNTT ngân hàng ngày càng trở nên phức tạp khi nhu cầu và mong đợi của khách hàng từ ngân hàng ngày càng tăng. Khoảng 40-60 năm trước, chúng ta sẽ rất vui khi đến chi nhánh ngân hàng địa phương trong giờ làm việc để gửi hoặc rút tiền mặt qua quầy giao dịch.
Số tiền trong tài khoản liên quan trực tiếp đến số tiền mặt và xu chúng tôi đưa cho ngân hàng. Kế toán tại nhà của chúng tôi có thể được theo dõi bằng bút và giấy, và khách hàng không thể truy cập hệ thống máy tính. Nhân viên ngân hàng đặt dữ liệu từ sổ tiết kiệm và các phương tiện khác vào các thiết bị đếm tiền.
Nhưng vào năm 1967 ở phía bắc Luân Đôn lần đầu tiên một máy ATM không được đặt trong khuôn viên ngân hàng. Và sự kiện này đã thay đổi hoạt động ngân hàng. Trải nghiệm người dùng đã trở thành chuẩn mực cho sự phát triển của các tổ chức tài chính. Và điều này đã giúp các ngân hàng trở nên tinh vi hơn trong cách làm việc với khách hàng và tiền của họ. Suy cho cùng, mặc dù hệ thống máy tính chỉ dành cho nhân viên ngân hàng nhưng họ vẫn hài lòng với cách tương tác “giấy tờ” cũ với khách hàng. Chỉ với sự ra đời của máy ATM và sau đó là ngân hàng trực tuyến, công chúng mới có thể truy cập trực tiếp vào hệ thống CNTT của ngân hàng.
ATM chỉ là sự khởi đầu. Chẳng bao lâu sau, mọi người đã có thể tránh phải xếp hàng tại quầy tính tiền bằng cách gọi điện thoại tới ngân hàng. Điều này yêu cầu các thẻ đặc biệt được lắp vào đầu đọc có khả năng giải mã tín hiệu đa tần số âm kép (DTMF) được truyền khi người dùng nhấn phím “1” (rút tiền) hoặc “2” (gửi tiền).
Internet và ngân hàng di động đã đưa khách hàng đến gần hơn với các hệ thống cốt lõi hỗ trợ các ngân hàng. Bất chấp những hạn chế và cài đặt khác nhau, tất cả các hệ thống này phải tương tác hiệu quả với nhau và với máy tính lớn, thực hiện kiểm tra số dư tài khoản, thực hiện chuyển tiền, v.v.
Rất ít khách hàng nghĩ đến mức độ phức tạp của đường dẫn thông tin, chẳng hạn như khi bạn đăng nhập vào ngân hàng trực tuyến để xem hoặc cập nhật thông tin về số tiền trong tài khoản của mình. Khi bạn đăng nhập, dữ liệu này sẽ được chuyển qua một tập hợp các máy chủ; khi bạn thực hiện một giao dịch, hệ thống sẽ sao chép dữ liệu này trong cơ sở hạ tầng phụ trợ, sau đó thực hiện công việc nặng nhọc—chuyển tiền từ tài khoản này sang tài khoản khác để thanh toán hóa đơn, thực hiện thanh toán và tiếp tục đăng ký.
Bây giờ hãy nhân quá trình này lên vài tỷ. Theo dữ liệu do Ngân hàng Thế giới tổng hợp với sự hỗ trợ của Quỹ Bill và Melinda Gates, người lớn trên khắp thế giới đều có tài khoản ngân hàng. Mỗi người trong số họ đều có hóa đơn phải trả. Ai đó trả tiền thế chấp hoặc chuyển tiền cho các câu lạc bộ trẻ em, ai đó trả tiền đăng ký Netflix hoặc thuê máy chủ đám mây. Và tất cả những người này sử dụng nhiều hơn một ngân hàng.
Nhiều hệ thống CNTT nội bộ của một ngân hàng (ngân hàng di động, ATM, v.v.) không được phép tương tác đơn giản với nhau. Họ cần tương tác với các hệ thống ngân hàng khác ở Brazil, Trung Quốc và Đức. Máy ATM của Pháp có thể rút tiền trên thẻ ngân hàng được phát hành ở đâu đó ở Bolivia.
Tiền luôn có tính toàn cầu, nhưng chưa bao giờ hệ thống lại phức tạp đến thế. Số cách sử dụng hệ thống CNTT ngân hàng ngày càng tăng nhưng những cách cũ vẫn được sử dụng. Sự thành công của một ngân hàng phần lớn phụ thuộc vào mức độ “bảo trì” cơ sở hạ tầng CNTT của nó và mức độ hiệu quả mà ngân hàng có thể đối phó với sự cố đột ngột do hệ thống sẽ không hoạt động.
Không có bài kiểm tra - chuẩn bị cho vấn đề
Giám đốc điều hành Banco de Sabadell Jaime Guardiola (trái) tự tin mọi việc sẽ diễn ra suôn sẻ. Không thành công.
Hệ thống máy tính của TSB không giỏi giải quyết vấn đề một cách nhanh chóng. Tất nhiên, có trục trặc về phần mềm, nhưng trên thực tế, ngân hàng đã “phá sản” do hệ thống CNTT quá phức tạp. Theo báo cáo được chuẩn bị trong những ngày đầu ngừng hoạt động trên diện rộng, “sự kết hợp của các ứng dụng mới, việc tăng cường sử dụng vi dịch vụ kết hợp với việc sử dụng hai trung tâm dữ liệu Active/Active đã dẫn đến rủi ro phức tạp trong sản xuất”.
Một số ngân hàng, chẳng hạn như HSBC, hoạt động trên toàn cầu và do đó cũng có hệ thống liên kết và rất phức tạp. Tuy nhiên, theo một giám đốc CNTT của HSBC tại Lancaster, chúng thường xuyên được kiểm tra, di chuyển và cập nhật. Ông coi HSBC là hình mẫu về cách các ngân hàng khác nên quản lý hệ thống CNTT của họ: bằng cách cống hiến nhân viên và dành thời gian. Nhưng đồng thời ông cũng thừa nhận rằng đối với một ngân hàng nhỏ hơn, đặc biệt là ngân hàng chưa có kinh nghiệm di cư, việc thực hiện chính xác điều này là một nhiệm vụ rất khó khăn.
Việc di chuyển TSB rất khó khăn. Và, theo các chuyên gia, nhân viên ngân hàng không thể đạt đến mức độ phức tạp như vậy về mặt trình độ. Ngoài ra, họ thậm chí còn không buồn kiểm tra giải pháp của mình hoặc kiểm tra quá trình di chuyển trước.
Trong bài phát biểu tại Quốc hội Anh về các vấn đề ngân hàng, Andrew Bailey, giám đốc điều hành của FCA, đã xác nhận nghi ngờ này. Mã xấu có lẽ chỉ gây ra những vấn đề ban đầu tại TSB, nhưng hệ thống liên kết của mạng tài chính toàn cầu có nghĩa là những sai lầm của nó vẫn tồn tại và không thể sửa chữa được. Ngân hàng tiếp tục gặp phải những lỗi không mong muốn ở những nơi khác trong kiến trúc CNTT của mình. Khách hàng nhận được những tin nhắn vô nghĩa hoặc không liên quan đến vấn đề của họ.
Kiểm tra hồi quy có thể giúp ngăn ngừa thảm họa bằng cách phát hiện mã xấu trước khi nó được đưa vào sản xuất và gây ra thiệt hại do tạo ra các lỗi không thể khôi phục được. Nhưng ngân hàng đã quyết định đi qua một bãi mìn mà họ thậm chí còn không biết đến. Hậu quả đã có thể đoán trước được. Một vấn đề khác là “tối ưu hóa” chi phí. Nó đã biểu hiện như thế nào? Thực tế là trước đây người ta đã quyết định loại bỏ các bản sao lưu được lưu trữ tại Lloyds, vì họ đã “ăn” quá nhiều tiền.
Các ngân hàng Anh (và cả những ngân hàng khác nữa) đang phấn đấu đạt được mức sẵn sàng bốn số chín, tức là 99,99%. Trong thực tế, điều này có nghĩa là hệ thống CNTT phải luôn sẵn sàng với thời gian ngừng hoạt động lên tới 52 phút mỗi năm. Hệ thống “ba số chín”, 99,9%, thoạt nhìn không khác nhau nhiều. Nhưng trên thực tế, điều này có nghĩa là thời gian ngừng hoạt động lên tới 8 giờ mỗi năm. Đối với ngân hàng, “bốn số chín” là tốt, nhưng “ba số chín” thì không.
Nhưng mỗi khi một công ty thực hiện những thay đổi đối với cơ sở hạ tầng CNTT của mình thì công ty đó đều phải đối mặt với rủi ro. Rốt cuộc, có điều gì đó không ổn. Việc giảm bớt các thay đổi có thể giúp tránh được các vấn đề, trong khi những thay đổi bắt buộc cần được kiểm tra cẩn thận. Và các cơ quan quản lý của Anh đã tập trung sự chú ý vào điểm này.
Có lẽ cách dễ nhất để tránh thời gian chết là thực hiện ít thay đổi hơn. Nhưng mọi ngân hàng, giống như bất kỳ công ty nào khác, buộc phải giới thiệu ngày càng nhiều tính năng hữu ích cho khách hàng và hoạt động kinh doanh của chính mình để duy trì tính cạnh tranh. Đồng thời, các ngân hàng vẫn có nghĩa vụ chăm sóc khách hàng, bảo vệ tiền tiết kiệm và dữ liệu cá nhân của họ, tạo điều kiện thoải mái để sử dụng dịch vụ. Hóa ra các tổ chức buộc phải dành nhiều thời gian và tiền bạc để duy trì tình trạng tốt của cơ sở hạ tầng CNTT của họ, đồng thời cung cấp các dịch vụ mới.
Số lỗi công nghệ được báo cáo trong lĩnh vực dịch vụ tài chính ở Anh đã tăng 187% từ năm 2017 đến năm 2018, theo dữ liệu do Cơ quan Quản lý Tài chính Vương quốc Anh công bố. Thông thường, nguyên nhân gây ra lỗi là do các vấn đề trong hoạt động của chức năng mới. Đồng thời, điều quan trọng đối với các ngân hàng là đảm bảo hoạt động liên tục không bị gián đoạn của tất cả các dịch vụ và báo cáo giao dịch gần như ngay lập tức. Khách hàng luôn lo lắng khi tiền của họ đang trôi đâu đó. Và một khách hàng lo lắng về tiền bạc luôn là dấu hiệu của rắc rối.
Vài tháng sau sự thất bại của TSB (lúc đó CEO của ngân hàng đã từ chức), các cơ quan quản lý tài chính của Vương quốc Anh và Ngân hàng Anh để thảo luận về các vấn đề bền vững trong hoạt động. Vì vậy, họ cố gắng đặt ra câu hỏi xem các ngân hàng đã đi sâu đến mức nào trong việc theo đuổi sự đổi mới và liệu họ có thể đảm bảo sự vận hành ổn định của hệ thống mà họ hiện có hay không.
Tài liệu này cũng đề xuất những thay đổi về pháp luật. Đó là việc buộc mọi người trong công ty phải chịu trách nhiệm về những sai sót xảy ra trong hệ thống CNTT của công ty đó. Các nghị sĩ Anh giải thích điều đó như thế này: “Khi bạn phải chịu trách nhiệm cá nhân và bạn có thể phá sản hoặc vào tù, điều này sẽ thay đổi đáng kể thái độ đối với công việc, bao gồm cả việc tăng lượng thời gian dành cho vấn đề độ tin cậy và an toàn”.
Kết quả
Mỗi bản cập nhật và bản vá đều liên quan đến quản lý rủi ro, đặc biệt khi liên quan đến hàng trăm triệu đô la. Suy cho cùng, nếu có sự cố xảy ra, nó có thể phải trả giá đắt về tiền bạc và danh tiếng. Nó có vẻ là điều hiển nhiên. Và sự thất bại của ngân hàng trong quá trình di cư lẽ ra đã dạy cho họ rất nhiều điều.
Có. Nhưng anh ấy không dạy tôi. Tháng 2019/XNUMX, TSB lại đạt được lợi nhuận và đang dần nâng cao danh tiếng, khiến khách hàng “vui mừng” trong lĩnh vực công nghệ thông tin. Cú đòn thứ hai giáng vào ngân hàng đồng nghĩa với việc ngân hàng này sẽ buộc phải đóng cửa 82 chi nhánh vào năm 2020 để cắt giảm chi phí. Hoặc đơn giản là anh ta không thể tiết kiệm chi phí cho các chuyên gia CNTT.
Sự keo kiệt với CNTT cuối cùng phải trả giá. TSB báo lỗ 134 triệu USD trong năm 2018, so với lợi nhuận 206 triệu USD trong năm 2017. Chi phí sau di chuyển, bao gồm bồi thường cho khách hàng, sửa chữa các giao dịch gian lận (tăng mạnh trong thời kỳ hỗn loạn ngân hàng) và hỗ trợ của bên thứ ba, tổng cộng là 419 triệu USD. Nhà cung cấp CNTT của ngân hàng cũng bị phạt 194 triệu USD vì vai trò của họ trong cuộc khủng hoảng.
Tuy nhiên, cho dù có rút ra bài học gì từ vụ phá sản của ngân hàng TSB thì tình trạng gián đoạn vẫn sẽ xảy ra. Chúng là không thể tránh khỏi. Nhưng với thử nghiệm và mã tốt, sự cố và thời gian ngừng hoạt động có thể giảm đáng kể. Cloud4Y, thường giúp các công ty lớn di chuyển sang cơ sở hạ tầng đám mây, hiểu tầm quan trọng của việc nhanh chóng chuyển từ hệ thống này sang hệ thống khác. Do đó, chúng tôi có thể tiến hành kiểm tra tải và sử dụng hệ thống sao lưu đa cấp, cũng như các tùy chọn khác cho phép bạn kiểm tra mọi thứ có thể trước khi bắt đầu di chuyển.
Bạn có thể đọc gì khác trên blog?
→
→
→
→
→
Đăng ký của chúng tôi -channel để không bỏ lỡ bài viết tiếp theo nhé! Chúng tôi viết không quá hai lần một tuần và chỉ viết về công việc.
Nguồn: www.habr.com