Thế giới đã chứng kiến nguyên mẫu đầu tiên của thiết bị lưu trữ đồ vật vào năm 1996. Trong 10 năm nữa, Amazon Web Services sẽ ra mắt Amazon S3 và thế giới sẽ bắt đầu phát điên một cách có hệ thống với không gian địa chỉ phẳng. Nhờ làm việc với siêu dữ liệu và khả năng mở rộng quy mô mà không bị chùng xuống khi tải, lưu trữ đối tượng nhanh chóng trở thành tiêu chuẩn cho hầu hết các dịch vụ lưu trữ dữ liệu đám mây và không chỉ vậy. Một tính năng quan trọng khác là nó rất phù hợp để lưu trữ các tài liệu lưu trữ và các tệp tương tự hiếm khi được sử dụng. Mọi người tham gia lưu trữ dữ liệu đều vui mừng và đeo công nghệ mới trên tay.
Nhưng tin đồn của mọi người tràn ngập tin đồn rằng việc lưu trữ đối tượng chỉ dành cho những đám mây lớn, và nếu bạn không cần giải pháp từ bọn tư bản chết tiệt, thì sẽ rất khó để tự tạo ra giải pháp cho riêng mình. Đã có nhiều bài viết về việc triển khai đám mây của riêng bạn nhưng không có đủ thông tin về việc tạo ra cái gọi là giải pháp tương thích với S3.
Do đó, hôm nay chúng ta sẽ tìm hiểu xem có những tùy chọn nào “Để nó giống như người lớn, không phải CEPH và một tệp lớn hơn”, chúng ta sẽ triển khai một trong số chúng và sẽ kiểm tra xem mọi thứ có hoạt động bằng cách sử dụng Veeam Backup & Replication hay không. Nó tuyên bố sẽ hỗ trợ làm việc với các kho lưu trữ tương thích với S3 và chúng tôi sẽ kiểm tra xác nhận này.
Còn những người khác thì sao?
Tôi khuyên bạn nên bắt đầu với một cái nhìn tổng quan nhỏ về thị trường và các tùy chọn lưu trữ đối tượng. Người dẫn đầu và tiêu chuẩn được công nhận rộng rãi là Amazon S3. Hai kẻ theo đuổi gần nhất là Microsoft Azure Blob Storage và IBM Cloud Object Storage.
Đó là tất cả? Có thực sự không có đối thủ cạnh tranh khác? Tất nhiên, vẫn có những đối thủ cạnh tranh, nhưng một số lại đi theo con đường riêng của họ, như Google Cloud hoặc Oracle Cloud Object Storage, với sự hỗ trợ chưa đầy đủ cho API S3. Một số sử dụng các phiên bản API cũ hơn, như Baidu Cloud. Và một số, như Hitachi Cloud, yêu cầu logic đặc biệt, điều này chắc chắn sẽ gây ra những khó khăn riêng. Trong mọi trường hợp, mọi người đều được so sánh với Amazon, có thể coi là tiêu chuẩn của ngành.
Nhưng trong các giải pháp tại chỗ, có nhiều sự lựa chọn hơn, vì vậy hãy phác thảo các tiêu chí quan trọng đối với chúng tôi. Về nguyên tắc, chỉ có hai là đủ: hỗ trợ API S3 và sử dụng tính năng ký v4. Thực lòng, chúng tôi, với tư cách là một khách hàng tương lai, chỉ quan tâm đến các giao diện tương tác và chúng tôi không quá quan tâm đến nhà bếp bên trong của chính cơ sở lưu trữ.
Rất nhiều giải pháp phù hợp với những điều kiện đơn giản này. Ví dụ: các đối thủ nặng ký cổ điển của công ty:
- DellEMC ECS
- Lưới lưu trữ NetApp S3
- Xô Nutanix
- Lưu trữ thuần túy FlashBlade và StorReduce
- Bộ nhớ Huawei Fusion
Có một số giải pháp phần mềm thuần túy có thể hoạt động hiệu quả:
- Ceph mũ đỏ
- Lưu trữ doanh nghiệp SUSE
- Cloudian
Và ngay cả những người thích sắp xếp cẩn thận sau khi lắp ráp cũng không bị xúc phạm:
- CEPH ở dạng tinh khiết nhất
- Minio (phiên bản Linux, vì có nhiều thắc mắc về phiên bản Windows)
Danh sách này vẫn chưa đầy đủ, nó có thể được thảo luận trong phần bình luận. Chỉ cần đừng quên kiểm tra hiệu suất hệ thống cũng như khả năng tương thích API trước khi triển khai. Điều cuối cùng bạn muốn là mất hàng terabyte dữ liệu do các truy vấn bị kẹt. Vì vậy, đừng ngại với các bài kiểm tra tải. Nói chung, tất cả phần mềm người lớn hoạt động với lượng lớn dữ liệu đều có ít nhất các báo cáo về khả năng tương thích. Trong trường hợp Veeam có về thử nghiệm lẫn nhau, cho phép chúng tôi tự tin tuyên bố khả năng tương thích hoàn toàn của sản phẩm với thiết bị cụ thể. Đây vốn là công việc hai chiều, không phải lúc nào cũng nhanh chóng nhưng chúng tôi không ngừng mở rộng giải pháp đã được thử nghiệm.
Lắp ráp gian hàng của chúng tôi
Tôi muốn nói một chút về việc chọn đối tượng thử nghiệm.
Đầu tiên, tôi muốn tìm một tùy chọn có thể hoạt động ngay lập tức. Chà, hoặc ít nhất là với xác suất tối đa là nó sẽ hoạt động mà không cần phải thực hiện những chuyển động không cần thiết. Khiêu vũ với trống tambourine và mày mò với bảng điều khiển trong đêm rất thú vị, nhưng đôi khi bạn muốn nó hoạt động ngay lập tức. Và độ tin cậy tổng thể của các giải pháp như vậy thường cao hơn. Và vâng, tinh thần phiêu lưu đã biến mất trong chúng tôi, chúng tôi đã ngừng trèo vào cửa sổ của những người phụ nữ thân yêu của mình, v.v. (c).
Thứ hai, thành thật mà nói, nhu cầu làm việc với lưu trữ đối tượng nảy sinh ở các công ty khá lớn, vì vậy đây là trường hợp khi việc hướng tới các giải pháp cấp doanh nghiệp không những không đáng xấu hổ mà thậm chí còn được khuyến khích. Trong mọi trường hợp, tôi vẫn chưa biết bất kỳ ví dụ nào về việc bất kỳ ai bị sa thải vì mua những giải pháp như vậy.
Dựa trên tất cả những điều trên, sự lựa chọn của tôi rơi vào Phiên bản cộng đồng Dell EMC ECS. Đây là một dự án rất thú vị và tôi thấy cần phải kể cho bạn nghe về nó.
Điều đầu tiên bạn nghĩ đến khi nhìn thấy tiện ích bổ sung này Ấn bản cộng đồng - rằng đây chỉ là bản sao của ECS chính thức với một số hạn chế sẽ được loại bỏ bằng cách mua giấy phép. Vì vậy không!
Ghi nhớ:
!!!Phiên bản cộng đồng là một dự án riêng biệt được tạo ra để thử nghiệm và không có hỗ trợ kỹ thuật từ Dell!!
Và nó không thể biến thành một ECS chính thức, ngay cả khi bạn thực sự muốn.
Hãy tìm ra nó
Nhiều người cho rằng Dell EMC ECS gần như là giải pháp tốt nhất nếu bạn có nhu cầu lưu trữ đồ vật. Tất cả các dự án mang thương hiệu ECS, bao gồm cả dự án thương mại và doanh nghiệp, đều dựa trên . Một loại cử chỉ thiện chí từ Dell. Và ngoài phần mềm chạy trên phần cứng mang nhãn hiệu của họ, còn có phiên bản nguồn mở có thể được triển khai trên đám mây, trên máy ảo, trong vùng chứa hoặc trên bất kỳ phần cứng nào của riêng bạn. Sắp tới, thậm chí còn có phiên bản OVA mà chúng tôi sẽ sử dụng.
Bản thân DELL ECS Community Edition là một phiên bản mini của phần mềm chính thức chạy trên các máy chủ Dell EMC ECS có thương hiệu.
Tôi xác định bốn điểm khác biệt chính:
- Không hỗ trợ mã hóa. Đó là một sự xấu hổ, nhưng không quan trọng.
- Lớp vải bị thiếu. Thứ này chịu trách nhiệm xây dựng các cụm, quản lý tài nguyên, cập nhật, giám sát và lưu trữ hình ảnh Docker. Đây là điểm vốn đã rất phản cảm, nhưng Dell cũng có thể hiểu được.
- Hậu quả kinh tởm nhất của điểm trước: kích thước của nút không thể mở rộng sau khi quá trình cài đặt hoàn tất.
- Không có hỗ trợ kỹ thuật. Đây là sản phẩm để thử nghiệm, không bị cấm sử dụng trong các cơ sở lắp đặt nhỏ, nhưng cá nhân tôi không dám tải hàng petabyte dữ liệu quan trọng lên đó. Nhưng về mặt kỹ thuật không ai có thể ngăn cản bạn làm điều này.
Có gì trong phiên bản lớn?
Hãy phi nước đại khắp Châu Âu và tìm hiểu các giải pháp chắc chắn để có sự hiểu biết đầy đủ hơn về hệ sinh thái.
Bằng cách nào đó, tôi sẽ không xác nhận hay bác bỏ tuyên bố rằng DELL ECS là bộ lưu trữ đối tượng tại chỗ tốt nhất, nhưng nếu bạn có điều gì muốn nói về chủ đề này, tôi sẽ rất vui khi đọc nó trong phần bình luận. Ít nhất là theo phiên bản Dell EMC tự tin nằm trong số XNUMX công ty dẫn đầu thị trường OBS. Mặc dù các giải pháp dựa trên đám mây không được tính đến ở đó nhưng đây là một cuộc trò chuyện riêng.
Từ quan điểm kỹ thuật, ECS là một bộ lưu trữ đối tượng cung cấp quyền truy cập vào dữ liệu bằng các giao thức lưu trữ đám mây. Hỗ trợ AWS S3 và OpenStack Swift. Đối với các nhóm hỗ trợ tệp, ECS hỗ trợ NFSv3 để xuất từng tệp.
Quá trình ghi lại thông tin khá bất thường, đặc biệt là sau các hệ thống lưu trữ khối cổ điển.
- Khi dữ liệu mới đến, một đối tượng mới sẽ được tạo có tên, dữ liệu và siêu dữ liệu.
- Các đối tượng được chia thành các khối 128 MB và mỗi khối được ghi vào ba nút cùng một lúc.
- Tệp chỉ mục được cập nhật, nơi ghi lại số nhận dạng và vị trí lưu trữ.
- Tệp nhật ký (mục nhật ký) được cập nhật và cũng được ghi vào ba nút.
- Thông báo ghi thành công được gửi tới khách hàng
Cả ba bản sao của dữ liệu đều được ghi song song. Việc viết chỉ được coi là thành công nếu cả ba bản sao đều được viết thành công.
Đọc dễ dàng hơn:
- Client yêu cầu dữ liệu.
- Chỉ mục tìm kiếm nơi dữ liệu được lưu trữ.
- Dữ liệu được đọc từ một nút và gửi đến máy khách.
Bản thân có khá nhiều máy chủ, vì vậy chúng ta hãy nhìn vào Dell EMC ECS EX300 nhỏ nhất. Nó bắt đầu từ 60TB, với khả năng tăng lên 1,5PB. Và người anh em của nó, Dell EMC ECS EX3000, cho phép bạn lưu trữ tối đa 8,6PB trên mỗi giá.
Triển khai
Về mặt kỹ thuật, Dell ECS CE có thể được triển khai với quy mô lớn như bạn muốn. Trong mọi trường hợp, tôi không tìm thấy bất kỳ hạn chế rõ ràng nào. Tuy nhiên, thật thuận tiện khi thực hiện tất cả việc chia tỷ lệ bằng cách sao chép nút đầu tiên mà chúng ta cần:
- 8 vCPU
- 64GB RAM
- 16GB cho hệ điều hành
- 1TB lưu trữ trực tiếp
- Bản phát hành mới nhất của CentOS tối thiểu
Đây là một tùy chọn khi bạn muốn tự mình cài đặt mọi thứ ngay từ đầu. Tùy chọn này không phù hợp với chúng tôi, bởi vì... Tôi sẽ sử dụng hình ảnh OVA để triển khai.
Nhưng trong mọi trường hợp, các yêu cầu rất tệ ngay cả đối với một nút và nếu bạn tuân thủ nghiêm ngặt các quy định của pháp luật, thì bạn cần bốn nút như vậy.
Tuy nhiên, các nhà phát triển ECS CE sống trong thế giới thực và quá trình cài đặt thành công ngay cả với một nút và các yêu cầu tối thiểu là:
- 4 vCPU
- GB RAM 16
- 16 GB cho hệ điều hành
- Bản thân dung lượng lưu trữ 104 GB
Đây là những tài nguyên cần thiết để triển khai hình ảnh OVA. Đã nhân đạo và thực tế hơn nhiều.
Bản thân nút cài đặt có thể được lấy từ trang web chính thức . Ngoài ra còn có tài liệu chi tiết về cách triển khai tất cả trong một, nhưng bạn cũng có thể đọc trên trang chính thức . Do đó, chúng tôi sẽ không đi sâu vào chi tiết về quá trình mở ra OVA, không có thủ thuật nào ở đó. Điều chính là trước khi khởi động nó, đừng quên mở rộng đĩa đến dung lượng cần thiết hoặc đính kèm những cái cần thiết.
Chúng tôi khởi động máy, mở bảng điều khiển và sử dụng thông tin xác thực mặc định tốt nhất:
- đăng nhập: quản trị viên
- mật khẩu: ChangeMe
Sau đó, chúng tôi chạy sudo nmtui và định cấu hình giao diện mạng - IP/mặt nạ, DNS và cổng. Hãy nhớ rằng CentOS Minimal không có công cụ mạng, chúng tôi kiểm tra cài đặt qua ip addr.
Và vì chỉ những người dũng cảm chinh phục biển cả, chúng tôi thực hiện cập nhật yum, sau đó khởi động lại. Thực ra nó khá an toàn vì... tất cả việc triển khai đều được thực hiện thông qua playbook và tất cả các gói docker quan trọng đều bị khóa ở phiên bản hiện tại.
Bây giờ là lúc chỉnh sửa tập lệnh cài đặt. Không có cửa sổ ưa thích hoặc giao diện người dùng giả nào dành cho bạn - mọi thứ đều được thực hiện thông qua trình soạn thảo văn bản yêu thích của bạn. Về mặt kỹ thuật, có hai cách: bạn có thể chạy từng lệnh theo cách thủ công hoặc khởi chạy ngay bộ cấu hình videoploy. Nó sẽ chỉ mở cấu hình trong vim và khi thoát, nó sẽ bắt đầu kiểm tra nó. Nhưng sẽ không thú vị nếu cố tình đơn giản hóa cuộc sống của bạn, vì vậy hãy chạy thêm hai lệnh nữa. Mặc dù điều này vô nghĩa nhưng tôi đã cảnh báo bạn =)
Vì vậy, hãy tạo vim ECS-CommunityEdition/deploy.xml và thực hiện các thay đổi tối thiểu tối ưu để ECS hoạt động. Danh sách tham số có thể rút gọn lại nhưng mình làm như sau:
- license_accepted: true Bạn không cần phải thay đổi nó, khi triển khai bạn sẽ được yêu cầu chấp nhận nó một cách rõ ràng và sẽ được hiển thị một cụm từ hay. Có lẽ đây thậm chí còn là một quả trứng Phục sinh.
- Bỏ ghi chú các dòng autonames: và custom: Nhập ít nhất một tên mong muốn cho nút - tên máy chủ sẽ được thay thế bằng tên đó trong quá trình cài đặt.
- install_node: 192.168.1.1 Chỉ định IP thực của nút. Trong trường hợp của chúng tôi, chúng tôi chỉ ra giống như trong nmtui
- dns_domain: nhập tên miền của bạn.
- dns_servers: nhập dns của bạn.
- ntp_servers: bạn có thể chỉ định bất kỳ cái nào. Tôi đã lấy cái đầu tiên tôi tìm thấy từ nhóm 0.pool.ntp.org (nó đã trở thành 91.216.168.42)
- autonaming: custom Nếu bạn không bỏ ghi chú, mặt trăng sẽ được gọi là Luna.
- ecs_block_devices:
/ dev / sdb
Vì một số lý do không xác định, có thể có thiết bị lưu trữ khối /dev/vda không tồn tại - storage_pools:
thành viên:
192.168.1.1 Ở đây một lần nữa chúng tôi chỉ ra IP thực của nút - ecs_block_devices:
/dev/sdb Chúng tôi lặp lại thao tác cắt bỏ các thiết bị không tồn tại.
Nói chung, toàn bộ tập tin được mô tả rất chi tiết trong , nhưng ai sẽ đọc nó trong thời điểm khó khăn như vậy. Nó cũng nói rằng mức tối thiểu đủ là chỉ định IP và mặt nạ, nhưng trong phòng thí nghiệm của tôi, một bộ như vậy khởi động khá kém và tôi phải mở rộng nó sang bộ được chỉ định ở trên.
Sau khi thoát trình chỉnh sửa, bạn cần chạy update_deploy /home/admin/ECS-CommunityEdition/deploy.yml và nếu mọi thứ được thực hiện chính xác, điều này sẽ được báo cáo rõ ràng.
Sau đó, bạn vẫn phải chạy videoploy, đợi môi trường cập nhật và bạn có thể bắt đầu quá trình cài đặt bằng lệnh ova-step1 và sau khi hoàn tất thành công, lệnh ova-step2. Quan trọng: không dừng các tập lệnh bằng tay! Một số bước có thể mất nhiều thời gian, có thể không hoàn thành trong lần thử đầu tiên và có thể trông như mọi thứ đã hỏng. Trong mọi trường hợp, bạn cần đợi tập lệnh hoàn thành một cách tự nhiên. Cuối cùng, bạn sẽ thấy một thông báo tương tự như thế này.
Bây giờ cuối cùng chúng ta cũng có thể mở bảng điều khiển WebUI bằng IP mà chúng ta biết. Nếu cấu hình không được thay đổi ở giai đoạn này, tài khoản mặc định sẽ là root/ChangeMe. Bạn thậm chí có thể sử dụng ngay bộ lưu trữ tương thích với S3 của chúng tôi. Nó có sẵn trên các cổng 9020 cho HTTP và 9021 cho HTTPS. Một lần nữa, nếu không có gì thay đổi thì access_key: object_admin1 và secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Nhưng chúng ta đừng đi quá xa và hãy bắt đầu theo thứ tự.
Khi đăng nhập lần đầu tiên, bạn sẽ buộc phải thay đổi mật khẩu của mình thành mật khẩu phù hợp, điều này hoàn toàn chính xác. Trang tổng quan chính cực kỳ rõ ràng, vì vậy hãy làm điều gì đó thú vị hơn là giải thích các số liệu rõ ràng. Ví dụ: hãy tạo một người dùng mà chúng tôi sẽ sử dụng để truy cập vào bộ lưu trữ. Trong thế giới của các nhà cung cấp dịch vụ, những người này được gọi là người thuê nhà. Việc này được thực hiện trong Quản lý > Người dùng > Người dùng đối tượng mới
Khi tạo người dùng, chúng tôi được yêu cầu chỉ định một không gian tên. Về mặt kỹ thuật, không có gì ngăn cản chúng tôi tạo ra nhiều người trong số họ như có người dùng. Và ngược lại. Điều này cho phép bạn quản lý tài nguyên một cách độc lập cho từng đối tượng thuê.
Theo đó, chúng tôi chọn các chức năng chúng tôi cần và tạo khóa người dùng. S3/Atmos sẽ là đủ đối với tôi. Và đừng quên lưu chìa khóa 😉
Người dùng đã được tạo, bây giờ là lúc phân bổ nhóm cho anh ta. Đi tới Quản lý > Nhóm và điền vào các trường bắt buộc. Mọi thứ đều đơn giản ở đây.
Bây giờ chúng tôi đã sẵn sàng mọi thứ để sử dụng hiệu quả bộ lưu trữ S3 của mình.
Thiết lập Veeam
Vì vậy, như chúng ta nhớ, một trong những ứng dụng chính của lưu trữ đối tượng là lưu trữ lâu dài những thông tin hiếm khi được truy cập. Một ví dụ lý tưởng là nhu cầu lưu trữ các bản sao lưu tại một địa điểm từ xa. Trong Veeam Backup & Replication, tính năng này được gọi là Cấp công suất.
Hãy bắt đầu thiết lập bằng cách thêm Dell ECS CE của chúng tôi vào giao diện Veeam. Trên tab Cơ sở hạ tầng sao lưu, khởi chạy Trình hướng dẫn Thêm kho lưu trữ mới và chọn Lưu trữ đối tượng.
Hãy chọn mục đích tất cả bắt đầu - Tương thích với S3.
Trong cửa sổ xuất hiện, hãy viết tên mong muốn và chuyển đến bước Tài khoản. Ở đây bạn cần chỉ định điểm Dịch vụ trong biểu mẫu , khu vực có thể được giữ nguyên và người dùng đã tạo có thể được thêm vào. Máy chủ cổng là cần thiết nếu bộ lưu trữ của bạn được đặt trên một trang web từ xa, nhưng đây đã là một chủ đề để tối ưu hóa cơ sở hạ tầng và là một bài viết riêng, vì vậy bạn có thể yên tâm bỏ qua nó ở đây.
Nếu mọi thứ được chỉ định và định cấu hình chính xác, một cảnh báo về chứng chỉ sẽ xuất hiện và sau đó là một cửa sổ có nhóm nơi bạn có thể tạo thư mục cho các tệp của chúng tôi.
Chúng tôi đi qua trình hướng dẫn đến cùng và tận hưởng kết quả.
Bước tiếp theo là tạo Kho lưu trữ sao lưu mở rộng quy mô mới hoặc thêm S3 của chúng tôi vào kho lưu trữ hiện có - nó sẽ được sử dụng làm Cấp dung lượng để lưu trữ lưu trữ. Không có chức năng sử dụng trực tiếp bộ lưu trữ tương thích với S3, giống như kho lưu trữ thông thường, trong bản phát hành hiện tại. Có quá nhiều vấn đề không rõ ràng cần được giải quyết để điều này xảy ra, nhưng bất cứ điều gì cũng có thể xảy ra.
Đi tới cài đặt kho lưu trữ và bật Cấp công suất. Ở đó mọi thứ đều minh bạch, nhưng có một sắc thái thú vị: nếu bạn muốn tất cả dữ liệu được gửi đến bộ lưu trữ đối tượng càng sớm càng tốt, chỉ cần đặt thành 0 ngày.
Sau khi xem qua trình hướng dẫn, nếu không muốn chờ đợi, bạn có thể nhấn ctrl+RMB trên kho lưu trữ, khởi chạy mạnh mẽ công việc Xếp bậc và xem biểu đồ thu thập thông tin.
Đó là tất cả cho bây giờ. Tôi nghĩ mình đã thành công trong việc chứng minh rằng việc lưu trữ khối không đáng sợ như mọi người nghĩ. Đúng, có các giải pháp và lựa chọn cho xe đẩy và xe đẩy nhỏ, nhưng bạn không thể đề cập đến mọi thứ trong một bài viết. Vì vậy, hãy chia sẻ kinh nghiệm của chúng tôi trong phần bình luận.
Nguồn: www.habr.com