我们详细讨论了是什么使 OceanStor Dorado 18000 V6 成为真正的高端存储系统，并为未来几年提供了可观的储备。 与此同时，我们消除了人们对全闪存存储的普遍担忧，并展示了华为如何充分利用它们：端到端 NVMe、SCM 上的额外缓存以及一大堆其他解决方案。
新数据格局——新数据存储
所有行业的数据强度都在上升。 银行业就是一个明显的例子。 过去几年，银行交易量增长了十倍以上。 如图所示 仅在俄罗斯，2010 年至 2018 年期间，使用塑料卡进行的非现金交易数量就增长了 5,8 倍以上，从每人每年 172 笔增加到 XNUMX 笔。 首先，小额支付的胜利：我们大多数人已经与网上银行联系在一起，银行现在触手可及——通过电话。
信贷机构的 IT 基础设施必须做好应对此类挑战的准备。 这确实是一个挑战。 除此之外，如果早些时候银行只需要在营业时间内确保数据的可用性，那么现在是 24/7。 直到最近，5 毫秒还被认为是可接受的延迟率，那又怎样呢？ 现在即使是 1 毫秒也太过分了。 对于现代存储系统，目标是 0,5 毫秒。
可靠性也是如此：在2010年代，人们形成了一种经验认识，认为其水平足以达到“五十分”——99,999%。 确实，这种理解已经过时了。 2020年，一个业务对存储的要求达到99,9999%，对整体架构的要求达到99,99999%，这是绝对正常的。 而这根本不是心血来潮，而是一种迫切的需求：要么基础设施维护没有时间窗口，要么时间窗口很小。
为了清楚起见，将这些指标投射到货币层面上会很方便。 最简单的方法是以金融机构为例。 上图显示了世界十大银行每家每小时的收入是多少。 仅对中国工商银行来说，这一数字就不少于 10 万美元。这正是中国最大的信贷机构的 IT 基础设施停机一小时所造成的损失（且仅考虑利润损失）。计算！）。 从这个角度来看，很明显，停机时间的减少和可靠性的提高，不仅是百分之几，甚至是百分之几，都是完全合理的。 不仅是为了提高竞争力，而且只是为了保持市场地位。
其他行业也正在发生类似的变化。 例如，在航空运输方面：在大流行之前，航空旅行的势头逐年增长，许多人开始几乎像出租车一样使用它。 就消费模式而言，服务全面可用的习惯已经在社会中扎根：到达机场后，我们需要连接Wi-Fi、使用支付服务、访问该地区的地图等。结果，公共场所基础设施和服务的负载增加了许多倍。 一年前我们还认为可以接受的基础设施建设方法正在迅速过时。
现在转向全闪存还为时过早吗？
要解决上述问题，从性能角度来说，AFA——全闪存阵列，即完全基于闪存构建的阵列——是最佳选择。 除非直到最近，人们还怀疑它们的可靠性是否与基于 HDD 和混合硬盘组装的硬盘相当。 毕竟，固态闪存有一个称为平均故障间隔时间或MTBF（平均故障间隔时间）的指标。 唉，由于 I/O 操作而导致的单元退化是必然的。
因此，当SSD寿命较长时，如何防止数据丢失的问题给全闪存的前景蒙上阴影。 备份是一个熟悉的选项，只是根据现代要求，恢复时间会长得令人无法接受。 另一种出路是在主轴驱动器上设置第二级存储，但是，采用这种方案，“严格闪存”系统的一些优点就会丧失。
然而，数字却不然：包括谷歌在内的数字经济巨头近年来的统计数据表明，闪存比硬盘可靠数倍。 此外，无论是短期还是长期：闪存驱动器平均需要四到六年才会出现故障。 在数据存储可靠性方面，它们丝毫不逊色于主轴磁盘上的驱动器，甚至超过它们。
支持主轴驱动器的另一个传统论据是它们的经济性。 毫无疑问，在硬盘上存储 XNUMX TB 的成本仍然相对较低。 如果仅考虑设备成本，则在主轴驱动器上保存 XNUMX TB 数据比在 SSD 上保存更便宜。 然而，在财务规划的背景下，重要的不仅是购买特定设备的金额，还包括长期拥有该设备（三到七年）的总成本是多少。
从这个角度来看，就完全不同了。 即使我们忽略重复数据删除和压缩（这些技术通常用于闪存阵列并使其运行更经济），但介质占用的机架空间、散热和功耗等特征仍然存在。 据他们称，同花的表现优于其前辈。 因此，考虑到所有参数，闪存存储系统的 TCO 通常几乎是主轴驱动器或混合驱动器阵列的一半。
根据 ESG 报告，Dorado V6 全闪存存储系统可在五年内将拥有成本降低高达 78%，其中包括通过高效的重复数据删除和压缩，以及低功耗和散热。 德国分析公司 DCIG 还推荐它们作为当今 TCO 方面最好的产品。
使用固态硬盘可以节省可用空间、减少故障次数、减少解决方案维护时间、降低存储系统的功耗和散热。 事实证明，AFA 至少在经济上与主轴驱动器上的传统阵列相当，甚至常常超越它们。
华为同花顺
在我们的全闪存存储中，排名第一的是高端系统OceanStor Dorado 18000 V6。 不仅在我们之中：总的来说，在行业中，它保持着速度记录 - 在最大配置下高达 20 万次 IPOS。 此外，它非常可靠：即使两个控制器同时飞行，或者最多七个控制器相继飞行，或者整个发动机同时飞行，数据也将保存下来。 “千分之八”的相当大的优势是由连接到其中的人工智能赋予的，包括管理内部流程的灵活性。 让我们看看这是如何实现的。
在很大程度上，华为处于领先地位，因为它是市场上唯一一家完全自主生产存储系统的制造商。 我们有自己的电路、自己的微代码、自己的服务。
OceanStor Dorado系统中的控制器基于华为自行设计和生产的处理器——鲲鹏920。它使用了我们的智能基板管理控制器（iBMC）控制模块。 AI芯片，即Ascend 310，优化故障预测并提出设置建议，也是华为的，还有I/O板——Smart I/O模块。 最后，SSD中的控制器是由我们设计和制造的。 所有这些都为制定整体平衡的高性能解决方案奠定了基础。
在过去的一年里，我们实施了一个项目，在俄罗斯最大的银行之一引入我们最高端的存储系统。 结果，城域集群中的40多个OceanStor Dorado 18000 V6单元表现出稳定的性能：每个系统可以去除超过XNUMX万的IOPS，并且这是考虑到由于距离而导致的延迟。
端到端 NVMe
华为最新的存储系统支持端到端NVMe，我们强调这一点是有原因的。 传统上用于访问驱动器的协议是在古老的 IT 时代开发的：它们基于 SCSI 命令（你好，1980 年代！），它提供了很多功能以确保向后兼容性。 无论采用何种访问方法，这种情况下的协议开销都是巨大的。 因此，对于使用与 SCSI 相关的协议的存储，I/O 延迟不能低于 0,4–0,5 ms。 反过来，作为一种旨在与闪存配合使用的协议，并且为了臭名昭著的向后兼容性而摆脱了束缚，NVMe（非易失性内存 Express）将延迟降低至 0,1 毫秒，此外，不是在存储系统上，而是在整个堆栈，从主机到驱动器。 毫不奇怪，NVMe符合可预见的未来数据存储的发展趋势。 我们还依赖 NVMe，并逐渐远离 SCSI。 今天生产的所有华为存储系统，包括Dorado系列，都支持NVMe（但是，作为端到端，它仅在Dorado V6系列的高级型号上实现）。
FlashLink：一大堆技术
整个 OceanStor Dorado 系列的基石技术是 FlashLink。 更准确地说，它是一个结合了确保高性能和可靠性的一整套技术的术语。 这包括重复数据删除和压缩技术、RAID 2.0+数据分配系统的功能、“冷”和“热”数据的分离、全条带顺序数据记录（随机写入，新的和更改的数据被聚合到一个大堆栈并按顺序写入，这提高了读写速度）。
除此之外，FlashLink 还包括两个重要的组件 - 磨损均衡和全局垃圾收集。 它们应该分开处理。
事实上，任何固态硬盘都是一个微型存储系统，拥有大量的块和保证数据可用性的控制器。 除其他外，它的提供是因为来自“被杀死”细胞的数据被转移到“未被杀死”细胞。 这确保了它们可以被读取。 这种传输有多种算法。 一般情况下，控制器会尝试平衡所有存储单元的磨损。 这种方法有一个缺点。 当数据移动到 SSD 内部时，其执行的 I/O 操作数量会大大减少。 就目前而言，这是一种必要的罪恶。
这样，如果系统中有很多SSD，性能图表上就会出现“锯子”，急剧上升和下降。 问题在于，池中的一个驱动器可以随时开始数据迁移，并且阵列中所有 SSD 的整体性能会同时降低。 但华为工程师想出了如何避免“电锯”。
幸运的是，无论是驱动器中的控制器，还是华为的存储控制器和固件都是“原生”的，OceanStor Dorado 18000 V6中的这些进程都是在阵列中的所有驱动器上集中、同步启动的。 此外，在存储控制器的命令下，并且恰好在没有重 I/O 负载的情况下。
人工智能芯片还参与选择正确的数据传输时刻：根据前几个月的点击统计，它能够以最高的概率预测在不久的将来是否会出现活跃的 I/O，并且如果答案是否定的，并且当前系统上的负载很小，则控制器命令所有驱动器：需要磨损均衡的驱动器应该立即同步执行。
此外，系统控制器可以看到驱动器每个单元中发生的情况，这与竞争制造商的存储系统不同：他们被迫从第三方供应商购买固态介质，这就是单元级详细信息无法提供给用户的原因。此类存储的控制器。
因此，OceanStor Dorado 18000 V6在磨损均衡操作上的性能下降时间很短，并且主要在不干扰任何其他进程的情况下执行。 这提供了持续的高稳定性能。
OceanStor Dorado 18000 V6 为何如此可靠
现代数据存储系统有四个级别的可靠性：
- 硬件，在驱动层；
- 建筑、设备层面；
- 架构与软件部分一起；
- 累积的，与整个解决方案有关。
我们记得，由于我们公司设计和制造存储系统本身的所有组件，因此我们在四个级别中的每个级别上提供可靠性，并且能够彻底监控其中各个级别当前发生的情况。
驱动器的可靠性主要由前面描述的磨损均衡和全局垃圾收集来保证。 当 SSD 对于系统来说就像一个黑匣子时，它不知道其中的单元到底是如何磨损的。 对于OceanStor Dorado 18000 V6，驱动器是透明的，这使得可以在阵列中的所有驱动器之间均匀平衡。 因此，它可以显着延长 SSD 的使用寿命并确保其运行的高可靠性。
此外，驱动器的可靠性还受到其中额外冗余单元的影响。 除了简单的保留之外，存储系统还使用所谓的 DIF 单元，其中包含校验和以及附加代码，以保护每个块免受单个错误的影响，此外还提供 RAID 阵列级别的保护。
架构可靠性的关键是 SmartMatrix 解决方案。 简而言之，这些是位于无源背板上的四个控制器，作为一个引擎（引擎）的一部分。 其中两个引擎分别带有八个控制器，通过驱动器连接到公共架上。 得益于 SmartMatrix，即使八个控制器中的七个停止运行，对所有数据（包括读取和写入）的访问权限仍将保留。 当八个控制器中的六个丢失时，甚至可以继续缓存操作。
同一无源背板上的 I/O 板可供前端和后端的所有控制器使用。 通过这种全网状连接方案，无论出现什么故障，都始终保留对驱动器的访问。
在存储系统能够防范的故障模式的背景下讨论架构的可靠性是最合适的。
如果两个控制器“掉落”（包括同时掉落），存储将在这种情况下完好无损。 这种稳定性的实现是因为任何一个缓存块在不同的控制器上肯定还有两个副本，即总共存在三个副本。 并且至少有一个是在不同的引擎上。 因此，即使整个引擎及其所有四个控制器停止工作，也可以保证高速缓存中的所有信息都将被保存，因为高速缓存将在剩余引擎的至少一个控制器中复制。 最后，通过串行连接，您可能会丢失最多七个控制器，即使它们以两个为一组被消除， - 同样，所有 I/O 和缓存中的所有数据都将被保留。
与其他厂商的高端存储相比，可以看出，只有华为在两个控制器或整个引擎死亡后仍能提供完整的数据保护和完整的可用性。 大多数供应商使用一种带有驱动器连接的所谓控制器对的方案。 不幸的是，在此配置中，如果两个控制器发生故障，则存在丢失对驱动器的 I/O 访问的风险。
遗憾的是，客观上并不能排除单个组件的故障。 在这种情况下，性能会下降一段时间：有必要重建路径并恢复对那些要写入但尚未写入或被请求写入的块的 I/O 操作的访问。被阅读。 OceanStor Dorado 18000 V6 的平均重建时间约为一秒，明显低于业内最接近的同类产品（4 秒）。 这是通过相同的无源背板实现的：当控制器发生故障时，其余部分立即看到其输入/输出，特别是哪个数据块尚未被写入； 因此，最近的控制器将接管该过程。 因此能够在一秒钟内恢复性能。 我必须补充一点，间隔是稳定的：一个控制器一秒，另一个控制器一秒，等等。
OceanStor Dorado 18000 V6无源背板中，所有单板均可供所有控制器使用，无需任何额外寻址。 这意味着任何控制器都能够在任何端口上获取 I/O。 无论前端端口 I/O 进入什么，控制器都将准备好处理它。 因此，内部转账数量最少，平衡也显着简化。
前端平衡是使用多路径驱动程序执行的，并且附加平衡是在系统本身内执行的，因为所有控制器都能看到所有 I/O 端口。
传统上，华为所有阵列的设计方式都是不存在单点故障。 热插拔无需重新启动系统，适用于所有组件：控制器、电源模块、冷却模块、I/O 板等。
提高系统整体的可靠性以及RAID-TP等技术。 这是 RAID 组的名称，它允许您确保最多三个驱动器不会同时发生故障。 和 1 TB 重建始终需要不到 30 分钟。 最佳记录结果比主轴驱动器上相同数据量的记录速度快八倍。 因此，可以使用极大容量的驱动器，例如 7,68 甚至 15 TB，而不必担心系统的可靠性。
重要的是，重建不是在备用驱动器中进行，而是在备用空间（备用容量）中进行。 每个驱动器都有专用空间，用于发生故障后的数据恢复。 因此，恢复不是根据“多对一”方案而是根据“多对多”方案来执行，因此可以显着加速该过程。 只要还有空闲容量，恢复就可以继续。
我们还应该提到来自多个存储的解决方案的可靠性 - 在城域集群中，或者用华为的术语来说，HyperMetro。 我们的数据存储系统的整个型号范围都支持此类方案，并允许文件和块访问。 此外，在块一上，它通过光纤通道和以太网（包括通过 iSCSI）运行。
本质上，我们讨论的是从一个存储系统到另一个存储系统的双向复制，其中复制的 LUN 被赋予与主 LUN 相同的 LUN-ID。 该技术的工作原理主要是由于两个不同系统的缓存的一致性。 因此，对于主机来说，它位于哪一侧并不重要：在这里和那里它都看到相同的逻辑驱动器。 因此，没有什么可以阻止您部署跨两个站点的故障转移集群。
对于仲裁，使用物理或虚拟 Linux 机器。 它可以位于第三站点，并且对其资源的要求较小。 一种常见的情况是专门租用一个虚拟站点来托管仲裁虚拟机。
该技术还允许扩展：两个存储 - 在一个城域集群中，一个附加站点 - 具有异步复制。
从历史上看，许多客户已经形成了一个“存储动物园”：一堆来自不同制造商、不同型号、不同代、具有不同功能的存储系统。 然而，主机的数量可能令人印象深刻，而且它们通常是虚拟化的。 在这种情况下，管理的首要任务之一是快速、统一、方便地向主机提供逻辑磁盘，最好不要深入了解这些磁盘的物理位置。 这就是我们的OceanStor DJ软件解决方案的设计目的，它可以统一管理各种存储系统并从中提供服务，而无需绑定到特定的存储模型。
相同的人工智能
前面已经提到，OceanStor Dorado 18000 V6内置人工智能算法Ascend处理器。 它们首先用于预测故障，其次形成调整建议，这也提高了存储的性能和可靠性。
预测期限为两个月：人工智能机器会假设这段时间内大概率会发生什么，是否需要扩展、更改访问策略等。提前发出建议，使您可以提前安排系统维护窗口。
华为人工智能发展的下一阶段目标是将其推向全球水平。 在服务维护（故障转移或建议）过程中，华为会汇总所有客户存储的日志系统的信息。 根据收集到的信息，对已发生或潜在的故障进行分析，并提出全局建议 - 不是基于一个或什至十几个特定存储系统的功能，而是基于数千个此类存储系统正在发生和已经发生的情况设备。 样本巨大，基于它，人工智能算法开始极快地学习，这就是预测准确性显着提高的原因。
兼容性
2019-2020年，关于我们的设备与VMware产品的交互，有很多影射。 为了最终阻止他们，我们负责任地声明：VMware是华为的合作伙伴。 我们对硬件与其软件的兼容性进行了所有可能的测试，因此，在 VMware 网站上，硬件兼容性表毫无保留地列出了我们生产的当前可用的存储系统。 也就是说，有了VMware软件环境，就可以使用包括Dorado V6在内的华为存储，并且得到全面支持。
我们与博科的合作也是如此。 我们将继续互动并测试我们产品的兼容性，并可以自信地声明我们的存储系统与最新的 Brocade FC 交换机完全兼容。
接下来是什么？
我们不断开发和改进我们的处理器：它们变得更快、更可靠，性能也不断提高。 我们还在改进人工智能芯片——基于它们，还生产了加速重复数据删除和压缩的模块。 那些有权访问我们的配置器的人可能已经注意到，这些卡已经可以在 Dorado V6 型号中订购。
我们还致力于在存储级内存上进行额外的缓存 - 非易失性内存，具有特别低的延迟，每次读取大约十微秒。 除此之外，SCM 还可以提升性能，尤其是在处理大数据和解决 OLTP 任务时。 下次更新后，SCM 卡应该可供订购。
当然，文件访问功能将扩展到整个华为数据存储范围 - 请继续关注我们的更新。
来源： habr.com