虚拟化数据中心设计

虚拟化数据中心设计

介绍

GOST RV 51987 中明确定义了从用户角度来看的信息系统——“一个自动化系统,其结果是呈现输出信息以供后续使用。” 如果我们考虑内部结构,那么本质上任何IS都是用代码实现的互连算法的系统。 从广义上来说,图灵-丘奇论文是指算法(或 IS)将一组输入数据转换为一组输出数据。
甚至可以说,输入数据的变换就是信息系统存在的意义。 因此,IS和整个IS复合体的值是通过输入和输出数据的值来确定的。
基于此,设计必须从数据出发,以数据为驱动,根据数据的结构和意义来定制架构和方法。

存储数据
设计准备的一个关键阶段是获取计划用于处理和存储的所有数据集的特征。 这些特征包括:
- 数据量;
— 有关数据生命周期的信息(新数据的增长、寿命、过时数据的处理);
——从数据角度进行分类对公司核心业务(机密性、完整性、可用性三者)以及财务指标(例如,最后一小时数据丢失的成本)的影响;
— 数据处理的地理(处理系统的物理位置);
— 每个数据类别的监管要求(例如,Federal Law-152、PCI DSS)。

信息系统

数据不仅被信息系统存储,而且被信息系统处理(转换)。 获得数据特征后的下一步是最完整的信息系统清单、其架构特征、相互依赖性和常规单元中四种类型资源的基础设施要求:
— 处理器计算能力;
— RAM 数量;
——数据存储系统的容量和性能要求;
— 数据传输网络的要求(外部通道、IS组件之间的通道)。
在这种情况下,作为 IS 的一部分,每个服务/微服务都必须有要求。
另外,需要注意的是,为了正确设计,必须以 IS 停机成本(每小时卢布)的形式提供有关 IS 对公司核心业务影响的数据。

威胁模型

必须有一个正式的威胁模型来计划保护数据/服务免受威胁。 此外,威胁模型不仅包括机密性方面,还包括完整性和可用性方面。 那些。 例如:
— 物理服务器故障;
— 架顶交换机故障;
— 数据中心之间的光通信通道中断;
— 整个运行存储系统发生故障。
在某些情况下,威胁模型不仅是针对基础设施组件编写的,而且还针对特定信息系统或其组件编写,例如导致数据结构逻辑破坏的 DBMS 故障。
项目中所有旨在防范未描述的威胁的决策都是不必要的。

监管要求

如果正在处理的数据受到监管机构制定的特殊规则的约束,则需要有关数据集和处理/存储规则的信息。

RPO/RTO 目标

设计任何类型的保护都需要针对每个所描述的威胁制定目标数据丢失指标和目标服务恢复时间。
理想情况下,RPO 和 RTO 应该具有相关的单位时间数据丢失和停机成本。

虚拟化数据中心设计

划分资源池

收集所有初始输入信息后,第一步是根据威胁模型和监管要求将数据集和 IP 分组到池中。 各种池的划分类型是在系统软件级别以编程方式或物理方式确定的。
Примеры:
— 处理个人数据的电路与其他系统完全物理隔离;
— 备份存储在单独的存储系统上。

在这种情况下,池可以是不完全独立的,例如定义两个计算资源池(处理器能力+RAM),它们使用单​​个数据存储池和单个数据传输资源池。

处理能力

虚拟化数据中心设计

摘要,虚拟化数据中心的处理能力要求是通过虚拟处理器(vCPU)的数量及其在物理处理器(pCPU)上的整合率来衡量的。 在这种特殊情况下,1 个 pCPU = 1 个物理处理器核心(不包括超线程)。 vCPU 的数量是所有定义的资源池(每个资源池可以有自己的整合因子)的总和。
负载系统的固结系数是根据现有基础设施或通过试点安装和负载测试凭经验获得的。 对于卸载的系统,使用“最佳实践”。 具体来说,VMware 给出的平均比例为 8:1。

手术记忆

总 RAM 需求可通过简单求和获得。 不建议使用 RAM 超额认购。

存储资源

通过简单地按容量和性能对所有池求和即可获得存储要求。
性能要求以 IOPS 与平均读/写比率以及最大响应延迟(如有必要)相结合来表示。
必须单独指定特定池或系统的服务质量 (QoS) 要求。

数据网络资源

通过对所有带宽池进行简单求和即可获得数据网络需求。
应单独指定特定池或系统的服务质量 (QoS) 和延迟 (RTT) 要求。
作为数据网络资源要求的一部分,还指出了网络流量隔离和/或加密的要求以及首选机制(802.1q、IPSec 等)。

架构选型

本指南不讨论 x86 架构和 100% 服务器虚拟化之外的任何选择。 因此,计算子系统架构的选择取决于服务器虚拟化平台、服务器外形尺寸和一般服务器配置要求的选择。

选择的关键点是确定使用处理、存储和传输数据功能分离的经典方法或聚合方法。

古典建筑 涉及使用智能外部子系统来存储和传输数据,而服务器仅向公共物理资源池提供处理能力和 RAM。 在极端情况下,服务器变得完全匿名,不仅拥有自己的磁盘,甚至没有系统标识符。 在这种情况下,操作系统或管理程序从内置闪存介质或外部数据存储系统(从 SAN 引导)加载。
在经典架构的框架下,刀片和机架的选择主要基于以下原则:
— 成本效益高(平均而言,机架式服务器更便宜);
— 计算密度(刀片更高);
— 能耗和散热(叶片每单位有较高的比单位);
— 可扩展性和可控性(对于大型安装,刀片通常需要较少的精力);
- 使用扩展卡(刀片的选择非常有限)。
融合架构 (也称为 超融合)涉及到数据处理和存储功能的结合,这导致了本地服务器磁盘的使用,从而放弃了经典的刀片外形规格。 对于融合系统,可以使用机架服务器或集群系统,将多个刀片服务器和本地磁盘组合在一个机箱中。

中央处理器/内存

要正确计算配置,您需要了解环境或每个独立集群的负载类型。
CPU 限制 – 性能受处理器能力限制的环境。 添加 RAM 不会改变性能(每台服务器的虚拟机数量)。
内存限制 – 环境受 RAM 限制。 服务器上更多的 RAM 允许您在服务器上运行更多的虚拟机。
GB / MHz (GB / pCPU) – 此特定负载消耗 RAM 和处理器功率的平均比率。 可用于计算给定性能所需的内存量,反之亦然。

服务器配置计算

虚拟化数据中心设计

首先,您需要确定所有类型的负载,并决定将不同的计算池组合或划分到不同的集群中。
接下来,对于每个定义的簇,在预先已知的负载下确定GB/MHz比率。 如果事先未知负载,但对处理器电源利用率水平有一个粗略的了解,则可以使用标准 vCPU:pCPU 比率将池需求转换为物理需求。

对于每个集群,将 vCPU 池需求总和除以系数:
vCPUsum / vCPU:pCPU = pCPUsum – 所需的物理单元数量。 核心
pCPUsum / 1.25 = pCPUht – 针对超线程调整的核心数量
我们假设需要计算一个具有 190 个核心/3.5 TB RAM 的集群。 同时,我们接受 50% 的处理器能力和 75% 的 RAM 的目标负载。

中央处理器
190
CPU利用率
50%

纪念品
3500
内存实用程序
75%

插座
核心
服务器/CPU
服务内存
服务/内存

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

在这种情况下,我们总是使用向上舍入到最接近的整数 (=ROUNDUP(A1;0))。
从表中可以明显看出,多个服务器配置对于目标指标是平衡的:
— 26 台服务器 2*6c / 192 GB
— 19 台服务器 2*10c / 256 GB
— 10 台服务器 2*18c / 512 GB

然后,必须根据其他因素来选择这些配置,例如热封装和可用冷却、已使用的服务器或成本。

选择服务器配置的特点

宽虚拟机。 如果需要托管宽 VM(相当于 1 个 NUMA 节点或更多),建议在可能的情况下选择配置允许此类 VM 保留在 NUMA 节点内的服务器。 当宽虚拟机数量较多时,存在集群资源碎片的危险,在这种情况下,选择允许宽虚拟机尽可能密集放置的服务器。

单一故障域大小。

服务器规模的选择也是基于最小化单一故障域的原则。 例如,当选择:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
在其他条件相同的情况下,您必须选择第二个选项,因为当一台服务器发生故障(或正在维护)时,丢失的集群资源不是 33%,而是 17%。 同样,受事故影响的VM和IS数量减半。

基于性能的经典存储系统测算

虚拟化数据中心设计

经典存储系统总是使用最坏情况进行计算,排除操作缓存和操作优化的影响。
作为基本性能指标,我们取磁盘的机械性能(IOPSdisk):
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

接下来,使用以下公式计算磁盘池中的磁盘数量: = 总 IOPS * ( RW + (1 –RW) * RAIDPen) / IOPSdisk。 在哪里:
- 总IOPS – 磁盘池所需的总性能(以 IOPS 为单位)
- RW – 读取操作的百分比
- RAID笔 – 所选 RAID 级别的 RAID 惩罚

在此处阅读有关设备 RAID 和 RAID 惩罚的更多信息 - 存储性能。 第一部分。 и 存储性能。 第二部分。 и 存储性能。 第三部分

根据得到的磁盘数量,计算满足存储容量要求的可能选项,包括具有多级存储的选项。
使用SSD作为存储层的系统的计算单独考虑。
Flash Cache计算系统的特点

闪存缓存 – 使用闪存作为二级缓存的所有专有技术的通用名称。 当使用闪存缓存时,存储系统通常会计算为从磁盘提供稳定的负载,而峰值则由缓存提供服务。
在这种情况下,有必要了解负载概况和存储卷块访问的本地化程度。 闪存缓存是一种针对具有高度本地化查询的工作负载的技术,实际上不适用于统一加载的卷(例如分析系统)。

低端/中端混合动力系统的计算

中低阶层的混合系统使用多级存储,数据按计划在不同级别之间移动。 同时,最佳模型的多级存储块大小为256 MB。 这些特性不允许我们像许多人错误地认为的那样,将分层存储技术视为一种提高生产力的技术。 中低端系统中的多级存储是一种针对负载不均匀性明显的系统优化存储成本的技术。

对于分层存储,首先计算顶层的性能,而底层存储被认为只对缺失的存储容量做出贡献。 对于混合多层系统,必须在多层池中使用闪存缓存技术,以补偿来自较低级别的突然加热数据的性能下降。

在分层磁盘池中使用 SSD

虚拟化数据中心设计

SSD 在多级磁盘池中的使用有多种变化,具体取决于给定制造商的闪存缓存算法的具体实现。
SSD级别的磁盘池存储策略的一般做法是SSD优先。
只读闪存。 对于只读闪存缓存,无论缓存如何,SSD 上的存储层都具有显着的写入本地化功能。
读/写闪存缓存。 对于闪存缓存,写入缓存大小首先设置为最大缓存大小,只有当缓存大小不足以服务整个本地化工作负载时,才会出现 SSD 存储层。
SSD 和缓存性能计算每次都是根据制造商的建议进行的,但始终针对最坏的情况。

来源: habr.com

添加评论