Microsoft SQL Server 2019 en Dell EMC Unity XT flash-arrays

Сегодня мы познакомим вас с особенностями использования SQL Server 2019 с системой хранения Unity XT, а также дадим рекомендации по виртуализации SQL Server с помощью технологии VMware, по настройке и управлению базовыми компонентами инфраструктуры Dell EMC.

В 2017 году Dell EMC и VMware опубликовали результаты опроса о тенденциях и эволюции SQL Server — «Трансформация SQL Server: на пути к гибкости и отказоустойчивости» (SQL Server Transformation: Toward Agility and Resiliency), в котором использовался опыт сообщества членов Профессиональной ассоциации SQL Server (Professional Association of SQL Server, PASS). Результаты показывают, что среды баз данных SQL Server растут как по размеру, так и по сложности, что обусловлено увеличивающимися объемами данных и новыми бизнес-требованиями. Базы данных SQL Server в настоящее время развернуты во многих компаниях, обеспечивая работу критически важных приложений, и нередко служат основой цифровой трансформации. 

За время, прошедшего с момента проведения данного опроса, Microsoft выпустила следующее поколение СУБД — SQL Server 2019. В дополнение улучшению основных функций реляционного движка и хранения данных появились новые сервисы и функции. Например, SQL Server 2019 включает поддержку рабочих нагрузок больших данных с использованием Apache Spark и распределенной файловой системы Hadoop (Hadoop Distributed File System, HDFS).

Альянс Dell EMC и Microsoft

Dell EMC и Microsoft давно сотрудничают в области разработки решений для SQL Server. Успешное внедрение комплексной платформы базы данных, такой как Microsoft SQL Server, требует координации функций программного обеспечения с базовой ИТ-инфраструктурой. Эта инфраструктура включает в себя вычислительные мощности процессора, ресурсы памяти, хранилища и сетевые сервисы. Dell EMC предлагает инфраструктуру для платформы SQL Server для любого типа рабочей нагрузки и приложений.

Линейка серверов Dell EMC PowerEdge предлагает множество конфигураций процессоров и памяти. Эти конфигурации подходят для широкого спектра нагрузок: от небольших корпоративных приложений до крупнейших критически важных систем, таких как планирование ресурсов предприятия (ERP), хранилища данных, расширенная аналитика, электронная коммерция и пр. Линейка СХД рассчитана на хранение неструктурированных и структурированных данных. 

Клиенты, которые развертывают SQL Server 2019 с инфраструктурой Dell EMC, могут работать со структурированными и неструктурированными данными, используя SQL Server и Apache Spark. SQL Server также поддерживает сочетания технологий клиентского доступа, межсерверных коммуникаций и коммуникаций «сервер-хранилище». Концепция Dell EMC основана на дезагрегированной модели, предлагающей открытую экосистему. Организации могут выбирать из широкого спектра стандартных отраслевых сетевых приложений, операционных систем и аппаратных платформ. Такой подход дает максимальный контроль над технологиями и архитектурами, что приводит к ощутимой экономии средств и гибкости.

VMware обеспечивает виртуализацию всех критически важных компонентов инфраструктуры, которые необходимы SQL Server для достижения высокой производительности и согласованности операций. Помимо частного облака, для рабочих нагрузок VMware также в настоящее время предлагает гибридные модели, охватывающие частные и публичные облачные архитектуры. 

Многие организации прибегают к виртуализации, чтобы снизить затраты на инфраструктуру, обеспечить высокую доступность и упростить аварийное восстановление. 94% опрошенных специалистов по SQL Server сообщают о том или ином уровне виртуализации в своей среде. 70% тех, кто использует виртуализацию, выбрали VMware. У 60% уровень виртуализации SQL Server составляет 75% и более. Кроме того, результаты опроса убедительно свидетельствуют, что высокая доступность и аварийное восстановление, реализованные на уровне виртуализации, стали важными факторами при принятии решения о виртуализации баз данных SQL Server.

Новые функции SQL Server 2019

Платформа баз данных SQL Server 2019 включает в себя широкий спектр технологий, функций и сервисов, поддерживающих критически важные приложения, такие как аналитика, базы данных предприятий, бизнес-аналитика (BI) и масштабируемая обработка транзакций (OLTP). Платформа SQL Server приобрела возможности для управления интеграцией данных, хранилищем данных, отчетностью и расширенной аналитикой, функциями репликации и управления полуструктурированными типами данных. Конечно, не всем клиентам или приложениям требуются все эти функции. Кроме того, во многих случаях предпочтительно разделять сервисы SQL Server с помощью виртуализации. 

Сегодня предприятиям часто приходится полагаться на большие объемы данных из широкого спектра постоянно увеличивающихся наборов данных. С помощью SQL Server 2019 вы можете получать ценную информацию практически в реальном времени из всех данных. Кластеры SQL Server 2019 обеспечивают полномасштабную среду для работы с большими наборами данных, в том числе с использованием машинного обучения и возможностей искусственного интеллекта. Основные новые функции и обновления в SQL Server 2019 перечислены в документе Microsoft.

Система хранения среднего класса Dell EMC Unity XT

Серия СХД Dell EMC Unity появилась почти три года назад, и с тех пор было продано более 40 000 систем. Заказчики оценили этот массив среднего класса за его простоту, производительность и экономичность. Платформы среднего класса Dell EMC Unity XT — это решения с общим хранилищем, которые обеспечивают низкую задержку, высокую пропускную способность и низкие издержки на управление для рабочих нагрузок SQL Server. Все системы Unity XT используют архитектуру с двумя процессорами (storage processors, SP) для обслуживания ввода-вывода и выполнения операций с данными в режиме active/aсtive. В Unity XT dual SP для обеспечения высокой производительности и эффективности применяется полное внутреннее подключение SAS 12 Гбит/с и запатентованная многоядерная архитектура. Дисковые массивы позволяют наращивать емкость хранения с помощью дополнительных полок.

В Dell EMC Unity XT, новом поколении массивов (гибридных и целиком построенных на флэш-памяти), значительно выросла производительность, повышена эффективность, добавлены новые возможности и сервисы для мультиоблачных сред. 

Архитектура Unity XT позволяет одновременно обрабатывать данные, сокращать их объемы и поддерживать такие сервисы как репликация без ущерба для производительности приложений. По сравнению с решением предыдущего поколения производительность СХД Dell EMC Unity XT увеличена вдвое, время отклика стало на 75% меньше. И конечно, Dell EMC Unity поддерживает стандарт NVMe.

СХД с накопителями NVMe демонстрируют свои лучшие качества в приложениях, чувствительных к задержкам. Например, в таких приложениях как массивные базы данных NVMe обеспечивает малые задержки и высокие пиковые скорости передачи данных. Снижение задержек и увеличение параллелизма значительно повышают производительность операций чтения/записи. Не случайно, согласно прогнозу IDC, к 2021 году флэш-массивы с подключением по NVMe и NVMe-oF (NVMe over Fabric) составят примерно половину всех доходов от продаж внешних систем хранения в мире. 

Экономичность хранения улучшают алгоритмы сжатия данных. Dell EMC Unity XT может сокращать объем данных в пять раз. Другой важный показатель — общая эффективность системы. Dell EMC Unity XT использует системную емкость на 85%. Сжатие и дедупликация выполняются в режиме inline — на уровне контроллеров. Данные сохраняются в сжатом виде. Система также автоматизирует работу со снимками данных.

Простые в использовании флэш-массивы Unity с унифицированным (блочным и файловым) доступом обеспечивают стабильное время отклика, интегрируются с облачными сервисами хранения, поддерживают апгрейд без миграции данных. В базовой конфигурации эта универсальная система хранения устанавливается за 30 мин.

Технология хранения данных под названием «динамические пулы» позволяет перейти от статического к динамическому наращиванию памяти, дает высокую операционную гибкость и простоту увеличения емкости системы. Динамические пулы экономят емкость и бюджет, требуют меньше времени на перестроение. Наращивание емкости и производительности Dell EMC Unity не требует миграции данных. 

Многие компании сегодня в сочетании со своей локальной инфраструктурой используют несколько публичных облачных сервисов. Dell EMC Unity XT может функционировать как компонент облачной среды Dell Technologies Cloud. Эту СХД можно использовать в публичном облаке и переносить данные в частное облако. Кроме того, СХД Dell EMC Unity XT доступна по модели «как сервис». Это один из сервисов облачного хранения Dell EMC Cloud Storage Services.
 
Облачные хранилища приобретают все большую популярность, поскольку позволяют повысить рентабельность инвестиций за счет снижения затрат на инфраструктуру. Сервисы облачного хранения Cloud Storage Services расширяют центры обработки данных клиентов до облака, предоставляя хранилище Dell EMC (напрямую подключенное к ресурсам публичного облака) как сервис. Сторонние провайдеры могут обеспечить высокоскоростные соединение (с малой задержкой) публичного облака непосредственно с системами Dell EMC Unity, PowerMax и Isilon в ЦОД клиента.

В семейство Unity XT входят системы Unity XT All-Flash, Unity XT Hybrid, UnityVSA и Unity Cloud Edition.
 

Унифицированные гибридные и флэш-массивы 

Системы хранения Unity XT Hybrid и Unity XT All-Flash на базе процессоров Intel реализуют интегрированную архитектуру для блочного, файлового доступа и томов VMware VVols с поддержкой протоколов сетевого хранения (NAS), iSCSI и Fibre Channel (FC). Платформы Unity XT Hybrid и Unity XT All-Flash готовы к использованию накопителей NVMe.

Гибридные системы Unity XT поддерживают работу в мультиоблачных средах. Поддержка мультиоблачных сред означает расширение системы хранения данных в облако или развертывание в облаке с гибкими вариантами использования ресурсов. Мультиоблачные хранилища призваны обеспечить мобильность, переносимость данных между несколькими облачными платформами – частными и публичными. Это влияет не только на процессы перемещения данных, но и на организацию доступа приложений к данным в нескольких публичных облаках.

Данные гибридные массивы предоставляют следующие возможности:

• Масштабируемость до 16 ПБ «сырой» емкости.
• Встроенные функции сокращения объема данных для всех флэш-пулов.
• Быстрая установка и настройка (в среднем она занимает 25 минут).

Технологии твердотельных накопителей быстро совершенствуются, и в ближайшие годы на рынке появятся новые революционные продукты. Тем временем организации будут продолжать заменять традиционные диски HDD на твердотельные накопители для повышения производительности, простоты управления и энергосбережения. Новые поколения флэш-массивов будут отличать более совершенные средства автоматизации хранения, интеграции с публичным облаком и интегрированной защиты данных. 

Системы Unity XT All-Flash обеспечивают высокую скорость, эффективность и поддержку нескольких облаков. Их особенности:

• Удвоенная производительность.
• Сокращение объема данных до 7: 1.
• Быстрая установка и настройка (процесс занимает менее 30 минут).

 UnityVSA

Система UnityVSA является программно-определяемой СХД для виртуальных сред VMware ESXi, использующей серверную, общую или облачную емкость хранения. UnityVSA HA, конфигурация с двумя хранилищами UnityVSA, обеспечивает дополнительную отказоустойчивость. Хранилище UnityVSA предлагает:

• До 50 ТБ емкости полнофункционального унифицированного хранилища.
• Совместимость с системами и функциями Unity XT.
• Поддержку систем высокой доступности (UnityVSA HA).
• Подключение как NAS и iSCSI.
• Репликацию данных с других платформ Unity XT.

Unity Cloud Edition

Для синхронизации файлов и операций аварийного восстановления с облаком семейство Unity XT включает в себя версию Unity Cloud Edition, которая обеспечивает:

• Полнофункциональные возможности хранения с использованием программно-определяемой СХД (SDS), развернутой в облаке.
• Простое развертывание блочного и файлового хранилища с помощью VMware Cloud в AWS.
• Поддержку аварийного восстановления, включая тестирование и анализ данных.

Unity XT All Flash для SQL Server

В отчете Unisphere Research за 2017 год «Трансформация SQL Server: на пути к гибкости и отказоустойчивости» (SQL Server Transformation: Toward Agility and Resiliency) 22% респондентов сообщили, что они используют технологию флэш-хранилища в продуктиве (16%) или планируют это делать (6%). 30% применяют гибридные массивы, включающие флэш-память. 13% используют флэш-массивы с прямым подключением. 13% делают резервные копии баз данных SQL Server во флэш-хранилище.

Такое быстрое внедрение флэш-хранилищ для использования с SQL Server означает, что массивы Unity XT All-Flash особенно хорошо подходят для разработчиков и администраторов SQL Server. Системы Unity XT All-Flash предоставляют разработчикам и администраторам SQL Server возможности и производительность, которые выходят за рамки того, что предлагают типичные сети хранения данных (SAN).

Системы Unity XT All-Flash, которые готовы к внедрению NVMe (для еще более высокой высокой производительности и низкой задержки), имеют форм-фактор 2U, поддерживают двухъядерные процессоры, два контроллера в режиме active/active.

Модели Unity XT All-Flash

Unity XT 

Ferwurkers 

Память (на процессор)

Макс. число накопителей

Макс. «сырая» емкость (ПБ) 

380F 

1 Intel E5-2603 v4 
6c/1.7 ГГц

64 

500 

2.4 

480F 

2 Intel Xeon Silver 
4108 8c/1.8 ГГц 

96 

750 

4.0 

680F 

2 Intel Xeon Silver 
4116 12c/2.1 ГГц

192 

1,000 

8.0 

880F 

2 Intel Xeon Gold 6130 
16c/2.1 ГГц

384 

1,500 

16.0 

Подробности можно найти в спецификациях массива (Dell EMC Unity XT Storage Series Specification Sheet).

Пулы хранения данных

Многие работающие с SQL Server профессионалы знают, что все современные массивы хранения предоставляют возможность группировать диски в более крупные единицы хранения с фиксированным уровнем защиты RAID. Отдельные группы дисков с защитой RAID – это традиционные пулы хранения. В то время как гибридные системы Unity XT поддерживают только традиционные пулы, массивы Unity XT All-Flash также предлагают динамические пулы хранения. В случае динамических пулов хранения защита RAID применяется к экстентам дисков – единицам хранения меньше полного диска. Динамические пулы обеспечивают большую гибкость в управлении и расширении дисковых пулов. 

Dell EMC предоставляет рекомендации по управлению пулами хранения для достижения максимальной производительности при минимальной сложности. Например, рекомендуется минимизировать количество пулов хранения Unity XT, чтобы уменьшить сложность и повысить гибкость. Однако настройка дополнительных пулов хранения может быть весьма целесообразной в некоторых случаях, в том числе, когда вам необходимо:

• Поддерживать отдельные рабочие нагрузки с разными профилями ввода/вывода.
• Выделить ресурсы для достижения определенных параметров производительности.
• Выделять отдельные ресурсы для многоарендности.
• Создавать меньшие домены для защиты от сбоя

Тома хранения (LUN)

Как найти компромисс между управлением и гибкостью при выборе количества томов в массиве? Для максимальной гибкости в Unity с SQL Server рекомендуется создавать тома для каждого файла базы данных. На практике большинство организаций применяют многоуровневый подход, при котором критически важные базы данных получают максимальную гибкость, а файлы менее важных баз данных группируют на меньшем количестве больших томов. Мы рекомендуем изучить все требования к базам данных и любым связанным с ними приложениям, поскольку технологии защиты данных и мониторинга зависят от изоляции и размещения файлов.

Многочисленными томами нередко сложно управлять, особенно в виртуальных средах. Виртуализированные среды SQL Server являются хорошим примером того, когда может иметь смысл размещение нескольких типов файлов на одном томе. Администратор базы данных или администратор хранилища (или оба) при определении количества создаваемых томов должны выбрать верный баланс между гибкостью и удобством обслуживания.

Triem opslach

Серверы NAS размещают файловые системы на системе хранения Unity XT. К файловым системам можно получить доступ по протоколам SMB или NFS, и благодаря многопротокольной файловой системе можно пользоваться обоими протоколами одновременно. Для подключения хоста к SMB, NFS и многопротокольным файловым системам, а также к хранилищам данных VMware NFS и виртуальным томам VMware серверы NAS используют виртуальные интерфейсы. Файловые системы и виртуальные интерфейсы изолированы в рамках одного сервера NAS, что позволяет использовать для многоарендности несколько серверов NAS. Серверы NAS автоматически переключаются при сбое, если процессор хранилища выходит из строя. Связанные с ними файловые системы также переключаются при сбое.

SQL Server 2012 (11.x) и более поздние версии поддерживают протокол Server Message Block (SMB) 3.0, позволяющий совместно использовать сетевой файл для хранения. Как для автономной инсталляции, так и для отказоустойчивого кластера вы можете установить системные базы данных (master, model, msdb и tempdb) и пользовательские базы данных Database Engine с опцией хранения SMB. Использование хранилища SMB является хорошим вариантом при использовании групп высокой доступности Always On Availability Groups, поскольку для общего файлового ресурса требуется доступ к высокодоступному сетевому ресурсу.

Создание общих файловых ресурсов SMB для развертывания SQL Server с хранилищем Unity XT представляет собой простой трехэтапный процесс: нужно создать сервер NAS, файловую систему и общий ресурс SMB. ПО Dell EMC Unisphere Storage Management включает утилиту-мастера настройки, которая поможет выполнить этот процесс. Однако при размещении рабочих нагрузок SQL Server на общих файловых ресурсах SMB не следует забывать о некоторых важных соображениях, которые не обязательно относятся к использованию общих файловых ресурсов SMB. Microsoft составила список вопросов установки и обеспечения безопасности вместе с известными в настоящее время проблемами; подробности см. в разделе «Установка SQL Server с хранилищем файлов SMB» в документах Microsoft.

Снимки данных

Данные стали важнейшим ресурсом компаний, и сегодня критически важные среды требуют не только резервирования. Нужно, чтобы приложения были всегда онлайн, обеспечивались бесперебойными операциями и обновлениями. Они также требуют высокой производительности и доступности данных за счет таких опций как локальная репликация моментальных снимков и удаленная репликация.

Массив хранения Unity XT предлагает возможности создания моментальных снимков для блоков и файлов, причем они используют общие рабочие процессы, операции и архитектуру. Методология снимков Unity обеспечивает простой и эффективный способ защиты данных. Снимки облегчают восстановление данных — откат к более раннему снимку, или вы можете скопировать выбранные данные из предыдущего снимка. В следующей таблице приведены сроки хранения снимков для систем Unity XT.

Локальное и удаленное хранение снимков данных

Тип снимка

CLI
UI
RÊST

Manuell 

По расписанию 

Manuell 

По расписанию 

Manuell 

По расписанию 

Локальный 

1 god 

1 god

5 jier 

4 fan 'e wike

100 jier

Unlimited

Remote 

5 jier

255 wike 

5 jier

255 wike

5 jier

255 wike

Снимки не являются прямой заменой других методов защиты данных, таких как резервное копирование. Они могут лишь дополнить традиционное резервное копирование в качестве первой линии защиты для сценариев с малым RTO.

Функция моментальных снимков Dell EMC Unity включает сокращение объема данных и расширенную дедупликацию. Снимки также получают выгоду от экономии места, которая достигается на исходном ресурсе хранения. Когда вы делаете снимок ресурса хранения с поддержкой функций сокращения объема данных, данные в источнике могут быть сжаты или дедуплицированы.

Приведем некоторые замечания, касающиеся восстановления базы данных при использовании снимков с базами данных SQL Server:

• Все компоненты базы данных SQL Server должны быть защищены как набор данных. Когда файлы данных и журналов находятся на разных LUN, эти LUN должны быть частью консистентной группы. Консистентная группа гарантирует, что моментальный снимок будет сделан одновременно на всех LUN в группе. Когда файлы данных и журналов находятся на нескольких общих файловых ресурсах SMB, общие ресурсы должны находиться в одной файловой системе.
• При восстановлении базы данных SQL Server из моментального снимка на основе блоков, если экземпляр SQL Server должен оставаться подключенным, используйте присоединение к хосту Unisphere. Для восстановления на основе файлов создается дополнительный общий ресурс SMB с использованием снимка в качестве источника. После подключения томов базу данных можно присоединить под другим именем или заменить существующую базу данных восстановленной.

• При выполнении восстановления с использованием метода восстановления моментальных снимков Snapshot Restore в Unisphere переведите инстанс SQL Server в автономный режим. SQL Server не знает об операциях восстановления. Перевод инстанса в автономный режим гарантирует, что тома не будут повреждены при операциях записи в базу данных перед восстановлением. Как только инстанс будет перезапущен, аварийное восстановление SQL Server приведёт базы данных в согласованное состояние.
• Разрешите моментальные снимки для нескольких объектов хранения одновременно, а затем, прежде чем включать дополнительные снимки, при мониторинге системы убедитесь, что она находится в рекомендованных рабочих режимах.

Автоматизация и планирование снимков

Моментальные снимки в Unity XT можно автоматизировать. В системе управлении хранилищем Unisphere доступны следующие параметры снимков по умолчанию: защита по умолчанию, защита с более коротким сроком хранения и защита с более длительным сроком хранения. Каждый параметр создает ежедневные снимки и сохраняет их в течение разных периодов времени.

Можно выбрать один (или оба) из вариантов планирования — каждые x часов (от 1 до 24) и ежедневно / еженедельно. Ежедневное / еженедельное планирование моментальных снимков позволяет указать определенное время и дни для создания моментальных снимков. Для каждой выбранной опции нужно установить политику хранения, которая может быть настроена на автоматическое удаление пула или временное хранение.

Дополнительная информация о снимках Unity – в документации по Dell EMC Unity. 

Тонкие клоны

Тонкий клон — это доступная по чтению/записи копия тонкого блочного ресурса хранения, например тома, консистентной группы или хранилища данных VMware VMFS, которая совместно использует блоки с родительским ресурсом. Тонкие клоны — это отличный способ быстрого и компактного представления копий базы данных SQL Server, чего нельзя добиться с помощью традиционных инструментов SQL Server. После того, как тонкий клон будет представлен хосту, тома можно перевести в оперативный режим (онлайн), и база данных будет присоединена с использованием метода присоединения БД в SQL Server.

При использовании функции обновления с тонкими клонами отключите (переведите в офлайн) все базы данных, находящиеся на тонком клоне. Сделать это нужно перед операцией обновления. Если не перевести базы данных в автономный режим перед выполнением обновления, это может привести к ошибкам несоответствия данных или неверным результатам данных на SQL Server.

Data replikaasje

Репликация — это программная функция, которая синхронизирует данные с удаленной системой на том же объекте или в другом месте. Параметры репликации и конфигурации Unity позволяют выбрать эффективный способ удовлетворения требований RTO/RPO для баз данных SQL Server, сохраняя при этом баланс производительности и пропускной способности.

При использовании репликации Dell EMC Unity для защиты баз данных SQL Server на нескольких томах следует ограничить все данные и тома журналов базы данных одной консистентной группой или файловой системой. Затем репликация настраивается в группе или файловой системе и может включать тома или общие ресурсы нескольких баз данных. Базы данных, для которых требуются разные параметры репликации, должны находиться в отдельных LUN, консистентных группах или файловых системах.

Тонкие клоны совместимы как с синхронной, так и с асинхронной репликацией. Когда тонкий клон реплицируется в место назначения, он становится полной копией тома, консистентной группы или хранилища VMFS. После репликации тонкий клон является полностью независимым томом с собственными настройками.

Процесс репликации тонкого клона между исходной и целевой системами.

Репликация базы данных tempdb не требуется, поскольку файл перестраивается при перезапуске SQL Server, а потому метаданные не соответствуют методу других инстансов SQL Server. Тщательный выбор томов для репликации и содержимого этих томов устраняет ненужный трафик репликации.

Интегрированное управление копированием данных Microsoft SQL Server

Большинство современных продуктов хранения (включая все продукты Dell EMC) могут создавать «согласованные с операционной системой» копии файлов любого типа путем:

• Согласованного порядка записи операционной системой на всех уровнях — от хоста до накопителя.
• Группирования томов, чтобы для нескольких файлов на разных томах сохранялся порядок записи.

С широким распространением масштабируемых устройств хранения в Microsoft разработали API для поставщиков СХД. Этот API позволяет поставщикам хранилищ координировать свои действия с программным обеспечением баз данных SQL Server для создания «согласованных с приложением копий» с помощью службы теневого копирования томов (VSS). Эти копии имитируют взаимодействие SQL Server и операционной системы во время планового и завершения работы SQL Server. Все буферы записи очищаются, а транзакции приостанавливаются до тех пор, пока все диски не будут обновлены и согласованы на определенный момент времени, который фиксируется в журнале SQL.

Программное обеспечение Dell EMC AppSync, интегрированное со снимками Unity XT, упрощает и автоматизирует процесс создания, использования и управления согласованными с приложением копиями рабочих данных. Это программное обеспечение предназначено для использования в сценариях управления копированием для восстановления баз данных и их повторного использования. 

Программное обеспечение AppSync автоматически обнаруживает базы данных приложения, изучает структуру базы данных и отображает файловую структуру через уровни аппаратного обеспечения или уровня виртуализации в базовое хранилище Unity XT. Оно организует все необходимые действия, от создания и проверки копии до монтирования моментальных снимков на целевом хосте и запуска или восстановления базы данных. AppSync поддерживает и упрощает рабочие процессы SQL Server, которые включают обновление и восстановление рабочей базы данных.

Сокращение объема данных и расширенная дедупликация

Семейство систем хранения данных Dell EMC Unity предлагает многофункциональные и простые в использовании сервисы сокращения объема данных. Экономия достигается не только на настроенных первичных ресурсах хранения, но также на снимках и тонких клонах этих ресурсов. Моментальные снимки и тонкие клоны наследуют настройку сокращения объема данных исходного хранилища, что увеличивает экономию емкости.

Функция сокращения объема данных включает в себя действия по дедупликации, сжатию и обнаружению нулевых блоков, что потенциально увеличивает объем полезного пространства хранения для пользовательских объектов и внутреннего использования. Функция сокращения объема данных Unity XT заменяет функцию сжатия в Unity OE 4.3 и более поздних версиях. Сжатие — это алгоритм сокращения данных, который может уменьшить физическое распределение емкости, необходимой для сохранения набора данных.

Системы Unity XT также предоставляют расширенную функцию дедупликации, которую можно включить, если включено уменьшение объема данных. Расширенная дедупликация уменьшает необходимую для пользовательских данных емкость, сохраняя лишь небольшое количество копий (часто только одну копию) блоков данных Unity. Область дедупликации — это один LUN. Учитывайте это при выборе схемы хранения. Меньшее количество LUN приводит к лучшей дедупликации, но большее количество LUN обеспечивает повышенную производительность. 

Экономия емкости благодаря расширенной дедупликации может обеспечить наибольшую отдачу в большинстве сред, но также требует использования ресурсов процессоров массива Unity. В OE 5.0 расширенная дедупликация, если она включена, дедуплицирует любой блок (сжатый или несжатый). Дополнительную информацию см. в документации Dell EMC.

В следующей таблице приведены поддерживаемые конфигурации для сокращения данных и расширенной дедупликации:

Сокращение данных в Unity (все модели) и расширенная поддержка дедупликации

Версия Unity OE 

Technology 

Поддерживаемый тип пула 

Stipe modellen

4.3 / 4.4 

Сокращение объема данных 

Пул флэш-памяти — традиционный или динамический 

300, 400, 500, 600, 300F, 400F, 500F, 600F, 350F, 450F, 550F, 650F 

4.5 
 

Сокращение объема данных 

300, 400, 500, 600, 300F, 400F, 500F, 600F, 350F, 450F, 550F, 650F 

Сокращение объема данных и расширенная дедупликация*

450F, 550F, 650F 

5 
 

Сокращение объема данных 

300, 400, 500, 600, 300F, 400F, 500F, 600F, 350F, 450F, 550F, 650F, 380, 480, 680, 880, 380F, 480F, 680F, 880F 

Сокращение объема данных и расширенная дедупликация

450F, 550F, 650F, 380, 480, 680, 880, 380F, 480F, 680F, 880F

* Сокращение объема данных по умолчанию отключено, и его нужно включить до того, как расширенная дедупликация станет доступной опцией. После включения сокращения объема данных расширенная дедупликация доступна, но по умолчанию она отключена.

Сокращение объема данных в Unity и сжатие данных в SQL Server

Выпуск SQL Server 2008 Enterprise Edition был первым выпуском с собственными возможностями сжатия данных. При сжатии на уровне строк и страниц SQL Server 2008 используется знание формата таблицы внутренней базы данных SQL Server, чтобы уменьшить пространство, занимаемое объектами базы данных. Уменьшение пространства позволяет хранить больше строк на странице и больше страниц в пуле буферов. Поскольку данные, не сохраненные в формате страницы данных 8k, например, данные вне строки, такие как NVARCHAR (MAX), не будут использовать методы сжатия строк или страниц, Microsoft представила функции Transact-SQL COMPRESS и DECOMPRESS. 

Эти функции используют традиционный подход к сжатию данных (алгоритм GZIP), который необходимо вызывать для каждого раздела данных для сжатия или распаковки.

Сжатие Unity XT, которое не относится исключительно к SQL Server, использует программный алгоритм для анализа и сжатия данных СХД. С момента выпуска Unity OE 4.1 сжатие данных Unity было доступно для томов блочных хранилищ и хранилищ данных VMFS в пуле с флэш-памятью. Начиная с Unity OE 4.2, сжатие также доступно для файловых систем и хранилищ данных NFS в пулах хранения на флэш-накопителях.

Выбор метода сжатия данных для SQL Server зависит от нескольких факторов. К этим факторам относятся тип содержимого базы данных, доступные ресурсы ЦП — как на хранилище, так и на серверах базы данных, а также ресурсы ввода-вывода, необходимые для поддержания SLA. В целом можно ожидать дополнительной экономии пространства для данных, которые сжимаются средствами SQL Server, однако данные, сжатые с помощью функции сжатия TSQL с использованием алгоритма GZIP, вряд ли получат существенное дополнительное сокращение объема от функций сжатия Unity XT, поскольку большинство преимуществ достигается благодаря первому применяемому универсальному алгоритму.

Сжатие Unity обеспечивает экономию пространства, если данные на объекте хранения сжимаются как минимум на 25%. Прежде чем включить сжатие для объекта хранения, определите, содержит ли он данные, которые можно сжать. Не включайте сжатие для объекта хранения, если это не даст экономии емкости. 

Принимая решение о том, следует ли использовать сокращение объема данных Unity, сжатие на уровне базы данных SQL Server или и то, и другое, примите во внимание следующее:

• Данные, которые записываются в систему Unity, подтверждаются хостом после их сохранения в системном кэше. Однако процесс сжатия не запускается до тех пор, пока кэш не будет очищен.

• Экономия при сжатии достигается не только для ресурсов хранения Unity XT, но и для моментальных снимков и тонких клонов ресурса.
• В процессе сжатия несколько блоков агрегируются с помощью алгоритма выборки, чтобы определить, подлежат ли данные сжатию. Если алгоритм выборки определяет, что можно достичь лишь минимальной экономии, то сжатие пропускается, и данные записываются в пул есть.
• Когда данные сжимаются перед записью на носитель, объем операций с ними значительно сокращается. Поэтому сжатие помогает снизить износ флэш-памяти за счет уменьшения физического объема данных, записываемых на накопитель.

Дополнительные сведения о сжатии строк и страниц в SQL Server для таблиц и индексов см. в документах Microsoft.

Не забывайте, что для любого сжатия требуются ресурсы процессора. При высоких требованиях к пропускной способности сжатие может оказать ощутимое влияние на производительность. Высокие коэффициенты записи рабочих нагрузок OLAP также могут снизить преимущества сжатия для базы данных SQL Server.

Специалисты Dell EMC изучили потенциальную экономию, используя реальные коэффициенты сокращения данных в массиве Unity. Группа собрала данные по виртуальным машинам VMware, общему доступу к файлам, базам данных SQL Server, виртуальным машинам Microsoft Hyper-V и т. Д.

Результаты исследования показали, что сокращение объема файла журнала SQL Server почти в 10 раз меньше, чем файла данных:

• Объем базы данных = 1,49: 1 (32,96%)
• Объем логов = 12,9: 1 (92,25%)

База данных SQL Server была снабжена двумя томами. Файлы базы данных хранятся на одном томе, а журналы транзакций — на другом. Использование технологии сокращения данных с томами базы данных может обеспечить экономию хранилища; однако следует учитывать влияние на производительность при принятии решения о том, включать ли дедупликацию на томах базы данных. Хотя фактическое сокращение объема базы данных может варьироваться в зависимости от хранимых данных, результаты исследования показали, что пространство для хранения журналов транзакций SQL Server может быть значительно уменьшено.

Лучшие практики сокращения объема данных

Прежде чем включить сокращение данных на объекте хранения, рассмотрите следующие рекомендации:

• Используйте мониторинг системы хранения, чтобы убедиться, что она имеет доступные ресурсы для поддержки сокращения объема данных.
• Включите сокращение объема данных для нескольких объектов хранения одновременно. Перед его включением на дополнительных объектах хранения следите за системой, чтобы убедиться, что она находится в рекомендованных рабочих режимах.
• В моделях Unity XT x80F сокращение объема данных обеспечит экономию емкости, если данные в блоке хранения сжимаются как минимум на 1%.

Сокращение объема данных на предыдущих моделях Unity x80F, работающих под управлением OE 5.0, обеспечивало экономию, если данные были сжимаемыми как минимум на 25%.

• Перед включением сокращения объема данных на объекте хранения определите, содержит ли объект сжимаемые данные. Определенные типы данных, такие как видео, аудио, изображения и двоичные данные, обычно дают небольшую выгоду от сжатия. Не включайте сокращение объема данных на объекте хранения, если экономии места не будет.
• Рассмотрите вариант выборочного сжатия тома файловых данных, которые обычно хорошо сжимаются.

Виртуализация VMware

VMware vSphere — эффективная и безопасная платформа для виртуализации и облачной среды. Основными компонентами vSphere являются VMware vCenter Server и гипервизор VMware ESXi.

vCenter Server — унифицированная платформа управления средами vSphere. Она отличается простотой развертывания и проактивной оптимизацией ресурсов. ESXi — гипервизор с открытым исходным кодом, который устанавливается непосредственно на физические серверы. ESXi имеет прямой доступ к основным ресурсам, а небольшой размер 150 МБ, что сводит к минимуму требования к памяти. Он обеспечивает надежную производительность для различных рабочих нагрузок приложений и поддерживает мощные конфигурации виртуальных машин — до 128 виртуальных ЦП, 6 ТБ ОЗУ и 120 устройств.

Чтобы SQL Server эффективно работал на современном оборудовании, операционная система SQL Server (SQLOS) должна «понимать» структуру оборудования. С появлением многоядерных и многоузловых систем неоднородного доступа к памяти (NUMA) стало особенно важным понимание взаимосвязей между ядрами, логическими и физическими процессорами.

Ferwurkers 

Виртуальный процессор (vCPU) — виртуальный центральный процессор, назначенный виртуальной машине. Общее количество назначенных виртуальных ЦП рассчитывается как:

Total vCPU = (количество виртуальных сокетов) * (количество виртуальных ядер на сокет)

Если важна стабильная производительность, VMware рекомендует, чтобы общее количество виртуальных ЦП, назначенных всем виртуальным машинам, не превышало общего количества физических ядер, доступных на хосте ESXi, но можно увеличить количество выделенных виртуальных ЦП, если мониторинг показывает, что доступны неиспользуемые ресурсы ЦП.

В системах с включенной технологией Intel Hyper-Threading количество логических ядер (vCPU) вдвое превышает количество физических ядер. В этом случае не назначайте общее количество виртуальных ЦП.

На рабочие нагрузки SQL Server более низкого уровня меньше влияет изменчивость задержки. Таким образом, эти рабочие нагрузки могут выполняться на хостах с большим соотношением виртуальных ЦП к физическим. Разумные уровни загрузки ЦП могут увеличить общую пропускную способность системы, максимально сэкономить лицензии и поддерживать адекватную производительность.

Intel Hyper-Threading обычно повышает общую пропускную способность хоста на 10–30%, что предполагает соотношение виртуальных ЦП к физическим процессорам от 1,1 до 1,3. VMware рекомендует включить Hyper-Threading в BIOS UEFI, когда это возможно, чтобы ESXi мог использовать преимущества этой технологии. Также VMware рекомендует выполнять тщательное тестирование и мониторинг при использовании Hyper-Threading для рабочих нагрузок SQL Server.

ûnthâld

Почти все современные серверы используют для связи между основной памятью и процессорами архитектуру с неоднородным доступом к памяти (NUMA). NUMA — это аппаратная архитектура для разделяемой памяти, реализующая разделение блоков физической памяти между физическими процессорами. Узел NUMA – это один или несколько сокетов ЦП вместе с блоком выделенной памяти. 

В течение последнего десятилетия NUMA была широко обсуждаемой темой. Относительная сложность NUMA обусловлена, в частности, реализациями от разных поставщиков. В виртуализированных средах сложность NUMA также определяется количеством параметров конфигурации и уровней — от оборудования через гипервизор до гостевой операционной системы и, наконец, до приложения SQL Server. Хорошее понимание аппаратной архитектуры NUMA является обязательным требованием для любого администратора базы данных SQL Server, работающего с виртуализированным инстансом SQL Server.

Для достижения большей эффективности на серверах с большим числом ядер Microsoft представила SoftNUMA. ПО SoftNUMA позволяет разделять доступные ресурсы ЦП в рамках одной NUMA на несколько узлов SoftNUMA. Согласно VMware, SoftNUMA совместима с топологией виртуальной NUMA (vNUMA) VMware и может дополнительно оптимизировать масштабируемость и производительность движка БД для большинства рабочих нагрузок…

При виртуализации VMware с SQL Server используйте:

• Мониторинг виртуальных машин для обнаружения нехватки ресурсов памяти для SQL Server Database Engine. Эта проблема приводит к увеличению операций ввода-вывода и снижению производительности.

• Для повышения производительности предотвращайте конфликты памяти между виртуальными машинами, избегая чрезмерной загрузки памяти на уровне хоста ESXi.
• Рассмотрите возможность проверки аппаратного выделения физической памяти NUMA, чтобы определить максимальный объем памяти, который может быть назначен виртуальной машине в физических границах NUMA.
• Если достижение адекватной производительности является основной целью, рассмотрите возможность резервирования памяти, равной выделенной памяти. Эта настройка параметров гарантирует, что виртуальная машина получает только физическую память.

Виртуализированное хранилище

Настройка хранилища в виртуализированной среде требует знания инфраструктуры СХД. Как и в случае с NUMA, нужно понимать, как работают разные уровни ввода-вывода — в данном случае, от приложения в ВМ, до физического чтения и записи информации на постоянном носителе данных.

vSphere предоставляет ряд параметров для настройки хранилища, у которых есть полезные приложения в реализации SQL Server с массивом Unity XT. FS VMFS является наиболее широко используемым методом хранения данных в блочных системах хранения, таких как Unity XT. Массив Unity XT — это нижний уровень, состоящий из физических накопителей, представленных vSphere как логические диски (тома). Тома Unity XT отформатированы как тома VMFS гипервизором ESXi. Администраторы VMware создают один или несколько виртуальных дисков (VMDK), которые представляются гостевой операционной системе. RDM позволяет виртуальной машине напрямую обращаться к блочному хранилищу (по FC или iSCSI) Unity XT без форматирования VMFS. Тома VMFS и RDM могут обеспечивать одинаковую пропускную способность транзакций. 

Для хранилища на базе NFS для ESXi Dell EMC рекомендует использовать VMware NFS вместо файловых систем общего назначения NFS. Виртуальная машина, работающая на SQL Server и использующая VMDK в хранилище данных NFS, не знает о нижележащем слое NFS. Гостевая операционная система рассматривает виртуальную машину как физический сервер под управлением Windows Server и SQL Server. Общие диски для конфигураций инстанса отказоустойчивого кластера в хранилищах данных NFS не поддерживаются.

Виртуальные тома VMware vSphere (VVols) предлагают более тонкое управление на уровне виртуальной машины, независимо от базового представления физической памяти (например, томов или файловых систем). Репликация на основе массива с VVols поддерживается, начиная с VVol 2.0 (vSphere 6.5). Диск VVol можно использовать вместо диска RDM для предоставления дискового ресурса инстансу отказоустойчивого кластера SQL, начиная с vSphere 6.7, с поддержкой постоянного резервирования по SCSI.

Виртуализированные сети

Сеть в виртуальном мире следует тем же логическим концепциям, что и в физическом мире, но использует программное обеспечение, а не физические кабели и коммутаторы. Влияние задержки сети на рабочие нагрузки SQL Server может сильно различаться. Мониторинг показателей производительности сети на существующей рабочей нагрузке или хорошо реализованной тестовой системе в течение репрезентативного периода помогает в создании виртуальной сети.

При использовании виртуализации VMware с SQL Server необходимо учитывать следующее:

• Как стандартные, так и распределенные виртуальные коммутаторы обеспечивают необходимую для SQL Server функциональность.
• Для логического разделения трафика управления, vSphere vMotion и сетевого хранилища используйте тегирование VLAN и группы портов виртуального коммутатора.
• VMware настоятельно рекомендует включать большие фреймы на виртуальных коммутаторах, где включен трафик vSphere vMotion или трафик iSCSI.
• В целом соблюдайте сетевые рекомендации для гостевых операционных систем и оборудования.

 konklúzje 

Среды баз данных SQL Server становятся все более масштабными и сложными. В SQL Server 2019 Microsoft улучшила основные функции SQL Server и добавила новые, такие как поддержка рабочих нагрузок больших данных с помощью Apache Spark и HDFS. Dell EMC в сотрудничестве с Microsoft продолжает предоставлять для среды SQL Server необходимые компоненты инфраструктуры — серверы, хранилища и сети. 

Мы наблюдаем значительное увеличение времени безотказной работы и снижение совокупной стоимости владения (TCO), если специалисты по хранилищам и базам данных совместно работают над созданием инфраструктурных решений для SQL Server на платформах с общим хранилищем. Флэш-массив Dell EMC Unity XT — это решение среднего класса, подходящее для разработчиков и администраторов SQL Server, которым нужна высокая производительность и низкая задержка. Система Unity XT All-Flash, предназначенная для работы на всех флэш-накопителях, поддерживает двухпроцессорные ЦП, двухконтроллерные конфигурации и многоядерную оптимизацию.

Все чаще организации виртуализируют свои среды SQL Server. Хотя виртуализация добавляет в стек архитектуры еще один уровень проектирования, она обеспечивает значительные преимущества. Надеемся, вам будут полезны некоторые из наиболее часто используемых функций и средств VMware в средах SQL Server, представленных выше. Мы также рекомендуем ссылки на ресурсы для получения более подробной информации.

Nuttige keppelings

Dell EMC

• Microsoft SQL Info Hub for Ready Solutions
• Dell EMC Unity Storage with Microsoft SQL Server
• Dell EMC Unity: Best Practices Guide
• Dell EMC Unity: Compression White Paper
• Dell EMC Unity: Snapshots and Thin Clones White Paper
• Dell EMC Unity: Data Reduction Analysis
• Dell EMC Unity: Data Reduction White Paper
• Dell EMC Unity XT Storage Series Specification Sheet
• Dell EMC XT Unity All-Flash Unified Storage (product page)
• Dell EMC Unity Product Overview and Architecture with Kaushik Ghosh (Youtube)
• Dell EMC Future-Proof Loyalty Program

Omrop

• SQL Server Blogs
• Virtualizing Microsoft SQL on VMware vSphere
• Architecting Microsoft SQL Server On VMware vSphere—Best Practices Guide
• Performance Characterization of Microsoft SQL Server on VMware vSphere 6.5

Microsoft

• Microsoft SQL Server 2019 technical white paper
  SQL Server Blog
  Microsoft Data Platform
  Introducing SQL Server 2019
  SQL Server 2019 CTP announcement archive

Boarne: www.habr.com