Bloomberg의 스토리지 지원팀은 오픈 소스와 SDS를 사용합니다.

TL; DR: Bloomberg 스토리지 엔지니어링 팀은 인프라를 방해하지 않고 팬데믹 기간 동안 막대한 거래 변동성을 견딜 수 있는 내부용 클라우드 스토리지를 만들었습니다.

Mattew Leonard는 Bloomberg 스토리지 엔지니어링 팀의 기술 관리자로서 자신의 업무에 대해 이야기할 때 "도전적", "재미 있음"이라는 단어를 자주 사용합니다. 문제는 최신 NVMe 기반 SAN 어레이부터 DevOps의 오픈 소스 소프트웨어 정의 스토리지에 이르기까지 광범위한 스토리지에서 발생합니다. 이것이 "재미"가 시작되는 곳입니다(Habré의 내 아바타를 참조하세요. 약. 역자).

Leonard와 25명의 동료로 구성된 그의 팀은 Michael Bloomberg를 억만장자로 만든 기술인 Bloomberg Terminal용 애플리케이션을 개발하는 100명의 엔지니어를 위한 6000페타바이트 이상의 용량과 내부 클라우드를 감독합니다. 팀은 Bloomberg Engineering의 스토리지 시스템을 설계, 구축 및 유지 관리합니다.

다른 IT 업계와 마찬가지로 2020년은 스토리지 엔지니어링 팀원들에게 코로나19로 인해 원격 근무가 불가피해진 특이한 해였습니다. Leonard는 전염병이 대면 상호 작용이 사라지면서 사회적으로 "단단하게 결속된 팀"에 영향을 미쳤다고 말했습니다. 그러나 직원들은 집에서 노트북을 사용하고 화상 회의를 하는 데 매우 빠르게 적응했습니다.

놀랍게도 이것이 상황을 악화시키지는 않았다고 말하고 싶습니다. 적응 기간이 짧았습니다. 모든 사람이 집에서 일할 준비가 된 것은 아닙니다. XNUMX~XNUMX주 후에는 모두가 이것을 이해했습니다. 우리는 이 기간 동안 바쁘게 지내고, 장비를 구매 및 업그레이드하고, 회사를 지원하기 위해 비용을 늘릴 수 있는 방법을 찾을 수 있었습니다. 우리는 창의력을 발휘해야 했지만 상처받지는 않았습니다.

가장 큰 도전은 코로나19가 정점에 달하기 전이었을 수도 있다. 이는 팬데믹이 세계 경제에 미치는 영향에 대한 우려로 인해 시장 거래가 불안정했기 때문입니다. 글로벌 자본 시장에서 블룸버그 터미널로 유입되는 데이터의 양은 거의 두 배로 증가해 240월 말 어느 날에는 XNUMX억 개의 정보에 도달했습니다. 이것은 스토리지 시스템에 대한 심각한 테스트입니다.

하루 만에 스토리지 요구 사항이 즉시 두 배로 늘어나면 흥미로운 문제가 발생합니다. 우리는 이 문제를 극복하고 애플리케이션 개발 팀에 필요한 공간과 성능을 제공할 수 있었습니다. 이 중 대부분은 스토리지 시스템에 대한 우리의 생각과 관련이 있습니다. 오늘 우리는 아무것도 창조하지 않습니다. 우리는 "ABC를 사용하므로 ABC를 위한 인프라를 구축하겠습니다"라고 말하지 않습니다. 우리는 팀과 함께 "데이터 예산 책정"이라고 부르는 작업을 수행하여 사용량을 예측하고 사용량 및 성능 추세를 분석하며 보안도 검토합니다. 이러한 유형의 계획, 사고 및 체계적인 실사를 통해 우리는 땀을 흘리지 않고 급증에 대해 과감한 조치를 취할 수 있습니다. 물론 긴장도 됐지만 제 자리에 있으면 마음이 편했어요.

Leonard는 최근 SearchStorage와 데이터 기반 비즈니스를 위한 스토리지 관리에 관해 자세히 이야기했습니다. 그는 Bloomberg 데이터 센터에 데이터를 보관하면서 사용자에게 AWS 기능을 제공할 수 있는 능력을 갖춘 프라이빗 클라우드 스토리지 솔루션을 제공하려면 무엇이 필요한지 논의했습니다.

더 이상 팬데믹이 없다면 Bloomberg 엔지니어들은 스토리지 관리에 어떤 어려움을 겪게 될까요?

우리에게는 필요한 것이 많고 단순히 다른 방향으로 찢어졌습니다. 따라서 우리는 애플리케이션 개발자가 스토리지 자체에 대해 걱정하는 대신 작업에 집중할 수 있도록 다양한 SLA 수준에서 다양한 유형의 제품을 제공해야 합니다.

그리고 이를 위해 어떤 전략을 따르나요?

우리가 하려고 하는 일 중 하나는 스토리지 성능을 향상시키는 것입니다. 개발 엔지니어가 들어와서 버튼을 누른 다음 마술처럼 문제를 해결하는 데 적합한 스토리지 유형을 "클릭"하는 AWS 모델을 생각해 보십시오.

귀하의 스토리지 인프라는 어떤 모습입니까?

우리는 매우 다양한 생태계와 다양한 개발자를 보유하고 있기 때문에 단일 제품을 제공할 수 없습니다. 우리는 객체, 파일 및 블록 스토리지를 보유하고 있습니다. 이들은 서로 다른 제품이며 우리는 이를 제공하기 위해 다양한 유형의 기술을 제공합니다. 블록에는 SAN을 사용합니다. 또한 다양한 성능 요구 사항을 충족하는 또 다른 블록 스토리지 옵션을 제공하는 SDS도 있습니다. 파일의 경우 NFS를 사용합니다. SDS는 객체 스토리지에도 사용됩니다. 블록과 객체 부분은 컴퓨팅과 저장을 위한 내부 프라이빗 클라우드를 형성합니다.

그럼 퍼블릭 클라우드 스토리지를 사용하지 않으시나요?

좋아요. 일부 개발팀에는 퍼블릭 클라우드를 사용할 수 있는 권한이 있습니다. 그러나 우리 사업의 특성상 우리는 우리의 벽을 벗어나는 것들에 대해 더 많은 통제권을 갖는 것을 선호합니다. 그렇습니다. 우리는 우리가 통제할 수 있는 자체 클라우드를 갖고 있습니다. 이는 당사가 관리하는 데이터 센터에 위치한 장비입니다.

우리 데이터 센터에서는 다중 공급업체 전략을 선호합니다. 그들은 대규모 공급업체이지만 정확히 누구인지는 밝히지 않습니다(어떤 공급업체도 지지하지 않는 것이 Bloomberg의 정책입니다. 약. 역자).

프라이빗 클라우드를 구축하기 위해 하이퍼컨버지드 인프라를 사용하고 있습니까?

아니요. Bloomberg에서는 하이퍼컨버전스를 향해 나아가지 않는 방향을 선택하고 있습니다. 우리는 컴퓨팅을 스토리지에서 분리하여 독립적으로 확장할 수 있도록 노력하고 있습니다. 특히 클라우드에서 우리가 나아가고 있는 방향은 이 두 개체를 분리할 수 있도록 하는 것입니다. 그리고 우리나라의 일부 항목에는 집중적 인 계산이 필요한 반면 다른 항목에는 저장이 필요하기 때문입니다. 균등하게 확장하면 돈이나 데이터 센터의 공간에 관계없이 리소스를 잃게 되거나 필요하지 않은 용량을 구매하게 됩니다. 그렇기 때문에 우리는 두 엔터티 사이에 공통 인터페이스를 갖고 싶지만 완전히 다른 시스템을 사용하고 다른 팀에서 관리하도록 하는 것을 선호합니다.

프라이빗 클라우드를 구축하려면 어떤 장애물을 극복해야 합니까?

규모의 문제. 대부분의 경우와 마찬가지로 악마는 세부 사항에 있습니다. 이러한 것들이 어떻게 작동하는지, 탄력성을 갖게 만드는 방법, 운영 부하를 처리하는 방법, 물리적 자산 팀과 통신하는 방법을 생각하면 상황이 조금 흥미로워집니다. 과제는 모든 것을 애플리케이션 개발자가 사용하고 싶어하는 확장 가능하고 지원 가능한 제품으로 만들고, 퍼블릭 클라우드의 최첨단 기능을 유지하면서 기능 세트를 풍부하게 만드는 방법을 찾는 것입니다. 또한 계속해서 작동하도록 모든 것을 하나로 모으는 것입니다. 이것이 우리의 주요 문제입니다. 우리는 비즈니스의 모든 영역에 걸쳐 작업하며 모든 요구 사항을 충족하려고 노력하지만 다른 요구 사항을 무시하지 않습니다.

AWS 및 기타 퍼블릭 클라우드에서 사용할 수 있는 최신 기능이 필요하다고 생각하십니까?

S3의 가장 재미있는 사실은 생활 수준이 끊임없이 변화하고 있으며 항상 새로운 기능이 추가되고 있다는 것입니다. 새 장난감 같아요. 누군가 새 릴리스에서 새로운 기능을 본다면 원하는 것입니다. 모든 AWS 기능을 우리 환경에 적용할 수 있는 것은 아니므로 개발자에게 도움이 되는 것이 무엇인지, 그리고 이를 사내에서 구현하는 방법을 아는 것은 중요하고 흥미롭습니다.

어떤 저장 장비를 사용하시나요?

우리는 최신 장비를 사용합니다. 우리의 내부 클라우드는 완전히 NVMe 플래시를 기반으로 하므로 이러한 시스템이 매우 강력해집니다. 우리 삶을 좀 더 편리하게 만들어주고, 개발자들이 스토리지 성능에 대해 걱정할 필요가 없기 때문에 좋은 기능이기도 합니다.

객체 스토리지를 어떤 용도로 사용하시나요?

6000명의 개발자가 인프라 작업을 하고 있지만 그들은 하나의 사용 사례로 통합되어 있지 않습니다. 여러분이 생각할 수 있는 모든 옵션은 아마도 객체 스토리지에 있을 것입니다. 일부 팀은 이를 콜드 아카이브 스토리지에 사용하고 일부 팀은 데이터 전송에 사용하며 다른 팀은 트랜잭션 애플리케이션에 사용합니다. 이러한 모든 사용 사례에는 다양한 수준의 SLA가 필요하므로 보시다시피 트래픽 유형도 다르고 인프라의 다양한 사용자에 대한 모든 종류의 요구 사항이 있습니다. 이는 스토리지 위에서 실행되는 동질적인 사용 사례가 아니므로 상황이 더욱 복잡해집니다.

Kubernetes와 컨테이너는 얼마나 큰 역할을 하며, 이는 스토리지에 어떤 영향을 미치나요?

우리는 개발자가 작업을 가속화하고 그 과정에서 인프라를 제거할 수 있는 버튼이 있는 클라우드 감각, 서비스로서의 감각을 만들기 위해 스토리지 생산성을 높이고 있습니다.

편집자의 n.b.: 15년 2020월 XNUMX일 준비 예정 Ceph 비디오 코스. 내결함성을 향상시키기 위해 프로젝트에서 사용할 Ceph 네트워크 스토리지 기술을 배우게 됩니다.

우리는 세 개의 팀이 있는데, 첫 번째는 스토리지 API 팀입니다. 그들은 Bloomberg의 앱 개발 클라이언트를 위한 프로그래밍 방식의 액세스, 엔드포인트 및 사전 정의된 워크플로를 만듭니다. 이것은 풀 스택 웹 개발자로 구성된 팀으로 node.js, Python, Apache Airflow와 같은 오픈 소스 기술을 사용하여 컨테이너화 및 가상화를 연구합니다.

또한 실제로 비트와 바이트를 이동하는 두 개의 기술 팀이 있습니다. 이는 장비와 더 직접적인 관련이 있습니다. 우리는 많은 장비를 보유하고 있는데 이들 팀은 가상화와 컨테이너를 사용하지 않습니다.

우리는 업계에서 일어나고 있는 일을 따라잡기 위해 노력하고 있으며 Kubernetes CSI 드라이버를 연구하고 있으며 Bloomberg에서 Kubernetes를 구현하는 팀과 긴밀히 협력하여 우리가 보유한 기술로 Kubernetes 스토리지가 일관되게 작동할 수 있는지 평가하고 있습니다. 작동합니다. 우리는 SDS를 사용하여 영구 스토리지에 연결된 Kubernetes를 지원합니다. 우리는 이 기술을 성공적으로 개발했으며, Bloomberg의 다른 모든 사람들이 이 기술을 사용할 수 있도록 하는 방법에 대해 두 팀 간에 계속 논의하고 있습니다. 우리는 이것이 가능하다는 것을 보여주었습니다.

특히 스토리지용으로 사용하는 다른 오픈 소스 소프트웨어는 무엇입니까?

우리는 Apache Airflow, HAProxy를 사용하여 애플리케이션 트래픽을 제한합니다. 우리는 또한 SDS용 플랫폼인 Ceph를 사용합니다. 이를 통해 명령에 대해 하나의 시스템을 가질 수 있지만 클라이언트에 여러 인터페이스를 제공할 수 있습니다. 가상화 플랫폼 중 하나가 OpenStack에서 실행됩니다. 우리는 이 팀과 긴밀하게 협력하고 있습니다. 우리는 오픈소스 SDS 플랫폼을 스토리지로 사용하는 오픈소스 가상화 플랫폼을 보유하고 있습니다. 재미있다.

향후 XNUMX~XNUMX년 동안 어떤 스토리지 기술을 고려하고 있습니까?

우리는 항상 스토리지 업계에서 일어나는 다른 멋지고 새로운 일들을 조사하고 있습니다. 이것은 우리 작업의 일부이며 "여기 SAN이 있고 여기서 관리하고 여기 NFS가 있고 저기에서 관리"하는 것이 아닙니다. 우리는 고객과 소통하려고 노력합니다. 우리의 응용 프로그램 개발자에 의해. 우리는 그들이 해결하려고 하는 문제가 무엇인지, 그것이 외부 Bloomberg 고객(은행 및 우리 소프트웨어를 사용하는 기타 업체)에 어떤 영향을 미칠지 이해하기 위해 협력합니다. 그런 다음 데이터 스토리지의 세계로 돌아가서 그들이 목표를 달성하도록 도울 수 있는 기회를 찾습니다. 고객이 SLA에 맞는 올바른 스토리지 기술이나 하려는 작업을 찾도록 어떻게 도울 수 있습니까? 멋진 일을 하는 엔지니어가 너무 많기 때문에 결코 지루할 틈이 없습니다.

우리는 현재 범용 서버에서 잠재적으로 실행될 수 있는 SDS의 성능을 향상시키는 방법을 조사하고 있습니다. 그래서 우리는 TCP를 통한 NVMe를 개발하고 있습니다. 이는 매우 흥미롭고 멋진 계획 중 하나입니다. 우리는 또한 업계 핵심 인력 및 일부 기존 공급업체와 협력하여 그들이 제공하는 제품과 실제 성능이 무엇인지, 회사 내 생산에 사용할 수 있는지 여부를 알아보고 있습니다. 이는 이전에 접근할 수 없었던 새로운 지평을 열어줍니다.

PS에 대한 약간의 도움

PS 가능하다면 28월 30~XNUMX일에 개최된다는 점을 알려드리고 싶습니다. 집약적인 Kubernetes 기반, Kubernetes를 모르지만 이에 대해 알아보고 작업을 시작하고 싶은 사람들을 위한 것입니다.

출처 : habr.com