블록체인 열풍의 폐허에 대한 응용기술이나 자원분배의 실익

최근 몇 년 동안 뉴스 피드에는 문자 그대로 갑자기 나타나는 새로운 유형의 분산 컴퓨팅 네트워크에 대한 메시지가 넘쳐 도시를 스마트하게 만들고 저작권으로부터 세상을 구하는 등 다양한 문제를 해결(또는 해결하려고 노력)하고 있습니다. 침해자 또는 그 반대의 경우, 정보나 자원을 비밀리에 전송하여 한 영역 또는 다른 영역의 국가 통제에서 탈출합니다. 분야를 불문하고 이들은 모두 최근 암호화폐 및 관련 기술의 붐 속에서 대중에게 공개된 알고리즘과 기술이 성장의 원동력이라는 점에서 공통된 특징을 많이 갖고 있습니다. 아마도 당시 전문 리소스에 관한 세 번째 기사마다 제목에 "블록체인"이라는 단어가 있었을 것입니다. 새로운 소프트웨어 솔루션과 경제 모델에 대한 논의가 한동안 지배적인 추세가 되었고, 그 배경에는 분산 컴퓨팅 시스템의 다른 적용 분야가 있었습니다. 배경으로 강등되었습니다.

동시에 선구자들과 전문가들은 이 현상의 주요 본질을 보았습니다. 즉, 다수의 이질적이고 이질적인 참여자들의 네트워크 구축과 관련된 대규모 분산 컴퓨팅이 새로운 수준의 개발에 도달했다는 것입니다. 머릿속에서 과장된 주제를 버리고 반대편에서 주제를 보는 것만으로도 충분합니다. 수천 명의 고립된 이질적인 참가자로 구성된 거대한 풀로 구성된 이러한 모든 네트워크는 자체적으로 나타나지 않았습니다. 암호화폐 운동에 열광하는 사람들은 데이터 동기화와 리소스 및 작업 분배의 복잡한 문제를 새로운 방식으로 해결할 수 있었으며, 이를 통해 비슷한 양의 장비를 통합하고 좁게 초점을 맞춘 문제를 해결하도록 설계된 새로운 생태계를 만들 수 있었습니다.

물론 이것은 무료 분산 컴퓨팅 개발에 참여한 팀과 커뮤니티를 통과하지 못했고 새로운 프로젝트가 오래지 않아 다가올 것입니다.
그러나 네트워크 구축 및 장비 작업 분야의 개발에 대해 사용 가능한 정보의 양이 크게 증가했음에도 불구하고 유망한 시스템의 제작자는 심각한 문제를 해결해야 합니다.

그 중 첫 번째는 아무리 이상하게 들릴지라도 방향을 선택하는 문제입니다.

방향이 정확할 수도 있고 막다른 골목으로 이어질 수도 있습니다. 여기서 탈출구는 없으며 IT 커뮤니티에 투시력을 중앙 집중식으로 공급하는 것은 아직 늦습니다. 하지만 팀이 너무 넓은 영역을 차지하고 처음부터 또 다른 비전문적인 일반 분산 컴퓨팅 프로젝트를 만들려고 하는 전통적인 함정에 빠지지 않도록 선택을 해야 합니다. 작업 범위는 그렇게 무섭지 않은 것 같습니다. 대부분의 경우 기존 개발을 적용하면 됩니다. 즉, 노드를 네트워크에 결합하고, 토폴로지를 결정하기 위한 알고리즘을 적용하고, 데이터를 교환하고 일관성을 모니터링하고, 노드 순위 지정 및 찾기 방법을 도입합니다. 물론 자신만의 쿼리 언어와 전체 언어 및 컴퓨팅 환경을 만들기만 하면 됩니다. 보편적인 메커니즘에 대한 아이디어는 매우 유혹적이며 한 영역 또는 다른 영역에서 지속적으로 나타납니다. 그러나 최종 결과는 여전히 세 가지 중 하나입니다. 생성된 솔루션은 여러 개의 일시 중지된 "ToDos"가 포함된 제한된 프로토타입으로 판명됩니다. "라는 메시지를 백로그에 넣거나, 악취가 나는 "튜링 늪"에 닿는 사람을 끌어당길 준비가 되어 있는 사용할 수 없는 괴물이 되거나, 프로젝트를 이해할 수 없는 방향으로 끌어들이고 있던 백조, 가재, 강꼬치고기 때문에 무사히 죽게 되거나, 단순히 지나치게 긴장했습니다.

어리석은 실수를 반복하지 말고, 업무 범위가 명확하고 분산 컴퓨팅 모델에 잘 맞는 방향을 선택하자. 모든 것을 한 번에 하려고 하는 사람들을 이해할 수 있습니다. 물론 선택할 수 있는 것이 많습니다. R&D 및 개발의 관점과 경제적인 관점 모두에서 많은 것들이 매우 흥미로워 보입니다. 분산 네트워크를 사용하면 다음을 수행할 수 있습니다.

• 신경망 훈련
• 프로세스 신호 스트림
• 단백질 구조 계산
• XNUMXD 장면 렌더링
• 유체역학 시뮬레이션
• 증권 거래소의 거래 전략 테스트

잘 병렬화된 흥미로운 것들의 목록을 편집하는 일에 얽매이지 않기 위해 우리는 추가 주제로 분산 렌더링을 선택하겠습니다.

물론 분산 렌더링 자체는 새로운 것이 아닙니다. 기존 렌더 툴킷은 오랫동안 다양한 시스템에 걸쳐 로드 분산을 지원해 왔으며, 이것이 없다면 XNUMX세기를 사는 것은 매우 슬픈 일이 될 것입니다. 그러나 주제가 광범위하게 다루어졌으며 거기에서 할 일이 없다고 생각해서는 안됩니다. 별도의 긴급 문제인 렌더 네트워크 생성을 위한 도구 생성을 고려할 것입니다.

우리의 렌더링 네트워크는 렌더링 작업을 수행해야 하는 노드와 렌더링을 처리하기 위한 무료 컴퓨팅 리소스가 있는 노드의 조합입니다. 리소스 소유자는 자신의 스테이션을 렌더 네트워크에 연결하여 네트워크에서 지원되는 렌더 엔진 중 하나를 사용하여 렌더 작업을 수신하고 실행합니다. 이 경우 작업 제공자는 마치 클라우드인 것처럼 네트워크와 협력하여 리소스를 독립적으로 배포하고 실행의 정확성을 모니터링하고 위험 및 기타 문제를 관리합니다.

따라서 우리는 널리 사용되는 렌더 엔진 세트와의 통합을 지원하고 이기종 노드 네트워크를 구성하고 작업 흐름을 관리하기 위한 도구를 제공하는 구성 요소를 포함하는 프레임워크를 만드는 것을 고려할 것입니다.

이러한 네트워크 존재의 경제 모델은 근본적으로 중요하지 않으므로 암호화폐 네트워크 계산에 사용되는 것과 유사한 계획을 초기 계획으로 사용할 것입니다. 리소스 소비자는 렌더링 작업을 수행하는 공급자에게 토큰을 보냅니다. 프레임워크가 어떤 속성을 가져야 하는지 이해하는 것이 훨씬 더 흥미롭습니다. 이를 위해 네트워크 참가자 간의 상호 작용에 대한 주요 시나리오를 고려할 것입니다.

네트워크에는 리소스 공급자, 작업 공급자 및 네트워크 운영자(본문에서는 제어 센터, 네트워크 등이라고도 함)라는 세 가지 측면의 상호 작용이 있습니다.

네트워크 운영자는 리소스 제공자에게 배포된 소프트웨어 세트가 포함된 운영 체제 이미지나 클라이언트 애플리케이션을 제공합니다. 이를 통해 리소스를 제공하려는 시스템에 설치하게 되며 웹 인터페이스를 통해 액세스할 수 있는 개인 계정을 제공합니다. 리소스에 대한 액세스 매개변수를 설정하고 서버 환경을 원격으로 관리합니다. 즉, 하드웨어 매개변수 제어, 원격 구성 수행, 재부팅이 가능합니다.

새로운 노드가 연결되면 네트워크 관리 시스템은 장비와 지정된 액세스 매개변수를 분석하고 순위를 매기고 특정 등급을 할당한 후 리소스 레지스터에 배치합니다. 앞으로는 위험을 관리하기 위해 노드의 활동 매개변수를 분석하고 노드의 등급을 조정하여 네트워크의 안정성을 보장할 것입니다. 과열로 인해 종종 정지되는 강력한 카드로 장면을 렌더링하도록 전송하면 누구도 기뻐하지 않을 것입니다.

장면을 렌더링해야 하는 사용자는 웹 인터페이스를 통해 장면을 네트워크 저장소에 업로드하거나 플러그인을 사용하여 모델링 패키지 또는 설치된 렌더러를 네트워크에 연결하는 두 가지 방법을 사용할 수 있습니다. 이 경우, 사용자와 네트워크 사이에 스마트 계약이 시작되며, 그 완료를 위한 표준 조건은 네트워크에 의한 장면 계산 결과의 생성입니다. 사용자는 개인 계정의 웹 인터페이스를 통해 작업 완료 프로세스를 모니터링하고 해당 매개변수를 관리할 수 있습니다.

작업은 서버로 전송되며, 여기서 장면의 볼륨과 작업 개시자가 요청한 리소스 수가 분석된 후, 총 볼륨은 네트워크에서 할당된 리소스의 수와 유형에 대한 계산에 적합한 부분으로 분해됩니다. . 일반적인 아이디어는 시각화가 여러 개의 작은 작업으로 분류될 수 있다는 것입니다. 엔진은 이러한 작업을 여러 리소스 공급자에게 분산하여 이를 활용합니다. 가장 간단한 방법은 세그먼트라고 불리는 장면의 작은 부분을 렌더링하는 것입니다. 각 세그먼트가 준비되면 로컬 작업이 완료된 것으로 간주되고 리소스는 다음 미해결 작업으로 이동합니다.

따라서 계산이 단일 시스템에서 수행되는지 아니면 많은 개별 컴퓨팅 스테이션의 그리드에서 수행되는지는 렌더러에 있어서 아무런 차이가 없습니다. 분산 렌더링은 단순히 작업에 사용되는 리소스 풀에 더 많은 코어를 추가합니다. 네트워크를 통해 세그먼트를 렌더링하는 데 필요한 모든 데이터를 수신하고, 계산하고, 해당 세그먼트를 다시 보내고, 다음 작업으로 이동합니다. 일반 네트워크 풀에 들어가기 전에 각 세그먼트는 실행 노드가 가장 적합한 컴퓨팅 작업을 선택할 수 있도록 하는 일련의 메타정보를 수신합니다.

계산 분할 및 분포 문제는 실행 시간 최적화의 관점뿐만 아니라 자원의 최적 사용 및 에너지 절약의 관점에서도 해결되어야 합니다. 왜냐하면 네트워크의 경제적 효율성은 이에 달려 있기 때문입니다. . 해결 방법이 실패할 경우 노드에 마이너를 설치하거나 전원을 끄면 소음이 발생하지 않고 전기도 낭비되지 않습니다.

그러나 프로세스로 돌아가 보겠습니다. 작업이 수신되면 풀과 노드 사이에도 스마트 계약이 형성되며, 이는 작업 결과가 올바르게 계산되었을 때 실행됩니다. 계약 이행 결과에 따라 노드는 어떤 형태로든 보상을 받을 수 있습니다.

제어 센터는 작업 실행 프로세스를 제어하고, 계산 결과를 수집하고, 재처리를 위해 잘못된 결과를 보내고 대기열 순위를 매기고, 작업 완료를 위한 표준 기한을 모니터링합니다(마지막 세그먼트가 차지하지 않는 일이 발생하지 않도록). 모든 노드).

계산 결과는 합성 단계를 거쳐 사용자가 렌더링 결과를 받고, 네트워크는 보상을 받을 수 있습니다.

따라서 분산 렌더링 시스템을 구축하기 위해 설계된 랜드스케이프 프레임워크의 기능적 구성이 나타납니다.

1. 웹 액세스가 가능한 개인 사용자 계정
2. 노드 설치용 소프트웨어 키트
3. 제어 시스템별:
   • 액세스 제어 하위 시스템
   • 렌더링 작업 분해 하위 시스템
   • 작업 분배 하위 시스템
   • 하위 시스템 합성
   • 서버 환경 및 네트워크 토폴로지 관리 하위 시스템
   • 로깅 및 감사 하위 시스템
   • 학습 전문가 하위 시스템
   • 외부 개발자를 위한 Rest API 또는 기타 인터페이스

어떻게 생각하나요? 이 주제는 어떤 질문을 제기하며 어떤 답변에 관심이 있나요?

출처 : habr.com