🥇 ग्लोबलहरू डाटा भण्डारण गर्नका लागि खजाना-तरवारहरू हुन्। स्पार्स एरेहरू। भाग ३

अघिल्लो भागहरूमा (1, 2) हामीले ग्लोबललाई रूखको रूपमा कुरा गर्यौं, यसमा हामी विश्वव्यापीहरूलाई स्प्यार्स एरेहरूको रूपमा हेर्नेछौं।

स्पार्स एरे array को एक प्रकार हो जसमा अधिकांश मानहरूले समान मान लिन्छन्।

अभ्यासमा, स्पार्स एरेहरू प्रायः यति ठूला हुन्छन् कि समान तत्वहरूको साथ मेमोरीमा कब्जा गर्ने कुनै अर्थ हुँदैन। त्यसकारण, समान मानहरू भण्डारण गर्दा मेमोरी खेर नफालियोस् भन्ने तरिकाले स्पार्स एरेहरू लागू गर्नु अर्थपूर्ण हुन्छ।
केही प्रोग्रामिङ भाषाहरूमा, स्प्यार्स एरेहरू भाषामा समावेश हुन्छन्, उदाहरणका लागि जे, MATLAB। अन्य प्रोग्रामिङ भाषाहरूमा विशेष पुस्तकालयहरू छन् जसले तपाईंलाई तिनीहरूलाई लागू गर्न अनुमति दिन्छ। C++ को लागि - इजिन र अन्य।

ग्लोबलहरू स्पार्स एरेहरू लागू गर्नका लागि राम्रो उम्मेद्वारहरू हुन् किनभने:

तिनीहरू केवल निश्चित नोडहरूको मानहरू भण्डार गर्छन् र अपरिभाषितहरूको मानहरू भण्डार गर्दैनन्;
नोडको मान पहुँच गर्नको लागि इन्टरफेस धेरै प्रोग्रामिङ भाषाहरूले बहु-आयामी एरे तत्वमा पहुँच लागू गर्नेसँग मिल्दोजुल्दो छ।
```
Set ^a(1, 2, 3)=5
Write ^a(1, 2, 3)
```
ग्लोबल डाटा भण्डारण गर्नको लागि एकदम कम स्तरको संरचना हो, त्यसैले यसमा उत्कृष्ट गति विशेषताहरू छन् (सयौं हजारदेखि लाखौं लेनदेन प्रति सेकेन्ड, हार्डवेयरमा निर्भर गर्दै, तल हेर्नुहोस्)। 1)

ग्लोबल एक स्थायी संरचना भएकोले, RAM को मात्रा पर्याप्त हुनेछैन भनेर पहिले नै थाहा हुँदा तिनीहरूमा स्पार्स एरेहरू सिर्जना गर्न अर्थ लाग्छ।

स्पार्स एरे कार्यान्वयनको गुणहरू मध्ये एक अपरिभाषित कक्षमा पहुँच बनाइयो भने केही पूर्वनिर्धारित मान फिर्ता गर्नु हो।

यो प्रकार्य प्रयोग गरेर लागू गर्न सकिन्छ $GET COS मा। यो उदाहरणले 3-आयामी एरेलाई विचार गर्छ।

SET a = $GET(^a(x,y,z), defValue)

कुन कार्यहरूलाई स्प्यार्स एरेहरू चाहिन्छ र ग्लोबलहरूले कसरी मद्दत गर्न सक्छन्?

संलग्नता (कनेक्टिभिटी) म्याट्रिक्स

यस्ता म्याट्रिक्सहरू ग्राफहरू प्रतिनिधित्व गर्न प्रयोग गरिन्छ:

जाहिर छ, ग्राफ जति ठूलो हुन्छ, म्याट्रिक्समा त्यति धेरै शून्य हुनेछन्। यदि, उदाहरणका लागि, हामीले सामाजिक सञ्जाल ग्राफ लिन्छौं र यसलाई समान म्याट्रिक्सको रूपमा प्रस्तुत गर्छौं, त्यसपछि यसले लगभग पूर्ण रूपमा शून्यहरू समावेश गर्दछ, अर्थात्। एक स्पार्स एरे हुनेछ।

Set ^m(id1, id2) = 1 
Set ^m(id1, id3) = 1 
Set ^m(id1, id4) = 1 
Set ^m(id1) = 3 
Set ^m(id2, id4) = 1 
Set ^m(id2, id5) = 1 
Set ^m(id2) = 2
....

यस उदाहरणमा, हामी विश्वव्यापी रूपमा बचत गर्छौं ^m जडान म्याट्रिक्स, साथै प्रत्येक नोडमा किनाराहरूको संख्या (कससँग साथीहरू छन् र साथीहरूको संख्या)।

यदि ग्राफमा तत्वहरूको संख्या 29 मिलियन भन्दा बढी छैन (यो संख्या 8 * को गुणन को रूपमा लिइन्छ। अधिकतम रेखा आकार), अर्थात्, त्यस्ता म्याट्रिक्सहरू भण्डारण गर्ने अझ बढी किफायती तरिका भनेको बिट स्ट्रिङ हो, किनभने तिनीहरूको कार्यान्वयनले ठूलो अन्तरलाई विशेष तरिकामा अनुकूलन गर्छ।

बिट स्ट्रिङको साथ हेरफेर प्रकार्य द्वारा प्रदर्शन गरिन्छ $BIT.

; установка бита
SET $BIT(rowID, positionID) = 1
; получение бита
Write $BIT(rowID, positionID)

राज्य मेसिन संक्रमण तालिका

परिमित अटोमेटनको ट्रान्जिसन ग्राफ सामान्य ग्राफ भएको हुनाले, परिमित अटोमेटनको ट्रान्जिसन तालिका माथि चर्चा गरिएको एजेन्सी म्याट्रिक्स हो।

सेलुलर अटोमेटा

सबैभन्दा प्रसिद्ध सेलुलर automaton हो खेल "जीवन", जुन, यसको नियमहरूको कारणले (जब सेलमा धेरै छिमेकीहरू हुन्छन्, यो मर्छ) एक स्पार्स एरे हो।

स्टीफन वोल्फ्राम सेलुलर अटोमेटा हुन् भन्ने विश्वास गर्छन् विज्ञान को नयाँ क्षेत्र। 2002 मा, उहाँले 1280-पृष्ठको पुस्तक प्रकाशित गर्नुभयो, विज्ञानको नयाँ प्रकार, जसमा उहाँले व्यापक रूपमा तर्क गर्नुभयो कि सेलुलर अटोमेटामा प्रगतिहरू पृथक छैनन्, तर स्थायी छन् र विज्ञानका सबै क्षेत्रहरूमा ठूलो प्रभावहरू छन्।

यो प्रमाणित भएको छ कि कम्प्युटरमा कार्यान्वयन योग्य कुनै पनि एल्गोरिदम सेलुलर अटोमेटोन प्रयोग गरेर लागू गर्न सकिन्छ। सेलुलर अटोमेटा गतिशील वातावरण र प्रणालीहरू मोडेल गर्न, एल्गोरिदमिक समस्याहरू समाधान गर्न र अन्य उद्देश्यका लागि प्रयोग गरिन्छ।

यदि हामीसँग ठूलो क्षेत्र छ र हामीले सेलुलर अटोमेटनको सबै मध्यवर्ती अवस्थाहरू रेकर्ड गर्न आवश्यक छ भने, त्यसोभए यसले ग्लोबलहरू प्रयोग गर्न अर्थ राख्छ।

कार्टोग्राफी

स्प्यार्स एरेहरू प्रयोग गर्ने कुरा गर्दा मेरो दिमागमा आउने पहिलो कुरा म्यापिङ कार्यहरू हो।

नियमको रूपमा, नक्सामा धेरै खाली ठाउँ छ। यदि नक्सा ठूला पिक्सेलको रूपमा प्रस्तुत गरिएको छ भने, पृथ्वीको पिक्सेलको 71% समुन्द्रले ओगटेको छ। स्प्यार्स एरे। र यदि तपाईंले मानव हातको मात्र कामहरू लागू गर्नुभयो भने, खाली ठाउँ 95% भन्दा बढी हुनेछ।

निस्सन्देह, कसैले पनि रास्टर एरेको रूपमा नक्साहरू भण्डार गर्दैन, भेक्टर प्रतिनिधित्व प्रयोग गरिन्छ।
तर भेक्टर नक्शा के हो? यो एक प्रकारको फ्रेम र पोलीलाइन र पोइन्टहरू मिलेर बनेको बहुभुज हो।
अनिवार्य रूपमा बिन्दुहरू र तिनीहरू बीचको जडानहरूको डेटाबेस।

सबैभन्दा महत्वाकांक्षी म्यापिङ मिसनहरू मध्ये एक हाम्रो ग्यालेक्सी नक्सा गर्ने ग्याया टेलिस्कोप मिसन हो। लाक्षणिक रूपमा भन्नुपर्दा, हाम्रो आकाशगंगा, सम्पूर्ण ब्रह्माण्ड जस्तै, एक निरन्तर स्पर्स एरे हो: खालीपनको विशाल ठाउँहरू जसमा दुर्लभ साना बिन्दुहरू - ताराहरू छन्। खाली ठाउँ ९९.९९९९९९…….% छ। हाम्रो ग्यालेक्सीको नक्सा भण्डारण गर्न, विश्वव्यापी डाटाबेस छनोट गरिएको थियो - क्याचे।

मलाई यस परियोजनामा ग्लोबलहरूको सही संरचना थाहा छैन, म यो मान्न सक्छु कि यो केहि समान छ:

Set ^galaxy(b, l, d) = 1; Номер звезды по каталогу, если есть
Set ^galaxy(b, l, d, "name") = "Sun"
Set ^galaxy(b, l, d, "type") = "normal" ; варианты blackhole, quazar, red_dwarf и т.д.
Set ^galaxy(b, l, d, "weight") = 14E50
Set ^galaxy(b, l, d, "planetes") = 7
Set ^galaxy(b, l, d, "planetes", 1) = "Mercury"
Set ^galaxy(b, l, d, "planetes", 1, weight) = 1E20
...

जहाँ b, l, d छन् ग्यालेक्टिक समन्वय अक्षांश, देशान्तर र सूर्य को दूरी।

ग्लोबलहरूको लचिलो संरचनाले तपाईंलाई ताराहरू र ग्रहहरूको कुनै पनि आवश्यक विशेषताहरू बचत गर्न अनुमति दिन्छ, किनकि ग्लोबलहरूमा आधारहरू योजना-कम छन्।

हाम्रो ब्रह्माण्डको नक्सा भण्डारण गर्न, Caché लाई यसको लचिलोपनको लागि मात्र होइन, छिटो खोजहरूको लागि सूचकांक ग्लोबलहरू सिर्जना गर्दा, धेरै छिटो डाटाको स्ट्रिम भण्डारण गर्ने क्षमताको लागि पनि छनोट गरिएको थियो।

यदि हामी पृथ्वीमा फर्क्यौं भने, तब कार्टोग्राफिक परियोजनाहरू विश्वव्यापी रूपमा सिर्जना गरिएको थियो OpenStreetMap XAPI र OpenStreetMap को एक फोर्क - FOSM.

हालै मा hackathon Caché भूस्थानिक सूचकांकहरू लागू गरियो Geospatial। हामी कार्यान्वयन विवरणहरू सहित लेखकहरूको लेखको लागि पर्खिरहेका छौं।

OpenStreetMap XAPI मा विश्वव्यापी रूपमा स्थानिक अनुक्रमणिकाहरूको कार्यान्वयन

बाट लिइएको तस्विरहरु यो प्रस्तुति.

सम्पूर्ण ग्लोब वर्गमा विभाजन गरिएको छ, त्यसपछि उप-वर्ग, र उप-वर्गहरूलाई उप-उप-वर्ग, र यस्तै। सामान्यतया, हामी भण्डारणको लागि एक पदानुक्रमिक संरचना पाउँछौं जुन ग्लोबलहरू सिर्जना गरिएका छन्।

कुनै पनि क्षणमा, हामी लगभग तुरुन्तै वांछित वर्ग अनुरोध गर्न वा खाली गर्न सक्छौं, र सबै उप-वर्गहरू पनि फिर्ता वा खाली गरिनेछ।

ग्लोबलमा समान योजना धेरै तरिकामा लागू गर्न सकिन्छ।

विकल्प 1:

Set ^m(a, b, a, c, d, a, b,c, d, a, b, a, c, d, a, b,c, d, a, 1) = idПервойТочки
Set ^m(a, b, a, c, d, a, b,c, d, a, b, a, c, d, a, b,c, d, a, 2) = idВторойТочки
...

विकल्प 2:

Set ^m('abacdabcdabacdabcda', 1) = idПервойТочки
Set ^m('abacdabcdabacdabcda', 2) = idВторойТочки
...

दुबै अवस्थामा, कुनै पनि स्तरको वर्गमा अवस्थित बिन्दुहरू अनुरोध गर्न COS/M प्रयोग गर्न गाह्रो छैन। पहिलो विकल्पमा कुनै पनि स्तरमा स्पेसको वर्ग टुक्राहरू सफा गर्न केही हदसम्म सजिलो हुनेछ, तर यो विरलै आवश्यक छ।

तल्लो स्तर वर्ग मध्ये एक को एक उदाहरण:

र यहाँ XAPI परियोजनाबाट धेरै ग्लोबलहरू छन्: ग्लोबलहरूमा सूचकांकको प्रतिनिधित्व:

विश्वव्यापी ^ बाटो अंक भण्डारण गर्न प्रयोग गरिन्छ polylines (सडकहरू, साना नदीहरू, आदि) र बहुभुजहरू (बन्द क्षेत्रहरू: भवनहरू, जंगलहरू, आदि)।

ग्लोबलमा स्पार्स एरेहरूको प्रयोगको रफ वर्गीकरण।

हामी निश्चित वस्तुहरू र तिनीहरूका राज्यहरू (नक्साङ्कन, सेलुलर अटोमेटा) को निर्देशांक भण्डार गर्छौं।
हामी स्पार्स म्याट्रिक्सहरू भण्डार गर्छौं।

केस 2 को लागि) जब एलिमेन्टलाई मान तोकिएको छैन जहाँ एक विशेष समन्वय अनुरोध गर्दा, हामीले पूर्वनिर्धारित स्पार्स एरे एलिमेन्टको मान प्राप्त गर्नुपर्छ।

ग्लोबलमा बहुआयामिक म्याट्रिक्सहरू भण्डारण गर्दा हामीले प्राप्त गर्ने बोनसहरू

तुरुन्तै हटाउनुहोस् र/वा पङ्क्तिहरू, प्लेनहरू, क्यूबहरू, इत्यादिको गुणक ठाउँको टुक्राहरू चयन गर्नुहोस्। पूर्णांक अनुक्रमणिकाहरू प्रयोग गरिएका केसहरूको लागि, पङ्क्तिहरू, प्लेनहरू, क्यूबहरू, इत्यादिका गुणहरू भएका ठाउँको टुक्राहरू तुरुन्तै हटाउने र/वा ल्याउने क्षमता उपयोगी हुन सक्छ।

टोली मार्न हामी या त एकल तत्व वा पङ्क्ति, वा सम्पूर्ण विमान मेटाउन सक्छौं। ग्लोबलहरूको गुणहरूलाई धन्यवाद, यो धेरै छिटो हुन्छ - तत्व-द्वारा-तत्व हटाउने भन्दा हजारौं गुणा छिटो।

फिगरले विश्वव्यापी रूपमा त्रि-आयामी एरे देखाउँछ ^a र मेटाउने विभिन्न प्रकारहरू।

ज्ञात अनुक्रमणिका प्रयोग गरेर स्पेसको टुक्राहरू चयन गर्न, तपाइँ आदेश प्रयोग गर्न सक्नुहुन्छ मर्ज गर्नुहोस्.

स्तम्भ चरमा म्याट्रिक्स स्तम्भ चयन गर्दै:

; Зададим трёхмерный разреженный массив 3x3x3
Set ^a(0,0,0)=1,^a(2,2,0)=1,^a(2,0,1)=1,^a(0,2,1)=1,^a(2,2,2)=1,^a(2,1,2)=1
Merge Column = ^a(2,2)
; Выведем переменную Column
Zwrite Column

निष्कर्ष:

Column(0)=1
Column(2)=1

स्तम्भ चरको बारेमा के चाखलाग्दो कुरा यो हो कि हामीसँग स्प्यार्स एरे पनि छ, जसलाई मार्फत पनि पहुँच गर्नुपर्दछ। $GET, किनकि पूर्वनिर्धारित मानहरू यसमा भण्डार गरिएको छैन।

स्पेसको टुक्राहरू चयन गर्न पनि कार्य प्रयोग गरेर सानो कार्यक्रम मार्फत गर्न सकिन्छ $Order। यो विशेष गरी खाली ठाउँहरूमा सुविधाजनक छ जसको सूचकांकहरू परिमाणित छैनन् (कार्टोग्राफी)।

निष्कर्षमा

वर्तमान समयले नयाँ महत्वाकांक्षी कार्यहरू खडा गरेको छ। ग्राफहरू अरबौं ठाडोहरू मिलेर बनेका हुन सक्छन्, अरबौं बिन्दुहरू मिलेर बनेका नक्साहरू, र कतिपयले सेलुलर अटोमेटामा आफ्नो ब्रह्माण्ड चलाउन पनि चाहन्छन्।1, 2).

जब स्पार्स एरेहरूबाट डाटाको भोल्युम अब RAM मा फिट हुन सक्दैन, तर तपाईंले तिनीहरूसँग काम गर्न आवश्यक छ, तब यो ग्लोबल र COS मा समान परियोजनाहरू कार्यान्वयन गर्ने सम्भावनालाई विचार गर्न लायक छ।

तपाईको ध्यानाकर्सनको लागि धन्यवाद! हामी कमेन्टमा तपाईको प्रश्न र इच्छाको लागि पर्खिरहेका छौं।

त्याग: यो लेख र यसमा मेरो टिप्पणीहरू मेरो विचार हो र InterSystems Corporation को आधिकारिक स्थितिसँग कुनै सम्बन्ध छैन।

स्रोत: www.habr.com

ग्लोबलहरू डाटा भण्डारण गर्नका लागि खजाना-तरवारहरू हुन्। स्पार्स एरेहरू। भाग ३