🥇 PostgreSQL अनुकूलन गर्न लिनक्स कर्नेल प्यारामिटरहरू ट्युन गर्दै

इष्टतम PostgreSQL कार्यसम्पादन सही रूपमा परिभाषित अपरेटिङ सिस्टम प्यारामिटरहरूमा निर्भर गर्दछ। खराब रूपमा कन्फिगर गरिएको OS कर्नेल सेटिङहरूले खराब डाटाबेस सर्भर प्रदर्शनको परिणाम हुन सक्छ। त्यसकारण, यो आवश्यक छ कि यी सेटिङहरू डाटाबेस सर्भर र यसको कार्यभार अनुसार कन्फिगर गरिएको छ। यस पोष्टमा, हामी केहि महत्त्वपूर्ण लिनक्स कर्नेल प्यारामिटरहरू छलफल गर्नेछौं जसले डाटाबेस सर्भर प्रदर्शनलाई असर गर्न सक्छ र तिनीहरूलाई कसरी कन्फिगर गर्ने।

SHMMAX / SHMALL

SHMMAX लिनक्स प्रक्रियाले आवंटित गर्न सक्ने एकल साझा मेमोरी खण्डको अधिकतम आकार निर्धारण गर्न प्रयोग गरिने कर्नेल प्यारामिटर हो। संस्करण 9.2 भन्दा पहिले, PostgreSQL ले System V (SysV) को प्रयोग गर्‍यो, जसलाई SHMMAX सेटिङ चाहिन्छ। 9.2 पछि, PostgreSQL ले POSIX साझा मेमोरीमा स्विच गर्यो। त्यसैले अब सिस्टम V साझा मेमोरीको कम बाइटहरू आवश्यक छ।

संस्करण 9.3 अघि, SHMMAX सबैभन्दा महत्त्वपूर्ण कर्नेल प्यारामिटर थियो। SHMMAX मान बाइटहरूमा निर्दिष्ट गरिएको छ।

त्यस्तै SHMALL निर्धारण गर्न प्रयोग गरिने अर्को कर्नेल प्यारामिटर हो
साझा मेमोरी पृष्ठहरूको प्रणाली-व्यापी मात्रा। हालको SHMMAX, SHMALL, वा SHMMIN मानहरू हेर्न, आदेश प्रयोग गर्नुहोस् ipcs.

SHM* विवरण - लिनक्स

$ ipcs -lm

------ Shared Memory Limits --------
max number of segments = 4096
max seg size (kbytes) = 1073741824
max total shared memory (kbytes) = 17179869184
min seg size (bytes) = 1

SHM* विवरणहरू - MacOS X

$ ipcs -M
IPC status from  as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max shared memory segment size)
	shmmin:       1	(min shared memory segment size)
	shmmni:      32	(max number of shared memory identifiers)
	shmseg:       8	(max shared memory segments per process)
	shmall:    1024	(max amount of shared memory in pages)

PostgreSQL प्रयोग गर्दछ प्रणाली V आईपीसी साझा मेमोरी आवंटित गर्न। यो प्यारामिटर सबैभन्दा महत्त्वपूर्ण कर्नेल प्यारामिटरहरू मध्ये एक हो। जब तपाइँ निम्न त्रुटि सन्देशहरू प्राप्त गर्नुहुन्छ, यसको मतलब तपाइँसँग PostgreSQL को पुरानो संस्करण छ र तपाइँको SHMMAX मान धेरै कम छ। प्रयोगकर्ताहरूले उनीहरूले प्रयोग गर्न चाहेको साझा मेमोरी अनुसार मूल्य समायोजन र वृद्धि गर्ने अपेक्षा गरिन्छ।

सम्भावित गलत कन्फिगरेसन त्रुटिहरू

यदि SHMMAX सही रूपमा कन्फिगर गरिएको छैन भने, आदेश प्रयोग गरेर PostgreSQL क्लस्टर सुरु गर्ने प्रयास गर्दा तपाईंले त्रुटि प्राप्त गर्न सक्नुहुन्छ। initdb.

initdb विफलता
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).


HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter.  

You can either reduce the request size or reconfigure the kernel with larger SHMMAX. To reduce the request size (currently 2072576 bytes), 

reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections. 
If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter,

in which case raising the request size or reconfiguring SHMMIN is called for.

The PostgreSQL documentation contains more information about shared memory configuration. child process exited with exit code 1

त्यस्तै गरी, आदेश प्रयोग गरेर PostgreSQL सर्भर सुरु गर्दा तपाईंले त्रुटि प्राप्त गर्न सक्नुहुन्छ pg_ctl.

pg_ctl विफलता
DETAIL: Failed system call was shmget(key=5432001, size=14385152, 03600).


HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter.
You can either reduce the request size or reconfigure the kernel with larger SHMMAX.; To reduce the request size (currently 14385152 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter, 

in which case raising the request size or reconfiguring SHMMIN is called for.

The PostgreSQL documentation contains more information about shared memory configuration.

परिभाषाहरूमा भिन्नताहरू बुझ्दै

लिनक्स र MacOS X मा SHMMAX/SHMALL प्यारामिटरहरू परिभाषित गर्नु अलि फरक छ:

लिनक्स: kernel.shmmax, kernel.shmall
MacOS X: kern.sysv.shmmax, kern.sysv.shmall

टोली sysctl अस्थायी रूपमा मूल्य परिवर्तन गर्न प्रयोग गर्न सकिन्छ। स्थिर मानहरू सेट गर्न, एउटा प्रविष्टि थप्नुहोस् /etc/sysctl.conf। विवरण तल छ।

MacOS X मा कर्नेल सेटिङहरू परिवर्तन गर्दै

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

लिनक्समा कर्नेल प्यारामिटरहरू परिवर्तन गर्दै

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

नबिर्सनुहोस्: परिवर्तनहरू स्थायी बनाउनको लागि, यी मानहरू /etc/sysctl.conf मा थप्नुहोस्

विशाल पृष्ठहरू

लिनक्सले पूर्वनिर्धारित रूपमा 4 KB मेमोरी पृष्ठहरू प्रयोग गर्दछ, BSD ले XNUMX KB मेमोरी पृष्ठहरू प्रयोग गर्दछ। सुपर पृष्ठहरु, र Windows मा - ठूला पृष्ठहरू। पृष्ठ भनेको प्रक्रियामा छुट्याइएको RAM को टुक्रा हो। मेमोरी आवश्यकताहरूको आधारमा प्रक्रियामा धेरै पृष्ठहरू हुन सक्छन्। प्रक्रियालाई जति धेरै मेमोरी चाहिन्छ, त्यति धेरै पृष्ठहरू आवंटित हुन्छन्। OS ले प्रक्रियाहरूको लागि पृष्ठ आवंटन तालिका राख्छ। पृष्ठको आकार जति सानो हुन्छ, तालिका जति ठूलो हुन्छ, त्यो पृष्ठ तालिकामा पृष्ठ फेला पार्न त्यति नै लामो समय लाग्छ। ठूला पृष्ठहरूले कम ओभरहेडको साथ ठूलो मात्रामा मेमोरी प्रयोग गर्न अनुमति दिन्छ; कम पृष्ठ दृश्यहरू, कम पृष्ठ त्रुटिहरू, ठूला बफरहरूमा छिटो पढ्ने/लेख्ने कार्यहरू। परिणाम सुधारिएको प्रदर्शन हो।

PostgreSQL ले लिनक्समा ठूला पृष्ठहरूलाई मात्र समर्थन गर्दछ। पूर्वनिर्धारित रूपमा, लिनक्सले 4 KB मेमोरी पृष्ठहरू प्रयोग गर्दछ, त्यसैले धेरै मेमोरी सञ्चालनहरू भएका अवस्थामा, ठूला पृष्ठहरू सेट गर्न आवश्यक छ। 2 MB र 1 GB सम्म ठूला पृष्ठहरू प्रयोग गर्दा प्रदर्शन लाभहरू अवलोकन गरिन्छ। ठूलो पृष्ठ आकार बुट समयमा सेट गर्न सकिन्छ। तपाईं सजिलैसँग ठूला पृष्ठ प्यारामिटरहरू र तिनीहरूको प्रयोग तपाईंको लिनक्स मेसिनमा आदेश प्रयोग गरेर जाँच गर्न सक्नुहुन्छ cat /proc/meminfo | grep - i विशाल.

ठूला पृष्ठहरूको बारेमा जानकारी प्राप्त गर्दै (लिनक्स मात्र)

Note: This is only for Linux, for other OS this operation is ignored$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

यस उदाहरणमा, ठूला पृष्ठहरूको आकार 2048 (2 MB) मा सेट गरिए पनि, ठूला पृष्ठहरूको कुल संख्या 0 मा सेट गरिएको छ। यसको मतलब ठूला पृष्ठहरू असक्षम पारिएका छन्।

ठूला पृष्ठहरूको संख्या निर्धारण गर्न लिपि

यो सरल लिपिले ठूला पृष्ठहरूको आवश्यक संख्या फर्काउँछ। PostgreSQL चलिरहेको बेला तपाईंको लिनक्स सर्भरमा स्क्रिप्ट चलाउनुहोस्। सुनिश्चित गर्नुहोस् कि वातावरण चर को लागी $PGDATA PostgreSQL डाटा डाइरेक्टरी निर्दिष्ट गरिएको छ।

आवश्यक ठूला पृष्ठहरूको संख्या प्राप्त गर्दै

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:            $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:            $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:   $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:     $hp

स्क्रिप्ट आउटपुट यस्तो देखिन्छ:

स्क्रिप्ट आउटपुट

Pid:            12737
VmPeak:         180932 kB
Hugepagesize:   2048 kB
Set Huge Pages: 88

ठूला पृष्ठहरूको लागि सिफारिस गरिएको मान 88 हो, त्यसैले तपाईंले यसलाई 88 मा सेट गर्नुपर्छ।

ठूला पृष्ठहरू स्थापना गर्दै

sysctl -w vm.nr_hugepages=88

अहिले ठूला पृष्ठहरू जाँच गर्नुहोस्, तपाईंले देख्नुहुनेछ कि ठूला पृष्ठहरू प्रयोग गरिएका छैनन् (HugePages_Free = HugePages_Total)।

ठूला पृष्ठहरू पुन: अवलोकन गरियो (लिनक्स मात्र)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

अब विशाल_पेज प्यारामिटरलाई $PGDATA/postgresql.conf मा "ऑन" मा सेट गर्नुहोस् र सर्भर पुन: सुरु गर्नुहोस्।

फेरि, ठूला पृष्ठहरूको बारेमा जानकारी (लिनक्स मात्र)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:        0
Hugepagesize:       2048 kB

अब तपाईले देख्न सक्नुहुन्छ कि धेरै थोरै ठूला पृष्ठहरू प्रयोग भइरहेका छन्। अब डाटाबेसमा केही डाटा थप्ने प्रयास गरौं।

ठूला पृष्ठहरू पुन: प्रयोग गर्नका लागि केही डाटाबेस सञ्चालनहरू

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

हेरौं कि हामी पहिले भन्दा अहिले धेरै ठूला पृष्ठहरू प्रयोग गर्दैछौं।

ठूला पृष्ठहरूमा थप जानकारी (लिनक्स मात्र)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:        1
HugePages_Surp:        0
Hugepagesize:       2048 kB

अब तपाईले देख्न सक्नुहुन्छ कि धेरै जसो ठूला पृष्ठहरू प्रयोग भइरहेका छन्।

नोट: यहाँ प्रयोग गरिएको HugePages को लागि अनुमानित मान धेरै कम छ, जुन उत्पादन वातावरण चलाउने मेसिनको लागि सामान्य मान होइन। कृपया तपाईंको प्रणालीको लागि आवश्यक पृष्ठहरूको संख्या अनुमान गर्नुहोस् र लोड र स्रोतहरूको आधारमा तिनीहरूलाई सेट गर्नुहोस्।

vm.swappiness

vm.swappiness अर्को कर्नेल प्यारामिटर हो जसले डाटाबेस प्रदर्शनलाई असर गर्न सक्छ। यो विकल्प लिनक्समा swappiness (मेमोरी भित्र र बाहिर पृष्ठहरू स्वैपिङ) को व्यवहार नियन्त्रण गर्न प्रयोग गरिन्छ। मान 0 देखि 100 सम्मको हुन्छ। यसले कति मेमोरी पृष्ठ वा पृष्ठ आउट हुनेछ भनेर निर्धारण गर्दछ। शून्यको अर्थ कुनै विनिमय र 100 भनेको आक्रामक विनिमय हो।

तपाईं कम मानहरू सेट गरेर राम्रो प्रदर्शन प्राप्त गर्न सक्नुहुन्छ।

नयाँ कर्नेलहरूमा यसलाई ० मा सेट गर्नाले OOM किलर (लिनक्सको मेमोरी क्लिनिङ प्रक्रिया) लाई प्रक्रिया नष्ट गर्न सक्छ। त्यसैले यसलाई १ मा सेट गर्न सुरक्षित छ यदि तपाईं स्वैपिङ कम गर्न चाहनुहुन्छ भने। लिनक्समा पूर्वनिर्धारित मान ६० हो। उच्च मानले MMU (मेमोरी व्यवस्थापन इकाई) लाई RAM भन्दा बढी स्वैप स्पेस प्रयोग गर्न दिन्छ, जबकि कम मानले मेमोरीमा थप डाटा/कोड राख्छ।

PostgreSQL मा सुधारिएको प्रदर्शनको लागि कम मूल्य राम्रो शर्त हो।

vm.overcommit_memory / vm.overcommit_ratio

एप्लिकेसनहरूले मेमोरी प्राप्त गर्दछ र यसलाई अब आवश्यक नभएको बेला जारी गर्दछ। तर केहि अवस्थामा, अनुप्रयोगले धेरै मेमोरी प्राप्त गर्दछ र यसलाई रिलीज गर्दैन। यसले OOM हत्यारा निम्त्याउन सक्छ। यहाँ सम्भावित प्यारामिटर मानहरू छन् vm.overcommit_memory प्रत्येकको लागि विवरणको साथ:

Heuristic overcommit (पूर्वनिर्धारित); कर्नेल आधारित अनुमानित
जे भए पनि overcommit लाई अनुमति दिनुहोस्
यसलाई अधिक नगर्नुहोस्, ओभरकममिट अनुपात भन्दा बढि नगर्नुहोस्।

सन्दर्भ: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

vm.overcommit_ratio — ओभरलोडको लागि उपलब्ध RAM को प्रतिशत। 50 GB RAM भएको प्रणालीमा 2% को मानले 3 GB सम्म RAM छुट्याउन सक्छ।

vm.overcommit_memory को लागि 2 को मानले PostgreSQL को लागि राम्रो प्रदर्शन प्रदान गर्दछ। यो मानले OOM किलर प्रक्रियाबाट मारिने कुनै पनि महत्त्वपूर्ण जोखिम बिना सर्भर प्रक्रियाको RAM उपयोगलाई अधिकतम बनाउँछ। अनुप्रयोग पुन: लोड गर्न सक्षम हुनेछ, तर केवल ओभररनको सीमा भित्र, जसले OOM किलर प्रक्रियालाई मार्ने जोखिम कम गर्दछ। त्यसकारण, २ को मानले ० को पूर्वनिर्धारित मान भन्दा राम्रो प्रदर्शन दिन्छ। यद्यपि, दायराभन्दा बाहिरको मेमोरी ओभरलोड गरिएको छैन भनी सुनिश्चित गरेर विश्वसनीयता सुधार गर्न सकिन्छ। यसले OOM हत्याराद्वारा मारिने प्रक्रियाको जोखिमलाई हटाउँछ।

स्वैप नगरी प्रणालीहरूमा, vm.overcommit_memory बराबर 2 सँग समस्या हुन सक्छ।

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

vm.dirty_background_ratio / vm.dirty_background_bytes

vm.dirty_background_ratio फोहोर पृष्ठहरूले भरिएको मेमोरीको प्रतिशत हो जुन डिस्कमा लेख्न आवश्यक छ। डिस्कमा फ्लश पृष्ठभूमिमा हुन्छ। यो प्यारामिटरको मान 0 देखि 100 सम्म हुन्छ; यद्यपि, ५ भन्दा कम मान प्रभावहीन हुन सक्छ र केही कर्नेलहरूले यसलाई समर्थन गर्दैनन्। 5 धेरै लिनक्स प्रणालीहरूमा पूर्वनिर्धारित हो। तपाईले सानो कारकद्वारा लेखन-गहन कार्यहरूको लागि कार्यसम्पादन सुधार गर्न सक्नुहुन्छ, जसको मतलब लिनक्सले पृष्ठभूमिमा फोहोर पृष्ठहरू फ्लश गर्नेछ।

तपाईंले मान सेट गर्न आवश्यक छ vm.dirty_background_bytes तपाईंको ड्राइभको गतिमा निर्भर गर्दछ।

यी दुई प्यारामिटरहरूको लागि कुनै "राम्रो" मानहरू छैनन् किनकि दुवै हार्डवेयर निर्भर छन्। यद्यपि, vm.dirty_background_ratio लाई 5 र vm.dirty_background_bytes लाई डिस्क गतिको 25% मा सेट गर्नाले धेरै जसो केसहरूमा कार्यसम्पादनलाई ~25% मा सुधार गर्छ।

vm.dirty_ratio/dirty_bytes

उस्तै छ vm.dirty_background_ratio/dirty_background_bytes, रिसेट कार्यकर्ता सत्र मा प्रदर्शन गरिएको छ बाहेक, अनुप्रयोग अवरुद्ध। त्यसैले vm.dirty_ratio भन्दा बढी हुनुपर्छ vm.dirty_background_ratio। यसले सुनिश्चित गर्दछ कि पृष्ठभूमि प्रक्रियाहरू सम्भव भएसम्म एप्लिकेसन ब्लक गर्नबाट बच्नको लागि पहिले सुरु हुन्छ। तपाईँले डिस्क I/O लोडको आधारमा यी दुई अनुपातहरू बीचको भिन्नता समायोजन गर्न सक्नुहुन्छ।

परिणाम

तपाईं प्रदर्शन सुधार गर्न अन्य सेटिङहरू ट्वीक गर्न सक्नुहुन्छ, तर सुधारहरू न्यूनतम हुनेछन् र तपाईंले धेरै फाइदाहरू देख्नुहुने छैन। हामीले याद गर्नुपर्छ कि सबै विकल्पहरू सबै प्रकारका अनुप्रयोगहरूमा लागू हुँदैनन्। हामीले केही सेटिङहरू समायोजन गर्दा केही एपहरूले राम्रो काम गर्छ, र केही गर्दैनन्। तपाईंले आफ्नो अपेक्षित कार्यभार र अनुप्रयोग प्रकारको लागि यी सेटिङहरू कन्फिगर गर्ने बीचमा सही सन्तुलन फेला पार्नुपर्दछ, र ट्युनिङ गर्दा तपाईंले OS व्यवहारलाई पनि विचार गर्नुपर्छ। कर्नेल प्यारामिटरहरू कन्फिगर गर्न डाटाबेस प्यारामिटरहरू कन्फिगर गर्न जत्तिकै सजिलो छैन; सिफारिसहरू बनाउन यो अझ गाह्रो छ।

स्रोत: www.habr.com

PostgreSQL अनुकूलन गर्न लिनक्स कर्नेल विकल्पहरू कन्फिगर गर्दै