Riak Cloud Storage. חלק 1: הגדרת Riak KV

Riak CS (אחסון בענן) – תוכנה קלה לשימוש לארגון אחסון אובייקטים, הפועלת על גבי Riak KV. Riak (KV) הוא מסד נתונים מבוזר של NoSQL מפתח-ערך. Riak CS נועד לספק פשטות, זמינות, הפצה של אחסון ענן בכל קנה מידה, וניתן להשתמש בו לבניית ארכיטקטורות ענן - ציבוריות ופרטיות כאחד - או כאחסון תשתית עבור יישומים ושירותים טעונים מאוד. Riak CS API תואם לאמזון S3 ותומך ביכולת לקבל דיווחים על מצבים שונים.

מאמר זה הוא תרגום חופשי של המדריך הרשמי עבור מערכת Riak CS גרסה 2.1.1

במערכת האחסון Riak CS, שלושה רכיבים פועלים בשילוב זה עם זה, מה שאומר שכל רכיב חייב להיות מוגדר כך שיעבוד עם הרכיבים האחרים:

• ריאק (KV) – מערכת מסד נתונים הפועלת כמערכת קצה.
• ריאק CS - שכבת אחסון בענן על גבי Riak המספקת יכולות אחסון ו-API, מאחסנת קבצים ומטא נתונים בריאק ולאחר מכן מפיצה אותם למשתמשי קצה.
• סניף - מנהל שאילתות הכוללות ישויות ייחודיות בעולם כגון דליים ומשתמשים במופע של Riak. לדוגמה, יצירת משתמשים, יצירה או מחיקה של דליים.

בנוסף, אתה יכול גם להגדיר את לקוח S3 לשימוש בהעברת הודעות עם מערכת Riak CS.

עליך לתכנן שיהיה צומת Riak אחד עבור כל צומת Riak CS במערכת שלך. ניתן להפעיל את צמתי Riak ו-Riak CS במכונות פיזיות שונות, אך ברוב המקרים עדיף להפעיל צומת Riak אחד וצומת Riak CS אחד על אותה מכונה פיזית. בהנחה שלמכונה פיזית אחת יש מספיק כוח כדי לספק את הצרכים של צומת Riak ו- Riak CS כאחד, בדרך כלל תראה ביצועים טובים יותר בגלל זמן השהייה מופחת ברשת.

אם המערכת שלך מורכבת ממספר צמתים, התצורה היא בעיקר על הגדרת תקשורת בין רכיבים. להגדרות אחרות, כמו היכן יאוחסנו קבצי היומן, יש ערכי ברירת מחדל ויש לשנות רק אם ברצונך להשתמש בערכים לא סטנדרטיים.

הגדרת רכיבי מערכת. הגדרת Riak KV עבור CS

מכיוון ש-Riak CS היא אפליקציה שנבנתה על גבי Riak, חשוב מאוד לשים לב לתצורת Riak שלך בעת הפעלת Riak CS. מסמך זה הוא גם מדריך תצורה של Riak וגם מסמך עזר המתאר פרמטרים חשובים של תצורה.

לפני ההגדרה, ודא ש- Riak KV ו- Riak CS מותקנים בכל צומת באשכול שלך. סטנצ'יון, לעומת זאת, צריך להיות מותקן רק על צומת אחד בכל האשכול.

קצה אחורי עבור Riak CS

ברירת המחדל האחורי של Riak הוא Bitcask, אך חבילת Riak CS כוללת קצה אחורי מיוחד שחייב לשמש את אשכול Riak שהוא חלק ממערכת Riak CS. לגרסה הרגילה יש את ה-Multi backend הסטנדרטי שמגיע עם Riak.

אותם דליים של Riak המשמשים בתוך Riak CS משתמשים באינדקסים משניים, שדורשים כעת קצה אחורי של LevelDB. חלקים אחרים של מערכת Riak CS יכולים להפיק תועלת משימוש ב-Bticask backend. השימוש ב-Multi backend לדוגמה כלול ב-Riak CS כדי לנצל את שני ה-backends הללו כדי להשיג את השילוב הטוב ביותר של ביצועים ופונקציונליות. הסעיף הבא מתאר כיצד להגדיר נכון את Riak להשתמש ב-Multi-backend זה.

אחורי זה מה שישתמש ריאק כדי לשמור נתונים. ל-Riak KV יש כמה מערכות אחוריות בארסנל שלה: Bitcask, LevelDB, Memory ו-Multi.

בנוסף, מערכת חישוב האחסון משתמשת ב-Riak MapReduse כדי לצבור קבצים לדליים. משמעות הדבר היא שעליך לומר לכל צמתי Riak היכן לחפש קבצי Riak CS מוכנים לפני אחסון מחשוב.

יש לשנות מספר פרמטרים אחרים כדי להגדיר את צומת Riak כחלק ממערכת Riak CS, כגון כתובת ה-IP וכתובת ה-IP והיציאה להעברת הודעות דרך מאגרי פרוטוקול. ניתן לשנות הגדרות אחרות במידת הצורך. הסעיפים הבאים מתארים כיצד להגדיר צומת Riak לפעול כחלק ממערכת Riak CS.

הקמת Riak backend

ראשית, קבצי התצורה riak.conf או advanced.config/app.config נערכים. קבצים אלה יכולים להיות ממוקמים בספריות /etc/riak או /opt/riak/etc. כברירת מחדל, Riak משתמש ב-Bitcask backend. הדבר הראשון שעלינו לעשות הוא לשנות את קובץ התצורה על ידי הסרת השורה הבאה:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

ADVANCED.CONFIG

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

APP.CONFIG

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

לאחר מכן, עלינו להדגים את הצורך במודולי RiakCS עבור Riak ולהורות לריאק להשתמש ב-backend המוגדר המספק את Riak CS. עלינו להשתמש בקובץ advanced.config או app.config לשם כך ולהוסיף את האפשרויות הבאות:

ADVANCED.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

APP.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

חשוב מאוד לציין שרבים מהערכים הללו יהיו תלויים בווריאציות ספריות ספציפיות למערכת ההפעלה שלך, אז פעל בהתאם להוראות. לדוגמה, האפשרות add_paths מניחה ש-Riak CS מותקן ב-/usr/lib/riak-cs, בעוד שאפשרויות data_root מניחות ש-Riak מותקן ב-/var/lib. (הערה: במקרה שלי זה היה add_paths - /usr/lib64/riak-cs/).

תצורה זו מניחה ש-Riak CS מותקן על אותה מכונה כמו Riak. אם לא, יש להעתיק את החבילה למארח נפרד.

הגדרת יצירת אחים

כעת, עלינו להגדיר את הפרמטר allow_mult ל-true. אנחנו יכולים להוסיף שורה בקובץ התצורה riak.conf, או קטע riak_core ב-advanced.config או app.config.

RIAK.CONF

buckets.default.allow_mult = true

ADVANCED.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

APP.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

זה יאפשר לריאק ליצור אחים הנחוצים לריאק CS לתפקד. אם אתה מתחבר ל-Riak CS באמצעות ספריית הלקוח, אל תדאג: לא תצטרך לפתור התנגשויות, מכיוון שכל פעולות Riak CS הן עקביות בהחלט כפי שהוגדרו.

אָח אוֹ אָחוֹת היא דרך לאחסן מספר אובייקטים במפתח אחד כך שלאובייקט יהיו ערכים שונים בצמתים שונים.

הערה: allow_mult
לכל צומת Riak שתומך גם ב-Riak CS יהיה allow_mult מוגדר כ-true בכל עת. Riak CS יאפס את ההשקה אם הערך הוא שקר.

הגדרת שם המארח וכתובת ה-IP

לכל צומת Riak יש שם, אותו ניתן לציין באפשרות שם הצומת ב-riak.conf. אם אתה משתמש בקובץ התצורה app.config, עליך ליצור קובץ בשם vm.args באותה ספרייה כמו app.config ולציין את שם המארח באמצעות הדגל -name. אנו ממליצים לציין שמות צמתים בפורמט @. וכך אם יש לך שלושה צמתים הפועלים על מארח אחד 100.0.0.1, אתה יכול להתקשר אליהם [מוגן בדוא"ל], [מוגן בדוא"ל]ו - [מוגן בדוא"ל] או שאתה יכול לתת שמות ספציפיים יותר, כגון [מוגן בדוא"ל], [מוגן בדוא"ל] וכולי. הדוגמה שלהלן מדגימה את שינוי שם המארח ל [מוגן בדוא"ל], שיפעל על localhost.

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

עליך לתת שם לכל הצמתים לפני הפעלתם והצטרפות לאשכול.

מבחן התקנה

כעת, לאחר שהושלמו כל הגדרות הצומת הדרושות, אנו יכולים לנסות להפעיל את Riak:

SHELL

 riak start 

הערה התשובה במקרה שלי:

כאן אתה צריך לחכות קצת. אז אתה יכול להתחיל לבדוק את הצומת הפועל.

SHELL

 riak ping

אם התגובה היא פונג, אז Riak פועל; אם התגובה היא Node לא מגיב לפינגים, אז משהו השתבש.

הערה התשובה במקרה שלי:

אם הצומת לא התחיל כהלכה, עיין ביומן erlang.log.1 בספריית /log של הצומת אם ניתן לזהות את הבעיה. אחת השגיאות הנפוצות ביותר היא invalid_storage_backend. מה שמעיד שהנתיב לספריית Riak CS ב-advanced.config או ב-app.config שגוי (או Riak CS לא מותקן בשרת). למרות שגיאה זו, ודא שלא שינית מ-riak_cs_kv_multi_backend ל-riak_kv_multi_backend.

הגדרת Riak לשימוש במאגרי פרוטוקול

הגדרות המאגר של פרוטוקול Riak ממוקמות ב-riak.conf או בקטע riak_api בקבצי advanced.config או app.config, הממוקמים בספרייה /etc/riak/. כברירת מחדל, למארח יש כתובת IP של 127.0.0.1 ויציאה 8087. תצטרך לשנות את אלה אם אתה מתכנן להפעיל את Riak ו- Riak CS בסביבה לא מקומית. החלף את 127.0.0.1 בכתובת ה-IP המארח של Riak ויציאה 8087 בכתובת מתאימה.

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

ADVANCED.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

APP.CONFIG

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

הערה:הערך של הפרמטר listener.protobuf.internal בקובץ riak.conf (או הערך של הפרמטר pb בקובץ advanced.conf/app.config) חייב להתאים לערכים של riak_host ב- Riak CS riak-cs.config ו Stanchion stanchion.conf (או riak_host בהתאמה בקבצי .config/app.config) מתקדמים.

הערה לגבי מספר היציאה
ייתכן שנדרש מספר יציאה שונה אם היציאה מתנגשת עם יציאות המשמשות יישום אחר או אם אתה משתמש במאזן עומסים או בשרת proxy.

כמו כן, מומלץ למשתמשים לוודא שגודל Riak protobuf.backlog (או בקבצי advanced.config/app.config זה pb_backlog) שווה או גדול מה-pool.request.size שצוין עבור Riak CS ב-riak-cs. config (או request_pool_size בקבצי advanced.config/ app.conf).

אם הערך של pool.request.size ב- Riak CS שונה, אזי יש לעדכן גם את הערך של protobuf.backlog ב- Riak.

הגדרות אחרות של Riak

הקבצים riak.conf ו- advanced.config כוללים הגדרות אחרות שמגדירות את היצירה של קובצי יומן והיכן הם נשמרים. להגדרות אלה יש ערכי ברירת מחדל ואמורות לעבוד ברוב המקרים. למידע נוסף, אנו ממליצים לקרוא את התיעוד שלנו לגבי קובצי תצורה.

הגדרת כתובת IP עבור Riak

בעת הגדרת כתובת IP עבור Riak, עליך להיות בטוח שלצמתי Riak יש כתובת IP ייחודית, בין אם אתה עובד עם צומת אחד בלבד ובין אם אתה מוסיף עוד צמתים למערכת. כתובת ה-IP של Riak כלולה ב-riak.conf או - אם אתה משתמש בקובץ app.config - בקובץ התצורה vm.args, שנמצא שם בספריית /etc/riak (או /opt/riak/etc/ במערכות הפעלה אחרות).

בתחילה, השורה המכילה את כתובת ה-IP של Riak מפנה אל המארח המקומי במיקום זה:

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

החלף את 127.0.0.1 בכתובת ה-IP המועדפת עליך או בשם המארח של צומת Riak.

הגדרות ביצועים ורוחב פס

מטעמי ביצועים, אנו ממליצים בחום להוסיף ערכים לקובצי התצורה של Riak riak.conf או vm.args, הממוקמים בספריית /etc/riak/ או /opt/riak/etc.

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

השבתת JavaScript MapReduce

מומלץ לא להשתמש ב-JavaScript MapReduce מדור קודם עם כל גרסה של Riak CS. מטעמי ביצועים, עליך להשבית את המחשב הווירטואלי המבצע פעולות JavaScript MapReduce על ידי הגדרה בקובץ התצורה riak.conf, או בקטע riak_kv של advanced.conf או app.config:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

ADVANCED.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

APP.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

בשלב הבא עלינו להגדיר את שאר הרכיבים של מערכת Riak CS.

מדריך מקורי.

מקור: www.habr.com