פתרון HiDC לבניית תשתית ICT מודרנית למרכזי נתונים המבוססת על ציוד Huawei Enterprise

לאחר שראינו ממעוף הציפור את כל הפתרונות המודרניים של Huawei Enterprise שהוצגו בשנת 2020, אנו עוברים לסיפורים ממוקדים ומפורטים יותר על רעיונות ומוצרים בודדים שיכולים לשמש בסיס לטרנספורמציה הדיגיטלית של ארגונים גדולים וסוכנויות ממשלתיות כאחד. היום אנחנו מדברים על המושגים והטכנולוגיות שמציעה Huawei לבנות מרכזי נתונים.

בעידן העולם המחובר, אתגרי אחסון ועיבוד נתונים דורשים גישות חדשות בכל שלבי מחזור החיים של מרכז הנתונים. הם חייבים להיות פשוטים וחכמים יותר במקביל כדי להתמודד עם תפקידם כמרכיבים מרכזיים בתשתית הכלכלה הדיגיטלית העולמית.

בשנת 2018 האנושות אחסנה 33 זטה-בייט של מידע, אך עד 2025 הנפח הכולל שלה אמור לגדול יותר מפי חמישה. שלושה עשורים של ניסיון בפיתוח תשתיות ICT אפשרו ל-Huawei להיות מוכנה היטב ל"צונאמי הנתונים" ההולך וגובר ולהציע לשותפיה וללקוחותיה את הרעיון של מרכז נתונים אינטליגנטי, כולל כל שלבי הבנייה, התפעול והתחזוקה שלו. אלמנטים של מושג זה מאוחדים תחת השם הכללי HiDC.

הפוך אותו לדיגיטלי

יש בדיחה טרייה שמרחפת ברחבי האינטרנט: מי האיץ הכי הרבה את הטרנספורמציה הדיגיטלית של החברה שלך - מנכ"ל, CTO, דירקטוריון? מגפת הקורונה! רק העצלן לא עורך סמינרים מקוונים, לא כותב מאמרים, לא אומר לאנשים איך ומה לעשות. אבל כל אלה הן פעולות ריאקטיביות. חלקם הכינו מראש.

לא לשם התרברבות - מסיבות אובייקטיביות נשתמש כדוגמה בחברה שלנו, בה החלה הטרנספורמציה הדיגיטלית בהיקפים גדולים לפני מספר שנים. נכון לעכשיו, אנו מסוגלים להעביר כמעט את כל העובדים שלנו לעבודה מהבית ללא כל אובדן יעילות. סיפורו של בית חולים שנבנה בעיר ווהאן בעשרה ימים מעיד. שם, הטרנספורמציה הדיגיטלית התבטאה בכך שכל מערכות ה-IT נפרסו תוך שלושה ימים. אז טרנספורמציה דיגיטלית אינה עוסקת ב"מתי" ו"למה", אלא ב"איך".

גישה אדריכלית במקום התפתחות ספונטנית

מהן הבעיות העיקריות שעומדות בפנינו כאשר אנו מתחילים לבנות מערכת מסוימת? עד כה, כל הלקוחות שלנו עובדים בצורה של שילוב משימות עסקיות עם שירותי יישומים ופתרונות IT. די קשה לקבל מושג כללי על התפקוד של קומפלקס כזה אם הוא נוצר פשוט על ידי הוספת בלוקים שונים. וכדי לבנות מערכת כאורגניזם יחיד, יש צורך קודם כל בגישה ארכיטקטונית. זה מה שגילמנו באידיאולוגיה של פתרון HiDC שלנו.

ערך מקסימלי ומינימום עלות

מבנה HiDC כולו מורכב משתי פרוסות עיקריות. הראשון הוא מה שאתה רגיל לראות מ-Huawei - תשתית קלאסית. האלמנטים של הפרוסה השניה משולבים בצורה הקלה ביותר עם המונח "נתונים חכמים".

למה זה נחוץ? כיום, חברות רבות צוברות כמויות עצומות של מידע, לעתים קרובות מפוזרות או נגישות באמצעות סוגים שונים של "אטמים". כן, קח לפחות מאגרי מידע רגילים. שאל את מנהלי מסדי הנתונים שלך כיצד מסדי נתונים אלה משתלבים זה בזה וכיצד להשתמש במידע מהם במערכות BI כדי לקבל החלטות עסקיות. באופן מפתיע, מאגרי מידע קשורים זה לזה בצורה רופפת מאוד ומתפקדים כ"איים" נפרדים. לכן, קודם כל, חשבנו על אילו גישות אדריכליות יכולות לחסל את הבעיה הזו.

עקרונות עיצוב אדריכלות HiDC

בואו נסתכל על העקרונות הבסיסיים של עיצוב HiDC. זה יהיה שימושי בעיקר לא למומחים בשום תחום מסוים, אלא לאדריכלי פתרונות שיכולים לקחת את הפנורמה כולה.

הנפוצים ביותר הם בלוק הרשתות המתכנסות ובלוק ניהול הנתונים. והנה מגיע רעיון שאדריכלי פתרונות כמעט ולא חושבים עליו: ניהול מחזור חיים של נתונים. ממסדי נתונים קלאסיים, הוא עבר למערכות רבות אחרות, כולל מחשוב ענן ומחשוב קצה.

מחשוב קצה הופך נפוץ יותר ויותר. הדוגמה הברורה ביותר לשימוש בהם היא מכונית עם טייס אוטומטי, שמומלץ לשלוט בה מפלטפורמה אחת. בנוסף, ישנה מגמה של טכנולוגיות "ירוקות" - חסכוניות יותר באנרגיה, גורמות נזק מינימלי לסביבה. אתה יכול להשיג את שניהם על ידי מעבר למשאבים אינטלקטואליים (עוד עליהם בהמשך).

זה נהדר שיש לרשותנו את כל ששת הבלוקים של מבנה HiDC. נכון, לקוחות עובדים לרוב בסביבה שנוצרה בעבר. עם זאת, שימוש אפילו בגוש אחד מהתרשים לעיל יכול להניב פרי. ואם תוסיף שני, שלישי וכן הלאה, יתחיל להופיע אפקט סינרגטי. השילוב של רשת ואחסון מבוזר בלבד יניב ביצועים גבוהים יותר והשהייה נמוכה יותר. גישת הבלוק מאפשרת לנו להתפתח לא בצורה כאוטית, כפי שקורה לעתים קרובות בתעשייה, אלא באמצעות גישה אדריכלית משולבת. ובכן, הפתיחות של הבלוקים עצמם מספקת חופש בבחירת הפתרון האופטימלי.

הזמן של רשתות מתכנסות

לאחרונה, בשווקים העולמיים והרוסים, אנו מקדמים יותר ויותר את הרעיון של רשתות מתכנסות. כבר היום, הלקוחות שלנו משתמשים בפתרונות מתכנסים המבוססים על RoCEv2 (RDMA over Converged Ethernet v2) לבניית מערכות אחסון מבוזרות המוגדרות בתוכנה. היתרון העיקרי של גישה זו הוא הפתיחות שלה והיעדר הצורך ליצור מספר בלתי מוגבל של רשתות שונות.

למה זה לא נעשה קודם? נזכיר כי תקן Ethernet פותח בשנת 1969. במשך חצי מאה, היא צברה בעיות רבות, אבל Huawei למדה לפתור אותן. כעת, הודות למספר שלבים נוספים, אנו יכולים להשתמש ב-Ethernet עבור יישומים קריטיים למשימה, פתרונות עומס גבוה וכו'.

מ-DCN ל-DCI

המגמה החשובה הבאה היא ההשפעה הסינרגטית מהטמעת DCI (Data Center Interconnect). ברוסיה, בניגוד לסין, ניתן למצוא משהו דומה רק אצל מפעילי טלקום. כאשר לקוחות שוקלים פתרונות רשת עבור מרכז הנתונים, הם בדרך כלל לא מקדישים מספיק תשומת לב לאינטגרציה העמוקה של רשתות אופטיות ופתרונות IP קלאסיים בתוך נקודת נוכחות אחת. הם משתמשים בפתרונות מוכרים שעובדים על שכבת ה-IP, וזה מספיק להם.

בשביל מה DCI אז? תארו לעצמכם שמנהל צומת DWDM ומנהל הרשת פועלים באופן עצמאי. בשלב מסוים, כישלון בכל אחד מהם יכול להפחית ברצינות את החוסן שלך. ואם נשתמש בעקרון הסינרגיה, ניתוב IP מתבצע תוך התחשבות במה שקורה ברשת האופטית. השימוש בשירות חכם שכזה מעלה משמעותית את מספר התשעים ברמת הזמינות של המערכת כולה.

יתרון רציני נוסף של ה-DCI שלנו הוא מרווח הביצועים הגדול שלו. על ידי סיכום היכולות של טווחי C ו-L, אתה יכול לקבל כ-220 למבדות. רזרבה כזו לא תמוצה במהירות אפילו על ידי לקוח ארגוני גדול, בהתחשב בכך שהפתרון הנוכחי שלנו מאפשר שידור של עד 400 Gbit/s דרך כל למבדה. בעתיד, ניתן יהיה להשיג 800 Gbit/s על אותו ציוד.

נוחות נוספת ניתנת על ידי יכולת הניהול הכוללת שאנו מספקים באמצעות ממשקים פתוחים קלאסית. NETCONF מנהלת לא רק מתגים, אלא גם התקני ריבוי אופטיים, המאפשרים לך להשיג התכנסות בכל הרמות ולתפוס את המערכת כמשאב אינטלקטואלי, ולא כ"סט של קופסאות".

מחשוב קצה הוא יותר ויותר חשוב

אנשים רבים שמעו על Edge Computing. והעוסקים בענן ובמרכזי נתונים קלאסיים צריכים לזכור שלאחרונה ראינו שינוי רציני לעבר מחשוב קצה.

מה גורם לזה? בואו נסתכל על דגמי פריסה נפוצים. כיום מדברים רבות על "ערים חכמות", "בתים חכמים" וכו', תפיסה זו מאפשרת ליזם ליצור ערך מוסף ולהעלות את מחיר הנכס. "בית חכם" מזהה את תושבו, נותן לו להיכנס ולצאת ומספק לו שירותים מסוימים. לפי הסטטיסטיקה, שירותים כאלה מוסיפים כ-10–15% למחיר הדירות ובאופן כללי יכולים לדרבן פיתוח מודלים עסקיים חדשים. כמו כן, זה כבר נאמר על מושגי טייס אוטומטי. בקרוב, הפיתוח של טכנולוגיות 5G ו-Wi-Fi 6 יספק זמן אחזור נמוך במיוחד להעברת נתונים בין בתים חכמים, מכוניות ומרכז הנתונים הראשי המבצע מחשוב קצה. המשמעות היא שניתן יהיה לבצע מספר גדול בהרבה של פעולות הקשורות לעיבוד נתונים רציני. כדי לפתור בעיות כאלה, במיוחד, אפשר להשתמש במעבדים עצביים שכבר מסופקים לרוסיה.

אין להכחיש את ההבטחה של המגמה שפורטה זה עתה. בואו נדמיין, למשל, מערכת ניהול תחבורה עירונית חכמה המסוגלת להחליף רמזורים, לווסת את עומס התנועה ברחובות ספציפיים, או אפילו לנקוט באמצעים נאותים בשעת חירום.

כעת נפנה למשאבים איתם אנו מספקים את היישום של קונספט HiDC.

חישובים

כאשר אנו צריכים ליישם מערכת מחשוב סטנדרטית, נעשה בה כמובן שימוש במעבדים עם ארכיטקטורת x86. אבל ברגע שמתעורר הצורך בהתאמה אישית, הגיע הזמן לחשוב על פתרונות מגוונים יותר.

לדוגמה, מעבדי ARM, בשל מספר הליבות הרב שלהם, מצוינים עבור יישומים מקבילים ביותר. ריבוי השחלות נותן רווח ביצועים של כ-30%.

כאשר השהייה נמוכה היא קריטית, מעגלים משולבים לוגיים ניתנים לתכנות בשטח (FPGAs) מגיעים לקדמת הבמה.

מעבדים עצביים נחוצים בעיקר בעת פתרון בעיות למידת מכונה. אם ליישום ספציפי נצטרך 16 מתלים עם 8 שרתים כל אחד, ממולאים במעבדים עצביים, אז פתרון באותה רמה המבוסס על ארכיטקטורת x86 ידרוש (!) כ-128 מתלים. כפי שניתן לראות, המגוון הרחב של סוגי החישובים מחייב בחירה בקפידה של פלטפורמות חומרה.

אחסון נתונים

זו השנה השנייה, Huawei קוראת לשותפים, ללקוחות ולעמיתים בתעשייה לבנות מערכות אחסון נתונים בהתאם לעקרון Flash Only. ורוב הלקוחות שלנו משתמשים בכונני ציר מכאניים רק בפתרונות ישנים יותר או עבור נתוני ארכיון בשימוש נדיר.

גם מערכות פלאש מתפתחות. מערכות Storage Class Memory (SCM) כגון Intel Optane מופיעות בשוק. יצרנים סיניים ויפנים מפגינים התפתחויות מעניינות. נכון לעכשיו, SCM עדיפה על כל הפתרונות האחרים מבחינת דרגת עיבוד. עד כה, רק העלות הגבוהה לא מאפשרת להשתמש בהם בכל מקום.

יחד עם זאת, אנו רואים שיש לשפר את איכות מערכות האחסון לא רק ב-backend הרגיל, אלא גם ב-frontend. כעת, דה פקטו, בהטמעות חדשות אנו, ככלל, מציעים ומשתמשים במנגנוני גישה ישירה לזיכרון דרך אתרנט, אך אנו רואים בקשות של לקוחות ולכן, לקראת סוף השנה, נתחיל להשתמש ב-NVMe over Fabrics לעתים קרובות יותר. יתרה מכך, מקצה לקצה, על מנת לספק ארכיטקטורה משותפת, שכמובן חייבת להיות בעלת ביצועים גבוהים ועמידה בפני כשל בבקר.

מערכת האחסון OceanStor Dorado היא אחד ממוצרי הדגל שלנו. בדיקות פנימיות הראו שהוא מספק ביצועים של 20 מיליון IOPS, שומר על פונקציונליות כאשר שבעה מתוך שמונה בקרים נכשלים.

למה כל כך הרבה כוח? בואו נסתכל על המצב הנוכחי. מזה מספר חודשים, תושבים סינים מבלים יותר זמן בבית באופן משמעותי עקב הסגר. תעבורת האינטרנט בשלב זה עלתה ב-30% בממוצע, ובחלק מהמחוזות אף הוכפלה. הצריכה של מגוון שירותי רשת עלתה. ובשלב מסוים, אותם בנקים החלו לחוות עומס נוסף רציני, שמערכות האחסון שלהם לא היו מוכנות לו.

ברור שלא כולם צריכים 20 מיליון IOPS עכשיו. אבל מה יקרה מחר? המערכות החכמות שלנו ממקסמות את מלוא הפוטנציאל של מעבדים עצביים על מנת להבטיח קומפקטיות התעבורה, מניעת כפילויות, אופטימיזציה ושחזור נתונים מהיר.

רשת עמוד השדרה

2020, כפי שהזכרנו במאמר הקודם, תהיה השנה של רשתות הליבה עבורנו. לקוחות רבים, במיוחד ספקי שירותי יישומים (ASP) ובנקים, כבר חושבים כיצד יפעלו היישומים שלהם באופן ספציפי במונחים של תקשורת אל ובין מרכזי נתונים. זה המקום שבו רשת עמוד שדרה חדשה באה לעזרתנו. כדוגמה, ניקח את הבנקים הסיניים הגדולים ביותר שעברו למערכות עמוד שדרה מפושטות המשתמשות בלא תריסר פרוטוקולים שונים לתקשורת בין מרכזי נתונים, אלא, יחסית, בזוג - OSPF ו-SRv6. יתרה מכך, הארגון מקבל את אותו מערך שירותים.

משאבים אינטלקטואליים

איך להשתמש בנתונים? עד לאחרונה הייתה מערכת מקוטעת של מסדי נתונים הטרוגניים: Microsoft SQL, MySQL, Oracle וכו'. כדי לעבוד איתם נעשה שימוש בפתרונות מתחום הביג דאטה, המסוגלים לשלב את הנתונים הללו, לקחת אותם, לעבוד איתם. כל זה יצר עומס רב על משאבים.

יחד עם זאת, לא היה מנגנון לביצוע פעולות עם נתונים על התרחשות של אירוע כלשהו. הפתרון היה פיתוח עקרונות ניהול מחזור חיי נתונים (DLM).

כולם שמעו על אגמי נתונים. עם המעבר מניהול נתונים לניהול נתונים, "אגמים דיגיטליים" החלו להפוך במהירות לחכמים יותר. כולל הודות לפתרונות Huawei. בחומרים הבאים בהחלט נדבר על כל ערימת טכנולוגיות התוכנה בהן השתמשנו. כעת חשוב לציין שהשימוש בניהול מחזור חיי נתונים חכם הוא שאפשר לנו לפשט את השימוש ברשת ובשרתים שלנו, כמו גם ללמוד לבנות ארכיטקטורות מקצה לקצה כדי להבין טוב יותר את עקרונות העבודה עם נתונים .

תשתית הנדסית מרכז נתונים

אנו נפרסם חומרים נפרדים המוקדשים לתשתית הנדסית, אך בהקשר של הנושא של היום נרצה להזכיר את השינויים הקשורים לתפיסת HiDC.

במשך תקופה ארוכה, נאסר השימוש בסוללות ליתיום במערכות חשמל חירום וגיבוי (ESP) של מרכזי נתונים בשל סכנת האש הגבוהה שלהן. כל נזק מכני או הפרה של שלמות הסוללה עלולים להוביל לשריפה ולהשלכות בלתי צפויות. בהקשר זה, ה-PSA היה מצויד בסוללות חומצה מיושנות, שלהן צפיפות מטען ספציפית נמוכה ומסה גדולה.

מערכות החירום והגיבוי החדשות של Huawei משתמשות בסוללות ליתיום ברזל פוספט (LFP) בטוחות עם ניהול פרואקטיבי חכם. עם אותה קיבולת, הם תופסים פי שלושה פחות נפח בהשוואה לסוללות חומצה. מחזור החיים שלהם הוא 10–15 שנים, מה שבין היתר מפחית את העומס שהם יוצרים על הסביבה. מערכת הבקרה המוגנת בפטנט במערכת האקולוגית של SmartLi מאפשרת שימוש במערכות היברידיות המורכבות מערכי סוללות מהסוג הישן והחדש, ומערכת המיתוג מאפשרת שינויים "חמים" במבנה ה-PSA תוך שמירה על פונקציית היתירות.

פעולה חכמה

חלק חשוב בעקרונות הפעלת תשתית HiDC הוא האידיאולוגיה של ריפוי עצמי חכם. IN одной מהפרסומים הקודמים שלנו הזכרנו את הפלטפורמה החכמה O&M 1-3-5, שמסוגלת לא רק לזהות ולנתח אירוע לא רצוי במערכת, אלא גם להציע למנהל מספר אפשרויות לפתרון אוטומטי לחלוטין לבעיה.

פונקציית הניתוח העצמי מאפשרת לך לזהות בעיות תוך כדקה. שלוש דקות מושקעות בניתוח, ותוך חמש דקות נוצרות הצעות לשינוי מצב המערכת.

נניח ששגיאת מפעיל הובילה להיווצרות לולאה סגורה של תהליכים, שהפחיתה את הביצועים של חוות הוירטואליזציה מ-100 ל-77%. מנהל מרכז הנתונים מקבל הודעה מתאימה בלוח המחוונים שלו, המכילה הדמיה מלאה של הבעיה, כולל דיאגרמת רשת של המשאבים המושפעים מהתהליך הלא רצוי. לאחר מכן, המנהל יכול להמשיך לתקן את המצב באופן ידני או להשתמש באחד מכמה תרחישי שחזור אוטומטיים המוצעים לו.

המערכת מכירה כ-75 תרחישים כאלה שניתן ליישם בפחות מעשר דקות, יתרה מכך, הם מכסים 90% מהבעיות שנתקלים במרכזי נתונים. בשלב זה, המהנדס יכול לענות ברוגע לשיחות מלקוחות מודאגים, בטוח שהשירות ישוחזר בכל רגע.

מוצרי מפתח חדשים ב-HiDC

בנוסף למוצרי תוכנה, זה צריך לכלול פתרונות מפתח הפועלים ברמת התשתית. קודם כל, עלינו להזכיר את המעבדים העצביים המשמשים במשפחת Atlas שלנו של אשכולות AI, כמו גם שרתים מבוססי NPU ו-GPU.

בנוסף, אי אפשר שלא להזכיר שוב את הדוראדו ואת הביצועים המובילים שלו, שיחזיקו מעמד עוד שנים רבות. זה נכון במיוחד במרחב הפוסט-סובייטי, שבו, למעט חריגים נדירים, נהוג לעדכן משהו רק כאשר הוא מפסיק לחלוטין לעבוד. זה מסביר את חיי השירות של מערכות אחסון בודדות, המגיעים לעשר שנים. פרודוקטיביות עצומה נחוצה לדוראדו כדי להבטיח אספקת שירות באיכות גבוהה בעוד עשר שנים מהיום.

חדשנות בכל אלמנט

בבחירת פתרונות תשתית ספציפיים, אסור לשכוח את הארכיטקטורה והתרחישים להמשך פיתוחה. מוצרים שונים מיצרנים שונים אינם מבטיחים את האפקט הסינרגי הצפוי שיספקו פתרונות שכבר מותאמים לשימוש משותף.

התשתית חייבת להתבסס על הטכנולוגיה הנכונה. "נכונים" כוללים פתוחים, המספקים תפוקה גבוהה, פועלים ביציבות תחת עומסים גבוהים. עבור מרכזי נתונים, למשל, חשוב יחס טוב בין צריכת האנרגיה הכוללת לעומס ה-IT. כדי להשיג את כל המטרות לעיל, עליך לבחור את הסביבה והרכיבים. בתנאים מודרניים, המשמעות היא גם שימוש נרחב יותר ויותר בבינה מלאכותית.

לפי התצפיות שלנו, בקרב הלקוחות האסטרטגיים של Huawei יש פחות ופחות שעדיין לא משתמשים במערכות למידת מכונה. ללא ML, פשוט בלתי אפשרי לייצר רווח מהנתונים המצטברים עד כמה שניתן.

מערכת המונטיזציה יכולה להיות שונה: לבנקים - הצעת מוצרים ממוקדים חדשים, למפעילי טלקום - מתן שירותים פרטניים והבטחת נאמנות, ללקוחות ממשלתיים - ניהול מחזור חיי נתונים איכותי ורמה גבוהה של אינטראקציה עם ארגונים אחרים. אחרי הכל, מודלים של ניהול נתונים עברו מזמן מעבר להקמת חומת אש והבטחת נראות רשת של מסדי הנתונים שלהם.

מרעיון ועד הפעלת מרכז נתונים

בניית מרכז נתונים סטנדרטי אורכת בין שנה לשנה וחצי במקרה הטוב. מחזור הייצור שלנו מאפשר לנו לעשות זאת הרבה יותר מהר הודות לשימוש בקבוצת פתרונות המאוחדים תחת השם הנפוץ FusionDC 2.0. תכנון, פיתוח עיצוב ברמה גבוהה, הרכבה של כל האלמנטים של עומס ה-IT מתבצעים ישירות במפעל. תוך זמן קצר, הציוד מועבר במכולות ימיות מסין לרוסיה. כתוצאה מכך, ניתן להגיע ליצירת מרכז נתונים סוהר בתוך ארבעה עד חמישה חודשים, פשוטו כמשמעו.

הרעיון של מרכז נתונים טרומי בענן מעניין גם מכיוון שניתן לפתח מרכז נתונים בשלבים, ולהוסיף לו את הבלוקים הפונקציונליים הדרושים. גישה זו מוטמעת בתפיסת HiDC עצמה.

כדי לא להפוך את חומר הביקורת לגיליון נתונים, למידע נוסף על HiDC אנו מציעים ללכת אל לאתר שלנו. שם תמצאו תיאור ודוגמאות ליישום הגישות, המוצרים והפתרונות עליהם דיברנו. ככל שרמת הגישה שלך לאתר תהיה גבוהה יותר, כך יהיו יותר חומרים. אם יוקצה לך מעמד של "שותף", תוכל להוריד מפות דרכים של HiDC, מצגות טכניות, סרטונים.

היינו מעזים להניח שלרוב אלו שקוראים מאמר זה יש את היכולות של ארכיטקטי רשת. הם בהחלט יהיו מעוניינים לבקר אצלנו אזור עיצוב. שם אנו מדברים בפירוט על איך לבנות תשתית רשת לפי הכללים של Huawei Validated Design (HVD). הנחיות הזמינות להורדה יעזרו לך להבין היטב כיצד פועלים הפתרונות של החברה. רק זכרו שללא אישור, פחות חומרים יהיו זמינים עבורכם.

***

סמינרים מקוונים רבים שנערכו לא רק בשפה הרוסית, אלא גם ברמה הבינלאומית יעזרו לך גם לנווט. עליהם אנו חולקים הן מידע על המוצרים שלנו והן את הנוהלים העסקיים שלנו. אנחנו גם מדברים על האופן שבו Huawei, למרות השיבוש של רשתות שירות רבות, ממשיכה להבטיח אספקה ​​רציפה של מוצריה למדינות שונות. לאחרונה, למשל, קרה מקרה שבו ציוד חדש שיוצר עבור מרכז נתונים הגיע ללקוח מוסקבה תוך שלושה שבועות בלבד.

רשימת הסמינרים המקוונים לאפריל זמינה по ссылке.

מקור: www.habr.com