Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ในปัจจุบัน เราไม่ได้มุ่งเน้นเฉพาะกลุ่มผลิตภัณฑ์ของ Huawei สำหรับการสร้างเครือข่ายศูนย์ข้อมูลเท่านั้น แต่ยังรวมถึงวิธีสร้างโซลูชันขั้นสูงแบบ end-to-end ตามเครือข่ายดังกล่าวด้วย เริ่มต้นด้วยสถานการณ์ ย้ายไปยังฟังก์ชันเฉพาะที่อุปกรณ์รองรับ และปิดท้ายด้วยภาพรวมของอุปกรณ์เฉพาะที่สามารถสร้างพื้นฐานของศูนย์ข้อมูลสมัยใหม่ที่มีระดับสูงสุดของกระบวนการอัตโนมัติของกระบวนการเครือข่าย

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ไม่ว่าคุณลักษณะของอุปกรณ์เครือข่ายจะน่าประทับใจเพียงใด ความสามารถของโซลูชันสถาปัตยกรรมประยุกต์ที่ขึ้นอยู่กับอุปกรณ์นั้นจะถูกกำหนดโดยประสิทธิภาพของการบูรณาการร่วมกันของฮาร์ดแวร์ ซอฟต์แวร์ เทคโนโลยีเสมือน และเทคโนโลยีอื่น ๆ ที่เกี่ยวข้อง ด้วยความพยายามที่จะตามทันเวลา เราจึงพยายามเสนอโอกาสที่ทันสมัยและมีแนวโน้มดีแก่ลูกค้าอย่างรวดเร็ว ซึ่งมักจะนำหน้าแผนการที่แปลกประหลาดที่สุดของผู้ขายรายอื่น

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

โซลูชันที่ใช้ Cloud Fabric ประกอบด้วยเครือข่ายศูนย์ข้อมูล ตัวควบคุม SDN ตลอดจนส่วนประกอบอื่นๆ ที่จำเป็นสำหรับโครงการเฉพาะ รวมถึงจากผู้ผลิตรายอื่น

สถานการณ์แรกและง่ายที่สุดเกี่ยวข้องกับการใช้ส่วนประกอบขั้นต่ำ: เครือข่ายสร้างขึ้นจากฮาร์ดแวร์ของ Huawei และเครื่องมือของบุคคลที่สามเพื่อทำให้กระบวนการจัดการและการตรวจสอบเครือข่ายเป็นอัตโนมัติ ตัวอย่างเช่น เช่น Ansible หรือ Microsoft Azure

สถานการณ์ที่สองสันนิษฐานว่าลูกค้าใช้ระบบเสมือนจริงและระบบ SDN สำหรับศูนย์ข้อมูลอยู่แล้ว เช่น NSX และต้องการใช้อุปกรณ์ของ Huawei เป็นฮาร์ดแวร์ VTEP (จุดสิ้นสุดอุโมงค์เสมือน) ภายในโซลูชัน VMware ที่มีอยู่ บนเว็บไซต์ของบริษัทนี้ นี่คือรายการ อุปกรณ์ของ Huawei ที่ได้รับการทดสอบและสามารถใช้เป็น VTEP ได้ ท้ายที่สุดแล้ว มันก็ไม่ใช่ความลับไม่ว่าโซลูชันซอฟต์แวร์ VXLAN (Virtual Extensible LAN) บนสวิตช์เสมือนจะประสบความสำเร็จเพียงใด การใช้งานฮาร์ดแวร์ก็มีประสิทธิภาพมากกว่าในแง่ของประสิทธิภาพ

สถานการณ์ที่สามคือการสร้างระบบโฮสติ้งและการประมวลผลที่มีตัวควบคุม แต่ไม่มีแพลตฟอร์มที่สูงกว่าซึ่งจำเป็นต้องผสานรวม หนึ่งในตัวเลือกสำหรับการนำสถานการณ์นี้ไปใช้เกี่ยวข้องกับการมีตัวควบคุม Agile Controller-DCN SDN แยกต่างหาก ผู้ดูแลระบบสามารถใช้สถาปัตยกรรมนี้เพื่อดำเนินการจัดการเครือข่ายในแต่ละวันได้ เวอร์ชันที่พัฒนามากขึ้นของสถานการณ์ที่สามนั้นอิงจากการโต้ตอบของ Agile Controller-DCN กับ VMware vCenter ซึ่งรวมเป็นหนึ่งเดียวโดยกระบวนการทางธุรกิจบางอย่าง แต่ไม่มีระบบการดูแลระบบที่สูงกว่าอีกครั้ง

สถานการณ์ที่สี่เป็นที่น่าสังเกต - การบูรณาการเข้ากับแพลตฟอร์มอัปสตรีมที่ใช้ OpenStack หรือผลิตภัณฑ์การจำลองเสมือน FusionSphere ของเรา เราลงทะเบียนคำขอจำนวนมากสำหรับโซลูชันสถาปัตยกรรมที่คล้ายกัน โดยที่ OpenStack (CentOS, Red Hat ฯลฯ) ได้รับความนิยมมากที่สุด ทุกอย่างขึ้นอยู่กับแพลตฟอร์มสำหรับการประสานและการจัดการทรัพยากรคอมพิวเตอร์ที่ใช้ในศูนย์ข้อมูล

สถานการณ์ที่ห้าเป็นสถานการณ์ใหม่ทั้งหมด นอกจากสวิตช์ฮาร์ดแวร์ที่มีชื่อเสียงแล้ว ยังมีสวิตช์เสมือนแบบกระจาย CloudEngine 1800V (CE1800V) ซึ่งสามารถดำเนินการได้ด้วย KVM (เครื่องเสมือนที่ใช้เคอร์เนล) เท่านั้น สถาปัตยกรรมนี้เกี่ยวข้องกับการรวม Agile Controller-DCN เข้ากับแพลตฟอร์มการทำคอนเทนเนอร์ Kubernetes โดยใช้ปลั๊กอิน CNI ดังนั้น Huawei และคนทั้งโลกจึงกำลังเคลื่อนไหว จากการจำลองเสมือนโฮสต์ไปจนถึงการจำลองเสมือนระบบปฏิบัติการ.

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ข้อมูลเพิ่มเติมเกี่ยวกับการบรรจุคอนเทนเนอร์

ก่อนหน้านี้เราได้กล่าวถึงสวิตช์เสมือน CE1800V ที่ใช้งานโดยใช้ Agile Controller-DCN เมื่อใช้ร่วมกับสวิตช์ฮาร์ดแวร์ของ Huawei พวกมันจะสร้าง "การซ้อนทับแบบไฮบริด" ในอนาคตอันใกล้นี้ สคริปต์คอนเทนเนอร์จาก Huawei จะได้รับการสนับสนุนสำหรับ NAT และฟังก์ชันการปรับสมดุลโหลด

ข้อจำกัดของสถาปัตยกรรมคือ CE1800V ไม่สามารถใช้แยกจาก Agile Controller-DCN ได้ ควรคำนึงด้วยว่าหนึ่ง PoD ของแพลตฟอร์ม Kubernetes สามารถบรรจุคอนเทนเนอร์ได้ไม่เกิน 4 ล้านคอนเทนเนอร์

การเชื่อมต่อกับเครือข่าย VXLAN ของศูนย์ข้อมูลเกิดขึ้นผ่าน VLAN (Virtual Local Area Network) แต่มีตัวเลือกที่ CE1800V ทำหน้าที่เป็น VTEP ด้วยกระบวนการ BGP (Border Gateway Protocol) ซึ่งช่วยให้สามารถแลกเปลี่ยนเส้นทาง BGP กับแบ็คโบนได้โดยไม่จำเป็นต้องใช้สวิตช์ฮาร์ดแวร์แยกต่างหาก

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

Intent-Driven Networks: เครือข่ายที่วิเคราะห์ความตั้งใจ

แนวคิดเครือข่ายที่ขับเคลื่อนด้วยเจตนา (IDN) ของ Huawei นำเสนอ ย้อนกลับไปในปี 2018 ตั้งแต่นั้นมา บริษัทยังคงทำงานบนเครือข่ายที่ใช้เทคโนโลยีคอมพิวเตอร์คลาวด์ บิ๊กดาต้า และปัญญาประดิษฐ์ เพื่อวิเคราะห์เป้าหมายและความตั้งใจของผู้ใช้

โดยพื้นฐานแล้ว เรากำลังพูดถึงการเปลี่ยนแปลงจากระบบอัตโนมัติไปสู่ระบบอัตโนมัติ ความตั้งใจที่แสดงของผู้ใช้จะถูกส่งกลับในรูปแบบของคำแนะนำจากผลิตภัณฑ์เครือข่ายเกี่ยวกับวิธีการดำเนินการตามความตั้งใจนี้ หัวใจของฟังก์ชันนี้คือความสามารถ Agile Controller-DCN ที่จะถูกเพิ่มลงในผลิตภัณฑ์เพื่อให้แน่ใจว่ามีการนำอุดมการณ์ IDN ไปใช้

ในอนาคต ด้วยการเปิดตัว IDN จะสามารถใช้บริการเครือข่ายได้ในคลิกเดียว ซึ่งหมายถึงระดับสูงสุดของระบบอัตโนมัติ สถาปัตยกรรมโมดูลาร์ของฟังก์ชันเครือข่ายและความสามารถในการรวมฟังก์ชันเหล่านี้จะช่วยให้ผู้ดูแลระบบสามารถระบุบริการที่ต้องการให้บริการในส่วนเครือข่ายเฉพาะได้

เพื่อให้สามารถควบคุมได้ในระดับนี้ กระบวนการ ZTP (Zero Touch Provisioning) จึงมีความสำคัญมาก Huawei ประสบความสำเร็จอย่างมากในเรื่องนี้ เนื่องจากมีความสามารถในการปรับใช้เครือข่ายได้อย่างเต็มที่ตั้งแต่แกะกล่อง

กระบวนการติดตั้งและการปรับใช้เพิ่มเติมจำเป็นต้องมีขั้นตอนในการตรวจสอบการเชื่อมต่อระหว่างทรัพยากร (การเชื่อมต่อเครือข่าย) และการประเมินการเปลี่ยนแปลงประสิทธิภาพเครือข่ายขึ้นอยู่กับโหมดการทำงานของเครือข่าย ขั้นตอนนี้เกี่ยวข้องกับการทำการจำลองก่อนเริ่มการทำงานจริง

ขั้นตอนต่อไปคือการกำหนดค่าบริการให้เหมาะกับความต้องการของลูกค้า (การจัดหาบริการ) และการตรวจสอบยืนยัน ซึ่งดำเนินการโดยเครื่องมือในตัวของ Huawei สิ่งที่เหลืออยู่คือการตรวจสอบผลลัพธ์

ตอนนี้สามารถไปตามเส้นทางที่อธิบายไว้ทั้งหมดโดยใช้กลไกที่ครอบคลุมเพียงกลไกเดียวซึ่งใช้แพลตฟอร์ม iMaster NCE ที่มี Agile Controller-DCN และระบบจัดการองค์ประกอบเครือข่าย eSight (EMS)

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ในปัจจุบัน Agile Controller-DCN สามารถตรวจสอบความพร้อมใช้งานของทรัพยากรและการมีอยู่ของการเชื่อมต่อ ตลอดจนตอบสนองต่อปัญหาในเครือข่ายในเชิงรุก (หลังจากได้รับการอนุมัติจากผู้ดูแลระบบ) ขณะนี้การเพิ่มบริการที่จำเป็นทำได้ด้วยตนเอง แต่ในอนาคต Huawei ตั้งใจที่จะทำให้การดำเนินการนี้และการดำเนินการอื่นๆ เป็นอัตโนมัติ เช่น การใช้งานเซิร์ฟเวอร์ การกำหนดค่าเครือข่ายสำหรับระบบจัดเก็บข้อมูล เป็นต้น

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ห่วงโซ่บริการและการแบ่งส่วนย่อย

Agile Controller-DCN สามารถประมวลผลส่วนหัวของบริการ (Net Service Headers หรือ NSH) ที่มีอยู่ในแพ็กเก็ต VXLAN สิ่งนี้มีประโยชน์สำหรับการสร้างห่วงโซ่บริการ ตัวอย่างเช่น คุณตั้งใจที่จะส่งแพ็กเก็ตบางประเภทตามเส้นทางที่แตกต่างจากแพ็กเก็ตที่เสนอโดยโปรโตคอลการกำหนดเส้นทางมาตรฐาน ก่อนที่จะออกจากเครือข่าย พวกเขาจะต้องผ่านอุปกรณ์บางประเภท (ไฟร์วอลล์ ฯลฯ) ในการดำเนินการนี้ การกำหนดค่าห่วงโซ่บริการที่มีกฎที่จำเป็นก็เพียงพอแล้ว ด้วยกลไกดังกล่าว คุณสามารถกำหนดค่านโยบายความปลอดภัยได้ แต่ในด้านอื่น ๆ ของแอปพลิเคชันก็สามารถทำได้เช่นกัน

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

แผนภาพแสดงการทำงานของกลุ่มบริการที่เข้ากันได้กับ RFC ที่ใช้ NSH อย่างชัดเจน และยังแสดงรายการสวิตช์ฮาร์ดแวร์ที่รองรับอีกด้วย

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ความสามารถในการเชื่อมต่อบริการของ Huawei ได้รับการเสริมด้วยการแบ่งส่วนย่อย ซึ่งเป็นเทคนิคการรักษาความปลอดภัยเครือข่ายที่แยกส่วนการรักษาความปลอดภัยลงไปจนถึงองค์ประกอบภาระงานแต่ละรายการ การหลีกเลี่ยงความจำเป็นในการกำหนดค่า ACL จำนวนมากด้วยตนเองจะช่วยลดปัญหาคอขวดของรายการควบคุมการเข้าถึง (ACL)

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

การทำงานที่ชาญฉลาด

เมื่อพูดถึงปัญหาการทำงานของเครือข่าย สิ่งหนึ่งที่ไม่ควรพลาดที่จะพูดถึงองค์ประกอบอื่นของแบรนด์ iMaster NCE นั่นคือเครื่องวิเคราะห์เครือข่ายอัจฉริยะ FabricInsight โดยมีความสามารถที่ครอบคลุมในการรวบรวมการวัดและส่งข้อมูลทางไกลและข้อมูลเกี่ยวกับกระแสข้อมูลบนเครือข่าย การวัดและส่งข้อมูลทางไกลถูกรวบรวมโดยใช้ gRPC และรวบรวมข้อมูลเกี่ยวกับแพ็กเก็ตที่ส่ง บัฟเฟอร์ และสูญหาย ข้อมูลจำนวนมากที่สองถูกรวบรวมโดยใช้ ERSPAN (Encapsulated Remote Switch Port Analyzer) และให้แนวคิดเกี่ยวกับการไหลของข้อมูลในศูนย์ข้อมูล โดยพื้นฐานแล้ว เรากำลังพูดถึงการรวบรวมส่วนหัว TCP และจำนวนข้อมูลที่ส่งระหว่างแต่ละเซสชัน TCP ซึ่งสามารถทำได้โดยใช้อุปกรณ์ Huawei ต่างๆ - รายการแสดงไว้ในแผนภาพ

SNMP และ NetStream ก็ไม่ลืมเช่นกัน ดังนั้น Huawei จึงใช้กลไกทั้งเก่าและใหม่เพื่อย้ายจากเครือข่ายในฐานะ "กล่องดำ" ไปยังเครือข่ายที่เรารู้ทุกอย่างอย่างแท้จริง

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

AI Fabric: กริดอัจฉริยะที่ไม่สูญเสียข้อมูล

คุณสมบัติ AI ​​Fabric ที่ฮาร์ดแวร์ของเรารองรับได้รับการออกแบบมาเพื่อเปลี่ยนอีเธอร์เน็ตให้เป็นเครือข่ายประสิทธิภาพสูง เวลาแฝงต่ำ และไม่มีแพ็กเก็ตสูญหาย นี่เป็นสิ่งจำเป็นในการปรับใช้สถานการณ์การใช้งานแอปพลิเคชันพื้นฐานในเครือข่ายศูนย์ข้อมูล

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ในแผนภาพด้านบน เราเห็นปัญหาที่มีความเสี่ยงที่จะเผชิญเมื่อใช้งานเครือข่าย:

  • การสูญเสียแพ็คเก็ต;
  • บัฟเฟอร์ล้น;
  • ปัญหาการโหลดเครือข่ายที่เหมาะสมที่สุดเมื่อใช้ลิงก์แบบขนาน

อุปกรณ์ของ Huawei ใช้กลไกเพื่อแก้ไขปัญหาเหล่านี้ทั้งหมด ตัวอย่างเช่น ในระดับชิป มีการนำเทคโนโลยีคิวขาเข้าเสมือนมาใช้ ซึ่งในขณะเดียวกันก็ไม่อนุญาตให้มีการบล็อกอินพุต (การบล็อก HOL)

ในระดับโปรโตคอล มีกลไก Dynamic ECN - การเปลี่ยนขนาดบัฟเฟอร์แบบไดนามิกรวมถึง Fast CNP - ส่งแพ็กเก็ตข้อความเกี่ยวกับปัญหาในเครือข่ายไปยังต้นทางอย่างรวดเร็ว

สิทธิเท่าเทียมกันสำหรับกระแส ช้าง и Mice รองรับเทคโนโลยี Dynamic Packet Prioritization (DPP) ซึ่งประกอบด้วยการวางข้อมูลสั้นๆ จากสตรีมต่างๆ ลงในคิวที่มีลำดับความสำคัญสูงแยกต่างหาก ดังนั้นแพ็กเก็ตขนาดสั้นจึงอยู่รอดได้ดีกว่าในสภาพแวดล้อมที่มีกระแสน้ำไหลหนักและยาว

ให้เราชี้แจงว่าเพื่อให้กลไกข้างต้นทำงานได้อย่างมีประสิทธิภาพ จะต้องได้รับการสนับสนุนโดยตรงจากอุปกรณ์

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

ฟังก์ชันทั้งหมดนี้ใช้ในหนึ่งในสามสถานการณ์ในการใช้อุปกรณ์ของ Huawei:

  • เมื่อสร้างระบบปัญญาประดิษฐ์ตามแอปพลิเคชันแบบกระจาย
  • เมื่อสร้างระบบจัดเก็บข้อมูลแบบกระจาย
  • เมื่อสร้างระบบสำหรับการประมวลผลประสิทธิภาพสูง (HPC)

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

แนวคิดที่รวมอยู่ในฮาร์ดแวร์

หลังจากที่ได้หารือเกี่ยวกับสถานการณ์ทั่วไปในการใช้โซลูชันของ Huawei และแสดงรายการความสามารถหลักแล้ว เรามาพูดถึงอุปกรณ์โดยตรงกัน

CloudEngine 16800 เป็นแพลตฟอร์มที่ให้การทำงานมากกว่าอินเทอร์เฟซ 400 Gbit/s คุณสมบัติที่เป็นลักษณะเฉพาะคือการมีอยู่พร้อมกับ CPU ของชิปส่งต่อและโปรเซสเซอร์ปัญญาประดิษฐ์ซึ่งจำเป็นต่อการนำความสามารถของ AI Fabric ไปใช้

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

แพลตฟอร์มดังกล่าวสร้างขึ้นตามสถาปัตยกรรมมุมฉากคลาสสิกพร้อมระบบไหลเวียนอากาศจากด้านหน้าไปด้านหลัง และมาพร้อมกับหนึ่งในสามประเภทของแชสซี - สล็อต 4 (10U), 8 (16U) หรือ 16 (32U)

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

CloudEngine 16800 สามารถใช้ไลน์การ์ดได้หลายประเภท ในบรรดาพวกเขามีทั้ง 10 กิกะบิตแบบดั้งเดิมและ 40- และ 100 กิกะบิตรวมถึงอันใหม่ทั้งหมด การ์ดที่มีอินเทอร์เฟซ 25 และ 400 Gbit/s มีการวางแผนวางจำหน่าย

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

สำหรับสวิตช์ ToR (ด้านบนของชั้นวาง) รุ่นปัจจุบันจะแสดงอยู่ในไทม์ไลน์ด้านบน สิ่งที่น่าสนใจที่สุดคือรุ่น 25 กิกะบิตใหม่ สวิตช์ 100 กิกะบิตพร้อมอัปลิงก์ 400 กิกะบิต และสวิตช์ 100 กิกะบิตความหนาแน่นสูงพร้อมพอร์ต 96 พอร์ต

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

สวิตช์การกำหนดค่าคงที่หลักของ Huawei ในขณะนี้คือ CloudEngine 8850 ควรแทนที่ด้วยรุ่น 8851 ด้วยอินเทอร์เฟซ 32 100 Gbit/s และอินเทอร์เฟซ 400 Gbit/s แปดอินเทอร์เฟซ รวมถึงความสามารถในการแยกออกเป็น 50, 100 หรือ 200 กิกะบิต/วินาที

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

สวิตช์อีกตัวที่มีการกำหนดค่าคงที่ CloudEngine 6865 ยังคงอยู่ในกลุ่มผลิตภัณฑ์ Huawei ในปัจจุบัน นี่คืออุปกรณ์ที่ได้รับการพิสูจน์แล้วด้วยการเข้าถึง 10/25 Gbps และอัปลิงค์ 100 Gbps แปดรายการ แถมมันยังรองรับ AI Fabric ด้วย

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

Huawei DCN: ห้าสถานการณ์สำหรับการสร้างเครือข่ายศูนย์ข้อมูล

แผนภาพแสดงคุณลักษณะของสวิตช์รุ่นใหม่ทั้งหมด ซึ่งคาดว่าจะเกิดขึ้นในอีกไม่กี่เดือนข้างหน้าหรือหลายสัปดาห์ข้างหน้า ความล่าช้าในการเผยแพร่บางส่วนเกิดจากสถานการณ์รอบโคโรนาไวรัส นอกจากนี้ ปัญหาแรงกดดันในการคว่ำบาตร Huawei ยังคงเกี่ยวข้อง อย่างไรก็ตาม เหตุการณ์ทั้งหมดเหล่านี้อาจส่งผลต่อระยะเวลาของรอบปฐมทัศน์เท่านั้น

สามารถรับข้อมูลเพิ่มเติมเกี่ยวกับโซลูชันของ Huawei และตัวเลือกการใช้งานได้อย่างง่ายดายโดยสมัครรับการสัมมนาผ่านเว็บของเราหรือติดต่อตัวแทนของบริษัทโดยตรง

***

เราขอเตือนคุณว่าผู้เชี่ยวชาญของเราจัดสัมมนาผ่านเว็บเกี่ยวกับผลิตภัณฑ์ Huawei และเทคโนโลยีที่พวกเขาใช้เป็นประจำ รายการสัมมนาผ่านเว็บสำหรับสัปดาห์ต่อๆ ไปสามารถดูได้ที่ ลิงค์.

ที่มา: will.com

เพิ่มความคิดเห็น