ในปี 2018 ในแวดวงมืออาชีพและในการประชุมเฉพาะเรื่องที่เกี่ยวข้องกับ AI แนวคิดของ MLOps ได้ปรากฏขึ้น ซึ่งได้รับการตั้งหลักอย่างรวดเร็วในอุตสาหกรรมและขณะนี้กำลังพัฒนาเป็นทิศทางที่เป็นอิสระ ในอนาคต MLOps อาจกลายเป็นหนึ่งในด้านไอทีที่เป็นที่ต้องการมากที่สุด มันคืออะไรและกินกับอะไรเราเข้าใจภายใต้การตัด
MLOps คืออะไร
MLOps (การผสานเทคโนโลยีและกระบวนการของแมชชีนเลิร์นนิงและแนวทางการนำโมเดลที่พัฒนาไปใช้ในกระบวนการทางธุรกิจ) เป็นวิธีการใหม่ในการร่วมมือระหว่างตัวแทนธุรกิจ นักวิทยาศาสตร์ นักคณิตศาสตร์ ผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิ่ง และวิศวกรไอทีในการสร้างระบบปัญญาประดิษฐ์
กล่าวอีกนัยหนึ่งคือวิธีการเปลี่ยนวิธีการและเทคโนโลยีการเรียนรู้ของเครื่องให้เป็นเครื่องมือที่มีประโยชน์สำหรับการแก้ปัญหาทางธุรกิจ
ต้องเข้าใจว่าห่วงโซ่การผลิตเริ่มต้นมานานก่อนการพัฒนาแบบจำลอง ขั้นตอนแรกคือการกำหนดวัตถุประสงค์ทางธุรกิจ สมมติฐานเกี่ยวกับคุณค่าที่สามารถดึงออกมาจากข้อมูล และแนวคิดทางธุรกิจที่จะนำไปใช้
แนวคิดของ MLOps เกิดขึ้นจากการเปรียบเทียบกับแนวคิดของ DevOps ที่เกี่ยวข้องกับโมเดลและเทคโนโลยีแมชชีนเลิร์นนิง DevOps เป็นแนวทางการพัฒนาซอฟต์แวร์ที่ช่วยให้คุณเพิ่มความเร็วของการเปลี่ยนแปลงแต่ละรายการในขณะที่รักษาความยืดหยุ่นและความน่าเชื่อถือโดยใช้แนวทางต่างๆ รวมถึงการพัฒนาอย่างต่อเนื่อง การแยกฟังก์ชันออกเป็นไมโครเซอร์วิสอิสระจำนวนมาก การทดสอบอัตโนมัติและการปรับใช้การเปลี่ยนแปลงแต่ละรายการทั่วโลก การตรวจสุขภาพ ระบบตอบสนองที่รวดเร็วสำหรับความล้มเหลวที่ตรวจพบ เป็นต้น
DevOps กำหนดวงจรชีวิตของซอฟต์แวร์ และแนวคิดนี้เกิดขึ้นในชุมชนซอฟต์แวร์เพื่อใช้เทคนิคเดียวกันนี้กับข้อมูลขนาดใหญ่ DataOps เป็นความพยายามที่จะปรับเปลี่ยนและขยายวิธีการ โดยคำนึงถึงลักษณะเฉพาะของการจัดเก็บ การส่ง และการประมวลผลข้อมูลจำนวนมากในแพลตฟอร์มและการโต้ตอบที่หลากหลาย
ด้วยการกำเนิดของโมเดลแมชชีนเลิร์นนิงจำนวนมากที่ฝังอยู่ในกระบวนการทางธุรกิจขององค์กร ทำให้สังเกตเห็นความคล้ายคลึงกันอย่างมากระหว่างวงจรชีวิตของโมเดลทางคณิตศาสตร์ของแมชชีนเลิร์นนิงและวงจรชีวิตของซอฟต์แวร์ ข้อแตกต่างเพียงอย่างเดียวคืออัลกอริทึมแบบจำลองถูกสร้างขึ้นโดยใช้เครื่องมือและวิธีการเรียนรู้ของเครื่อง ดังนั้น แนวคิดจึงเกิดขึ้นโดยธรรมชาติเพื่อใช้และปรับแนวทางที่ทราบอยู่แล้วในการพัฒนาซอฟต์แวร์สำหรับโมเดลแมชชีนเลิร์นนิง ดังนั้น ขั้นตอนสำคัญต่อไปนี้สามารถจำแนกได้ในวงจรชีวิตของโมเดลแมชชีนเลิร์นนิง:
- การกำหนดแนวคิดทางธุรกิจ
- การฝึกอบรมแบบจำลอง
- การทดสอบและนำแบบจำลองไปใช้ในกระบวนการทางธุรกิจ
- การทำงานของแบบจำลอง
เมื่อระหว่างการดำเนินการจำเป็นต้องเปลี่ยนหรือฝึกโมเดลใหม่บนข้อมูลใหม่ วงจรจะเริ่มต้นใหม่ - โมเดลจะได้รับการสรุปผล ทดสอบ และเวอร์ชันใหม่จะถูกปรับใช้
ล่าถอย. ทำไมถึงสอนใหม่และไม่สอนซ้ำ? คำว่า "การฝึกอบรมแบบจำลอง" มีการตีความสองครั้ง: ในหมู่ผู้เชี่ยวชาญหมายถึงข้อบกพร่องในแบบจำลอง เมื่อแบบจำลองคาดการณ์ได้ดี อันที่จริงทำซ้ำพารามิเตอร์ที่คาดการณ์ไว้ในชุดการฝึกอบรม แต่ทำงานได้แย่กว่ามากกับชุดข้อมูลภายนอก โดยธรรมชาติแล้วโมเดลดังกล่าวมีข้อบกพร่องเนื่องจากข้อบกพร่องนี้ไม่อนุญาตให้ใช้
ในวงจรชีวิตนี้ ดูเหมือนมีเหตุผลที่จะใช้เครื่องมือ DevOps: การทดสอบอัตโนมัติ การปรับใช้และการตรวจสอบ การลงทะเบียนการคำนวณแบบจำลองเป็นไมโครเซอร์วิสแยกต่างหาก แต่มีคุณสมบัติหลายอย่างที่ป้องกันไม่ให้ใช้เครื่องมือเหล่านี้โดยตรงโดยไม่ต้องผูก ML เพิ่มเติม
วิธีทำให้โมเดลทำงานและทำกำไร
ตัวอย่างเช่น เราจะสาธิตการประยุกต์ใช้แนวทาง MLOps เราจะใช้งานแบบคลาสสิกในขณะนี้ในการทำให้แชทสนับสนุนเป็นหุ่นยนต์สำหรับผลิตภัณฑ์ธนาคาร (หรืออื่นๆ) กระบวนการทางธุรกิจการสนับสนุนการแชททั่วไปมีดังนี้: ลูกค้าป้อนคำถามในการแชทและรับการตอบกลับจากผู้เชี่ยวชาญภายในแผนผังไดอะล็อกที่กำหนดไว้ล่วงหน้า งานของการทำให้แชทเป็นอัตโนมัตินั้นมักจะแก้ไขได้โดยใช้ชุดกฎที่กำหนดโดยผู้เชี่ยวชาญซึ่งใช้ความพยายามมากในการพัฒนาและบำรุงรักษา ประสิทธิภาพของระบบอัตโนมัติดังกล่าวอาจอยู่ที่ 20-30% ขึ้นอยู่กับระดับความซับซ้อนของงาน ตามธรรมชาติแล้ว แนวคิดนี้เกิดขึ้นว่าการนำโมดูลปัญญาประดิษฐ์มาใช้จะเป็นประโยชน์มากกว่า ซึ่งเป็นโมเดลที่พัฒนาขึ้นโดยใช้การเรียนรู้ของเครื่องที่:
- สามารถประมวลผลคำขอได้มากขึ้นโดยไม่ต้องมีผู้ดำเนินการ (ในบางกรณีประสิทธิภาพอาจถึง 70-80% ขึ้นอยู่กับหัวข้อ)
- ปรับให้เข้ากับถ้อยคำที่ไม่ได้มาตรฐานในบทสนทนาได้ดีขึ้น - สามารถกำหนดเจตนาความต้องการที่แท้จริงของผู้ใช้สำหรับคำขอที่ไม่ชัดเจน
- สามารถระบุได้ว่าเมื่อใดที่คำตอบของแบบจำลองเพียงพอ และเมื่อมีข้อสงสัยเกี่ยวกับ "จิตสำนึก" ของคำตอบนี้ และจำเป็นต้องถามคำถามที่ชัดเจนเพิ่มเติมหรือเปลี่ยนเป็นผู้ดำเนินการ
- สามารถฝึกซ้ำได้โดยอัตโนมัติ (แทนที่จะให้กลุ่มนักพัฒนาปรับและแก้ไขสถานการณ์การตอบสนองอย่างต่อเนื่อง โมเดลจะได้รับการฝึกซ้ำโดยนักวิทยาศาสตร์ข้อมูลโดยใช้ไลบรารีการเรียนรู้ของเครื่องที่เหมาะสม)
วิธีทำให้โมเดลขั้นสูงทำงานได้อย่างไร
เช่นเดียวกับการแก้ปัญหาอื่นๆ ก่อนที่จะพัฒนาโมดูลดังกล่าว จำเป็นต้องกำหนดกระบวนการทางธุรกิจและอธิบายอย่างเป็นทางการเกี่ยวกับงานเฉพาะที่เราจะแก้ปัญหาโดยใช้วิธีการเรียนรู้ของเครื่อง ณ จุดนี้ กระบวนการของการดำเนินงานซึ่งแสดงโดยตัวย่อ Ops เริ่มต้นขึ้น
ขั้นตอนต่อไปคือนักวิทยาศาสตร์ข้อมูลร่วมกับวิศวกรข้อมูล ตรวจสอบความพร้อมใช้งานและความเพียงพอของข้อมูลและสมมติฐานทางธุรกิจเกี่ยวกับความสามารถในการทำงานของแนวคิดธุรกิจ การพัฒนาต้นแบบของแบบจำลองและตรวจสอบประสิทธิภาพที่แท้จริง หลังจากได้รับการยืนยันจากธุรกิจแล้ว การเปลี่ยนแปลงจากการพัฒนาโมเดลเป็นการฝังลงในระบบที่ดำเนินการตามกระบวนการทางธุรกิจเฉพาะจะเริ่มขึ้นได้ การวางแผนการใช้งานแบบ end-to-end ความเข้าใจอย่างลึกซึ้งในแต่ละขั้นตอนของวิธีการใช้แบบจำลองและผลกระทบทางเศรษฐกิจที่จะเกิดขึ้น เป็นช่วงเวลาพื้นฐานในกระบวนการแนะนำแนวทาง MLOps เข้าสู่ภูมิทัศน์ทางเทคโนโลยีของบริษัท
ด้วยการพัฒนาเทคโนโลยี AI จำนวนและความหลากหลายของงานที่สามารถแก้ไขได้ด้วยความช่วยเหลือของแมชชีนเลิร์นนิงกำลังเพิ่มขึ้นเหมือนหิมะถล่ม แต่ละกระบวนการทางธุรกิจดังกล่าวกำลังช่วยบริษัทด้วยการทำให้พนักงานตำแหน่งงานจำนวนมากทำงานโดยอัตโนมัติ (ศูนย์บริการทางโทรศัพท์ การตรวจสอบและคัดแยกเอกสาร ฯลฯ) กำลังขยายฐานลูกค้าโดยการเพิ่มฟังก์ชันใหม่ที่น่าสนใจและสะดวกสบาย ช่วยประหยัดเงินเนื่องจากการเพิ่มประสิทธิภาพของพวกเขา การใช้และการกระจายทรัพยากรซ้ำ และอื่นๆ อีกมากมาย ท้ายที่สุดแล้ว กระบวนการใด ๆ มุ่งเน้นไปที่การสร้างมูลค่า และผลที่ตามมาคือต้องนำมาซึ่งผลกระทบทางเศรษฐกิจอย่างแน่นอน ที่นี่เป็นสิ่งสำคัญมากที่จะต้องแสดงแนวคิดทางธุรกิจอย่างชัดเจนและคำนวณผลกำไรที่คาดหวังจากการนำแบบจำลองไปใช้ในโครงสร้างโดยรวมของการสร้างมูลค่าของบริษัท มีบางสถานการณ์ที่การนำโมเดลไปใช้ไม่ได้พิสูจน์ตัวเอง และเวลาที่ผู้เชี่ยวชาญแมชชีนเลิร์นนิงใช้ไปนั้นมีราคาแพงกว่าสถานที่ทำงานของผู้ปฏิบัติงานที่ทำภารกิจนี้มาก นั่นคือเหตุผลที่จำเป็นต้องพยายามระบุกรณีดังกล่าวในช่วงแรกของการสร้างระบบ AI
ดังนั้น โมเดลจึงเริ่มสร้างผลกำไรได้ก็ต่อเมื่องานธุรกิจได้รับการกำหนดสูตรอย่างถูกต้องในกระบวนการ MLOps กำหนดลำดับความสำคัญ และกระบวนการแนะนำโมเดลเข้าสู่ระบบได้รับการกำหนดขึ้นในช่วงเริ่มต้นของการพัฒนา
กระบวนการใหม่ - ความท้าทายใหม่
คำตอบที่ละเอียดถี่ถ้วนสำหรับคำถามพื้นฐานทางธุรกิจว่าโมเดล ML สามารถประยุกต์ใช้ในการแก้ปัญหาได้อย่างไร คำถามทั่วไปเกี่ยวกับความไว้วางใจใน AI เป็นหนึ่งในความท้าทายหลักในการพัฒนาและการนำแนวทาง MLOps ไปใช้ ในขั้นต้น ธุรกิจต่าง ๆ ไม่เชื่อเกี่ยวกับการนำการเรียนรู้ของเครื่องเข้าสู่กระบวนการ - เป็นการยากที่จะพึ่งพาแบบจำลองในสถานที่ที่ผู้คนมักจะทำงานในอดีต สำหรับธุรกิจ โปรแกรมดูเหมือนเป็น “กล่องดำ” ซึ่งความเกี่ยวข้องของคำตอบยังคงต้องได้รับการพิสูจน์ นอกจากนี้ในการธนาคารในธุรกิจของผู้ให้บริการโทรคมนาคมและอื่น ๆ มีข้อกำหนดที่เข้มงวดของหน่วยงานกำกับดูแลของรัฐ ระบบและอัลกอริธึมทั้งหมดที่ใช้ในกระบวนการทางธนาคารอยู่ภายใต้การตรวจสอบ เพื่อแก้ปัญหานี้ เพื่อพิสูจน์ให้ธุรกิจและหน่วยงานกำกับดูแลเห็นความถูกต้องและถูกต้องของคำตอบจากปัญญาประดิษฐ์ จึงมีการนำเครื่องมือตรวจสอบไปพร้อมกับโมเดล นอกจากนี้ยังมีขั้นตอนการตรวจสอบอิสระซึ่งจำเป็นสำหรับแบบจำลองการกำกับดูแลซึ่งเป็นไปตามข้อกำหนดของธนาคารกลาง กลุ่มผู้เชี่ยวชาญอิสระตรวจสอบผลลัพธ์ที่ได้จากแบบจำลอง โดยคำนึงถึงข้อมูลที่ป้อนเข้า
ความท้าทายที่สองคือการประเมินและพิจารณาความเสี่ยงของโมเดลเมื่อนำโมเดลแมชชีนเลิร์นนิงไปใช้ แม้ว่าคน ๆ หนึ่งจะไม่สามารถตอบคำถามได้อย่างแน่นอนว่าชุดนั้นเป็นสีขาวหรือสีน้ำเงิน แต่ปัญญาประดิษฐ์ก็มีสิทธิ์ที่จะทำผิดพลาดเช่นกัน นอกจากนี้ยังควรพิจารณาว่าข้อมูลสามารถเปลี่ยนแปลงได้ตลอดเวลา และแบบจำลองจำเป็นต้องได้รับการฝึกอบรมใหม่เพื่อให้ได้ผลลัพธ์ที่แม่นยำเพียงพอ เพื่อไม่ให้กระบวนการทางธุรกิจได้รับผลกระทบ จำเป็นต้องจัดการความเสี่ยงของโมเดลและติดตามประสิทธิภาพของโมเดล ฝึกซ้ำกับข้อมูลใหม่อย่างสม่ำเสมอ
แต่หลังจากความไม่ไว้วางใจในขั้นแรก ผลที่ตรงกันข้ามก็เริ่มปรากฏขึ้น ยิ่งมีการนำโมเดลเข้าสู่กระบวนการสำเร็จมากเท่าไหร่ ธุรกิจก็ยิ่งมีความกระหายมากขึ้นสำหรับการใช้ปัญญาประดิษฐ์ มีงานใหม่และงานใหม่ที่สามารถแก้ไขได้โดยใช้วิธีการเรียนรู้ด้วยเครื่อง แต่ละงานเปิดตัวกระบวนการทั้งหมดที่ต้องใช้ความสามารถบางอย่าง:
- วิศวกรข้อมูลจัดเตรียมและประมวลผลข้อมูล
- นักวิทยาศาสตร์ข้อมูลใช้เครื่องมือการเรียนรู้ของเครื่องและพัฒนาแบบจำลอง
- ไอทีนำแบบจำลองเข้าสู่ระบบ
- วิศวกร ML จะกำหนดวิธีการผสานโมเดลนี้เข้ากับกระบวนการอย่างถูกต้อง เครื่องมือไอทีที่จะใช้ขึ้นอยู่กับข้อกำหนดสำหรับโหมดการใช้งานของโมเดล โดยพิจารณาจากโฟลว์ของคำขอ เวลาตอบสนอง ฯลฯ
- สถาปนิก ML ออกแบบวิธีนำผลิตภัณฑ์ซอฟต์แวร์ไปใช้งานจริงในระบบอุตสาหกรรม
วงจรทั้งหมดต้องใช้ผู้เชี่ยวชาญที่มีคุณสมบัติสูงจำนวนมาก เมื่อถึงจุดหนึ่งของการพัฒนาและระดับของการแทรกซึมของโมเดล ML ในกระบวนการทางธุรกิจ ปรากฎว่าการปรับขนาดจำนวนผู้เชี่ยวชาญเชิงเส้นตามสัดส่วนของการเติบโตของจำนวนงานนั้นมีราคาแพงและไม่มีประสิทธิภาพ ดังนั้น คำถามจึงเกิดขึ้นจากการทำกระบวนการ MLOps ให้เป็นอัตโนมัติ - การกำหนดคลาสมาตรฐานต่างๆ ของปัญหาแมชชีนเลิร์นนิง การพัฒนาไปป์ไลน์การประมวลผลข้อมูลทั่วไป และโมเดลการฝึกซ้ำ ในภาพอุดมคติ เพื่อแก้ปัญหาดังกล่าว จำเป็นต้องมีผู้เชี่ยวชาญที่มีความรู้ความสามารถพอๆ กันที่จุดเชื่อมต่อของ BigData, Data Science, DevOps และ IT ดังนั้น ปัญหาที่ใหญ่ที่สุดในอุตสาหกรรม Data Science และความท้าทายที่ยิ่งใหญ่ที่สุดในการจัดกระบวนการ MLOps ก็คือการขาดความสามารถดังกล่าวในตลาดการฝึกอบรมที่มีอยู่ ผู้เชี่ยวชาญที่ตรงตามข้อกำหนดดังกล่าวหายากในตลาดแรงงานในปัจจุบันและมีค่าดั่งทองคำ
สำหรับคำถามของความสามารถ
ตามทฤษฎีแล้ว งาน MLOps ทั้งหมดสามารถแก้ไขได้ด้วยเครื่องมือ DevOps แบบคลาสสิกและไม่ต้องหันไปใช้ส่วนขยายแบบจำลองบทบาทพิเศษ ดังที่เราได้กล่าวไว้ข้างต้น นักวิทยาศาสตร์ข้อมูลไม่ควรเป็นเพียงนักคณิตศาสตร์และนักวิเคราะห์ข้อมูลเท่านั้น แต่ยังเป็นกูรูของไปป์ไลน์ทั้งหมดด้วย - การพัฒนาสถาปัตยกรรม แบบจำลองการเขียนโปรแกรมในหลายภาษาขึ้นอยู่กับสถาปัตยกรรม การเตรียมดาต้ามาร์ทและการปรับใช้ ตกกระทบไหล่สมัครนั่นเอง อย่างไรก็ตาม การสร้างการเชื่อมโยงทางเทคโนโลยีที่ใช้ในกระบวนการ MLOps แบบ end-to-end ใช้ต้นทุนแรงงานสูงถึง 80% ซึ่งหมายความว่านักคณิตศาสตร์ที่มีคุณสมบัติเหมาะสม ซึ่งเป็น Data Scientist คุณภาพสูง จะทุ่มเทเพียง 20% ของ เวลาพิเศษของเขา ดังนั้น ความแตกต่างของบทบาทของผู้เชี่ยวชาญที่ใช้กระบวนการนำโมเดลแมชชีนเลิร์นนิงไปใช้จึงมีความสำคัญ
รายละเอียดของบทบาทที่ควรได้รับจะขึ้นอยู่กับขนาดขององค์กร เป็นเรื่องหนึ่งเมื่อสตาร์ทอัพมีผู้เชี่ยวชาญหนึ่งคน คนงานในหน่วยสำรองของวิศวกรไฟฟ้า วิศวกร สถาปนิก และ DevOps ในสิทธิ์ของเขาเอง เป็นเรื่องที่แตกต่างไปจากเดิมอย่างสิ้นเชิง เมื่อในองค์กรขนาดใหญ่ กระบวนการพัฒนาแบบจำลองทั้งหมดมุ่งความสนใจไปที่นักวิทยาศาสตร์ข้อมูลระดับสูงเพียงไม่กี่คน ในขณะที่โปรแกรมเมอร์หรือผู้เชี่ยวชาญด้านฐานข้อมูล ซึ่งเป็นความสามารถทั่วไปที่มีราคาต่ำกว่าในตลาดแรงงาน งานประจำส่วนใหญ่
ดังนั้น เมื่อขอบเขตอยู่ที่การเลือกผู้เชี่ยวชาญเพื่อให้แน่ใจว่ากระบวนการ MLOps และวิธีการจัดระเบียบกระบวนการปฏิบัติงานของแบบจำลองที่พัฒนาแล้วนั้นส่งผลโดยตรงต่อความเร็วและคุณภาพของแบบจำลองที่พัฒนา ประสิทธิภาพการทำงานของทีมและปากน้ำในนั้น
สิ่งที่ทีมงานของเราได้ทำไปแล้ว
เราเพิ่งเริ่มสร้างกรอบความสามารถและกระบวนการ MLOps แต่ตอนนี้ โครงการของเราเกี่ยวกับการจัดการวงจรชีวิตของโมเดลและการใช้โมเดลเป็นบริการอยู่ในขั้นตอนการทดสอบ MVP
เรายังกำหนดโครงสร้างที่เหมาะสมที่สุดของความสามารถสำหรับองค์กรขนาดใหญ่และโครงสร้างองค์กรของการโต้ตอบระหว่างผู้เข้าร่วมทั้งหมดในกระบวนการ มีการจัดทีม Agile เพื่อแก้ปัญหาสำหรับลูกค้าธุรกิจทั้งหมด ตลอดจนกระบวนการโต้ตอบกับทีมโครงการเพื่อสร้างแพลตฟอร์มและโครงสร้างพื้นฐาน ซึ่งเป็นรากฐานของอาคาร MLOps ที่กำลังก่อสร้าง
คำถามสำหรับอนาคต
MLOps เป็นพื้นที่ที่กำลังเติบโตซึ่งกำลังประสบกับการขาดความสามารถและจะได้รับแรงผลักดันในอนาคต ในระหว่างนี้ เป็นการดีที่สุดที่จะต่อยอดจากการพัฒนาและแนวทางปฏิบัติของ DevOps เป้าหมายหลักของ MLOps คือการใช้โมเดล ML อย่างมีประสิทธิภาพมากขึ้นเพื่อแก้ปัญหาทางธุรกิจ แต่สิ่งนี้ทำให้เกิดคำถามมากมาย:
- จะลดเวลาในการเปิดตัวโมเดลในการผลิตได้อย่างไร?
- จะลดแรงเสียดทานของระบบราชการระหว่างทีมที่มีความสามารถต่างกันและเพิ่มการมุ่งเน้นที่ความร่วมมือได้อย่างไร
- จะติดตามโมเดล จัดการเวอร์ชัน และจัดระเบียบการตรวจสอบที่มีประสิทธิภาพได้อย่างไร
- จะสร้างวงจรชีวิตแบบวงกลมอย่างแท้จริงสำหรับโมเดล ML สมัยใหม่ได้อย่างไร
- จะทำให้กระบวนการเรียนรู้ของเครื่องเป็นมาตรฐานได้อย่างไร
คำตอบสำหรับคำถามเหล่านี้จะเป็นตัวกำหนดว่า MLOps จะเปิดเผยศักยภาพสูงสุดได้เร็วเพียงใด
ที่มา: will.com