การกำกับดูแลโดยมนุษย์ในการปฏิบัติการรักษาความปลอดภัยแบบอัตโนมัติ

เมื่อปัญญาประดิษฐ์ (AI) เข้ามามีบทบาทมากขึ้นในปฏิบัติการด้านความปลอดภัย การกำกับดูแลโดยมนุษย์จึงกลายเป็นมาตรการป้องกันที่สำคัญ ซึ่งเป็นตัวแยกความแตกต่างระหว่างระบบอัตโนมัติที่มีประสิทธิภาพกับความเสี่ยงที่ไร้การควบคุม บทความนี้จะพิจารณาว่าการกำกับดูแลโดยมนุษย์หมายถึงอะไรในทางปฏิบัติ เหตุใดจึงมีความสำคัญต่อความปลอดภัยที่ขับเคลื่อนด้วย AI และองค์กรต่างๆ สามารถนำรูปแบบการกำกับดูแลที่เป็นระบบไปใช้ในกระบวนการทำงานได้อย่างไร
#image_title

AI และการเรียนรู้ของเครื่องช่วยปรับปรุงความปลอดภัยทางไซเบอร์ขององค์กรได้อย่างไร

เชื่อมโยงทุกจุดในภูมิทัศน์ภัยคุกคามที่ซับซ้อน

#image_title

สัมผัสประสบการณ์การรักษาความปลอดภัยที่ขับเคลื่อนด้วย AI ในการดำเนินการ!

ค้นพบ AI อันล้ำสมัยของ Stellar Cyber ​​เพื่อการตรวจจับและตอบสนองภัยคุกคามในทันที กำหนดเวลาการสาธิตของคุณวันนี้!

การกำกับดูแลโดยมนุษย์ใน AI คืออะไร (และไม่ใช่สิ่งใด)?

การทำความเข้าใจว่าการกำกับดูแลโดยมนุษย์คืออะไร จำเป็นต้องก้าวข้ามแนวคิดคลุมเครืออย่าง “การคอยจับตาดูสิ่งต่างๆ” การกำกับดูแลโดยมนุษย์ในด้าน AI หมายถึง การมีส่วนร่วมอย่างตั้งใจและเป็นระบบของบุคคลที่มีคุณสมบัติเหมาะสมในการออกแบบ การใช้งาน การตรวจสอบ และการแก้ไขระบบ AI ซึ่งช่วยให้มั่นใจได้ว่าการตัดสินใจอัตโนมัติยังคงสอดคล้องกับเจตนารมณ์ขององค์กร มาตรฐานทางจริยธรรม และข้อกำหนดทางกฎหมาย

การกำกับดูแลโดยมนุษย์ประกอบด้วยอะไรบ้าง

  • การตรวจสอบเชิงรุก: นักวิเคราะห์ด้านความปลอดภัยตรวจสอบการแจ้งเตือนที่สร้างโดย AI การจำแนกประเภทภัยคุกคาม และการดำเนินการตอบสนองอัตโนมัติ ก่อนหรือหลังการดำเนินการ
  • อำนาจในการเข้าแทรกแซง: บุคลากรที่ได้รับมอบหมายยังคงมีอำนาจในการแก้ไข ระงับ หรือปิดกระบวนการที่ขับเคลื่อนด้วย AI เมื่อผลลัพธ์เบี่ยงเบนจากพฤติกรรมที่คาดหวัง
  • ลูปคำติชม: กลไกที่เป็นระบบสำหรับผู้ปฏิบัติงานที่เป็นมนุษย์ในการแก้ไขแบบจำลอง AI ปรับปรุงกฎการตรวจจับ และระบุผลลัพธ์ที่ผิดพลาดหรือภัยคุกคามที่ตรวจไม่พบ
  • การมอบหมายความรับผิดชอบ: มีการจัดทำเอกสารอย่างชัดเจนว่าใครเป็นผู้รับผิดชอบในการตัดสินใจที่ใช้ปัญญาประดิษฐ์ (AI) เพื่อให้มั่นใจว่าไม่มีการกระทำใดเกิดขึ้นโดยปราศจากความรับผิดชอบ

สิ่งที่การกำกับดูแลโดยมนุษย์ไม่ใช่

การกำกับดูแลโดยมนุษย์ไม่ใช่การประทับตราอนุมัติโดยไม่มีหลักฐานสนับสนุน การมีบุคคลที่ได้รับมอบหมายให้ตรวจสอบผลลัพธ์ของ AI โดยปราศจากการฝึกอบรม เครื่องมือ หรืออำนาจในการโต้แย้งผลลัพธ์เหล่านั้น ไม่ถือเป็นการกำกับดูแลที่มีความหมาย และไม่ใช่ขั้นตอนการตั้งค่าเพียงครั้งเดียวระหว่างการใช้งาน การกำกับดูแลต้องต่อเนื่อง ปรับเปลี่ยนได้ และจัดสรรทรัพยากรอย่างเหมาะสม องค์กรที่มองว่าการกำกับดูแลเป็นเพียงการทำตามขั้นตอนก็เพียงพอแล้ว จะเผชิญกับความเสี่ยงเช่นเดียวกับการทำงานอัตโนมัติโดยไม่มีการกำกับดูแลอย่างสมบูรณ์

ในบริบทของการปฏิบัติการด้านความปลอดภัย แพลตฟอร์มอย่าง Stellar Cyber ​​มอบชั้นการมองเห็นที่ทำให้การกำกับดูแลอย่างแท้จริงเป็นไปได้ เมื่อระบบ AI เชื่อมโยงการแจ้งเตือนหลายพันรายการเข้ากับเหตุการณ์ที่มีลำดับความสำคัญ นักวิเคราะห์จำเป็นต้องมีรายละเอียดเชิงบริบท ไม่ใช่แค่คะแนน เพื่อประกอบการตัดสินใจอย่างรอบรู้

เหตุใดการกำกับดูแลโดยมนุษย์จึงเป็นรากฐานสำคัญของ AI ที่มีความรับผิดชอบ?

คำถามที่ว่าเหตุใดการกำกับดูแลโดยมนุษย์จึงมีความสำคัญในระบบ AI จึงยิ่งมีความเร่งด่วนมากขึ้นเมื่อระบบ AI ทำงานในด้านที่มีความเสี่ยงสูง เช่น ความปลอดภัยทางไซเบอร์ การตรวจจับและการตอบสนองแบบอัตโนมัติสามารถลดเวลาเฉลี่ยในการตอบสนองได้อย่างมาก แต่หากปราศจากการตรวจสอบโดยมนุษย์ ข้อผิดพลาดอาจลุกลามอย่างรวดเร็วด้วยความเร็วของเครื่องจักร

การป้องกันข้อผิดพลาดอัตโนมัติในระดับขนาดใหญ่

โมเดล AI ที่ฝึกฝนด้วยข้อมูลในอดีตจะสืบทอดอคติ ช่องว่าง และข้อสมมติฐานที่ฝังอยู่ในข้อมูลเหล่านั้น โมเดลตรวจจับภัยคุกคามที่ปรับเทียบไม่ถูกต้องอาจปิดกั้นการรับส่งข้อมูลที่ถูกต้อง หรือเพิกเฉยต่อเวกเตอร์การโจมตีใหม่ๆ การกำกับดูแลโดยมนุษย์จะตรวจจับความล้มเหลวเหล่านี้ก่อนที่จะกลายเป็นปัญหาเชิงระบบ เมื่อ อิสระ SOC ระบบประมวลผลเหตุการณ์นับล้านรายการต่อวัน แม้แต่การจำแนกประเภทผิดพลาดเพียงเล็กน้อยก็อาจส่งผลกระทบอย่างมากต่อการดำเนินงานได้

การรักษาความไว้วางใจในองค์กร

ผู้มีส่วนได้ส่วนเสีย ตั้งแต่คณะกรรมการบริหารไปจนถึงลูกค้า ต่างต้องการความมั่นใจว่าการตัดสินใจด้านความปลอดภัยที่ขับเคลื่อนด้วย AI สะท้อนถึงค่านิยมขององค์กรและการยอมรับความเสี่ยง การกำกับดูแลโดยมนุษย์จะช่วยสร้างความมั่นใจนั้นได้ โดยการสร้างห่วงโซ่การตัดสินใจของมนุษย์ที่ตรวจสอบได้อยู่เบื้องหลังการกระทำที่สำคัญ หากปราศจากสิ่งนี้ องค์กรก็ไม่สามารถอ้างได้อย่างน่าเชื่อถือว่าตนเองควบคุมสถานการณ์ด้านความปลอดภัยได้

ความจำเป็นด้านกฎระเบียบและกฎหมาย

กฎระเบียบทั่วโลกกำหนดให้มนุษย์ต้องมีส่วนร่วมในการตัดสินใจโดยอัตโนมัติมากขึ้นเรื่อยๆ ไม่ว่าจะเป็นกฎหมาย AI ของสหภาพยุโรป กรอบการบริหารความเสี่ยง AI ของ NIST และข้อกำหนดเฉพาะของแต่ละภาคส่วน ล้วนชี้ไปในทิศทางเดียวกัน นั่นคือ องค์กรต้องแสดงให้เห็นว่ามนุษย์ยังคงมีส่วนร่วมอย่างมีความหมายในการดำเนินงานด้าน AI หากไม่ปฏิบัติตาม จะส่งผลให้เกิดความรับผิดทางกฎหมายและชื่อเสียงเสียหาย

การปรับตัวให้เข้ากับสภาวะที่ไม่เอื้ออำนวย

ผู้โจมตีทำการตรวจสอบและดัดแปลงระบบ AI อย่างแข็งขัน เทคนิคการเรียนรู้ของเครื่องจักรแบบต่อต้านสามารถทำลายข้อมูลการฝึกอบรม หลบเลี่ยงแบบจำลองการตรวจจับ หรือกระตุ้นการตอบสนองอัตโนมัติที่เอื้อประโยชน์ต่อผู้โจมตี นักวิเคราะห์ที่เป็นมนุษย์นำเอาการให้เหตุผลตามบริบทและการคิดแบบต่อต้านมาใช้ ซึ่งระบบ AI ในปัจจุบันไม่สามารถเลียนแบบได้ ทำให้การกำกับดูแล AI โดยมนุษย์เป็นสิ่งจำเป็นในเชิงปฏิบัติการมากกว่าเป็นเพียงความชอบทางปรัชญา

การมีมนุษย์เข้ามาเกี่ยวข้องในกระบวนการทำงาน: โมเดลเชิงปฏิบัติสำหรับเวิร์กโฟลว์บริการ AI

แนวคิดเรื่อง "มนุษย์มีส่วนร่วมในกระบวนการ" อธิบายถึงรูปแบบการออกแบบที่นำการตัดสินใจของมนุษย์มาผสานรวมกับการตัดสินใจของ AI ณ จุดแทรกแซงที่กำหนดไว้ มีแบบจำลองเชิงปฏิบัติหลายแบบ ซึ่งแต่ละแบบเหมาะสมกับระดับความเสี่ยงและข้อกำหนดในการดำเนินงานที่แตกต่างกัน ภายใต้การกำกับดูแลของมนุษย์ในกระบวนการทำงานของบริการ AI

เปรียบเทียบรุ่น

รุ่น

บทบาทของมนุษย์

ควรใช้เมื่อใด

ตัวอย่างในด้านการปฏิบัติการรักษาความปลอดภัย

มนุษย์ในวง

อนุมัติทุกการตัดสินใจก่อนดำเนินการ

การกระทำที่มีความเสี่ยงสูงและมีผลกระทบร้ายแรง

การบล็อก IP ของเซิร์ฟเวอร์ที่ใช้งานจริงซึ่งถูกระบุว่าถูกบุกรุก

มนุษย์บนวงจร

ตรวจสอบการทำงานของ AI และเข้าแทรกแซงเมื่อจำเป็น

การดำเนินงานที่มีความเสี่ยงปานกลางและปริมาณมาก

ตรวจสอบการดำเนินการกักกันอัตโนมัติแบบเป็นชุด

มนุษย์ผ่านวงจร

กำหนดนโยบายและทบทวนผลลัพธ์โดยรวม

ระบบอัตโนมัติที่มีความเสี่ยงต่ำและเข้าใจง่าย

การกำหนดกฎเกณฑ์สำหรับการลบอีเมลฟิชชิ่งอัตโนมัติ

การเลือกรุ่นที่เหมาะสม

รูปแบบที่เหมาะสมนั้นขึ้นอยู่กับความรุนแรงของผลกระทบที่อาจเกิดขึ้น ความพร้อมของระบบ AI และระดับความเสี่ยงที่องค์กรยอมรับได้ หน่วยงานรักษาความปลอดภัยที่มีความเชี่ยวชาญส่วนใหญ่ใช้แนวทางแบบผสมผสาน ตัวอย่างเช่น แพลตฟอร์มของ Stellar Cyber ​​รองรับการกำหนดค่าการตอบสนองแบบหลายระดับ โดยการตรวจจับที่มีความมั่นใจต่ำจะถูกส่งไปยังคิวของนักวิเคราะห์ ในขณะที่การดำเนินการที่มีความมั่นใจสูงแต่ผลกระทบต่ำจะดำเนินการโดยอัตโนมัติ พร้อมการตรวจสอบหลังการดำเนินการ

การขยายขอบเขตการมีส่วนร่วมของมนุษย์โดยปราศจากอุปสรรค

ข้อกังวลที่พบบ่อยคือ รูปแบบที่มีมนุษย์เข้ามาเกี่ยวข้องอาจทำให้เกิดปัญหาคอขวดด้านปริมาณงาน ซึ่งเป็นข้อกังวลที่สมเหตุสมผลเมื่อการกำกับดูแลได้รับการออกแบบมาไม่ดี การนำไปใช้งานอย่างมีประสิทธิภาพจะแก้ไขปัญหานี้ได้โดย:
  1. การคัดกรองตามความเสี่ยง: เฉพาะกรณีที่การตัดสินใจมีความเสี่ยงเกินเกณฑ์ที่กำหนดไว้เท่านั้น ควรส่งต่อให้ผู้ตรวจสอบที่เป็นมนุษย์พิจารณา
  2. การเสริมบริบท: นำเสนอหลักฐานที่สัมพันธ์กัน บริบททางประวัติศาสตร์ และการดำเนินการที่แนะนำแก่นักวิเคราะห์ เพื่อให้การตัดสินใจใช้เวลาเพียงไม่กี่วินาที แทนที่จะเป็นหลายนาที
  3. การใช้ระบบอัตโนมัติสำหรับงานที่มีความเสี่ยงต่ำ: ควรสงวนความสนใจของมนุษย์ไว้สำหรับการตัดสินใจที่การตัดสินใจนั้นมีความสำคัญอย่างแท้จริง
  4. การตรวจสอบแบบไม่พร้อมกัน: อนุญาตให้ดำเนินการอัตโนมัติบางอย่างได้ โดยต้องมีการตรวจสอบหลังการดำเนินการภายในกรอบเวลาที่กำหนด

มนุษย์เสริมพลังอัตโนมัติ SOC: ที่ซึ่งปัญญาประดิษฐ์และความเชี่ยวชาญของมนุษย์ทำงานร่วมกัน

การกำกับดูแลโดยมนุษย์ไม่ได้ลดทอนคุณค่าของการปฏิบัติการรักษาความปลอดภัยแบบอัตโนมัติ แต่กลับช่วยให้องค์กรสามารถบรรลุศักยภาพสูงสุดได้ แทนที่จะเข้ามาแทนที่นักวิเคราะห์ความปลอดภัย ศูนย์ปฏิบัติการรักษาความปลอดภัยที่มีประสิทธิภาพสูงสุด (SOCส) ใช้ระบบอัตโนมัติเสริมด้วยมนุษย์ SOC รูปแบบดังกล่าวใช้ AI ในการจัดการความเร็ว ขนาด และการวิเคราะห์ซ้ำๆ ในขณะที่นักวิเคราะห์ผู้มีประสบการณ์จะให้การตัดสินใจตามบริบท การตรวจสอบความถูกต้อง และการตัดสินใจเชิงกลยุทธ์

ในโมเดลนี้ AI จะทำการเชื่อมโยงข้อมูลการวัดระยะทางอย่างต่อเนื่อง จัดลำดับความสำคัญของเหตุการณ์ แนะนำการดำเนินการตอบสนอง และดำเนินการแก้ไขปัญหาประจำวันโดยอัตโนมัติ นักวิเคราะห์ที่เป็นมนุษย์จะมุ่งเน้นไปที่งานที่มีมูลค่าสูงกว่า เช่น การตรวจสอบการโจมตีที่ซับซ้อน การตรวจสอบความถูกต้องของการตัดสินใจอัตโนมัติที่มีผลกระทบสูง การปรับปรุงตรรกะการตรวจจับ และการปรับนโยบายความปลอดภัยให้เข้ากับการเปลี่ยนแปลงของความเสี่ยงทางธุรกิจ ผลลัพธ์ที่ได้คือการดำเนินงานด้านความปลอดภัยที่ผสมผสานประสิทธิภาพของเครื่องจักรเข้ากับการใช้เหตุผลของมนุษย์ ช่วยลดความเหนื่อยล้าของนักวิเคราะห์ ในขณะเดียวกันก็ปรับปรุงความแม่นยำในการตรวจจับและรักษาความรับผิดชอบไว้ได้

แนวทางที่สมดุลนี้สอดคล้องอย่างใกล้ชิดกับหลักการของ AI ที่มีความรับผิดชอบและข้อกำหนดด้านการกำกับดูแลที่กล่าวถึงตลอดบทความนี้ แทนที่จะมองว่าระบบอัตโนมัติและการกำกับดูแลโดยมนุษย์เป็นสิ่งที่มีลำดับความสำคัญขัดแย้งกัน องค์กรควรปฏิบัติต่อทั้งสองอย่างในฐานะความสามารถที่เสริมซึ่งกันและกันและส่งเสริมซึ่งกันและกัน

การตีความมาตรา 14 ของกฎหมาย AI ของสหภาพยุโรปสำหรับระบบ AI ที่มีความเสี่ยงสูง

มาตรา 14 ของกฎหมาย AI ของสหภาพยุโรป กำหนดข้อกำหนดเฉพาะสำหรับการกำกับดูแลโดยมนุษย์สำหรับระบบ AI ที่มีความเสี่ยงสูง สำหรับทีมปฏิบัติการด้านความปลอดภัย การทำความเข้าใจข้อกำหนดเหล่านี้เป็นสิ่งสำคัญ เนื่องจากระบบตรวจจับและตอบสนองภัยคุกคามที่ขับเคลื่อนด้วย AI จำนวนมากอาจจัดอยู่ในประเภทที่มีความเสี่ยงสูง ขึ้นอยู่กับบริบทการใช้งาน

ข้อกำหนดสำคัญภายใต้มาตรา 14

  • ความเข้าใจง่าย: ระบบ AI ต้องได้รับการออกแบบเพื่อให้ผู้ดูแลระบบสามารถเข้าใจความสามารถและข้อจำกัดของระบบได้อย่างเหมาะสม
  • ความสามารถในการตีความผลลัพธ์: ผู้ควบคุมดูแลต้องสามารถตีความผลลัพธ์ของระบบ AI ได้อย่างถูกต้อง รวมถึงเข้าใจระดับความเชื่อมั่น ขอบเขตความคลาดเคลื่อน และรูปแบบความล้มเหลวที่ทราบแล้ว
  • ความสามารถในการยกเลิกหรือหยุดการทำงาน: ผู้ควบคุมดูแลที่เป็นมนุษย์ต้องมีความสามารถทางเทคนิคในการแก้ไขการตัดสินใจอัตโนมัติหรือปิดระบบทั้งหมดได้
  • การตระหนักถึงอคติจากการใช้ระบบอัตโนมัติ: องค์กรต่างๆ ต้องดำเนินมาตรการเพื่อป้องกันการพึ่งพาผลลัพธ์จาก AI มากเกินไป โดยเฉพาะอย่างยิ่งเมื่อผลลัพธ์เหล่านั้นเป็นข้อมูลประกอบการตัดสินใจเกี่ยวกับบุคคล

ผลกระทบในทางปฏิบัติสำหรับทีมรักษาความปลอดภัย

ข้อกำหนดเหล่านี้แปลงเป็นภาระผูกพันทางเทคนิคและองค์กรที่เป็นรูปธรรม แพลตฟอร์มด้านความปลอดภัยต้องให้ผลลัพธ์ที่อธิบายได้ ไม่ใช่แค่คะแนนภัยคุกคาม นักวิเคราะห์จำเป็นต้องได้รับการฝึกอบรมเกี่ยวกับข้อจำกัดของระบบ AI ที่เฉพาะเจาะจงกับการใช้งานของตน และองค์กรต้องจัดทำเอกสารขั้นตอนการกำกับดูแลในลักษณะที่สามารถตรวจสอบได้จากหน่วยงานกำกับดูแล ผู้จำหน่ายที่ดำเนินงานในด้านนี้กำลังปรับตัวให้เหมาะสม ตัวอย่างเช่น Stellar Cyber ​​ให้คำบรรยายเหตุการณ์ตามความสัมพันธ์ที่แสดงให้นักวิเคราะห์เห็นว่าเหตุใดชุดการแจ้งเตือนเฉพาะจึงถูกจัดกลุ่มและจัดลำดับความสำคัญ ซึ่งสนับสนุนข้อกำหนดด้านความสามารถในการตีความที่มาตรา 14 กำหนดไว้

นอกเหนือจากสหภาพยุโรป: การบรรจบกันของกฎระเบียบระดับโลก

แม้ว่ามาตรา 14 จะเฉพาะเจาะจงสำหรับสหภาพยุโรป แต่หลักการที่คล้ายคลึงกันก็ปรากฏอยู่ในกรอบการทำงานจากสหรัฐอเมริกา (NIST AI RMF) แคนาดา (คำสั่งเกี่ยวกับการตัดสินใจอัตโนมัติ) และเขตอำนาจศาลอื่นๆ องค์กรที่ดำเนินงานทั่วโลกควรออกแบบกรอบการกำกับดูแลของตนให้เป็นไปตามมาตรฐานที่เข้มงวดที่สุดที่บังคับใช้ ซึ่งในปัจจุบันมักจะเป็นกฎหมาย AI ของสหภาพยุโรป

การบรรลุความรับผิดชอบที่แท้จริงใน AI ด้วยการแทรกแซงของมนุษย์

ความรับผิดชอบในการปฏิบัติการรักษาความปลอดภัยที่ขับเคลื่อนด้วย AIหมายความว่าทุกการกระทำที่มีผลกระทบ ไม่ว่าจะเป็นแบบอัตโนมัติหรือริเริ่มโดยมนุษย์ สามารถตรวจสอบย้อนกลับไปยังผู้รับผิดชอบได้ หากปราศจากการแทรกแซงของมนุษย์ในจุดสำคัญ ความสามารถในการตรวจสอบย้อนกลับนี้ก็จะล้มเหลว

ห่วงโซ่ความรับผิดชอบ

โครงสร้างการตรวจสอบความรับผิดชอบที่ออกแบบมาอย่างดีสำหรับองค์กรอิสระ SOC ประกอบด้วยหลายชั้น:
  1. นักพัฒนาโมเดล มีหน้าที่รับผิดชอบต่อความถูกต้อง ความเป็นธรรม และข้อจำกัดที่ได้รับการบันทึกไว้ของแบบจำลอง AI
  2. ผู้ให้บริการแพลตฟอร์ม มีหน้าที่รับผิดชอบในการกำหนดค่า ปรับแต่ง และตรวจสอบความถูกต้องอย่างต่อเนื่องของระบบ AI ภายในสภาพแวดล้อมของตน
  3. นักวิเคราะห์ด้านความปลอดภัย พวกเขามีความรับผิดชอบต่อคุณภาพของการตรวจสอบ ความทันท่วงทีของการแทรกแซง และเหตุผลเบื้องหลังการตัดสินใจแก้ไขของตน
  4. ความเป็นผู้นำด้านความปลอดภัย มีหน้าที่รับผิดชอบในการกำหนดนโยบายที่ระบุว่าเมื่อใดและอย่างไรจึงจะสามารถใช้การกำกับดูแลโดยมนุษย์ได้

จัดทำเอกสารเกี่ยวกับการตัดสินใจเพื่อเตรียมพร้อมสำหรับการตรวจสอบบัญชี

ทุกการกระทำของมนุษย์ ไม่ว่าจะเป็นการอนุมัติ การแก้ไข หรือการปฏิเสธคำแนะนำของ AI ควรได้รับการบันทึกพร้อมเวลา เหตุผล และหลักฐานที่มีอยู่ ณ เวลาที่ตัดสินใจ เอกสารนี้มีวัตถุประสงค์สามประการ ได้แก่ สนับสนุนการปฏิบัติตามกฎระเบียบ ช่วยให้สามารถวิเคราะห์หลังเกิดเหตุการณ์ และให้ข้อมูลสำหรับการฝึกฝนเพื่อปรับปรุงโมเดล AI ในอนาคต

การหลีกเลี่ยงการกระจายความรับผิดชอบ

เมื่อ AI และมนุษย์แบ่งปันอำนาจในการตัดสินใจ มีความเสี่ยงที่ทั้งสองฝ่ายจะไม่รู้สึกว่าตนเองรับผิดชอบอย่างเต็มที่ องค์กรจึงต้องกำหนดความรับผิดชอบอย่างชัดเจนในแต่ละขั้นตอนของกระบวนการทำงาน หากระบบ AI แนะนำให้แยกอุปกรณ์ปลายทางที่ถูกบุกรุก และนักวิเคราะห์อนุมัติการกระทำนั้น นักวิเคราะห์จะเป็นผู้รับผิดชอบการตัดสินใจนั้น หาก AI ดำเนินการโดยอัตโนมัติภายใต้นโยบายที่ได้รับอนุมัติล่วงหน้า บุคคลที่อนุมัตินโยบายนั้นจะเป็นผู้รับผิดชอบ

แนวปฏิบัติที่ดีที่สุดสำหรับการสร้างระบบการกำกับดูแลโดยบุคลากรในองค์กรของคุณ

การนำระบบการกำกับดูแลโดยมนุษย์ที่มีประสิทธิภาพมาใช้ จำเป็นต้องมีการวางแผนอย่างรอบคอบทั้งในด้านเทคโนโลยี กระบวนการ และบุคลากร แนวทางปฏิบัติต่อไปนี้เป็นตัวอย่างของวิธีการที่ได้รับการพิสูจน์แล้ว ซึ่งได้มาจากองค์กรที่ประสบความสำเร็จในการสร้างสมดุลระหว่างระบบอัตโนมัติกับการตัดสินใจของมนุษย์ในการปฏิบัติการด้านความปลอดภัย

กำหนดเกณฑ์การยกระดับที่ชัดเจน

ไม่ใช่ทุกผลลัพธ์จาก AI ที่ต้องการความใส่ใจจากมนุษย์ในระดับเดียวกัน กำหนดเกณฑ์ที่ชัดเจนโดยพิจารณาจาก:
  • ความรุนแรงของผลกระทบ: การกระทำที่ส่งผลกระทบต่อระบบการผลิต ข้อมูลลูกค้า หรือโครงสร้างพื้นฐานที่สำคัญ จำเป็นต้องได้รับการตรวจสอบอย่างเข้มงวดมากขึ้น
  • คะแนนความเชื่อมั่น: การตรวจจับที่มีความน่าเชื่อถือต่ำควรส่งต่อให้ผู้เชี่ยวชาญวิเคราะห์ ในขณะที่การตรวจจับที่มีความน่าเชื่อถือสูงและมีขั้นตอนการตอบสนองที่เข้าใจได้ดี อาจดำเนินการโดยมีการกำกับดูแลที่น้อยกว่า
  • ความแปลกใหม่: รูปแบบการโจมตีที่ไม่เคยพบมาก่อนหรือความผิดปกติที่อยู่นอกเหนือการกระจายการฝึกฝนของแบบจำลอง AI จำเป็นต้องได้รับการตรวจสอบโดยมนุษย์

ลงทุนในการฝึกอบรมนักวิเคราะห์

การกำกับดูแลโดยมนุษย์จะมีประสิทธิภาพก็ต่อเมื่อผู้ที่ทำการกำกับดูแลนั้นมีทักษะที่ดี นักวิเคราะห์ต้องเข้าใจไม่เพียงแต่ขอบเขตของความปลอดภัยเท่านั้น แต่ยังต้องเข้าใจระบบ AI เฉพาะที่ตนเองกำกับดูแลด้วย การฝึกอบรมควรครอบคลุมถึงสถาปัตยกรรมของโมเดลในระดับแนวคิด โหมดความล้มเหลวที่ทราบกันดี แหล่งที่มาทั่วไปของผลลัพธ์ที่ผิดพลาด และกระบวนการที่ถูกต้องในการให้ข้อเสนอแนะเพื่อปรับปรุงประสิทธิภาพของโมเดล

นำกระบวนการตรวจสอบแบบหลายระดับมาใช้

จัดโครงสร้างขั้นตอนการตรวจสอบของคุณให้สอดคล้องกับระดับความเสี่ยงของแต่ละประเภทการดำเนินการ โดยทั่วไปแล้ววิธีการแบบสามระดับจะใช้ได้ผลดีกับองค์กรส่วนใหญ่:

ชั้น

ประเภทการดำเนินการ

ระดับการกำกับดูแล

กำหนดเวลาการตรวจสอบ

1

การแจ้งเตือนข้อมูล การเพิ่มความสมบูรณ์ของบันทึก

ทำงานอัตโนมัติด้วยการสุ่มตัวอย่างเป็นระยะ

การตรวจสอบล็อตรายสัปดาห์

2

การแยกอุปกรณ์ปลายทาง การระงับบัญชี

มนุษย์ในวงจร

ภายใน 30 นาที

3

การแบ่งส่วนเครือข่าย การปิดบริการ

การมีส่วนร่วมของมนุษย์ (การอนุมัติล่วงหน้า)

ก่อนการดำเนินการ


ใช้ประโยชน์จากความสามารถของแพลตฟอร์ม

เลือกแพลตฟอร์มรักษาความปลอดภัยที่ช่วยอำนวยความสะดวกในการกำกับดูแล แทนที่จะเป็นอุปสรรค เช่น แพลตฟอร์มของ Stellar Cyber Open XDR ตัวอย่างเช่น แพลตฟอร์มจะรวบรวมการแจ้งเตือนจากหลายแหล่งเข้าไว้ในเหตุการณ์ที่สัมพันธ์กันพร้อมบริบทที่ครบถ้วน ช่วยลดภาระทางความคิดของนักวิเคราะห์ และทำให้การตัดสินใจด้านการกำกับดูแลรวดเร็วและแม่นยำยิ่งขึ้น แพลตฟอร์มที่เหมาะสมจะเปลี่ยนการกำกับดูแลจากภาระให้กลายเป็นส่วนหนึ่งของขั้นตอนการทำงานอย่างเป็นธรรมชาติ
แม้แต่โครงการกำกับดูแลที่มีเจตนาดีก็อาจพบกับอุปสรรค การตระหนักถึงความท้าทายเหล่านี้ตั้งแต่เนิ่นๆ จะช่วยให้องค์กรสามารถออกแบบระบบเพื่อรับมือกับปัญหาได้ แทนที่จะต้องมาแก้ไขหลังจากเกิดความล้มเหลวแล้ว

ความเหนื่อยล้าจากการแจ้งเตือนและอคติจากการทำงานอัตโนมัติ

เมื่อนักวิเคราะห์ตรวจสอบคำแนะนำที่สร้างโดย AI หลายร้อยรายการในแต่ละวัน จะพบข้อผิดพลาดสองประการ ความเหนื่อยล้าจากการแจ้งเตือนทำให้ผู้1วิเคราะห์อ่านบทวิจารณ์แบบผ่านๆ หรือข้ามไปเลยอคติจากการใช้ระบบอัตโนมัติทำให้ผู้1วิเคราะห์ยอมรับคำแนะนำของ AI โดยปราศจากการประเมินอย่างมีวิจารณญาณ ซึ่งทั้งสองอย่างนี้บั่นทอนวัตถุประสงค์ของการกำกับดูแล มาตรการแก้ไขได้แก่ การสลับหน้าที่ในการตรวจสอบ การจัด “แบบฝึกหัดการท้าทาย” เป็นระยะๆ ซึ่งผู้1วิเคราะห์ต้องชี้แจงเหตุผลของคำแนะนำจาก AI และการลดปริมาณการแจ้งเตือนผ่านการเชื่อมโยงและการกำจัดข้อมูลซ้ำซ้อนที่ดีขึ้น

ช่องว่างด้านทักษะและข้อจำกัดด้านทรัพยากร

การกำกับดูแลที่มีประสิทธิภาพต้องอาศัยนักวิเคราะห์ที่เข้าใจทั้งในด้านความปลอดภัยและระบบ AI ที่ตนดูแล หลายองค์กรประสบปัญหาขาดแคลนบุคลากรที่มีความเชี่ยวชาญทั้งสองด้านนี้ การแก้ไขปัญหานี้จึงต้องอาศัย:
  • ฝึกอบรมผู้เชี่ยวชาญด้านความปลอดภัยข้ามสายงานเกี่ยวกับพื้นฐานของ AI และพฤติกรรมของแบบจำลอง
  • การให้บริบทด้านความปลอดภัยแก่เหล่าวิศวกร AI เพื่อให้พวกเขาสามารถสร้างระบบที่เข้าใจง่ายยิ่งขึ้น
  • การใช้แพลตฟอร์มที่ลดความซับซ้อนและนำเสนอเหตุผลของ AI ในรูปแบบที่เข้าถึงได้ง่าย

ปรับสมดุลความเร็วและความทั่วถึง

เหตุการณ์ด้านความปลอดภัยต้องการการตอบสนองอย่างรวดเร็ว การแทรกการตรวจสอบโดยมนุษย์เข้าไปในขั้นตอนการทำงานที่ต้องใช้เวลาอย่างจำกัดอาจทำให้การควบคุมสถานการณ์ล่าช้า วิธีแก้ปัญหาไม่ใช่การกำจัดกระบวนการกำกับดูแล แต่เป็นการเพิ่มประสิทธิภาพการกำกับดูแล คู่มือการตอบสนองที่ได้รับการอนุมัติล่วงหน้าสำหรับสถานการณ์ที่เข้าใจได้ดีจะช่วยให้สามารถดำเนินการอัตโนมัติได้ทันที พร้อมกับการตรวจสอบหลังการดำเนินการ สำหรับสถานการณ์ใหม่หรือสถานการณ์ที่มีผลกระทบสูง จะถูกส่งไปยังนักวิเคราะห์พร้อมกับชุดข้อมูลบริบทที่จัดเตรียมไว้ล่วงหน้า ซึ่งจะช่วยลดเวลาในการตรวจสอบลง

การต่อต้านขององค์กร

บางทีมมองว่าข้อกำหนดด้านการกำกับดูแลเป็นการขาดความไว้วางใจในการลงทุนใน AI ของตนเอง การกำหนดกรอบความคิดจึงมีความสำคัญ การกำกับดูแลโดยมนุษย์ไม่ใช่การลงมติไม่ไว้วางใจเทคโนโลยี AI แต่เป็นระเบียบวินัยในการบริหารความเสี่ยงที่ปกป้ององค์กรและปรับปรุงประสิทธิภาพของ AI ในระยะยาวผ่านการให้ข้อเสนอแนะอย่างเป็นระบบ ผู้บริหารต้องสื่อสารกรอบความคิดนี้อย่างสม่ำเสมอ

การบูรณาการการกำกับดูแลเข้าสู่กระบวนการบริหารจัดการ AI

การกำกับดูแลโดยมนุษย์ไม่ควรเป็นกิจกรรมที่แยกออกมาต่างหากและถูกเพิ่มเติมเข้าไปในขั้นตอนการทำงานที่มีอยู่แล้ว แต่ต้องผสานรวมเข้ากับวงจรชีวิตทั้งหมดของการกำกับดูแล AI ตั้งแต่การออกแบบระบบในขั้นต้น ไปจนถึงการดำเนินงานอย่างต่อเนื่อง และการเลิกใช้งานในที่สุด

ขั้นตอนการออกแบบ

ควรมีการกำหนดข้อกำหนดด้านการกำกับดูแลก่อนที่จะนำระบบ AI ไปใช้งาน ในระหว่างขั้นตอนการออกแบบ องค์กรควรระบุว่าการตัดสินใจใดบ้างที่ต้องอาศัยการมีส่วนร่วมของมนุษย์ ข้อมูลใดบ้างที่นักวิเคราะห์ต้องการเพื่อประกอบการตัดสินใจอย่างรอบด้าน และกลไกใดบ้างที่จะช่วยให้มนุษย์สามารถแก้ไขหรือหยุดการทำงานอัตโนมัติได้ Stellar Cyber ​​ได้รวมข้อพิจารณาเหล่านี้ไว้ในสถาปัตยกรรมแพลตฟอร์ม โดยมีระดับการทำงานอัตโนมัติที่สามารถกำหนดค่าได้เพื่อให้สอดคล้องกับข้อกำหนดด้านการกำกับดูแลของแต่ละองค์กร

ขั้นตอนการปรับใช้และการตรวจสอบความถูกต้อง

ก่อนที่จะนำระบบ AI ไปใช้งานจริง ตรวจสอบให้แน่ใจว่ากลไกการกำกับดูแลทำงานได้ตามที่ตั้งใจไว้ ซึ่งรวมถึง:
  1. ทดสอบความสามารถในการยกเลิกการทำงานและปิดระบบภายใต้สภาวะที่สมจริง
  2. ตรวจสอบว่าผลลัพธ์จาก AI มีบริบทที่เพียงพอสำหรับการตีความโดยมนุษย์
  3. ยืนยันว่าขั้นตอนการส่งต่อปัญหาไปยังบุคลากรที่มีคุณสมบัติเหมาะสมภายในกรอบเวลาที่ยอมรับได้
  4. ดำเนินการฝึกซ้อมจำลองสถานการณ์บนโต๊ะ ซึ่งจำลองสถานการณ์ที่ต้องมีการแทรกแซงจากมนุษย์

ระยะการดำเนินงาน

ในระหว่างการดำเนินงานอย่างต่อเนื่อง ประสิทธิภาพของการกำกับดูแลจะต้องได้รับการวัดและปรับปรุงอย่างต่อเนื่อง ตัวชี้วัดสำคัญ ได้แก่ อัตราการแก้ไขคำแนะนำของนักวิเคราะห์ (อัตราที่ต่ำเกินไปอาจบ่งชี้ถึงอคติของระบบอัตโนมัติ อัตราที่สูงเกินไปอาจบ่งชี้ถึงประสิทธิภาพของแบบจำลองที่ไม่ดี) เวลาในการตัดสินใจสำหรับรายการที่ได้รับการยกระดับ และความถูกต้องของคำแนะนำจาก AI ที่ได้รับการตรวจสอบโดยผู้ตรวจสอบที่เป็นมนุษย์

ขั้นตอนการทบทวนและปรับปรุง

ควรมีการทบทวนการกำกับดูแลเป็นระยะเพื่อประเมินว่ารูปแบบการกำกับดูแลในปัจจุบันยังคงเหมาะสมอยู่หรือไม่ เมื่อพิจารณาถึงการเปลี่ยนแปลงของสภาพแวดล้อมด้านภัยคุกคาม ความอดทนต่อความเสี่ยงขององค์กร และความสามารถของระบบ AI การทบทวนเหล่านี้ควรตรวจสอบประเด็นต่อไปนี้:
  • การดริฟท์แบบจำลอง: ความแม่นยำของระบบ AI ลดลงเมื่อเวลาผ่านไป ทำให้ต้องมีการตรวจสอบโดยมนุษย์อย่างเข้มข้นมากขึ้นหรือไม่?
  • ประสิทธิภาพของกระบวนการ: กระบวนการกำกับดูแลกำลังสร้างความล่าช้าโดยไม่จำเป็นโดยไม่ลดความเสี่ยงลงอย่างเหมาะสมหรือไม่?
  • การเปลี่ยนแปลงกฎระเบียบ: ข้อกำหนดด้านการปฏิบัติตามกฎระเบียบใหม่ได้เปลี่ยนแปลงมาตรฐานขั้นต่ำสำหรับการมีส่วนร่วมของมนุษย์หรือไม่?
  • การนำข้อเสนอแนะไปปรับใช้: มีการนำการแก้ไขและการปรับเปลี่ยนความคิดเห็นของนักวิเคราะห์ไปใช้ในการฝึกอบรมโมเดลอย่างเป็นระบบหรือไม่?
ด้วยการมองว่าการกำกับดูแลโดยมนุษย์เป็นวินัยการกำกับดูแลอย่างต่อเนื่อง แทนที่จะเป็นการกำหนดค่าแบบคงที่ องค์กรต่างๆ จึงมั่นใจได้ว่าการปฏิบัติการด้านความปลอดภัยที่ขับเคลื่อนด้วย AI นั้นยังคงมีประสิทธิภาพ มีความรับผิดชอบ และสอดคล้องกับทั้งวัตถุประสงค์ทางธุรกิจและความคาดหวังด้านกฎระเบียบ เป้าหมายไม่ใช่การจำกัด AI แต่เป็นการสร้างเงื่อนไขที่ AI และการตัดสินใจของมนุษย์เสริมซึ่งกันและกัน ก่อให้เกิดผลลัพธ์ด้านความปลอดภัยที่ฝ่ายใดฝ่ายหนึ่งไม่สามารถทำได้เพียงลำพัง
เลื่อนไปที่ด้านบน