เมื่อปีที่แล้วฉันได้เสนอข้อโต้แย้ง ปีนี้เราได้วัดผลมันแล้ว
เมื่อฤดูร้อนที่แล้ว ฉันเขียนเกี่ยวกับเรื่องนี้ พีระมิดแห่งอิทธิพล — แนวคิดที่ว่าในมนุษย์ที่ได้รับการเสริมศักยภาพ SOC, ไม่ใช่ว่าความคิดเห็นของนักวิเคราะห์ทุกคนจะเหมือนกันเสมอไป การคลิก “ผลลัพธ์ที่ผิดพลาด” คือระดับที่ 1 มันเป็นเพียงการตกแต่งอินเทอร์เฟซ แต่ “FP เนื่องจาก powershell.exe เป็นระบบอัตโนมัติในการติดตั้งแพทช์บนโฮสต์นี้” นั่นคือระดับ 4 นั่นไม่ใช่การติดแท็ก แต่มันคือ การสอน
ฉันปิดท้ายโพสต์นั้นด้วยประโยคที่ฉันเชื่อ แต่ยังพิสูจน์ไม่ได้:
การขอ SOC ฉลาดขึ้นได้ด้วยการเรียนรู้จากครูที่ดีที่สุด นั่นคือ นักวิเคราะห์ที่รู้ว่าเมื่อใดควรชี้นำ เมื่อใดควรแก้ไข และเมื่อใดควร... สอนระบบไม่ให้ทำผิดพลาดซ้ำสอง
มองโลกในแง่ดีเกี่ยวกับวิสัยทัศน์ แต่ก็มองโลกตามความเป็นจริงเกี่ยวกับสิ่งที่จะนำพาเราไปสู่เป้าหมายนั้น ดังนั้นในปีนี้เราจึงทำในส่วนที่ไม่น่าดึงดูดใจนัก นั่นคือการสร้างกลไกที่ส่งต่อข้อเสนอแนะระดับ 4 นั้นไปข้างหน้า ซึ่งก็คือความทรงจำขององค์กรและจากนั้นเราก็ทำการทดลองเพื่อดูว่ามันได้ผลจริงหรือไม่
ใช่แล้ว นี่คือใบเสร็จ
กลไก: ฟีดแบ็กที่ส่งต่อไปข้างหน้า
หน่วยความจำคือส่วนสำคัญที่เปลี่ยนการแก้ไขเพียงครั้งเดียวให้กลายเป็นการเปลี่ยนแปลงที่ยั่งยืน เมื่อนักวิเคราะห์เปลี่ยนแปลงคำตัดสินด้วยเหตุผลที่แท้จริง แพลตฟอร์มจะเก็บเหตุผลนั้นไว้และนำไปใช้กับการแจ้งเตือนที่ตรงกันครั้งต่อไป ไม่ใช่กฎตายตัวที่ทำงานโดยไม่คิดไตร่ตรอง แต่เป็นการมีอิทธิพลAI จะชั่งน้ำหนัก แต่นักวิเคราะห์ยังคงเป็นผู้ตัดสินใจ เป็นการผลักดันเล็กน้อย ไม่ใช่การปล่อยมือจากถนน
หลักการนั้นเรียบง่าย: สอนระบบเพียงครั้งเดียว และมันจะไม่ทำผิดซ้ำอีกคำถามก็คือว่าหลักการนี้จะคงอยู่จริงหรือไม่เมื่อวัดผลแล้ว
การทดสอบ
เราไม่ได้ต้องการแค่ตัวอย่าง เราต้องการตัวเลขที่เรามั่นใจได้เอง
เราจึงนำการแจ้งเตือนจริง 150 รายการจากสภาพแวดล้อมการใช้งาน จริงมาวิเคราะห์ เพื่อตัดสินว่า ข้อสรุป ที่ถูกต้องควรเป็นอย่างไร โดยไม่เอนเอียงไปทางระบบใดระบบหนึ่ง เราจึงให้ผู้ตรวจสอบ AI อิสระที่มีความน่าเชื่อถือหลายคนทำการประเมินการแจ้งเตือนแต่ละรายการโดยไม่รู้ข้อมูลล่วงหน้า จากนั้นจึงนำข้อสรุปเหล่านั้นมาตรวจสอบกับป้ายกำกับจากผู้เชี่ยวชาญด้านความปลอดภัยที่เป็นมนุษย์ ซึ่งทำให้เรามีข้อมูลอ้างอิงที่น่าเชื่อถือสำหรับการแจ้งเตือนทุกรายการ
จากนั้นเราก็พบการแจ้งเตือนที่ผลสรุปการผลิตดั้งเดิมไม่ตรงกับข้อมูลอ้างอิง ซึ่งเป็นตัวอย่างจริงของความผิดพลาดที่นักวิเคราะห์ตรวจพบและแก้ไข สำหรับแต่ละกรณี เราทำในสิ่งที่ทีมของคุณทำทุกวัน นั่นคือ บันทึกการแก้ไขเป็นองค์ความรู้ขององค์กร และเราเรียกใช้การคัดกรองซ้ำสองวิธี คือ แบบไม่มีหน่วยความจำและแบบมีหน่วยความจำโดยเปรียบเทียบผลลัพธ์แต่ละรายการกับผลสรุปอ้างอิง
ผลที่ตามมา
จากการแจ้งเตือนที่แก้ไขแล้ว สัดส่วนของการตัดสินใจที่ตรงกับคำตัดสินที่ถูกต้องเพิ่มขึ้นจากประมาณ 13% เมื่อไม่มีการจดจำข้อมูล เป็นประมาณ 52% เมื่อมีการจดจำข้อมูล
โดยเฉลี่ยแล้วจะตอบถูกมากกว่าเดิมประมาณสี่เท่าหลังจากที่ระบบได้เรียนรู้จากคำติชมแล้ว
พูดให้เข้าใจง่ายๆ ก็คือเมื่อเราสอนระบบเกี่ยวกับข้อผิดพลาดแล้ว ระบบก็จะมีโอกาสแก้ไขข้อผิดพลาดได้ถูกต้องมากขึ้นในครั้งต่อไปที่พบการแจ้งเตือนที่คล้ายกันฟีดแบ็กระดับ 4 จากพีระมิดนั้นไม่ใช่แค่ส่วนประกอบตกแต่ง แต่ส่งผลต่อผลลัพธ์อย่างเห็นได้ชัด
หมายเหตุจากมุมมองของผู้มองโลกตามความเป็นจริง — เพราะผมสัญญาว่าจะมองโลกตามความเป็นจริง — ตัวเลขเหล่านี้มาจากการทดสอบ A/B ภายในองค์กร โดยใช้ชุดการแจ้งเตือนที่แก้ไขแล้วและควบคุมอย่างเหมาะสม ไม่ใช่การรับประกันผลลัพธ์ในการใช้งานจริง เรายังคงตรวจสอบอยู่ว่าผลกระทบนี้จะส่งผลไปไกลแค่ไหนในวงกว้างของการใช้งานในชีวิตประจำวัน แต่กลไกหลัก — การรับฟังความคิดเห็น นำไปสู่การตัดสินใจที่ดีขึ้น — ไม่ใช่เพียงแค่คำกล่าวอ้างอีกต่อไปแล้ว มันคือการวัดผลได้จริง
เหตุใดเรื่องนี้จึงสำคัญสำหรับคุณ SOC
- เสียงรบกวนที่คุณเคยเพิกเฉยไปแล้วนั้น จะไม่กลับมาอีก การลดจำนวนผลบวกเท็จซ้ำซ้อน หมายความว่าความสนใจจะถูกมุ่งไปที่สิ่งใหม่ที่แท้จริงมากขึ้น
- ความรู้ของนักวิเคราะห์อาวุโสของคุณจะคงอยู่แม้หลังจากที่พวกเขาเสียชีวิตไปแล้ว ความเข้าใจของพวกเขาเกี่ยวกับสภาพแวดล้อมของคุณจะกลายเป็นความรู้ที่ยั่งยืนและเป็นระบบ ไม่ใช่ความทรงจำแบบดั้งเดิมที่หายไปเมื่อมีการเปลี่ยนรุ่น
- มันทวีคูณขึ้นเรื่อยๆ ยิ่งทีมของคุณใช้งานระบบนี้นานเท่าไหร่ ระบบก็จะยิ่งสะท้อนสภาพแวดล้อมเฉพาะของคุณมากขึ้นเท่านั้น นั่นคือปราการที่แข็งแกร่งขึ้นเรื่อยๆ ตามการใช้งาน
- ผู้ให้บริการจัดการความปลอดภัย (MSSP) จะได้รับค่าธรรมเนียมต่อลูกค้าหนึ่งราย องค์ความรู้ถูกจำกัดไว้เฉพาะผู้เช่ารายเดียวโดยมีการแยกอย่างเข้มงวด — บริบทของลูกค้าแต่ละรายจะช่วยคัดกรองปัญหาเฉพาะของตนเอง และจะไม่ทับซ้อนกันเลย
และเนื่องจากทุกสิ่งที่เรียนรู้ล้วนมีที่มาจากการตัดสินใจของมนุษย์ ดังนั้นจึงไม่มีอะไรที่เป็นกล่องดำ คุณสามารถดูได้เสมอว่าอะไรเป็นปัจจัยที่นำไปสู่การตัดสินใจ และสามารถเปลี่ยนแปลงแก้ไขได้ ระบบอัตโนมัติที่เคารพความคิดเห็นของคุณมากพอที่จะปล่อยให้มันชี้นำเครื่องจักร
คำติชมยังคงเป็นเชื้อเพลิง — ตอนนี้มาพร้อมกับมาตรวัดแล้ว
เมื่อปีที่แล้ว “ฟีดแบ็กคือเชื้อเพลิง” เป็นเพียงความเชื่อมั่น แต่ตอนนี้มันกลายเป็นตัวเลขแล้ว และเรายังไม่หยุดเพียงเท่านี้ ขั้นตอนต่อไปคือการให้นักวิเคราะห์สอนระบบล่วงหน้า— อธิบายสภาพแวดล้อมของพวกเขาอย่างเชิงรุกแทนที่จะแจ้งเตือนทีละครั้ง — เพื่อให้ระบบสามารถทำงานโดยรู้จักเซิร์ฟเวอร์แพตช์ เซ็กเมนต์แขก และบัญชีบริการของคุณอยู่แล้ว
การขอ SOC ระบบจะไม่ฉลาดขึ้นเอง มันจะฉลาดขึ้นได้จากการเรียนรู้จากนักวิเคราะห์ที่รู้ว่าเมื่อใดควรให้คำแนะนำ เมื่อใดควรแก้ไข และเมื่อใดควรสอนไม่ให้ระบบทำผิดพลาดซ้ำสอง
ปีที่แล้วผมเคยโต้แย้งเรื่องนี้ ปีนี้ผมสามารถพิสูจน์ได้
ดู Stellar Cyber Human-Augmented Agentic SOC — รวมถึงความทรงจำเชิงสถาบัน — ที่นำมาใช้จริง ขอรับการสาธิต หรือพูดคุยกับตัวแทนของ Stellar Cyber เกี่ยวกับระบบอัตโนมัติ SOC เพิ่มเข้าไป.
