- Sự giám sát của con người trong trí tuệ nhân tạo là gì (và không phải là gì)?
- Sự tham gia của con người: Các mô hình thực tiễn cho quy trình làm việc của dịch vụ AI
- Tự động hóa được tăng cường bởi con người SOCNơi trí tuệ nhân tạo và chuyên môn con người cùng hợp tác.
- Đạt được trách nhiệm thực sự trong AI với sự can thiệp của con người
- Giải quyết các thách thức thường gặp trong việc triển khai giám sát của con người
- Tích hợp giám sát vào vòng đời quản trị AI
Sự giám sát của con người trong các hoạt động an ninh tự động
Khi trí tuệ nhân tạo đảm nhận vai trò lớn hơn trong các hoạt động an ninh, sự giám sát của con người trở thành biện pháp bảo vệ quan trọng, phân biệt giữa tự động hóa hiệu quả và rủi ro không được kiểm soát. Bài viết này sẽ xem xét sự giám sát của con người có nghĩa là gì trong thực tế, tại sao nó lại quan trọng đối với an ninh dựa trên AI và cách các tổ chức có thể triển khai các mô hình giám sát có cấu trúc trong toàn bộ quy trình làm việc của họ.
Cách AI và Học máy cải thiện an ninh mạng của doanh nghiệp
Kết nối tất cả các điểm trong bối cảnh mối đe dọa phức tạp
Trải nghiệm hoạt động bảo mật được hỗ trợ bởi AI!
Khám phá AI tiên tiến của Stellar Cyber để phát hiện và ứng phó ngay lập tức với mối đe dọa. Lên lịch demo của bạn ngay hôm nay!
Sự giám sát của con người trong trí tuệ nhân tạo là gì (và không phải là gì)?
Để hiểu được sự giám sát của con người là gì, cần phải vượt ra khỏi những khái niệm mơ hồ về việc “theo dõi sát sao mọi thứ”. Sự giám sát của con người trong AI đề cập đến sự tham gia có chủ đích, có cấu trúc của những người đủ trình độ chuyên môn trong việc thiết kế, triển khai, giám sát và sửa chữa các hệ thống AI. Nó đảm bảo rằng các quyết định tự động luôn phù hợp với mục tiêu của tổ chức, các tiêu chuẩn đạo đức và các yêu cầu pháp lý.
Sự giám sát của con người bao gồm những gì?
- Giám sát chủ động: Các chuyên gia phân tích bảo mật xem xét các cảnh báo do AI tạo ra, phân loại mối đe dọa và các hành động phản hồi tự động trước hoặc sau khi thực thi.
- Thẩm quyền can thiệp: Những nhân viên được chỉ định có khả năng ghi đè, tạm dừng hoặc tắt các quy trình do AI điều khiển khi kết quả đầu ra khác với dự kiến.
- Vòng phản hồi: Các cơ chế có cấu trúc cho phép người vận hành sửa lỗi các mô hình AI, tinh chỉnh các quy tắc phát hiện và gắn cờ các cảnh báo sai hoặc các mối đe dọa bị bỏ sót.
- Phân công trách nhiệm: Cần có tài liệu rõ ràng ghi nhận ai chịu trách nhiệm về các quyết định được đưa ra với sự hỗ trợ của AI, đảm bảo không có hành động nào diễn ra mà không có sự giám sát.
Sự giám sát của con người không phải là gì
Giám sát của con người không phải là một hình thức chiếu lệ. Việc chỉ định một người được giao nhiệm vụ xem xét kết quả đầu ra của AI mà không có đào tạo, công cụ hoặc thẩm quyền để phản biện các kết quả đó không tạo nên sự giám sát có ý nghĩa. Nó cũng không phải là một bước cấu hình một lần duy nhất được thực hiện trong quá trình triển khai. Giám sát phải liên tục, thích ứng và được cung cấp nguồn lực phù hợp. Các tổ chức coi đó như một bài tập đánh dấu vào ô kiểm tra sẽ tự đặt mình vào những rủi ro tương tự như khi sử dụng tự động hóa hoàn toàn không có sự giám sát.
Trong bối cảnh hoạt động an ninh, các nền tảng như Stellar Cyber cung cấp các lớp hiển thị giúp việc giám sát thực sự trở nên khả thi. Khi một hệ thống AI đối chiếu hàng nghìn cảnh báo thành các sự cố được ưu tiên, nhà phân tích cần thông tin chi tiết theo ngữ cảnh – chứ không chỉ là điểm số – để đưa ra phán đoán sáng suốt.
Tại sao sự giám sát của con người lại là nền tảng của trí tuệ nhân tạo có trách nhiệm?
Câu hỏi tại sao sự giám sát của con người lại quan trọng trong trí tuệ nhân tạo trở nên đặc biệt cấp thiết khi các hệ thống AI hoạt động trong các lĩnh vực có rủi ro cao như an ninh mạng. Khả năng phát hiện và phản hồi tự động có thể giảm đáng kể thời gian phản hồi trung bình, nhưng nếu thiếu sự kiểm tra của con người, lỗi có thể lan truyền với tốc độ máy móc.
Ngăn ngừa lỗi tự động trên quy mô lớn
Các mô hình AI được huấn luyện trên dữ liệu lịch sử sẽ thừa hưởng những thành kiến, thiếu sót và giả định vốn có trong dữ liệu đó. Một mô hình phát hiện mối đe dọa được hiệu chỉnh sai có thể chặn lưu lượng truy cập hợp pháp hoặc bỏ qua các phương thức tấn công mới. Sự giám sát của con người giúp phát hiện những lỗi này trước khi chúng trở nên mang tính hệ thống. Khi một Tự trị SOC Với quy trình xử lý hàng triệu sự kiện mỗi ngày, ngay cả một tỷ lệ nhỏ sai sót trong việc phân loại cũng có thể dẫn đến tác động đáng kể đến hoạt động.
Duy trì niềm tin trong tổ chức
Các bên liên quan – từ thành viên hội đồng quản trị đến khách hàng – cần được đảm bảo rằng các quyết định bảo mật do AI đưa ra phản ánh các giá trị của tổ chức và mức độ chấp nhận rủi ro. Sự giám sát của con người đối với AI cung cấp sự đảm bảo đó bằng cách thiết lập một chuỗi đánh giá có thể kiểm chứng được của con người đằng sau các hành động quan trọng. Nếu không có điều đó, các tổ chức không thể khẳng định một cách đáng tin cậy về khả năng kiểm soát tình trạng bảo mật của chính mình.
Sự cần thiết về mặt pháp lý và quy định
Các quy định trên toàn thế giới ngày càng yêu cầu sự tham gia của con người trong quá trình ra quyết định tự động. Đạo luật AI của EU, Khung quản lý rủi ro AI của NIST và các yêu cầu cụ thể theo từng lĩnh vực đều hướng đến cùng một mục tiêu: các tổ chức phải chứng minh rằng con người vẫn tham gia một cách có ý nghĩa vào hoạt động của AI. Nếu không làm được điều đó, các tổ chức sẽ phải chịu trách nhiệm pháp lý và ảnh hưởng đến uy tín.
Thích ứng với điều kiện bất lợi
Các tác nhân đe dọa chủ động thăm dò và thao túng các hệ thống AI. Các kỹ thuật học máy đối kháng có thể làm sai lệch dữ liệu huấn luyện, né tránh các mô hình phát hiện hoặc kích hoạt các phản hồi tự động có lợi cho kẻ tấn công. Các nhà phân tích con người mang đến khả năng suy luận theo ngữ cảnh và tư duy đối kháng mà các hệ thống AI hiện tại không thể sao chép, khiến cho sự giám sát của con người đối với AI trở thành một nhu cầu thiết yếu trong hoạt động chứ không phải là một sở thích triết học.
Sự tham gia của con người: Các mô hình thực tiễn cho quy trình làm việc của dịch vụ AI
Khái niệm "con người tham gia vào quy trình" mô tả một mô hình thiết kế trong đó phán đoán của con người được tích hợp vào quá trình ra quyết định của AI tại các điểm can thiệp được xác định. Có một số mô hình thực tiễn, mỗi mô hình phù hợp với các mức độ rủi ro và yêu cầu vận hành khác nhau trong sự giám sát của con người đối với quy trình dịch vụ AI.
So sánh mô hình
|
Mẫu |
Vai trò của con người |
Khi nào sử dụng |
Ví dụ trong lĩnh vực vận hành an ninh |
|
Con người trong vòng lặp |
Phê duyệt mọi quyết định trước khi thực thi. |
Hành động rủi ro cao với hậu quả nghiêm trọng. |
Chặn địa chỉ IP máy chủ sản xuất bị gắn cờ là có nguy cơ xâm nhập. |
|
Con người tham gia vào vòng lặp |
Giám sát các hành động của AI và can thiệp khi cần thiết. |
Các hoạt động có rủi ro trung bình, khối lượng lớn |
Xem xét các hành động cách ly tự động theo lô |
|
Con người tham gia vào vòng lặp |
Đề ra các chính sách và xem xét kết quả tổng thể. |
Tự động hóa rủi ro thấp, dễ hiểu |
Xác định các quy tắc để xóa email lừa đảo tự động. |
Chọn đúng mô hình
Mô hình phù hợp phụ thuộc vào mức độ nghiêm trọng của hậu quả tiềm tàng, độ hoàn thiện của hệ thống AI và mức độ chấp nhận rủi ro của tổ chức. Hầu hết các hoạt động bảo mật đã hoàn thiện đều sử dụng phương pháp kết hợp. Ví dụ, nền tảng của Stellar Cyber hỗ trợ cấu hình phản hồi theo cấp bậc, trong đó các phát hiện có độ tin cậy thấp được chuyển đến hàng đợi của nhà phân tích, trong khi các hành động có độ tin cậy cao nhưng tác động thấp được thực hiện tự động với đánh giá sau khi thực hiện.
Mở rộng sự tham gia của con người mà không gặp trở ngại
Một mối lo ngại phổ biến là các mô hình có sự tham gia của con người tạo ra các điểm nghẽn về hiệu suất. Đây là một mối lo ngại chính đáng khi việc giám sát được thiết kế kém. Các triển khai hiệu quả giải quyết vấn đề này thông qua:
- Phân loại bệnh nhân dựa trên nguy cơ: Chỉ nên chuyển những quyết định vượt quá ngưỡng rủi ro đã định cho người xem xét.
- Làm phong phú ngữ cảnh: Cung cấp cho các nhà phân tích bằng chứng tương quan, bối cảnh lịch sử và các hành động được đề xuất để việc ra quyết định diễn ra trong vài giây thay vì vài phút.
- Tự động hóa các tác vụ có mức độ rủi ro thấp: Hãy dành sự chú ý của con người cho những quyết định mà sự phán đoán thực sự quan trọng.
- Đánh giá không đồng bộ: Cho phép một số hành động tự động được tiến hành với việc kiểm toán bắt buộc sau khi thực hiện trong một khoảng thời gian xác định.
Tự động hóa được tăng cường bởi con người SOCNơi trí tuệ nhân tạo và chuyên môn con người cùng hợp tác.
Sự giám sát của con người không làm giảm giá trị của các hoạt động an ninh tự động—nó cho phép các tổ chức phát huy hết tiềm năng của mình. Thay vì thay thế các nhà phân tích an ninh, các Trung tâm Điều hành An ninh (OSC) hiệu quả nhất (SOCs) sử dụng hệ thống tự động tăng cường bởi con người SOC mô hình này, trong đó trí tuệ nhân tạo (AI) đảm nhiệm tốc độ, quy mô và phân tích lặp đi lặp lại, trong khi các nhà phân tích giàu kinh nghiệm cung cấp đánh giá theo ngữ cảnh, xác thực và đưa ra quyết định chiến lược.
Trong mô hình này, AI liên tục đối chiếu dữ liệu đo từ xa, ưu tiên các sự cố, đề xuất các hành động ứng phó và tự động hóa việc khắc phục thường xuyên. Các nhà phân tích con người tập trung vào các nhiệm vụ có giá trị cao hơn như điều tra các cuộc tấn công tinh vi, xác thực các quyết định tự động có tác động lớn, tinh chỉnh logic phát hiện và điều chỉnh các chính sách bảo mật khi rủi ro kinh doanh thay đổi. Kết quả là một hoạt động bảo mật kết hợp hiệu quả của máy móc với khả năng suy luận của con người—giảm thiểu sự mệt mỏi của nhà phân tích đồng thời cải thiện độ chính xác phát hiện và duy trì trách nhiệm giải trình.
Cách tiếp cận cân bằng này phù hợp chặt chẽ với các nguyên tắc về trí tuệ nhân tạo có trách nhiệm và các yêu cầu giám sát được thảo luận xuyên suốt bài viết này. Thay vì xem tự động hóa và sự giám sát của con người là những ưu tiên cạnh tranh, các tổ chức nên coi chúng là những khả năng bổ sung cho nhau, giúp tăng cường sức mạnh cho nhau.
Giải mã Điều 14 của Đạo luật Trí tuệ Nhân tạo EU đối với các hệ thống AI có rủi ro cao
Điều 14 của Đạo luật AI của EU quy định các yêu cầu cụ thể về sự giám sát của con người đối với các hệ thống AI có rủi ro cao. Đối với các nhóm vận hành an ninh, việc hiểu rõ các yêu cầu này là rất cần thiết vì nhiều hệ thống phát hiện và phản hồi mối đe dọa dựa trên AI có thể thuộc phân loại rủi ro cao tùy thuộc vào bối cảnh triển khai của chúng.
Các yêu cầu chính theo Điều 14
- Tính dễ hiểu: Các hệ thống trí tuệ nhân tạo phải được thiết kế sao cho người giám sát có thể hiểu đầy đủ khả năng và hạn chế của hệ thống.
- Khả năng giải thích của kết quả đầu ra: Người giám sát phải có khả năng diễn giải chính xác kết quả đầu ra của hệ thống AI, bao gồm hiểu rõ mức độ tin cậy, sai số cho phép và các chế độ lỗi đã biết.
- Khả năng ghi đè hoặc dừng: Người giám sát phải có khả năng kỹ thuật để ghi đè lên các quyết định tự động hoặc tắt hoàn toàn hệ thống.
- Nhận thức về thiên kiến tự động hóa: Các tổ chức phải thực hiện các biện pháp để phòng ngừa việc phụ thuộc quá mức vào kết quả đầu ra của AI, đặc biệt khi những kết quả đó cung cấp thông tin cho các quyết định về cá nhân.
Ý nghĩa thực tiễn đối với các nhóm bảo mật
Những yêu cầu này được cụ thể hóa thành các nghĩa vụ kỹ thuật và tổ chức. Các nền tảng bảo mật phải cung cấp kết quả đầu ra có thể giải thích được, chứ không chỉ là điểm số mối đe dọa. Các nhà phân tích cần được đào tạo về những hạn chế của hệ thống AI cụ thể đối với việc triển khai của họ. Và các tổ chức phải ghi lại các quy trình giám sát của họ theo cách có thể chịu được sự kiểm tra của cơ quan quản lý. Các nhà cung cấp hoạt động trong lĩnh vực này đang thích ứng cho phù hợp. Ví dụ, Stellar Cyber cung cấp các bản tường thuật sự cố dựa trên mối tương quan, cho các nhà phân tích thấy lý do tại sao một tập hợp cảnh báo cụ thể được nhóm lại và ưu tiên, hỗ trợ yêu cầu về khả năng giải thích mà Điều 14 đặt ra.
Ngoài phạm vi EU: Sự hội tụ quy định toàn cầu
Mặc dù Điều 14 là quy định riêng của EU, nhưng các nguyên tắc tương tự cũng xuất hiện trong các khuôn khổ của Hoa Kỳ (NIST AI RMF), Canada (Chỉ thị về Ra quyết định tự động) và các quốc gia khác. Các tổ chức hoạt động trên toàn cầu nên thiết kế khuôn khổ giám sát của mình để đáp ứng tiêu chuẩn nghiêm ngặt nhất hiện hành, mà hiện nay thường là Đạo luật AI của EU.
Đạt được trách nhiệm thực sự trong AI với sự can thiệp của con người
Trong các hoạt động an ninh dựa trên trí tuệ nhân tạo, trách nhiệm giải trình có nghĩa là mọi hành động quan trọng – dù được tự động hóa hay do con người khởi xướng – đều có thể được truy tìm đến người chịu trách nhiệm. Nếu không có sự can thiệp của con người tại các thời điểm quan trọng, khả năng truy vết này sẽ bị phá vỡ.
Chuỗi trách nhiệm
Một cấu trúc trách nhiệm được thiết kế tốt cho một tổ chức tự chủ. SOC Bao gồm nhiều lớp:
- Các nhà phát triển mô hình Họ chịu trách nhiệm về tính chính xác, công bằng và những hạn chế đã được ghi nhận của các mô hình AI.
- Các nhà điều hành nền tảng Họ chịu trách nhiệm về việc cấu hình, tinh chỉnh và xác thực liên tục các hệ thống AI trong môi trường của mình.
- Nhà phân tích bảo mật Họ chịu trách nhiệm về chất lượng đánh giá, tính kịp thời của các can thiệp và lý do đằng sau các quyết định bác bỏ của mình.
- Lãnh đạo an ninh Chịu trách nhiệm thiết lập các chính sách xác định khi nào và bằng cách nào sự giám sát của con người được áp dụng.
Ghi chép các quyết định để chuẩn bị cho kiểm toán.
Mọi sự can thiệp của con người – dù là phê duyệt, sửa đổi hay từ chối đề xuất của AI – đều phải được ghi lại kèm theo dấu thời gian, lý do và bằng chứng có sẵn tại thời điểm đưa ra quyết định. Tài liệu này phục vụ ba mục đích: hỗ trợ tuân thủ quy định, cho phép phân tích sau sự cố và cung cấp dữ liệu huấn luyện để cải thiện các mô hình AI theo thời gian.
Tránh sự phân tán trách nhiệm
Khi trí tuệ nhân tạo (AI) và con người cùng chia sẻ quyền ra quyết định, sẽ có nguy cơ cả hai bên đều không cảm thấy hoàn toàn chịu trách nhiệm. Các tổ chức phải phân công trách nhiệm rõ ràng ở mỗi giai đoạn của quy trình làm việc. Nếu hệ thống AI đề xuất cách ly một điểm cuối bị xâm phạm và một nhà phân tích chấp thuận hành động đó, thì nhà phân tích chịu trách nhiệm về quyết định đó. Nếu AI tự động thực hiện hành động theo một chính sách đã được phê duyệt trước, thì người đã phê duyệt chính sách đó phải chịu trách nhiệm.
Các phương pháp tốt nhất để thiết lập sự giám sát của con người trong tổ chức của bạn
Việc triển khai giám sát hiệu quả của con người đòi hỏi kế hoạch tỉ mỉ trên các khía cạnh công nghệ, quy trình và con người. Các phương pháp sau đây đại diện cho những cách tiếp cận đã được chứng minh hiệu quả từ các tổ chức đã thành công trong việc cân bằng giữa tự động hóa và phán đoán của con người trong các hoạt động an ninh.
Xác định rõ các tiêu chí leo thang.
Không phải mọi sản phẩm đầu ra của AI đều cần mức độ chú ý của con người như nhau. Hãy thiết lập các ngưỡng cụ thể dựa trên:
- Mức độ ảnh hưởng: Các hành động ảnh hưởng đến hệ thống sản xuất, dữ liệu khách hàng hoặc cơ sở hạ tầng trọng yếu đòi hỏi phải được xem xét kỹ lưỡng hơn.
- Điểm tin cậy: Các phát hiện có độ tin cậy thấp nên được chuyển đến các nhà phân tích con người; các phát hiện có độ tin cậy cao với các quy trình ứng phó đã được hiểu rõ có thể được tiến hành với sự giám sát ít hơn.
- Tính mới: Các kiểu tấn công chưa từng thấy trước đây hoặc các bất thường nằm ngoài phạm vi phân bố dữ liệu huấn luyện của mô hình AI đều cần được con người xem xét bắt buộc.
Đầu tư vào đào tạo phân tích viên
Hiệu quả của sự giám sát của con người phụ thuộc vào chính những người thực hiện nó. Các nhà phân tích không chỉ cần hiểu về lĩnh vực an ninh mà còn phải hiểu rõ các hệ thống AI cụ thể mà họ giám sát. Quá trình đào tạo nên bao gồm kiến trúc mô hình ở cấp độ khái niệm, các chế độ lỗi đã biết, các nguồn gây ra lỗi sai phổ biến và quy trình chính xác để cung cấp phản hồi nhằm cải thiện hiệu suất của mô hình.
Áp dụng quy trình đánh giá theo cấp bậc
Hãy xây dựng quy trình đánh giá phù hợp với mức độ rủi ro của từng loại hành động. Phương pháp ba cấp độ hoạt động hiệu quả đối với hầu hết các tổ chức:
|
Tầng |
Loại hành động |
Mức độ giám sát |
Thời gian đánh giá |
|
1 |
Cảnh báo thông tin, làm phong phú nhật ký |
Tự động hóa với lấy mẫu định kỳ |
Đánh giá theo lô hàng tuần |
|
2 |
Cách ly điểm cuối, tạm ngừng tài khoản |
Con người tham gia vào vòng lặp |
Trong vòng 30 phút |
|
3 |
Phân đoạn mạng, tắt dịch vụ |
Sự tham gia của con người (phê duyệt trước) |
Trước khi thực hiện |
Tận dụng tối đa khả năng của nền tảng
Hãy lựa chọn các nền tảng bảo mật hỗ trợ chứ không cản trở việc giám sát. Stellar Cyber's Open XDR Ví dụ, nền tảng này tổng hợp các cảnh báo từ nhiều nguồn thành các sự cố có liên quan với đầy đủ ngữ cảnh, giảm tải nhận thức cho các nhà phân tích và giúp đưa ra quyết định giám sát nhanh chóng và chính xác hơn. Nền tảng phù hợp sẽ biến việc giám sát từ một gánh nặng thành một phần tự nhiên của quy trình vận hành.
Giải quyết các thách thức thường gặp trong việc triển khai giám sát của con người
Ngay cả những chương trình giám sát có thiện chí cũng gặp phải trở ngại. Việc nhận diện sớm những thách thức này cho phép các tổ chức thiết kế các giải pháp phù hợp thay vì chỉ phản ứng sau khi sự việc đã xảy ra.
Mệt mỏi do cảnh báo và thiên kiến tự động hóa
Khi các nhà phân tích xem xét hàng trăm khuyến nghị do AI tạo ra mỗi ngày, hai kiểu lỗi thường xuất hiện. Mệt mỏi vì quá nhiều cảnh báo khiến các nhà phân tích chỉ đọc lướt hoặc bỏ qua hoàn toàn các bài đánh giá.Thiên kiến tự động hóa khiến các nhà phân tích dễ dàng chấp nhận các khuyến nghị của AI mà không đánh giá kỹ lưỡng. Cả hai đều làm suy yếu mục đích của việc giám sát. Các biện pháp khắc phục bao gồm luân chuyển trách nhiệm xem xét, giới thiệu các "bài tập thử thách" định kỳ, trong đó các nhà phân tích phải biện minh cho các khuyến nghị của AI, và giảm số lượng cảnh báo thông qua việc cải thiện sự tương quan và loại bỏ trùng lặp.
Khoảng cách kỹ năng và hạn chế nguồn lực
Việc giám sát hiệu quả đòi hỏi các nhà phân tích phải hiểu cả lĩnh vực an ninh và các hệ thống AI mà họ giám sát. Nhiều tổ chức đang đối mặt với tình trạng thiếu nhân sự có chuyên môn kép này. Để giải quyết khoảng trống này cần:
- Đào tạo chéo cho các chuyên gia phân tích bảo mật về các nguyên tắc cơ bản của trí tuệ nhân tạo và hành vi mô hình.
- Cung cấp cho các kỹ sư AI bối cảnh về lĩnh vực bảo mật để họ có thể xây dựng các hệ thống dễ hiểu hơn.
- Sử dụng các nền tảng giúp đơn giản hóa sự phức tạp và trình bày khả năng suy luận của trí tuệ nhân tạo dưới dạng dễ tiếp cận.
Cân bằng tốc độ và sự kỹ lưỡng
Các sự cố an ninh đòi hỏi phản ứng nhanh chóng. Việc đưa khâu xem xét thủ công vào quy trình làm việc cần xử lý nhanh có thể làm chậm quá trình ngăn chặn. Giải pháp không phải là loại bỏ sự giám sát mà là tối ưu hóa nó. Các kịch bản ứng phó đã được phê duyệt trước cho các tình huống đã được hiểu rõ cho phép hành động tự động ngay lập tức với việc xem xét sau khi thực hiện. Các tình huống mới hoặc có tác động lớn sẽ được chuyển đến các nhà phân tích với các gói ngữ cảnh được thiết lập sẵn, giúp giảm thiểu thời gian điều tra.
tổ chức kháng chiến
Một số nhóm coi các yêu cầu giám sát là sự thiếu tin tưởng vào các khoản đầu tư AI của họ. Cách diễn đạt ở đây rất quan trọng. Giám sát của con người không phải là một cuộc bỏ phiếu bất tín nhiệm đối với công nghệ AI. Đó là một nguyên tắc quản lý rủi ro giúp bảo vệ tổ chức và cải thiện hiệu suất AI theo thời gian thông qua phản hồi có cấu trúc. Lãnh đạo phải truyền đạt cách diễn đạt này một cách nhất quán.
Tích hợp giám sát vào vòng đời quản trị AI
Sự giám sát của con người không nên tồn tại như một hoạt động riêng lẻ được gắn thêm vào quy trình làm việc hiện có. Nó phải được tích hợp vào toàn bộ vòng đời quản trị AI, từ thiết kế hệ thống ban đầu đến vận hành liên tục và cuối cùng là ngừng hoạt động.
Giai đoạn thiết kế
Các yêu cầu giám sát cần được xác định trước khi triển khai hệ thống AI. Trong giai đoạn thiết kế, các tổ chức nên xác định những quyết định nào cần sự tham gia của con người, các nhà phân tích thông tin cần thiết để đưa ra phán đoán sáng suốt và những cơ chế nào cho phép con người can thiệp hoặc dừng các hành động tự động. Stellar Cyber tích hợp những yếu tố này vào kiến trúc nền tảng của mình, cung cấp các cấp độ tự động hóa có thể cấu hình phù hợp với các yêu cầu quản trị của từng tổ chức.
Giai đoạn triển khai và xác thực
Trước khi đưa hệ thống AI vào sản xuất, cần xác nhận rằng các cơ chế giám sát hoạt động như mong muốn. Điều này bao gồm:
- Kiểm tra khả năng ghi đè và tắt máy trong điều kiện thực tế.
- Xác minh rằng các kết quả đầu ra của AI bao gồm đủ ngữ cảnh để con người có thể hiểu được.
- Xác nhận rằng các quy trình giải quyết vấn đề được chuyển đến nhân viên có chuyên môn trong khung thời gian chấp nhận được.
- Tiến hành các bài tập mô phỏng trên bàn, mô phỏng các tình huống cần sự can thiệp của con người.
Giai đoạn hoạt động
Trong quá trình vận hành, hiệu quả giám sát phải được đo lường và cải thiện liên tục. Các chỉ số chính bao gồm tỷ lệ các quyết định can thiệp của chuyên gia phân tích (quá thấp có thể cho thấy sự thiên vị của tự động hóa, quá cao có thể cho thấy hiệu suất mô hình kém), thời gian đưa ra quyết định đối với các vấn đề cần chuyển lên cấp cao hơn, và độ chính xác của các khuyến nghị từ AI được xác nhận bởi người đánh giá.
Giai đoạn xem xét và cải tiến
Các cuộc đánh giá quản trị định kỳ cần xem xét liệu mô hình giám sát hiện tại có còn phù hợp hay không khi xét đến những thay đổi trong môi trường đe dọa, khả năng chấp nhận rủi ro của tổ chức và năng lực của hệ thống AI. Các cuộc đánh giá này cần xem xét:
- Mô hình trôi dạt: Liệu độ chính xác của hệ thống AI có bị suy giảm theo thời gian, dẫn đến việc cần phải có sự xem xét kỹ lưỡng hơn của con người?
- Hiệu quả quá trình: Liệu các quy trình giám sát có đang tạo ra sự chậm trễ không cần thiết mà không mang lại hiệu quả giảm thiểu rủi ro tương xứng?
- Các thay đổi về quy định: Liệu các yêu cầu tuân thủ mới có làm thay đổi tiêu chuẩn tối thiểu về sự tham gia của con người hay không?
- Tích hợp phản hồi: Liệu các chỉnh sửa và ghi đè của nhà phân tích có được đưa trở lại một cách có hệ thống vào quá trình huấn luyện lại mô hình hay không?
