Kiểm toán mô hình: hội đồng quản trị nên hỏi gì khi doanh nghiệp đưa AI vào quyết định kinh doanh

Mô hình học máy đã tham gia vào các quyết định có hệ quả với con người từ lâu trước làn sóng mô hình ngôn ngữ. Điều mới là tốc độ triển khai, và việc nhiều tổ chức đưa mô hình vào quy trình mà chưa dựng khung quản trị tương ứng.

Mô hình đứng ở đâu trong quyết định

Câu hỏi đầu tiên và quan trọng nhất. Mô hình gợi ý cho một người quyết định, hay mô hình quyết định và người chỉ xem lại khi có khiếu nại. Hai vị trí này khác nhau về mặt trách nhiệm pháp lý, và trong thực tế, ranh giới thường trôi dần từ vị trí thứ nhất sang vị trí thứ hai mà không ai ra quyết định chính thức nào.

Dữ liệu lệch tạo ra kết quả lệch

Một mô hình học từ dữ liệu lịch sử sẽ tái tạo các khuôn mẫu trong dữ liệu ấy, kể cả những khuôn mẫu mà tổ chức không muốn duy trì. Việc này không thể phát hiện bằng cách nhìn vào độ chính xác tổng thể; nó cần đo lường riêng theo từng nhóm, và cần ai đó có nhiệm vụ đi tìm.

Giải thích được quyết định

Khi một khách hàng bị từ chối, tổ chức phải nêu được lý do. Đây không phải mong muốn về kỹ thuật mà là nghĩa vụ trong nhiều lĩnh vực. Nếu kiến trúc mô hình không cho phép truy ra yếu tố nào dẫn tới kết quả, thì lựa chọn kiến trúc ấy đã là một quyết định về tuân thủ — thường do bộ phận kỹ thuật đưa ra mà hội đồng quản trị không biết.

Bốn câu hỏi cho cuộc họp gần nhất

Mô hình nào đang chạy trong quy trình nào. Ai chịu trách nhiệm khi kết quả sai. Chúng ta đo độ lệch theo nhóm bao lâu một lần và ai đọc báo cáo đó. Và nếu phải tắt mô hình trong hai mươi tư giờ, quy trình thủ công thay thế có tồn tại không.