← Tất cả bài viết

·3 phút đọc

Cách xác định phạm vi một đợt thí điểm AI có con người phê duyệt

Một đợt thí điểm chỉ ở chế độ rà soát cho thấy AI có tiết kiệm thời gian không, sau khi tính cả phần con người sửa và các ngoại lệ.

Xác định phạm vi thí điểm AI quanh một nhiệm vụ, một người rà soát có tên và một phương án thủ công sẵn có. Thử trên các ca đã gán nhãn, so thời gian rà soát và lỗi với mức nền, và thống nhất điều kiện dừng trước khi mở rộng.

Điểm cần nhớ

  • Dùng chế độ chỉ rà soát cho lần thử quy trình đầu tiên.
  • Xác định người rà soát bắt buộc phải thấy những bằng chứng nào.
  • Thử cách đưa việc còn dở quay về hàng đợi thủ công.

Bản mô tả thí điểm nên có gì?

MụcVí dụ giả lập
Nhiệm vụGợi ý loại cho các yêu cầu hành chính gửi đến.
Phạm viMột nhóm và một danh sách loại cố định, dùng ca tổng hợp cho các bài thử ban đầu.
Người rà soátTrưởng ca chấp nhận, sửa hoặc từ chối từng gợi ý. Có người dự phòng được chỉ định khi vắng mặt.
Bằng chứngYêu cầu gốc, loại được gợi ý và định nghĩa theo chính sách hiển thị trên màn hình rà soát.
Mức nềnThời gian phân loại thủ công, tỷ lệ phải sửa và tuổi hàng đợi trong một giai đoạn tương đương.
Phương án dự phòngĐưa yêu cầu mới về hàng đợi thủ công thông thường và đối chiếu các yêu cầu đang chờ tại thời điểm tạm dừng.
Trách nhiệmVận hành phụ trách nhãn và năng lực rà soát. Trưởng nhóm triển khai phụ trách việc chuyển đổi và kiểm tra khôi phục.

Nên xây bộ kiểm thử như thế nào?

Dùng các ca đã gán nhãn và để riêng, gồm yêu cầu thông thường, câu chữ không rõ, thiếu trường, yêu cầu lặp và loại hiếm gặp. Để người chủ quy trình phân xử khi có bất đồng về kết quả kỳ vọng. So hiệu quả theo từng loại chứ không chỉ tổng thể. Một loại phổ biến có số lượng lớn có thể che các lỗi nghiêm trọng ở một loại nhỏ hơn.

Đo số gợi ý được chấp nhận nguyên trạng, gợi ý sai mà người rà soát bắt được và gợi ý sai lọt qua. Bấm giờ người rà soát từ lúc mở yêu cầu đến lúc ghi quyết định. Tách thời gian đọc bằng chứng gốc khỏi thời gian sửa gợi ý. NIST AI Risk Management Framework Playbook

Khi nào đội nên tạm dừng hoặc dừng hẳn?

Trước đợt thử, hãy thống nhất mỗi loại lỗi chấp nhận được bao nhiêu và sự kiện nào kích hoạt rà soát ngay. Với đợt thí điểm giả lập này, một cập nhật ra bên ngoài chưa được duyệt hoặc một mục không có ở cả hai hàng đợi sẽ kích hoạt tạm dừng ngay. Người phụ trách cũng tạm dừng nếu hàng đợi phê duyệt vượt năng lực nhân sự đã thống nhất cho đợt thử.

Khi tạm dừng, tắt gợi ý mới, liệt kê mọi mục còn dở, khôi phục hàng đợi thông thường và khớp từng mục đang chờ theo mã yêu cầu. Thử quy trình này khi có mặt người dự phòng. Cuối đợt thí điểm, xác nhận thời gian rà soát có cải thiện không và loại nào vẫn cần xử lý thủ công.

Mang một quy trình và tiêu chí ra quyết định hiện tại của bạn đến để trao đổi về thí điểm AI với Wizy.

Câu hỏi thường gặp

Ai nên phê duyệt gợi ý của AI trong đợt thí điểm?

Giao cho vai trò vốn đã chịu trách nhiệm về quyết định đó và chỉ định một người dự phòng có tên. Người rà soát phải xem được nguồn, sửa được gợi ý hoặc từ chối nó.

Bộ kiểm thử cho thí điểm AI nên lớn đến đâu?

Bắt đầu với đủ ca đã gán nhãn để bao phủ các loại được hỗ trợ, yêu cầu thông thường, câu chữ hiếm gặp và ngoại lệ. Rà soát riêng từng loại để các ca phổ biến không che lỗi lặp lại ở nơi khác.

Khi nào một đợt thí điểm AI nên dừng?

Tạm dừng khi xảy ra một điều kiện dừng đã thống nhất, như thay đổi ra bên ngoài chưa được duyệt, một mục bị mất hoặc tồn đọng rà soát vượt năng lực của đội. Đối chiếu các ca đang chờ trước khi chạy lại.