Khi thân chủ giao sáu năm email, lượng tin nhắn bằng cả một chiếc điện thoại hoặc một thư mục bốn nghìn ảnh chụp màn hình, việc rà soát có hỗ trợ của AI không còn là câu hỏi về sự mới mẻ. Câu hỏi đạo đức không phải là đội của bạn có thể dùng AI để xử lý khối tài liệu hay không. Câu hỏi là bạn giữ việc rà soát là của mình như thế nào: chính xác, bảo mật, được giám sát và có thể giải thích khi ai đó hỏi việc đó được thực hiện ra sao.
Hướng dẫn này chia việc rà soát tài liệu có hỗ trợ của AI thành các giai đoạn mà AI thực sự đi vào công việc, nêu cách mỗi giai đoạn thường thất bại, và trình bày một quy trình kiểm chứng và ghi chép mà nhóm tố tụng có thể áp dụng. Hướng dẫn được viết cho các luật sư phê duyệt việc rà soát và các trợ lý luật sư cùng nhân viên vận hành việc đó hằng ngày. Các quy tắc được trích dẫn là ABA Model Rules và Federal Rules; phiên bản của tiểu bang bạn và thực tiễn địa phương có thể khác.
Điều gì khiến việc rà soát có hỗ trợ của AI thành một vấn đề đạo đức?
Việc rà soát bằng AI tạo ra sản phẩm công việc phái sinh, chẳng hạn văn bản được trích xuất, bản tóm tắt và mã về mức độ liên quan hoặc đặc quyền, trông có vẻ có thẩm quyền và có thể lặng lẽ thay thế nguồn trong đầu mọi người. Các nghĩa vụ vẫn là những nghĩa vụ chi phối việc rà soát do người thực hiện; các kiểu thất bại thì khác.
Các nghĩa vụ nghề nghiệp áp dụng trực tiếp nhất:
- Năng lực (Rule 1.1). Hiểu công cụ làm tốt và không làm tốt những gì, rồi kiểm chứng tương ứng. ABA Formal Opinion 512 áp dụng điều này trực tiếp cho AI tạo sinh.
- Bảo mật (Rule 1.6). Biết tài liệu của thân chủ đi đâu khi công cụ xử lý chúng, và liệu dữ liệu đầu vào có được lưu giữ hoặc dùng để huấn luyện hay không.
- Giám sát (Rules 5.1 và 5.3). Luật sư chịu trách nhiệm về quy trình rà soát, bao gồm những gì người không phải luật sư và các công cụ bên ngoài đóng góp.
- Sự thẳng thắn (Rule 3.3) và các chứng nhận trong discovery. Theo Federal Rule of Civil Procedure 26(g), việc ký một phản hồi discovery chứng nhận đã có sự tìm hiểu hợp lý. “Phần mềm đã bỏ sót” không phải là một kế hoạch.
Để xem toàn cảnh theo từng quy tắc, hãy xem hướng dẫn của chúng tôi về ABA Formal Opinion 512.
AI đi vào quy trình rà soát ở đâu, và nó thất bại như thế nào?
AI thường chạm vào năm giai đoạn của việc rà soát. Mỗi giai đoạn có một kiểu thất bại đặc trưng, và mỗi giai đoạn cần biện pháp kiểm soát riêng.
| Giai đoạn | Thất bại điển hình | Biện pháp kiểm soát |
|---|---|---|
| Trích xuất văn bản từ bản quét và ảnh chụp màn hình | Đọc sai từ, bỏ dòng, sai ngày hoặc số tiền | So sánh từng dòng với hình ảnh đối với bất kỳ nội dung nào được dùng làm tài liệu chứng cứ hoặc được trích dẫn |
| Bản tóm tắt tài liệu hoặc chuỗi trao đổi | Bỏ sót, gộp người nói, bịa các chi tiết nối | Bản tóm tắt liên kết đến các trang nguồn; đọc nguồn đối với bất kỳ nội dung nào được dựa vào |
| Phân loại mức độ liên quan | Tài liệu đáp ứng yêu cầu bị gắn mã là không liên quan | Lấy mẫu tập đã loại và điều chỉnh nếu xuất hiện các trường hợp bỏ sót |
| Nhận diện đặc quyền | Các mục có đặc quyền không được gắn cờ | Người rà soát mọi cờ cùng một mẫu các mục không được gắn cờ |
| Xây dựng niên đại | Sai ngày, lệch múi giờ, sự kiện sai thứ tự | Mọi mục đều truy về một tài liệu nguồn mà người rà soát đã mở |
Hãy chú ý quy luật: lỗi rủi ro nhất thường là bỏ sót, không phải bịa đặt. Một bản tóm tắt bỏ sót đúng tin nhắn quan trọng vẫn đọc rất trôi chảy. Đó là lý do việc lấy mẫu những gì công cụ đã loại quan trọng ngang với việc kiểm tra những gì nó đã tạo ra.
Bạn kiểm chứng kết quả đầu ra của việc rà soát bằng AI như thế nào?
Kiểm chứng tương ứng với cách kết quả đầu ra sẽ được dùng: kiểm tra nhẹ hơn cho việc phân loại nội bộ, kiểm tra từng dòng đối với bất kỳ nội dung nào trở thành tài liệu chứng cứ, một trích dẫn hoặc một trình bày trước tòa. Một quy trình có thể lặp lại trông như thế này:
- Bảo quản trước. Trước khi bất kỳ công cụ nào xử lý tài liệu, hãy giữ nguyên bản không bị đụng đến và ghi một giá trị hash cho từng tệp, để sau này bạn có thể chứng minh nguồn không bị thay đổi. Hướng dẫn của chúng tôi về giá trị hash trong tố tụng giải thích dấu vân tay đó chứng minh điều gì và không chứng minh điều gì.
- Giữ kết quả AI ở một lớp riêng. Văn bản trích xuất, bản tóm tắt và mã phân loại nên nằm cạnh bản gốc, được gắn nhãn rõ là do máy tạo, không bao giờ được ghi vào hoặc ghi đè lên bản gốc.
- Đặt tiêu chí chấp nhận theo mục đích sử dụng. Hãy quyết định trước mức độ kiểm tra mà từng loại kết quả cần trước khi bất kỳ ai dựa vào kết quả đó.
- Rà soát và chỉnh sửa. Một người so sánh kết quả với nguồn và ghi các chỉnh sửa riêng, để bạn thấy cả những gì công cụ đã nói và những gì người rà soát đã thay đổi.
- Lấy mẫu tập đã loại. Lấy các tài liệu mà công cụ đánh dấu là không liên quan hoặc không có đặc quyền và để một người rà soát đọc chúng.
- Chuyển lên và phê duyệt. Các phán đoán về mức độ liên quan và đặc quyền được chuyển đến luật sư chịu trách nhiệm, người phê duyệt kết quả.
Lấy mẫu đống tài liệu đã loại
Hãy chọn một cỡ mẫu mà bạn giải thích được, rút mẫu ngẫu nhiên thay vì chọn những tài liệu tiện tay, và ghi lại những gì người rà soát phát hiện. Hãy lấy mẫu trong từng nhóm có ý nghĩa nữa: một công cụ làm tốt với email có thể gặp khó với chữ viết tay được quét hoặc cuộc trò chuyện nhóm, nên một mẫu trộn chung có thể che đi một nhóm yếu. Nếu mẫu làm lộ tài liệu đáp ứng hoặc tài liệu có đặc quyền mà công cụ bỏ sót, đó là tín hiệu để mở rộng việc rà soát của con người hoặc điều chỉnh cách công cụ đang được dùng, và ghi sự thay đổi đó vào hồ sơ rà soát. Để biết thêm về cách sắp xếp các giai đoạn rà soát, xem quy trình rà soát bằng chứng cho trợ lý pháp lý của chúng tôi.
Làm thế nào để bạn bảo vệ tính bảo mật trong quá trình rà soát bằng AI?
Hãy coi mọi công cụ AI là một nơi tài liệu của khách hàng được chuyển tới, và xác nhận các điều khoản trước lần tải lên đầu tiên. ABA Formal Opinion 512 kết luận rằng một công cụ tự học đòi hỏi sự đồng ý sau khi đã được cung cấp thông tin của khách hàng trước khi thông tin liên quan đến việc đại diện được nhập vào.
- Xác nhận xem công cụ có lưu dữ liệu đầu vào, dùng chúng để huấn luyện, hay gửi chúng cho một bên xử lý khác hay không.
- Giữ dữ liệu rà soát tách riêng theo vụ việc, với quyền truy cập giới hạn ở nhóm được phân công.
- Không bao giờ dán các bộ tài liệu cung cấp của khách hàng vào một tài khoản chatbot tiêu dùng nằm ngoài sự kiểm soát của hãng luật.
- Loại bỏ tài liệu không cần xử lý bằng AI, chẳng hạn các tệp có đặc quyền đã được rà soát.
- Ghi lại sự đồng ý của khách hàng khi được yêu cầu, và giữ các điều khoản của công cụ cùng hồ sơ vụ việc.
Bạn nên tiết lộ những gì, và với ai?
Nghĩa vụ tiết lộ hướng tới ba đối tượng, và mỗi đối tượng phụ thuộc vào bối cảnh chứ không phải một quy tắc chung cho mọi trường hợp.
Khách hàng. Theo Rule 1.4 và Opinion 512, hãy nói với khách hàng khi họ hỏi, khi cần sự đồng ý, khi kết quả AI sẽ dẫn dắt một quyết định quan trọng, hoặc khi việc dùng AI ảnh hưởng đến phí.
Luật sư đối phương. Phương pháp rà soát, kể cả rà soát có hỗ trợ của công nghệ, thường được thảo luận tại hội nghị Rule 26(f) hoặc trong một giao thức ESI. Nếu giao thức của bạn đề cập đến điều đó, hãy tuân theo giao thức. Nếu việc rà soát đặc quyền dựa một phần vào tự động hóa, hãy cân nhắc liệu một thỏa thuận thu hồi hoặc một lệnh theo Federal Rule of Evidence 502(d) hay quy định tương ứng của tiểu bang có hợp lý hay không; hướng dẫn nhật ký đặc quyền của chúng tôi trình bày phần ghi nhật ký.
Tòa án. Một số thẩm phán và tòa án yêu cầu tiết lộ hoặc chứng nhận việc dùng AI trong các bản nộp. Hãy kiểm tra các lệnh thường trực trước khi nộp bất kỳ tài liệu nào có sự hỗ trợ của AI.
Làm thế nào để bạn ghi lại một quá trình rà soát có hỗ trợ của AI mà có thể biện hộ được?
Hãy viết một bản ghi nhớ rà soát ngắn, được lập cùng thời điểm, cho từng vụ việc. Nếu sau này có ai chất vấn việc rà soát, bạn có thể giải thích những gì đã xảy ra mà không phải dựng lại từ trí nhớ.
Mẫu: bản ghi nhớ rà soát có hỗ trợ của AI
Vụ việc: [tên / số]. Nguồn đã rà soát: [người giữ dữ liệu, thiết bị, khoảng ngày, số lượng tệp]. Bảo quản: bản gốc được giữ nguyên không thay đổi; giá trị hash được ghi vào [ngày]. Công cụ và thiết lập: [công cụ, phiên bản hoặc ngày đã dùng, các thiết lập liên quan]. AI đã làm gì: [trích xuất văn bản / bản tóm tắt / mã hóa mức độ liên quan ở lượt đầu]. AI đã không làm gì: [quyết định cuối về mức độ liên quan và đặc quyền, quyết định cung cấp tài liệu]. Xác minh: [các kiểm tra đã thực hiện theo loại kết quả]. Lấy mẫu: [phương pháp, cỡ mẫu, kết quả, bước tiếp theo]. Người rà soát: [tên, vai trò]. Luật sư phê duyệt: [tên, ngày].
Điều gì thường sai nhất?
Hầu hết vấn đề khi rà soát bằng AI là vấn đề quy trình, không phải vấn đề công nghệ. Năm vấn đề này lặp lại:
- Bản tóm tắt trở thành bằng chứng. Có người trích bản tóm tắt trong một bản khai thay vì trích tài liệu.
- Người nói bị đảo. Việc trích xuất ảnh chụp màn hình làm mất thông tin bong bóng nằm ở phía nào của cuộc trò chuyện.
- Thời gian bị lệch. Các công cụ xuất và trích xuất xử lý múi giờ khác nhau, và sự kiện rơi vào sai ngày.
- Đặc quyền lọt qua. Một email gửi luật sư không được gắn cờ bị đưa vào bộ tài liệu cung cấp vì không ai lấy mẫu tập không được gắn cờ.
- Chỉnh sửa ghi đè bản gốc. Một người rà soát “sửa” văn bản và không ai còn biết nguồn đã nói gì.
Các công cụ có thể tích hợp sẵn một số biện pháp kiểm soát này. Evidence Helper giữ từng bản gốc không bị đụng đến với một hash SHA-256 ngay khi nhận, cung cấp trích xuất văn bản có hỗ trợ của AI để một người rà soát, lưu các chỉnh sửa riêng và tạo PDF tài liệu chứng cứ một cách tất định, không có AI (chi tiết tại cách rà soát bằng chứng hoạt động). Dù bạn dùng công cụ nào, quy tắc vẫn vậy: AI soạn thảo, con người xác minh, và hồ sơ cho thấy ai đã làm gì. Nếu một quyết định rà soát phụ thuộc vào cách khu vực tài phán của bạn xử lý một vấn đề cụ thể, luật sư chịu trách nhiệm đưa ra quyết định đó.
