Các tòa án đã xử phạt luật sư vì nộp bản biện luận trích dẫn các vụ việc không tồn tại, và những tiêu đề đó khiến cụm “ảo giác AI” trở thành một cụm quen thuộc. Tuy nhiên, trích dẫn bịa chỉ là lỗi dễ thấy nhất. Trong hỗ trợ tố tụng, những lỗi thầm lặng thường nguy hiểm hơn: một mục niên biểu có ngày sai, một bản tóm tắt gán một tin nhắn cho cha mẹ không phải người đó, một câu trích gần như đúng với những gì tài liệu nói.

Hướng dẫn này dành cho luật sư và nhân sự tố tụng sử dụng AI tạo sinh, hoặc giám sát người sử dụng. Hướng dẫn giải thích vì sao ảo giác xảy ra, liệt kê các dạng chúng xuất hiện trong công việc pháp lý, và trình bày các biện pháp ngăn ngừa cùng một quy trình kiểm chứng chịu được sự xem xét kỹ. Các nghĩa vụ nghề nghiệp được đề cập đến từ ABA Model Rules, ABA Formal Opinion 512 và Federal Rules of Civil Procedure; phiên bản của tiểu bang bạn và quy tắc địa phương có thể khác.

Ảo giác AI là gì?

Ảo giác AI là kết quả đọc lên trôi chảy và tự tin nhưng không được tài liệu nguồn hoặc thực tế hỗ trợ. Đó không phải là một trục trặc; đó là hệ quả tự nhiên của cách các mô hình tạo sinh hoạt động.

Các mô hình ngôn ngữ lớn tạo văn bản bằng cách dự đoán từ tiếp theo có khả năng xảy ra dựa trên các mẫu đã học khi huấn luyện. Chúng được tối ưu để tạo ngôn ngữ hợp lý, không phải để kiểm tra sự kiện. Khi một mô hình thiếu thông tin đúng, nó hiếm khi nói ra điều đó; nó tạo ra thứ khớp với mẫu. Các công cụ trước hết truy xuất tài liệu thật rồi trả lời từ các tài liệu đó làm giảm vấn đề nhưng không loại bỏ vấn đề, vì mô hình vẫn có thể đọc sai, quy sai hoặc nói quá những gì nó đã truy xuất. Hệ quả thực tiễn: không câu lệnh nào khiến một mô hình đáng tin một cách ổn định. Độ tin cậy đến từ quy trình.

Vì sao lỗi trôi chảy khó phát hiện

Người rà soát quen coi sự trau chuốt là dấu hiệu của sự cẩn thận. Bản thảo lộn xộn mời sự xem xét kỹ; bản sạch, được tổ chức tốt mời việc đọc lướt. Kết quả của AI gần như luôn sạch, nên lỗi của nó đến trong hình thức của công việc đã hoàn tất. Chúng cũng thường hợp lý ở phạm vi cục bộ: một vụ việc bịa có tên và định dạng trích dẫn đáng tin, và một ngày sai rơi vào đúng tháng. Chính phẩm chất khiến bản thảo AI có cảm giác hữu ích cũng khiến sai sót của chúng dễ bị đọc lướt qua. Đó là lý do kiểm chứng phải là một nhiệm vụ có cấu trúc với những điều cụ thể cần kiểm tra, thay vì một lượt đọc để tìm bất cứ điều gì “trông sai”.

Chúng thuộc hai nhóm: lỗi về luật và lỗi về sự kiện. Chính sách AI của hầu hết hãng luật xử lý nhóm thứ nhất và bỏ qua nhóm thứ hai.

LoạiVí dụNó ẩn ở đâu
Nguồn thẩm quyền bịaMột vụ việc, đạo luật hoặc quy tắc không tồn tạiCác mục bản biện luận, bản ghi nhớ nghiên cứu
Nguồn thẩm quyền bị mô tả saiMột vụ việc thật được trích dẫn cho một phán quyết mà vụ việc đó không chứaChú thích trong ngoặc, chuỗi trích dẫn
Câu trích dẫn hoặc trích dẫn trang saiNgôn ngữ được trích thực ra là diễn giải hoặc nằm ở trang khácĐoạn trích khối, trích dẫn trang
Sự kiện bịa hoặc gộpMột chi tiết không xuất hiện trong tài liệu nào, hoặc hai sự kiện bị gộpBản tóm tắt, phần sự kiện
Quy sai nguồnMột tin nhắn được ghi nhận là của người gửi saiBản tóm tắt tin nhắn, bản khai
Ngày và số saiNgày bị lệch, số tiền bị đảo, lỗi múi giờNiên biểu, bản tóm tắt tài chính
Văn bản được điền vàoTừ không đọc được trong bản quét được thay bằng những phỏng đoán hợp lýVăn bản trích xuất từ hình ảnh

Vì sao ảo giác quan trọng về mặt đạo đức?

Vì luật sư chịu trách nhiệm về mọi từ đến được tòa án, bất kể ai hoặc cái gì soạn thảo. Một số nghĩa vụ hội tụ ở đây:

  • Federal Rule of Civil Procedure 11(b) và các quy định tương ứng của tiểu bang: việc ký một hồ sơ nộp chứng nhận rằng các luận điểm pháp lý có cơ sở và các luận điểm sự kiện có hỗ trợ bằng chứng, sau một sự điều tra hợp lý.
  • Model Rules 3.1, 3.3 và 8.4(c): các yêu cầu có cơ sở, sự thẳng thắn với tòa và sự trung thực.
  • Model Rule 1.1: năng lực, mà ABA Formal Opinion 512 diễn giải là yêu cầu hiểu các giới hạn của một công cụ và kiểm chứng kết quả của nó một cách phù hợp.
  • Model Rules 5.1 và 5.3: giám sát các luật sư và nhân sự sử dụng công cụ AI.

Một số thẩm phán và tòa án cũng yêu cầu tiết lộ hoặc chứng nhận việc sử dụng AI trong hồ sơ nộp, vì vậy bạn hãy kiểm tra các lệnh thường trực. Để xem ý kiến đầy đủ, hãy xem hướng dẫn của chúng tôi về ABA Formal Opinion 512.

Làm thế nào để ngăn ảo giác trước khi chúng xảy ra?

Hãy thiết kế công việc sao cho mô hình có ít chỗ để bịa hơn và mọi kết quả đều dễ kiểm tra. Việc ngăn ngừa giảm khối lượng lỗi; việc kiểm chứng bắt phần còn lại.

  • Gắn công cụ vào hồ sơ của bạn. Đưa cho công cụ các tài liệu thực tế và yêu cầu nó chỉ làm việc từ những tài liệu đó, thay vì dựa vào kiến thức chung của nó.
  • Yêu cầu nguồn cho mọi khẳng định. Yêu cầu một tham chiếu tài liệu, trang hoặc tin nhắn cho từng phát biểu, để các nhận định không có căn cứ lộ rõ.
  • Thu hẹp nhiệm vụ. “Trích mọi tin nhắn từ tháng Ba có nhắc đến việc đón trẻ ở trường, kèm mốc thời gian” an toàn hơn “tóm tắt chuyện đã xảy ra.”
  • Mời câu trả lời “không tìm thấy”. Nói rõ với công cụ rằng việc cho biết thông tin không có là một câu trả lời chấp nhận được.
  • Yêu cầu trích dẫn nguyên văn kèm vị trí thay vì diễn giải lại khi cách diễn đạt quan trọng.
  • Giữ AI ngoài các bước chính xác. Việc đánh số, phân trang, đóng dấu Bates và lắp ráp tài liệu chứng cứ nên mang tính tất định.
  • Gắn nhãn nội dung có AI hỗ trợ trong các bản nháp để người rà soát biết chỗ cần xem kỹ nhất.

Việc chọn các công cụ được xây theo cách này có ích. Chẳng hạn, CourtBriefly chỉ dùng AI cho các bước hỗ trợ như trích văn bản từ hình ảnh, do một người xem lại và sửa, trong khi các PDF tài liệu chứng cứ của nó được tạo ra một cách tất định, không dùng AI (chi tiết về cách trích xuất và xuất bằng chứng hoạt động).

Một quy trình xác minh cho các bản nháp có AI hỗ trợ

Việc xác minh nên là một bước được xác định, có người phụ trách được nêu tên và có bản ghi, không phải một chỉ dẫn chung là “kiểm tra lại.” Một quy trình phù hợp với hầu hết hồ sơ nộp:

  1. Đánh dấu nội dung có AI hỗ trợ. Người soạn đánh dấu những mục, trích dẫn và sự kiện nào xuất phát từ hoặc đã đi qua một công cụ AI.
  2. Xác minh mọi căn cứ. Lấy từng vụ án, đạo luật và quy tắc được trích dẫn từ một nguồn nghiên cứu đáng tin cậy. Xác nhận nguồn đó có tồn tại, phần trích dẫn đúng, nội dung đúng như bản nháp khẳng định, các đoạn trích nguyên văn chính xác, các trích dẫn điểm đúng, và nguồn đó vẫn còn hiệu lực pháp lý.
  3. Truy từng sự kiện. Mỗi khẳng định về sự kiện có một trích dẫn hồ sơ, và người xác minh mở tài liệu được trích dẫn để xác nhận.
  4. Kiểm tra ngày, tên và số riêng. Đây là những chỗ lỗi nhỏ gây thiệt hại lớn; hãy kiểm tra chúng như một lượt riêng.
  5. Thêm người rà soát thứ hai cho các hồ sơ nộp có rủi ro cao. Các đơn kiến nghị mang tính quyết định, các bản khai và bất cứ nội dung nào đã tuyên thệ đều đáng được thêm một cặp mắt.
  6. Ghi lại việc xác minh. Ghi ai đã kiểm tra nội dung gì, khi nào, và nội dung nào đã được sửa.

Mẫu: mục nhật ký xác minh

Tài liệu: [đơn kiến nghị / bản luận cứ / bản khai], bản nháp đề ngày [ngày]. Các mục có AI hỗ trợ: [danh sách]. Căn cứ đã xác minh: [số] trên [số]; các chỉnh sửa: [mô tả]. Sự kiện đã truy về hồ sơ: [số] trên [số]; các chỉnh sửa: [mô tả]. Ngày và số liệu đã kiểm tra: có / không. Yêu cầu công bố AI của tòa: [không tìm thấy / đã tuân thủ, mô tả]. Người xác minh: [tên], [ngày]. Luật sư rà soát: [tên], [ngày].

Những dấu hiệu cảnh báo nào cho thấy một đoạn cần xem kỹ hơn?

Một số kiểu mẫu xuất hiện lặp đi lặp lại trong kết quả bị ảo giác. Hãy đào tạo người rà soát chậm lại khi nhìn thấy chúng:

  • Một vụ án không ai trong nhóm từng nghe đến nhưng lại ủng hộ luận điểm một cách hoàn hảo.
  • Các đoạn trích đúng trọng tâm hoặc chỉnh chu một cách bất thường.
  • Các định dạng trích dẫn trông hơi lệch, chẳng hạn chữ viết tắt reporter hoặc số trang kỳ lạ.
  • Các phần tóm tắt hoặc phần sự kiện không có trích dẫn hồ sơ.
  • Các chi tiết nghe có vẻ cụ thể, chẳng hạn giờ, số tiền hoặc tên, mà bạn không nhớ có trong các tài liệu.
  • Mức tự tin đồng đều từ đầu đến cuối, không có sự dè dặt ở những chỗ hồ sơ thực sự chưa rõ.
  • Các sự kiện trong một trình tự thời gian xếp theo thứ tự gọn gàng một cách đáng ngờ.

Bạn đào tạo một nhóm để phát hiện ảo giác như thế nào?

Làm cho lỗi hiện rõ. Những cảnh báo trừu tượng có tác dụng kém hơn việc được thấy một kết quả trôi chảy nhưng sai trên chính loại tài liệu của bạn.

  • Tổ chức một buổi ngắn để nhân viên xác minh một bản nháp AI cố ý có lỗi và so sánh những gì họ bắt được.
  • Công bố quy trình xác minh và mẫu nhật ký ở nơi mọi người sử dụng chúng.
  • Đưa tên người xác minh vào mọi danh mục kiểm tra hồ sơ nộp.
  • Xem lại chính sách khi công cụ thay đổi, và chia sẻ công khai các lần suýt sót để người khác học từ đó.

Để có hướng dẫn ở cấp nhân viên, xem dùng AI như một trợ lý pháp lý: giám sát, xác minh và đạo đức, và để có các biện pháp kiểm soát riêng cho việc rà soát, xem đạo đức rà soát tài liệu có AI hỗ trợ. Mục tiêu không phải là tránh AI mà là xây dựng một quy trình trong đó lỗi của AI được con người bắt trước khi đến với thân chủ hoặc tòa án. Nếu một câu hỏi phụ thuộc vào các quy tắc công bố của vùng tài phán của bạn, hãy kiểm tra với hội luật sư bang của bạn hoặc một luật sư có giấy phép tại nơi bạn hành nghề.