May mga korte na nag-sanction sa mga abogado dahil sa pag-file ng briefs na nag-cite ng cases na hindi umiiral, at dahil sa mga headline na iyon naging pamilyar ang pariralang “AI hallucination”. Ang gawa-gawang citations, gayunpaman, ang pinakakitang failure lang. Sa litigation support, ang mas tahimik ay kadalasang mas mapanganib: isang chronology entry na may maling petsa, isang summary na inuugnay ang message sa maling magulang, isang quotation na halos ang sinasabi ng document.
Ang gabay na ito ay para sa mga attorney at litigation staff na gumagamit ng generative AI, o nangangasiwa ng mga taong gumagamit nito. Ipinapaliwanag nito kung bakit nangyayari ang hallucinations, inililista ang mga anyo ng mga ito sa legal work, at inilalatag ang prevention controls at isang verification protocol na tumatagal sa ilalim ng scrutiny. Ang mga professional duty na tinutukoy ay mula sa ABA Model Rules, ABA Formal Opinion 512 at ang Federal Rules of Civil Procedure; puwedeng magkaiba ang mga bersyon ng state mo at ang local rules.
Ano ang AI hallucination?
Ang AI hallucination ay output na mukhang malinaw at may kumpiyansa pero hindi suportado ng source material o ng realidad. Hindi ito glitch; natural na byproduct ito ng kung paano gumagana ang generative models.
Ang large language models ay gumagawa ng text sa pamamagitan ng paghula sa malamang na susunod na salita batay sa patterns na natutunan sa training. Ino-optimize ang mga ito para gumawa ng plausible na wika, hindi para mag-check ng facts. Kapag kulang ang tamang impormasyon ang model, bihira itong magsabi nito; gumagawa ito ng bagay na bagay sa pattern. Ang mga tool na kumukuha muna ng totoong documents at pagkatapos ay sumasagot mula sa mga ito ay nagbabawas ng problema pero hindi ito inaalis, dahil puwede pa ring maling basahin, maling iugnay, o palakihin ng model ang nakuha nito. Ang praktikal na implikasyon: walang prompt na ginagawang maaasahang tapat ang model. Ang reliability ay nanggagaling sa process.
Bakit mahirap mahuli ang malinaw na errors
Sanay ang human reviewers na ituring ang polish bilang senyales ng pag-iingat. Ang magulong draft ay nag-iimbita ng scrutiny; ang malinis at maayos na draft ay nag-iimbita ng skimming. Halos palaging malinis ang AI output, kaya dumarating ang errors nito na nakasuot na parang tapos na trabaho. Karaniwan ding locally plausible ang mga ito: ang gawa-gawang case ay may kapani-paniwalang pangalan at citation format, at ang maling petsa ay nahuhulog sa tamang buwan. Ang parehong kalidad na nagpaparamdam na kapaki-pakinabang ang AI drafts ang nagpapadaling malampasan ang mga pagkakamali nila. Kaya ang verification ay kailangang structured na gawain na may partikular na mga bagay na titingnan, hindi lang read-through para sa anumang “mukhang mali.”
Anong uri ng hallucinations ang lumalabas sa legal work?
Nahahati sila sa dalawang pamilya: errors tungkol sa batas at errors tungkol sa facts. Karamihan sa AI policies ng firms ay tinutugunan ang una at hindi pinapansin ang pangalawa.
| Uri | Halimbawa | Saan ito nagtatago |
|---|---|---|
| Gawa-gawang authority | Isang case, statute o rule na hindi umiiral | Mga brief section, research memo |
| Maling paglalarawan ng authority | Isang totoong case na na-cite para sa holding na wala rito | Mga parenthetical, string cite |
| Maling quotation o pin cite | Quoted language na paraphrased o nasa ibang page | Mga block quote, pin cite |
| Gawa-gawa o pinagsamang facts | Isang detalye na wala sa anumang document, o dalawang event na pinagsama | Mga summary, fact section |
| Misattribution | Isang message na ikinredito sa maling sender | Mga message summary, declaration |
| Maling petsa at numero | Na-shift na petsa, nalipat na amounts, time zone errors | Mga chronology, financial summary |
| Filled-in text | Mga salitang hindi mabasa sa scan na pinalitan ng plausible na hula | Text na kinuha mula sa images |
Bakit mahalaga ang hallucinations sa etika?
Dahil responsable ang abogado sa bawat salitang umaabot sa korte, kahit sino o ano ang nag-draft nito. Nagtatagpo rito ang ilang duties:
- Federal Rule of Civil Procedure 11(b) at mga state counterpart: ang pagpirma sa filing ay nagce-certify na warranted ang legal contentions at may evidentiary support ang factual contentions, pagkatapos ng reasonable inquiry.
- Model Rules 3.1, 3.3 at 8.4(c): meritorious claims, candor sa tribunal at honesty.
- Model Rule 1.1: competence, na binabasa ng ABA Formal Opinion 512 bilang pag-aatas na maintindihan ang limitations ng tool at i-verify nang angkop ang output nito.
- Model Rules 5.1 at 5.3: supervision ng mga abogado at staff na gumagamit ng AI tools.
May mga hukom (judge) at korte rin na nag-aatas ng disclosure o certification ng paggamit ng AI sa mga filing, kaya tingnan ang standing orders. Para sa buong opinion, tingnan ang aming gabay sa ABA Formal Opinion 512.
Paano mo pinipigilan ang hallucinations bago pa mangyari?
Idisenyo ang trabaho para mas kaunti ang puwang ng model na mag-imbento at madaling i-check ang bawat output. Binabawasan ng prevention ang dami ng errors; hinuhuli ng verification ang natitira.
- I-ground ang tool sa record mo. Ibigay ang aktwal na mga dokumento at hilingin na doon lang ito magtrabaho, sa halip na umasa sa general knowledge nito.
- Hilingin ang source para sa bawat assertion. Humingi ng document reference, page, o message para sa bawat statement, para kitang-kita ang claims na walang support.
- Paliitin ang task. Mas ligtas ang “Kunin ang bawat message mula Marso na nagbabanggit ng school pickup, kasama ang timestamps” kaysa “i-summarize kung ano ang nangyari.”
- Anyayahan ang “not found.” Sabihin nang hayagan sa tool na katanggap-tanggap na sagot ang pagsasabing wala ang impormasyon.
- Humingi ng exact quotes na may locations sa halip na paraphrases kapag mahalaga ang wording.
- Ilayo ang AI sa exact steps. Ang numbering, pagination, Bates stamping, at exhibit assembly ay dapat deterministic.
- Lagyan ng label ang AI-assisted content sa drafts para alam ng reviewers kung saan sila dapat mas tumingin.
Nakakatulong ang pagpili ng tools na ganito ang pagkakagawa. Halimbawa, ang CourtBriefly ay gumagamit ng AI para lang sa assistive steps tulad ng pag-extract ng text mula sa images, na nire-review at itinatama ng tao, habang ang exhibit PDFs nito ay ginagawa nang deterministic nang walang AI (mga detalye sa kung paano gumagana ang extraction ng ebidensya at ang export).
Verification protocol para sa AI-assisted drafts
Ang verification ay dapat isang malinaw na step na may pangalang may-ari at may record, hindi lang pangkalahatang bilin na “double-check.” Isang protocol na gumagana para sa karamihan ng filings:
- Markahan ang AI-assisted content. I-flag ng drafter kung aling sections, citations, at facts ang galing sa o dumaan sa AI tool.
- I-verify ang bawat authority. Kunin ang bawat cited case, statute, at rule mula sa maaasahang research source. Kumpirmahin na umiiral ito, tama ang citation, sinasabi nito ang inaangkin ng draft, exact ang quotations, tama ang pin cites, at good law pa rin ito.
- I-trace ang bawat fact. Bawat factual assertion ay may record cite, at binubuksan ng verifier ang cited document para kumpirmahin ito.
- I-check nang hiwalay ang dates, names, at numbers. Dito nagdudulot ng malaking pinsala ang maliliit na error; i-check ang mga ito bilang sariling pass.
- Magdagdag ng second reviewer para sa high-stakes filings. Ang dispositive motions, declarations, at anumang sinumpaan ay karapat-dapat ng isa pang set ng mata.
- I-log ang verification. Itala kung sino ang nag-check ng ano, kailan, at ano ang naitama.
Template: entry ng verification log
Dokumento: [motion / brief / declaration], draft na may petsang [petsa]. AI-assisted sections: [listahan]. Mga authority na na-verify: [bilang] ng [bilang]; mga correction: [ilarawan]. Mga fact na na-trace sa record: [bilang] ng [bilang]; mga correction: [ilarawan]. Dates at figures na na-check: oo / hindi. Requirement ng korte sa AI disclosure: [walang nahanap / nasunod, ilarawan]. Na-verify ni: [pangalan], [petsa]. Review ng attorney: [pangalan], [petsa].
Anong red flags ang nagsasabing kailangan ng mas malapit na tingin ang isang passage?
May mga pattern na paulit-ulit sa hallucinated output. Sanayin ang reviewers na magbagal kapag nakita nila ang mga ito:
- Isang case na walang nakarinig sa team na perfect na sumusuporta sa point.
- Mga quotation na hindi karaniwang on point o masyadong maayos.
- Mga citation format na medyo off, tulad ng kakaibang reporter abbreviations o page numbers.
- Mga summary o fact section na walang record cites.
- Mga detalyeng tunog-specific, tulad ng oras, amounts, o names, na hindi mo maalala mula sa mga dokumento.
- Pantay-pantay na confidence sa buong text, na walang hedging kung saan hindi naman malinaw ang record.
- Mga event sa chronology na nasa kahina-hinalang maayos na order.
Paano mo sasanayin ang team na mahuli ang hallucinations?
Gawing nakikita ang pagkakamali. Mas kaunti ang nagagawa ng abstract warnings kaysa sa makita ang matatas na maling output sa sarili mong klase ng material.
- Magpatakbo ng maikling session kung saan vine-verify ng staff ang sadyang may-depektong AI draft at ikumpara kung ano ang nahuli nila.
- I-publish ang verification protocol at log template kung saan ginagamit ng lahat.
- Gawing bahagi ng bawat filing checklist ang pangalan ng verifier.
- Balikan ang policy kapag nagbago ang tools, at ibahagi nang bukas ang near-misses para matuto ang iba.
Para sa staff-level guidance, tingnan ang paggamit ng AI bilang paralegal: supervision, verification, at ethics, at para sa review-specific controls, ang ethics ng AI-assisted document review. Ang layunin ay hindi iwasan ang AI kundi bumuo ng proseso kung saan nahuhuli ng mga tao ang mga pagkakamali nito bago makarating sa client o sa korte. Kung ang tanong ay nakasalalay sa disclosure rules ng jurisdiction mo, kumonsulta sa state bar mo o sa licensed attorney kung saan ka nagpa-practice.
