Ang email threading at deduplication ang dalawang pinakamurang paraan para paliitin ang review nang hindi nawawala ang impormasyon, at madalas silang napagkakamalan. Pinipigilan ng deduplication ang eksaktong kopya para isang beses lang mareview ang bawat item. Inaayos ng threading ang mga reply at forward sa mga usapan para mabasa ng mga reviewer nang sunod-sunod, madalas isang beses lang. Kapag magkasama, kaya nilang pababain ang malawak na koleksyon sa kayang hawakang set; kapag pabaya, tinatago nila ang mga recipient, inaalis ang attachment sa email, o pinagsasama ang dalawang mensahe na magkamukha lang.
Ipinapaliwanag ng gabay na ito kung paano gumagana ang bawat technique para sa email, bakit sinisira ng text at chat message ang karaniwang palagay, at isang defensible na workflow para sa mixed message review. Kasama rin ang sample ESI protocol language, dahil anuman ang method na gamitin mo ay dapat ihayag at pagkasunduan bago ang production, hindi ipaliwanag pagkatapos ng challenge.
Ano ang pagkakaiba ng deduplication at threading?
Sinasagot ng deduplication ang “nakita na ba natin ang eksaktong item na ito?” Sinasagot ng threading ang “saan nakalagay ang item na ito sa isang usapan?” Maaaring kailanganin ng isang koleksyon ang dalawa.
| Technique | Ano ang ginagawa nito | Pangunahing panganib |
|---|---|---|
| Exact deduplication | Pinipigilan ang mga item na may magkaparehong hash value | Nawawala ang tala kung sino pa ang may hawak ng kopya |
| Near-duplicate grouping | Pinagsasama-sama ang mga halos magkaparehong item para sa consistent na coding | Itinuturing na ingay ang isang makabuluhang edit |
| Email threading | Pinagsasama ang isang usapan at minamarkahan ang inclusive email | Nami-miss ang recipient o attachment na nasa naunang email lang |
| Message threading | Pinagsasama ang chat ayon sa usapan at participant set | Pinagsasama ang group at one-to-one thread |
Paano gumagana ang hash-based deduplication?
Ginagawa ng hash algorithm ang content bilang fixed-length na fingerprint. Ang magkaparehong content ay gumagawa ng magkaparehong hash; palitan ang isang character at lubos na nagbabago ang hash. Inihahambing ng deduplication ang mga value na iyon at pinapanatili ang isang kopya ng bawat isa. Para sa background, tingnan ang ano ang pinatutunayan ng hash value.
Mga file laban sa email
Para sa loose file, karaniwang kinukuwenta ang hash sa file mismo. Iba ang email: ang parehong mensahe na naka-store sa dalawang mailbox ay karaniwang magkaiba sa byte level dahil sa mailbox-specific na header at storage. Kaya karaniwang kinukuwenta ng review tool ang email hash mula sa mga piling field, gaya ng sender, recipient, subject, sent date, body, at attachment hash. Ang mga field na ginagamit ang nagtatakda kung ano ang bilang na duplicate, kaya alamin ang setting ng tool mo bago mo ilarawan ang mga ito sa opposing counsel.
Global laban sa custodial
Inaalis ng custodial deduplication ang mga kopya sa loob lang ng data ng isang custodian. Inaalis ng global deduplication ang mga kopya sa lahat ng custodian at dapat punan ang field na naglilista ng bawat custodian na may hawak ng item. Kung wala ang field na iyon, tahimik na binubura ng global dedup ang katotohanang may partikular na tao na tumanggap ng mensahe, na maaaring mismong katotohanang pinagtatalunan.
Family-level deduplication
I-dedupe ang email at ang kanilang attachment bilang isang family. Hindi dapat i-suppress ang attachment dahil may magkaparehong standalone file sa ibang lugar, kung hindi ay darating ang produced email nang walang attachment.
Paano gumagana ang email threading?
Binubuo muli ng threading ang mga usapan mula sa email header field, gaya ng message identifier at reply reference, na dinadagdagan ng subject at text analysis. Pagkatapos ay tinutukoy ng tool ang inclusive email, ibig sabihin ay mga mensaheng ang content ay hindi lubos na nasa loob ng mas huling mensahe, karaniwang ang huling email sa bawat branch kasama ang anumang email na may unique na attachment.
Ang pagre-review lang ng inclusive email ay kayang bawasan nang husto ang oras ng pagbabasa, dahil binabanggit ng bawat mas huling mensahe ang mga nauna. Tatlong babala ang nalalapat:
- Nagbabago ang mga recipient. Ang taong na-copy sa maagang mensahe ay maaaring ma-drop mamaya, o na-blind-copy at hindi nakikita sa quoted text. Mahalaga ang metadata ng naunang mensahe.
- Maaaring baguhin ang quoted text. Maaaring i-edit ng sender ang quoted portion ng reply. Ang quote ay hindi patunay ng sinabi ng orihinal.
- Ang review ay hindi production. Ang pag-code ng inclusive email para sa efficiency ay iba sa pag-produce lang ng inclusive email. Kailangan ng kasunduan ang ikalawang hakbang na iyon.
Bakit mas mahirap i-deduplicate ang text message?
Kulang ang text at chat export ng stable identifier na dala ng email, at bihirang magmukhang magkapareho ang parehong mensahe mula sa magkabilang panig ng usapan. Ang byte-level hashing na gumagana para sa email ay madalas na nabibigo dito.
- Dalawang phone, dalawang timestamp. Itinatala ng device ng sender kung kailan ito nagpadala; itinatala ng recipient kung kailan ito dumating. Maaari silang magkaiba, minsan nang malaki kung nakapatay ang phone.
- Mga time zone. Maaaring ipakita ng bawat export ang local time para sa ibang zone, o UTC.
- Magkaiba ang contact name. Ipinapakita ng isang phone ang “Mom,” ang isa ay buong pangalan. Itugma sa number o account handle, hindi kailanman sa display name.
- Nire-recompress ang attachment. Ang larawang ipinadala sa MMS o chat app ay maaaring i-resize habang nasa biyahe, kaya magkaiba ang hash ng dalawang kopya kahit parehong larawan ang ipinapakita.
- Mga reaction at edit. Maaaring ma-export ang reaction bilang hiwalay na text gaya ng Liked na sinusundan ng quoted message, at ang edited o unsent na mensahe ay nae-export nang hindi pare-pareho sa magkakaibang tool.
- Channel fallback. Maaaring lumitaw ang mensahe bilang app message at SMS fallback sa ilang export.
- Group laban sa one-to-one. Ang parehong mga tao ay maaaring magkaroon ng group thread at private thread. Ang pagsasama sa kanila ay mali ang paglalarawan kung sino ang nakakita ng ano.
Paano mo ide-deduplicate ang screenshot laban sa exported message?
Karaniwan ay hindi mo ito magagawa gamit ang hash, at madalas ay hindi mo dapat i-suppress ang screenshot. Ang screenshot ay larawan ng usapan; ang export ay structured data mula sa device. Hindi sila magkakaroon ng parehong hash value, kahit parehong salita ang ipinapakita.
Ang praktikal na paraan ay ituring ang screenshot bilang hiwalay na uri ng ebidensya at i-link ang mga ito sa export sa halip na burahin:
- Kunin ang text mula sa bawat screenshot, pagkatapos ay ipa-correct ito ng reviewer laban sa larawan.
- Itugma ang extracted text sa messages sa export ayon sa sender, approximate time at wording.
- Kapag tumugma ang screenshot, itala ang kaukulang export entry at Bates range, at gamitin ang export bilang primary exhibit kung iyon ang gusto ng attorney.
- Kapag walang tugma ang screenshot, i-flag ito. Maaaring ipakita nito ang message na na-delete bago ginawa ang export, ibang thread, o ibang device, at kailangan ng follow-up sa client ang bawat posibilidad.
- Panatilihin ang original file at fingerprint ng bawat screenshot sa alinmang paraan. Ang screenshot na duplicate ng export ngayon ay maaaring maging importante kung kuwestiyunin ang export mamaya.
Ang cross-referencing na ito rin ang paraan para mahuli mo ang kaso kung saan hindi magkatugma ang screenshot at ang export, na tanong para sa attorney na ayusin bago mag-produce ng kahit ano.
Isang defensible na workflow para sa mixed message review
Ang layunin ay mas kaunting items na babasahin habang traceable pa rin ang bawat source. Gumagana ang sequence na ito para sa email at messages nang magkasama.
- I-preserve at i-fingerprint. Panatilihing hindi ginagalaw ang bawat source export at i-hash ito pagdating. Magtrabaho lang sa copies.
- Alisin ang identical exports. Kung dalawang beses ipinadala ng client ang parehong export file, nahuhuli ito ng file-level hashing.
- I-normalize. I-convert ang lahat ng timestamps sa isang nakasaad na time zone, i-standardize ang phone numbers at email addresses, at i-resolve ang bawat handle sa isang tao sa hiwalay na key.
- I-deduplicate ang emails sa family level. Gumamit ng field-based hashing, at punan ang all-custodians field kung nagde-deduplicate nang globally.
- Itugma ang messages nang conservative. I-merge lang ang high-confidence pairs, at itala ang bawat source kung saan nanggaling ang bawat merged message.
- I-thread. I-group ang email ayon sa conversation at ang messages ayon sa participant set, na pinaghihiwalay ang group at one-to-one threads.
- I-review sa context. Basahin ang message threads sa day-sized o katulad na units sa halip na isolated hits.
- Magtago ng methodology note. Itala ang tools, settings, match rules at counts bago at pagkatapos, para maipaliwanag mo ang proseso kung tatanungin.
Ang tool na tulad ng Message Extractor ang humahawak sa normalization at merge steps para sa karaniwang phone at app exports, inilalagay ang lahat sa isang thread model na may merged duplicates at SHA-256 digest ng output. Anuman ang gamitin mo, trabaho pa rin ng team mo ang human checks sa ambiguous matches.
Ano ang dapat sabihin ng ESI protocol tungkol sa dedup at threading?
I-disclose ang method, panatilihin ang kakayahang i-recover ang suppressed items, at magkasundo sa kung ano ang kasama sa production. Ibangon ito sa conference; sinasaklaw ng ESI meet-and-confer checklist kung saan ito nababagay.
Halimbawang wika ng protocol
Maaaring i-deduplicate ng producing party ang exact duplicates nang globally sa family level gamit ang hash values. Pupunan ng producing party ang All Custodians field na tumutukoy sa bawat custodian na may hawak ng suppressed duplicate. Maaaring gamitin ang near-duplicate analysis at email threading para ayusin ang review ngunit hindi gagamitin para pigilan ang responsive, non-privileged documents, at ipo-produce ang lahat ng responsive non-inclusive emails maliban kung magkasundo ang parties sa iba. Para sa text at chat messages, ang duplicates na nakolekta mula sa higit sa isang device o account ay maaaring i-consolidate lamang kung magkatugma ang sender, conversation, message text at timestamp, at tutukuyin ng producing party ang bawat source kung saan nakolekta ang consolidated message.
Para sa kung paano nagiging production set ang threaded, deduplicated messages, tingnan ang producing text messages in discovery, at para sa hitsura ng consolidated output, tingnan ang isang sample ng merged, paginated message log. Maaaring mag-iba ayon sa forum ang rules na aasahan ng korte, kaya kumpirmahin ang local requirements sa attorney na responsable sa production.
