电子邮件串线和去重,是在不丢失信息的前提下缩小审阅范围的两种成本最低的方法,而且它们经常被混为一谈。去重抑制完全相同的副本,使每一项只被审阅一次。串线把回复和转发整理成对话,让审阅人按顺序阅读,而且常常只需读一次。两者一起使用,可以把庞杂的集合缩到可管理的规模;使用不慎,则会隐藏收件人、把附件从所属邮件中剥离,或者把两条只是看起来相似的消息合并。
本指南说明每种方法在电子邮件上如何运作、为什么短信和聊天消息会打破通常的假设,以及一套可用于混合消息审阅的站得住脚的工作流程。其中也包括 ESI 协议的示例表述,因为无论你采用哪种方法,都应在出示之前披露并取得一致,而不是在遭到质疑之后才解释。
去重和串线有什么区别?
去重回答的是“我们以前见过这一完全相同的项目吗?”串线回答的是“这一项目在对话中处于什么位置?”一个集合可能两者都需要。
| 方法 | 它能做什么 | 主要风险 |
|---|---|---|
| 精确去重 | 抑制哈希值相同的项目 | 无法追踪还有谁持有该副本 |
| 近似重复分组 | 将高度相似的项目分组,以便编码一致 | 把有意义的修改当成噪声 |
| 电子邮件串线 | 将一段对话归组,并标出包容性邮件 | 遗漏仅出现在较早邮件中的收件人或附件 |
| 消息串线 | 按对话和参与者集合对聊天分组 | 把群聊线程和一对一线程合并 |
基于哈希的去重是如何运作的?
哈希算法把内容变成固定长度的指纹。内容相同,哈希就相同;改动一个字符,哈希就会完全改变。去重会比较这些值,并只保留每一份的一个副本。背景说明见哈希值能证明什么。
文件与电子邮件
对于散落的文件,哈希通常是对文件本身计算的。电子邮件则不同:同一封消息存放在两个邮箱中时,由于邮箱特有的标头和存储方式,逐字节通常并不相同。因此审阅工具通常根据选定字段计算邮件哈希,例如发件人、收件人、主题、发送日期、正文和附件哈希。使用哪些字段决定了什么算作重复项,所以在向对方律师说明之前,先弄清你所用工具的设置。
全局与按保管人
按保管人去重只在一名保管人的数据内删除副本。全局去重则在所有保管人之间删除副本,并应填写一个字段,列出持有该项目的每一位保管人。没有这个字段,全局去重就会悄无声息地抹去某个人收到过某条消息这一事实,而这恰恰可能是争议所在。
文档族层面的去重
把电子邮件及其附件作为一个文档族来去重。不应因为别处存在一份相同的独立文件就抑制附件,否则出示的电子邮件会在没有附件的情况下到达。
电子邮件串线是如何运作的?
串线根据电子邮件标头字段重建对话,例如消息标识符和回复引用,并辅以主题和文本分析。工具随后识别包容性邮件,即其内容并未完全包含在后续邮件中的消息,通常是每个分支的最后一封邮件,以及任何带有独特附件的邮件。
只审阅包容性邮件可以大幅缩短阅读时间,因为每封后续邮件都引用了较早的邮件。有三点需要注意:
- 收件人会变化。较早消息上被抄送的人,后来可能被去掉,或者被密送,因而在引用文本中看不见。较早消息的元数据很重要。
- 引用文本可能被改动。发件人可以编辑回复中的引用部分。引用并不能证明原文是怎么说的。
- 审阅不等于出示。为了提高效率而对包容性邮件编码,与只出示包容性邮件是两回事。后一步需要达成一致。
为什么短信更难去重?
短信和聊天导出缺少电子邮件所带的稳定标识符,而且同一条消息从对话双方看来很少完全一样。对电子邮件有效的逐字节哈希,在这里常常行不通。
- 两部手机,两个时间戳。发送方的设备记录的是发出时间;接收方记录的是到达时间。两者可能不同,如果手机当时关机,有时差别会很大。
- 时区。每次导出显示的本地时间可能属于不同时区,也可能是 UTC。
- 联系人名称不同。一部手机显示“Mom”,另一部显示全名。应按号码或账号标识匹配,绝不要按显示名称匹配。
- 附件会被重新压缩。通过 MMS 或聊天应用发送的照片,可能在传输中被调整大小,因此两份副本的哈希不同,尽管显示的是同一张图片。
- 回应和编辑。一条回应导出后可能变成单独的文本,例如 Liked,后面跟着被引用的消息;已编辑或已撤回的消息在不同工具中的导出也不一致。
- 信道回退。在某些导出中,一条消息可能既作为应用消息出现,又作为 SMS 回退出现。
- 群聊与一对一。同一批人既可以有群聊线程,也可以有私聊线程。把它们合并会歪曲谁看到了什么。
如何把截图与导出的消息进行去重?
通常无法用哈希做到,而且往往根本不该抑制这些截图。截图是一段对话的图像;导出则是来自设备的结构化数据。即便显示的是同样的文字,它们也绝不会共享同一个哈希值。
切实的做法是把截图当作单独的证据类型,并把它们链接到导出内容,而不是删除:
- 从每张截图中提取文本,再由审阅人对照图像加以更正。
- 按发送人、大致时间和措辞,将提取出的文字与导出文件中的消息进行匹配。
- 若截图能够对应上,记下相应的导出条目和 Bates 范围;如果律师更希望如此,则以该导出文件作为主要证物。
- 若截图无法对应,请将其标出。它可能显示的是导出前已删除的消息、另一段对话,或另一台设备上的内容,每一种可能都需要向客户跟进。
- 无论哪种情况,都保留每张截图的原始文件和指纹。今天与导出内容重复的截图,日后若导出文件受到质疑,可能会变得重要。
这种交叉核对也能发现截图与导出内容不一致的情况,而这需要由律师在出示任何材料之前解决。
混合消息审阅的可辩护工作流程
目标是减少需要阅读的条目,同时让每个来源仍然可以追溯。这一顺序对电子邮件和消息可以一起使用。
- 保全并生成指纹。 保持每一份来源导出文件原样不动,并在收到时计算其哈希。只在副本上开展工作。
- 去除完全相同的导出文件。 如果客户把同一份导出文件发送了两次,文件级哈希可以发现。
- 规范化。 将所有时间戳转换为同一个已说明的时区,统一电话号码和电子邮件地址的格式,并在单独的对照表中把每个账号名对应到具体的人。
- 在家族层级对电子邮件去重。 使用基于字段的哈希;若进行全局去重,则填写全部保管人字段。
- 谨慎匹配消息。 只合并高置信度的配对,并记录每条已合并消息的每一个来源。
- 建立对话串。 按会话对电子邮件分组,按参与者集合对消息分组,并将群组对话串与一对一对话串分开。
- 结合上下文审阅。 以一天或相近大小为单位阅读消息对话串,而不是孤立的命中项。
- 保留方法说明。 记录工具、设置、匹配规则以及处理前与处理后的数量,以便在被问到时能够说明这一过程。
像 Message Extractor 这样的工具可以处理常见手机和应用导出文件的规范化与合并步骤,将所有内容放入同一个对话串模型,合并重复项,并生成输出的 SHA-256 摘要。无论使用什么工具,对存在歧义的匹配进行人工核对,仍是你们团队的工作。
ESI 协议对去重和对话串应如何规定?
披露方法,保留恢复被抑制条目的能力,并就出示范围达成一致。在会商会议上提出这一点;ESI 会商清单说明了它在流程中的位置。
协议用语示例
出示方可以使用哈希值,在家族层级对完全重复项进行全局去重。出示方将填写全部保管人字段,标明持有每一份被抑制重复项的保管人。近重复分析和电子邮件对话串可用于组织审阅,但不得用于扣留具有回应性且不享有保密特权的文件;除非双方另有约定,所有具有回应性的非包含性电子邮件均应出示。对于短信和聊天消息,从不止一台设备或一个账户收集到的重复内容,仅在发送人、会话、消息正文和时间戳均对应时方可合并,出示方应标明每条已合并消息所收集自的每一个来源。
关于经过对话串处理和去重的消息如何成为一套出示材料,请参阅在证据开示中出示短信;关于合并后的输出是什么样子,请参阅一份已合并、已分页的消息记录样本。法院期望的规则可能因法庭而异,因此请与负责此次出示的律师确认当地要求。
