当超过1300万份详细描述世界上一些最著名的人物和组织的海外活动的秘密文件落入记者之手时，这就带来了一个令人兴奋的两难境地。这些数据具有潜在的爆炸性，但你如何提取出数以百万计的PDF文件和电子邮件中的信息，更不用说梳理出利益相关者有意隐藏的复杂关系呢？这就是一年前，德国报纸《求是报》获得了一批如今被称为《天堂报》的记录，这就是国际调查记者联盟面临的挑战。这些文件包括离岸律师事务所Appleby Group Ltd.和家族信托公司Asiaciti trust Singapore Pte.Ltd.在近50年中积累的近700万份贷款协议、财务报表、电子邮件、信托契约和其他文书。"这是一堆杂乱无章的不同来源。我们必须找到线索、姓名和联系，"ICIJ跨境调查的首席研究员Emilia Díaz Strike说。ICIJ是一个由70个国家的200多名调查记者组成的全球网络，他们合作对跨境问题进行调查性报道。但该组织有经验和技术可以帮助。苹果公司和一个著名的调查团队，通过一个名为"苹果公司"和"全球公司"的知名人士的调查，帮助他们在长达380年的调查中发现了大量的数据。，U、 美国商务部长威尔伯·罗斯（Wilbur Ross）和许多美国大政治捐赠者利用离岸控股公司和避风港隐藏投资或逃避缴纳美国税收。他们的工作被世界各地的新闻机构所接受，并导致了高管辞职和税制改革的呼声。数据新闻学他们的工作就是一个例子，说明大数据如何与老式的鞋皮相交叉，从而彻底改变了报告的技巧。""我不知道如果没有技术，我们怎么能完成这么大的项目，"记者斯宾塞·伍德曼（Spencer Woodman）说，他报道了克里姆林宫旗下公司在Twitter公司和Facebook公司等领域的投资。ICIJ处于所谓"数据新闻"的前沿。两年前，该组织是1150多万份财务和法律记录的受益者，这些记录记录了涉及一些著名公众人物和外国政府的广泛犯罪和腐败行为。巴拿马文件为该组织赢得了普利策奖，被认为是数据新闻学的里程碑。ICIJ为巴拿马文件开发的一些工具被带回帮助组织天堂文件项目。一个是Extract，这是一个开源工具，可以从各种各样的文档格式（包括PDF文件和图像）中提取文本和元数据。这对梳理天堂文件宝藏中的数百万PDF文档非常有用。Extract甚至可以将光学字符识别应用到扫描的文档中，将大量的文本变成结构整齐的行和列。"这项技术可以帮助你根据关键术语或文件的结构方式提取信息，"Diaz Strike说例如，您可以从PDF中生成与特定公司有联系的人员的电子表格。"查看连接美国政治大捐赠者特朗普捐赠者玩离岸游戏的互动图。来源：ICIJ另一个关键工具是Neo4J，它是Neo4J公司的一个图形数据库引擎。图形数据库是一种NoSQL数据库，它将数据表示为称为节点、边和属性的对象。它们不是在行和列中存储信息，而是将非结构化数据作为对象之间的连接来管理。例如，图形数据库可以确定一个人名下的帐户可能由该人的配偶间接控制。由帐户持有者索引的关系数据库将无法发现这种联系，除非明确声明。事实证明，这种能力对天堂报的记者至关重要，因为他们需要寻找经常跨越多个分离度的关系。"Diaz Strike说："图形数据库为您提供了许多清晰的信息，帮助您找到数百万文档中不明显的连接。"我们可以看到高管与股东、董事与基金会之间的联系。这些都是研究的关键部分。"为了可视化这些连接，该团队使用了Linkurious，一个来自巴黎Linkurious SAS的图形数据库引擎可视化工具。可视化对于帮助不是数据科学家的记者了解复杂的实体网络是如何相互关联的非常重要。迪亚兹·斯泰克说，这项任务太大，人类无法完成。她说："如果你搜索‘威尔伯·罗斯’，你会找到数千份文件，但通过Linkurious，你可以看到Appleby在海外服务的所有公司，这些公司将罗斯列为股东。"这显示了他与Appleby之间的联系有多大和多么重要。"ICIJ网站上的论文中，许多具有关联性的视觉效果都是以信息图形的形式出现的。把一切联系在一起的是全球I-Hub ICIJ，一个类似Facebook的协作平台，记者可以使用它来分享调查结果和寻求帮助。ICIJ编辑兼作家玛莎•汉密尔顿（Martha Hamilton）说："我们创建了许多小组，包括国家、实体和主题，如游艇和私人飞机。"当人们遇到与这个话题相关的事情时，我们把它放在小组中。你可以发布一个问题，因为其他人可能正在查看相同的数据，所以你不必自己去找。"有些事情是不会改变的美联社（associatedpress）可能正在用机器人撰写企业盈利报道和高中体育活动，但调查性新闻报道仍然需要人的触摸。尽管这些工具在解码和组织信息方面很出色，但还是要由个别的记者和编辑来完成，这通常是一项乏味的任务。""当你仔细研究的时候，我做的很多事情都是在寻找，"伍德曼说。汉密尔顿说："这是一项枯燥乏味的工作，要翻阅大量文件，丢弃大部分文件，然后试图弄清楚是否找到了你要找的人，还是其他52个同名的人。"。技术有助于找到海外账户持有人，但记者仍需致电受试者核实信息并获得回复。伍德曼说，有些人一开始不回答，但在面对文件时却有所让步。这是数据新闻业改变规则的另一种方式。天堂文件的揭露还没有结束。自从11月6日关于苹果海外控股的爆炸性报道首次出现以来，又出现了20多条新闻。ICIJ承诺将大部分源数据发布给任何人下载和分析，这意味着未来的发现可能来自任何地方。该组织还提供了开源摘录和全球I-Hub，供其他资源紧缺的媒体机构使用。数据新闻改变了游戏吗？资深作家兼编辑玛莎·汉密尔顿（Martha Hamilton）这样认为。""这是一种新的新闻风格，"她说这种合作在15年前是不可能的。"资料图：国际调查记者联盟既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。