近年来，专利行业开始使用机器学习（ML）算法来提高商业实践的效率和洞察力。

任何与专利相关的公司、专利局或学术机构，通过创新产生专利，处理有关专利的申请，或者开发复杂的分析方法将受益于在谷歌云中进行专利分析和机器学习。

今天，我们很高兴发布一份白皮书，概述了在美国和其他国家超过1亿份专利出版物上培训BERT（来自变形金刚的双向编码器表示）模型的方法使用开源工具的国家。本文描述了如何将训练好的模型用于许多用例，包括如何更有效地执行现有技术搜索以确定专利申请的新颖性、自动生成分类码以辅助专利分类以及自动完成。白皮书还附带了一个colab笔记本以及GitHub托管的训练有素的模型。

谷歌在2018年发布的BERT模型（论文、博客文章和开源代码）是一个重要的突破，利用transformers超越了其他领先的最先进模型，包括GLUE、MultiNLI、，还有小队。在发布后不久，BERT框架和许多附加的基于转换器的扩展在搜索、聊天机器人和翻译等领域获得了广泛的行业采用。

我们认为，由于专利的技术特点以及它们的业务，专利领域应用BERT等算法的时机已经成熟价值观。从技术上讲，专利语料库庞大（每年在全球范围内发布数百万项新专利）、复杂（专利申请通常平均约10000字，通常由发明家、律师和专利审查员精心编写）、独特（专利是用专业化程度很高的"法律术语"编写的，外行可能无法理解读者），并且高度依赖于上下文（许多术语在不同的专利中用来表示完全不同的事物）。

专利对许多组织来说也代表着巨大的商业价值，随着公司每年花费数百亿美元开发可专利技术并处理由此产生的技术的使用权，世界各地的专利局每年花费额外的数十亿美元审查专利申请。

我们希望我们的新白皮书及其相关代码和模型能有所帮助更广泛的专利社区在其应用的ML，公众号返利系统，包括：

要了解更多，全国大数据中心，您可以下载完整的白皮书，个人如何建站，colab笔记本，和培训模型。此外，请参阅谷歌专利公共数据集：连接公共、付费和私人专利数据，使用ML和BigQuery扩展专利集，大数据分析应用，使用谷歌专利公共数据集测量专利申请广度，以获取更多教程，什么是物联网，帮助您开始在谷歌云中进行专利分析。