数据依旧是王者 BERT 正在惊艳改变 NLP?

时间:2019-10-02 来源:www.ldkx.net

?

去年是NLP的收获年,模型预训练技术最终成功地分批应用于多个NLP任务。从事自然语言处理的人总是羡慕从事简历的人。在ImageNet上训练的模型对于完成各种任务非常有效。现在情况有所逆转。从事简历的人已经开始羡慕从事自然语言处理的人。

在BERT发布后不久,NLP社区就被点燃了,众神开始加班工作以增加自己的魔力。发表了许多相关工作。目前,BERT使计算机能够更准确地理解语音并实时进行智能响应,从而使聊天机器人更加智能。

首先,让我们简要回顾一下NLP的历史。在1980年代之前,大多数NLP系统都基于规则,并且植根于美国语言学家Noam Chomsky的工作,后者认为语法规则可以用来理解语义关系,从而引导机器理解语音。然而,在1980年代后期,机器学习算法变得越来越流行,并开始从规则转变为统计模型。随着Word2vec,GloVe和FastText等词的引入,2013年迎来了NLP的下一个飞跃。

读取大量文本并分析每个单词在数据集中不同上下文中的显示方式后,单词嵌入尝试将单词的“含义”封装在向量中。这个想法是,具有相似含义的单词将具有相似的向量。第一代单词嵌入的最大缺点是每个单词只有一个向量,实际上它可能具有多种含义(例如,水星有行星,金属,汽车或罗马神)。这些缺点是由于以下事实:出于效率的原因,早期的词嵌入模型是使用小型神经网络进行训练的(浅层训练)。但是,在Google发布BERT之后,我们确实处于转折点。

BERT如此惊艳的原因。BERT是一种上下文模型,这意味着基于句子中所用单词的上下文生成单词嵌入,因此一个单词可以有多个嵌入。BERT支持迁移学习(transfer learning)。这被称为“NLP的ImageNet时刻。”BERT可以针对一小组特定领域数据低成本、快速度地加以微调,可以获得比从头开始用同样这些特定领域数据集来训练更准确的结果。

摩尔定律依然适用。帮助取得BERT等进步,需要计算机的速度和性能不断提高,尤其是英伟达的GPU和谷歌的TPU。

由于计算的现状和成本,早期的单词嵌入模型不得不很高效,BERT效率低得多,但计算能力完全赶了上来。

英伟达刚宣布它支持BERT,现在声称其AI平台拥有最出色的BERT训练功能。此外,英伟达声称可以获得很快速的响应,实时聊天应用中需要快速响响应。并且,该公司已制定了初创加速计划,帮助对话式AI初创公司。

(责任编辑:DF515)