中科院自动化所提出BIFT模型面向自然语言生成同步双向推断_[#第一枪]

雷锋网 AI 科技评论消息，本文作者中国科学院自动化研究所张家俊，他为 AI 科技评论撰写了基于 BIFT 的独家解读。正文内容如下：

前言：

概括地讲，自然语言处理包括两大任务：自然语言文本理解和自然语言文本生成。自然语言文本理解就是让机器洞悉人们所言之意，自然语言文本生成旨在让机器像人一样表达和说话。文本理解的关键在于对已知文本的上下文表征和建模，而文本生成的本质是在文本理解的基础上准确流畅地产生自然语言文本。

自然语言理解既可以利用上文信息也可以利用下文信息，高效的双向编码能力正是 BERT 成功的关键因素之一。但是，自然语言生成由于都默认自左往右地逐词产生文本输出，预测某个时刻的输出只能利用上文的历史信息而无法访问还未生成的未来信息。例如将汉语句子“有五个人”自动翻译为英语时，从左到右的理想预测结果是“There”、“are”、“five” 和“persons”。虽然“persons”能够判别第二个词语应该是“are”而不是“is”，但是由于在预测第二个单词时，只能依赖已经产生的单词“There”，而无法参考还未生成的“five”和“persons”。这个简单的例子就能反映出传统自左往右自然语言生成的弊端。我们提出的 BIFT 希望打破这种文本生成模式，采用同步双向推断模型为每个时刻的预测同时提供历史信息和未来知识。通过大量实验，我们发现 BIFT 相比于当前最好的模型，在几乎不牺牲效率的前提下能够获得十分显著的性能提升， 并且已经成功应用于在线机器翻译系统，相关代码和使用说明请参考 Github

其他批发

环保焊锡丝货源

保护壳价格

轴瓦及连杆瓦