周五晚7点ACL2021：西湖大学直播分享会

周五晚7点ACL2021：西湖大学直播分享会

分享主题

ACL2021 西湖大学直播分享会

分享时间

7月2日（周五）晚7点

活动流程

19:00-19:30

分享嘉宾：白雪峰

分享主题：语义表示在对话建模中的应用

19:30-20:00

分享嘉宾：鲍光胜

分享主题：文档级别机器翻译模型G-Transformer

20:00-20:10

观众互动提问环节

分享嘉宾一：白雪峰

白雪峰，西湖大学和浙江大学联培的博士生，目前二年级，导师是张岳教授。本科和硕士毕业于哈尔滨工业大学计算机学院。主要研究方向为图神经网络和文本生成。

分享主题：

语义表示在对话建模中的应用

分享概要

现有的对话系统大多使用基于序列的神经网络对对话进行建模。尽管取得了较大的成功，但这种基于序列的神经网络在建模对话时面临如下两个挑战：

1）对话长度较大并且存在噪声，导致难以提取关键语义信息。

2）相比于书面语言，对话的表达方式更加灵活，导致输入空间更稀疏，放大了神经网络模型缺乏泛化性的缺点。

为了缓解这些问题，我们提出在对话建模过程种引入结构化语义表示（本文中特指 abstractive meaning representation, AMR）。相比于文本，语义表示的特点是:

1) 抽象并强化了核心语义单元。

2) 对于不同的输入具有更强的鲁棒性。

具体而言，我们提出了一个自动方法来将句子级别的语义表示扩展为对话级别的语义表示，并探索了两种方式来将对话级别的语义表示融入到现有的神经对话系统中。

我们分别在对话理解和对话回复生成两个任务上进行了实验评估，结果表明我们所提模型在相应数据集上都取得了SOTA效果。

论文：

Xuefeng Bai, Yulong Chen, Linfeng Song, and Yue Zhang. Semantic Representation for Dialogue Modeling. ACL, 2021.

论文地址：https://arxiv.org/abs/2105.10188

代码：https://github.com/muyeby/AMR-Dialogue

分享提纲

1、背景和研究动机

2、对话级别的语义表示构建

3、将对话语义表示融入到神经对话系统中

4、实验验证

5、分析

分享嘉宾二：鲍光胜

鲍光胜，西湖大学张岳教授实验室研究助理，毕业于中国科学技术大学。主要研究方向为文本生成，包括摘要生成、机器翻译、对话生成等。

分享主题

文档级别机器翻译模型G-Transformer

分享概要

文档级别的机器翻译不同于句子级别的机器翻译，可以利用文档上下文帮助理解每个句子，在提升句子翻译效果的同时提升前后上下文的连贯性和一致性。

当前的一些研究工作主要在句子级别机器翻译模型上进行扩展，引入一定的上下文建模能力，比如考虑前后4句。最近的研究工作mBART尝试使用Transformer对整篇文档的翻译进行建模，虽然在预训练模型上取得了较好的效果，但是在使用随机初始化时Transformer却训练失败。

我们研究了Transformer失败的原因，并提出了G-Transformer，通过对源文档和目标文档之间的语句的对齐进行建模，大大降低注意力的搜索范围。实验表明G-Transformer比Transformer收敛更稳定速度更快，在三个不同领域不同大小的基线数据集上取得SOTA结果。

论文：

G-Transformer for Document-level Machine Translation

论文地址：https://arxiv.org/abs/2105.14761

代码：https://github.com/baoguangsheng/g-transformer

分享提纲

摔跤狂热大赛2011 http://www.cityruyi.com/lm-4/lm-1/7074.html