ACL 2018｜斯洛伐克理工大学：用户评论意见综述
这是读芯术解读的第137篇论文
ACL 2018 Student Research Workshop
用户评论意见综述
Towards Opinion Summarization of Customer Reviews
斯洛伐克理工大学
Slovak University of Technology
本文是斯洛伐克理工大学发表于 ACL 2018 的工作，针对评论类门户网站如Yelp或Amazon上海量评论数据的分析处理问题，提出了一种基于神经网络的方法，在用户生成的旅行评论上生成摘要，并考虑意见随时间推移发生变化的情况。我们概述了未来关于摘要生成的核心方向，并通过解决这些存在的问题，帮助评论网站的用户做出更明智的决定。
引言
近年来，随着网络的日益普及，可用的文本语料库数量迅速增长。用户每天产生大量的文本。由于文本中包含了大量的文本和信息，因此人们不可能阅读所有的文本，从而导致信息过载。对于一个普通人来说，即使他只阅读所有最相关的文本，也不可能阅读完。文本摘要的任务由来已久。50年代后期，Luhn试图自动创建文档摘要。几十年来，有许多摘要系统处理不同形式的摘要。这项任务属于自然语言处理中最具挑战性的任务之一。文本摘要的任务对于决策或相关性判断尤其重要。
自动文本摘要是一项非常有用的工作，也是帮助用户无需阅读所有的原始文档，却能获得尽可能多信息的重要工具。文本摘要可以定义为由一个或多个文本生成的文本，这些文本包含与原始文本相同的信息，并且不超过原始文本的一半。Mani将摘要的目标定义为查找信息源、从中提取内容并以简洁、对用户需求敏感的方式，向用户呈现最重要内容的过程。
我们可以将摘要技术分为两类：抽象性摘要和提取性摘要。提取性摘要旨在选择原始文档的一部分，如部分句子、整句或段落等。抽象性摘要旨在获取衔接性好、精炼，且很好的保持原文释义的输出摘要。在提取性摘要中选择部分文本，会导致丧失一部分衔接性，而抽象性摘要却可以保持。
近几年来，基于神经网络的方法变得越来越流行。文本摘要的一个特定分支是从人为生成的文本中摘要观点。我们可以摘要客户评论或社交网络上的意见。由于存在许多重复和冗余信息，这个问题与标准摘要任务不同。不同用户之间的观点极性也存在问题。这种类型的摘要对于产品的用户和产品的所有者都是非常有用的。意见摘要对于决策具有特别重要的意义。这种摘要类型还可以显示从社交网络上的评论中收集的意见趋势，尤其是当许多文本条目增长非常快时。
在本工作中，我们还讨论了意见摘要的具体问题：客户评论的情感分析。在摘要任务中，情感信息可以与文本语料库本身一起作为输入之一。文本片段的情感和整个摘要的情感之间的差异是一个非常有趣的需要考虑的方面。
本文的核心贡献是：（1）综述意见摘要的最新发展，（2）组建相当大的意见摘要数据集（来自基于旅行的门户），（3）基于最新神经网络架构的新颖的意见摘要方法。
意见挖掘与摘要
意见摘要是一种特殊类型的摘要。产品和服务以及社交网络上的评论可能包括数百个条目，并可能导致信息过载。观点的重复是与新闻摘要的主要区别之一。用户生成的文本往往显著区别于通常被广泛修订的新闻文本。
用户意见摘要
产品评论的意见摘要是最常见的意见摘要的例子。这些评论通常来自像Amazon这样的电子商店。
Opinosis项目提出了一个基于图谱的摘要框架。该框架试图生成高度冗余意见的抽象式摘要。作者表明，与基准提取方法相比，他们的摘要与人类摘要具有更好的一致性。基于方面（aspect）的情感分析可以帮助基于对产品特征的积极和消极意见生成结构化摘要。该系统不仅考虑句子信息，还考虑来自其他句子或评论的信息片段，称为背景信息。作者还指出，词的极性在一个域内甚至可以不同。不同于其他处理情感极性的意见摘要系统，另一项研究将意见摘要归纳为群体领导的检测问题。作者提出了基于图谱的产品评论信息句子识别和评价方法。研究提出了在句子图谱中进行领导检测的算法。Gist系统旨在处理大量的文本，并将其自动摘要成信息丰富、可操作的关键语句。Gist试图将原始评论摘要成短文，包括几个关键句子，这些句子将捕捉到关于产品的总体情感。
群体答案(Community Answers)摘要
伴随着对客户评论的摘要，一个非常重要的摘要类型考虑将社交网络上的评论或问答（QA）系统中的回答作为输入条目。在这种形式文本条目上的研究可辅助进行决策。
Wang等人提出了一种基于子模块的功能框架，该框架可用于query-focused意见摘要。作者在QA和博客数据集上评估了该框架。统计学习到的句子相关性以及与不同主题相关的信息覆盖被编码为子模块函数。Lloret等人既处理社交网络中意见摘要，也处理产品评论中的意见。其特点是综合了句子简化、句子再生和摘要任务中的内部概念表达。该方法试图能够生成抽象的摘要。Guo等人提出了高度对比的意见摘要模型，特别是对于有争议的问题。他们把专家意见与普通意见结合起来，创造出对比句对的输出。该研究还提出了这种方法，作为用户更好地概括有关争议问题的的统一意见。Wang等人对电话会话语料库进行了注释，研究了两种摘要提取的方法：基于图结合话题和情感信息的摘要提取方法和将话题和情感信息作为分类问题的监督方法。Li等人的研究还涉及博客中的意见摘要，基于最近的深入学习研究提出了一种用于意见摘要的卷积神经网络，最大边缘相关性用于提取代表性意见句。Tsirakis等人提出了一个非常重要的问题：在社交媒体上发表的意见数据的数量和波动性。他们讨论了大多数方法只处理少量数据，这些方法非常有效，但通常不会扩大规模。
未来方向
正如前面章节中所述，在摘要生成中仍然存在许多挑战。通常应用于新闻文章的标准文本摘要仍然涉及抽象性摘要的问题。文本摘要技术可以处于不同的抽象级别，并且通常不是完全抽象的。
另一个巨大的挑战在于对英语以外的语言的摘要。大多数方法只用英语进行评估，有趣的是其他方法的评估及其细节。另一个方面可以是对多种语言的摘要，其中输入文本不需要仅使用一种语言。
在评估阶段存在一个重要的问题。自动评估是非常有争议的，因为不存在一个正确的摘要。像ROUGE这样的自动评估措施，可以使用n-gram来处理这些问题，但是仍然不能处理同义词的使用。基于基本真理的多重表述的相同问题也可能导致人类评价的问题。用更多的人类参与者评估的实验必须处理不同用户之间的低一致性。
在未来几年中，我们期望意见摘要能够处理领域细节，并提高用户满意度。未来用户生成内容的持续增长，将导致关注于减少信息过载的研究，如文本摘要越来越重要。
研究建议
正如我们前面所描述的，我们希望集中于一种特定类型的摘要：意见摘要的创建。如今，旅游网站包括数以千计的用户评论数据。这些评论对于未来可能的用户决策非常重要，而且对于网站所有者也是如此。由于每天有数十篇新的评论，用户不可能阅读所有的评论，而且通常很难只选择相关的评论。对于网站所有者来说，不可能手动阅读所有对服务改进非常有帮助的评论。
神经网络以及文本摘要的最新进展表明，采用编码器-解码器架构是非常有用的。客户评论的摘要问题不同于以前应用模型的标准单文档摘要。在这个任务中，我们应该考虑多模块框架。着重提高用户对评论摘要的满意度，以及检查意见摘要的时间方面。
意见摘要应分几个阶段进行：1.方面检测，2.聚类意见特征，3.句子生成。
在客户评论的意见摘要中，时间范围常常是一个被忽视的特征，因为客户的意见可以以一种积极的，但也是一种消极的方式随着时间的推移而发展。我们创建时间来处理聚类意见的信息以及关于评论者的其他信息，这些信息可以辅助建立准确性更好的摘要，提高最终用户对输出摘要的满意度。另一个值得讨论的重要问题是，在观点摘要任务中采用端到端的深度学习。主要问题是缺乏大数据集，这种数据集的构建是昂贵的，如果手动执行的话，可能需要数百个小时。
为了创建适当的数据集，我们从大型旅游门户（例如，TripAdvisor，Booking.com）收集客户评论。所有的评论都伴随着其他有用的信息，比如分数排名，这也应该包括在内。然而，任何有关评论者的公共信息也可能非常有用，因为它表明了评论的相关性和重要性。
为了评估生成的摘要的质量，需要进行一些实验。我们必须创建我们的标注摘要来自动评估摘要的质量。由于这种类型的评估非常耗时且难以获得资源，因此对于生成摘要的质量评估，后验评估是更可行的方法。对于意见摘要来说，比较生成的摘要的情感和原始输入评论的情感是非常有趣的。人工评估中，我们希望为用户提供原始评论的列表、生成的摘要并询问他们的满意度。我们还使用了一些其他的自动测量，如ROUGE，并将生成的摘要与人工创建的摘要进行比较。另一个重要测量是方面（aspect）覆盖和从原始评论生成的摘要中包括的方面（aspect）的比率。
总结
在本文中，我们描述了摘要任务的背景。更重要的是，我们描述了这个领域最近的贡献和发展，以及研究中涉及的许多问题。强调了摘要过程中存在的主要问题及今后的研究方向，特别是对意见摘要的研究方向。我们还介绍了我们未来的研究方向，以及最初的实验和可能的模型和数据集的设计。我们论证了摘要任务，且在接下来的几年里意见摘要还有很多开放性问题值得研究。