Skip to main content

[paper阅读]使用层次解析结构来增强查询理解(一)

这一周主要初步了解了下查询理解领域的基础知识,先简单介绍下《Query Understanding Enhanced by Hierarchical Parsing Structures》论文的摘要和背景介绍部分,下周将会介绍具体的方法以及实验结果。

摘要

在信息检索领域和口语理解领域都已经对查询理解有了比较好的研究。一般说来,查询理解有三个层次:领域分类/用户意图探测/语义标注等。在真实系统中,可以使用分类器来进行领域分类和兴趣探测,而语义标注(或空位填充)一般可以定义为一个序列标注任务——将单词的序列映射到标签的序列。在学习标签预测模型的过程中,可以从标注的查询中提取出大量统计特征(例如,n-grams);但是,在特征提取过程中,一般会忽略查询的语义特征(例如:层次结构和语义关系)。在本篇文章中,作者们提出了一个利用层次解析树编码语义知识的方法用于查询理解。特别地,对于自然语言查询,作者们从查询解析树中提取了一系列句法的结构特征和语义依赖特征来增强推断模型学习。在真实自然语言查询的实验表明:使用语义知识增强的序列表示模型可以提升多个领域的查询理解性能。

背景介绍

任务:给定一个用户的口语/文本查询,挑战是理解用户的意图以及翻译查询的语义细节,用作系统进行下一步的操作(例如,检索信息/继续对话/执行命令)。查询理解需要三个关键的组件:(1). 领域分类,(2). 用户意图探测,(3). 语义标注。

例如,给定一个查询:play the trailer for the movie starring Johnny Deep and featuring Caribbean pirates,领域分类为:电影,用户意图为:播放预告片,关键的语义概念(或槽)为|Actor| Johnny Deep |/Actor||Plot|Caribbean pirates|/Plot|

在文本/口语查询(或者表达中)已经有许多关于语义标注的研究工作[1][2][3][4][5],例如,使用CRFConditional Random Field,条件随机场)用于标签序列预测[6]。当然,也有一些别的研究来提高查询理解的性能,例如,通过从网站或用户查询中学习词典[7][8][9],或者通过对领域/意图/槽进行综合的建模[10][11][12]。通常用于学习语义标注模型的特征包括:转换特征/词典/n-gram/正则表达等[5][9][13]。然而,在特征提取过程中,经常会忽视查询的语义特征(例如:长句语义依赖以及层级句法结构)。如果利用得好的话,这些结构信息可以潜在地提升查询解析,特别是对于那些有复杂句法/语义结构的查询。因此,从解析层次中利用语义知识对于提高自然语言查询中的语义理解是非常有希望的研究方法。

最近,也出现了一些融合方法的研究,在语义解析和语义角色标注中融合语义知识。例如,[14][15]提出了一个层次的综合学习模型用于基于CRF-CFGConditional Random Field - Context-Free Grammer,条件随机场,上下文无关的语法解析器)解析器的解析和命名实体识别。[16]提出了一个新颖的方法:直接使用表达的语义先验知识 的非映射对数线性依赖树的半监督学习。针对语义角色标识,研究人员提出了一个框架用于将句法解析信息(例如,语义和结构约束)融合到一个综合的推断模型中[17]。对于查询理解,也有关于使用一个混合的/上下文无关的语法解析器用于网页查询标识的研究,构建一个依赖于领域的条件随机场,在概率解析器之上使用一个有区别性的模型来对查询的N佳解析树进行排序。

在本篇文章中,作者调研了不需要依赖领域的语法的/利用语义解析结构的方法。作者主要关注有复杂组成类型的查询,如图1所示。这种类型的查询可能会有较长的分割(例如,情节描述从句),使用一般的模式例如词典或者正则表达很难获取。另一方面,语义解析知识在这种情形下可以发挥非常重要的作用,其中,查询的结构信息(例如,子从句和子句)通过层次解析树进行表示。因此,对于这类有复杂语义的自然语言查询,作者提出了一系列句法结构特征(例如,从句级别的子树)来利用一个查询的层次信息,以及一系列语义关系特征(例如,动词-参数关系/长句依赖等)用于推断模型学习。这些语言学特征可以从不依赖于领域的解析器生成的查询解析树中提取出来。然后可以部署这个增强的模型到检索系统中用于编译用户的输入:当用户将一个自然语言查询提交到系统之后,系统将会立即通过不依赖于领域的解析器来解析口语/文本的查询(或表达),其它的语义特征将会在推断标签预测的过程中考虑进来。


图1 liza minnelli and joel gray won oscars for their roles in this 1972 movie that follows nightclub entertainers in berlin as the nazis come to power 的语义标识

参考文献

[1] X. Li. Understanding the Semantic Structure of Noun Phrase Queries. In Proc. of ACL, 2010.
[2] D. Hakkani-Tr and G. Tur. Tutorial on Spoken Language Understanding. In Proc. of ICASSP, 2007.
[3] Y. Wang, L. Deng, and A. Acero. Spoken Language Understanding — An Introduction to the Statistical Framework. In IEEE Signal Processing Magazine, 2005.
[4] S. Hahn, P. Lehnen, C. Raymond, and H. Ney. A Comparison of Various Methods for Concept Tagging for Spoken Language Understanding. In Proc. of LREC, 2008.
[5] M. Dinarelli, A. Moschitti, and G. Riccardi. Re-Ranking Models For Spoken Language Understanding. In Proc. of EACL, 2009.
[6] J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In Proc. of ICML, 2001.
[7] M. Pasca and B. Van Durme. Weakly-supervised Acquisition of Open-domain Classes and Class Attributes from Web Documents and Query Logs. In Proc. of ACL-HLT, 2008.
[8] Y. Wang, R. Hoffmann, X. Li, and J. Szymanski. SemiSupervised Learning of Semantic Classes for Query. Understanding – from the Web and for the Web. In Proc. of CIKM, 2009.
[9] J. Liu, X. Li, A. Acero, and Y. Wang. Lexicon Modeling for Query Understanding. In Proc. of ICASSP, 2011.
[10] A. Celikyilmaz and D. Hakkani-Tur. A Joint Model for Discovery of Aspects in Utterances. In Proc. of ACL, 2012.
[11] M. Jeong and G. G. Lee. Triangular-chain Conditional Random Fields. IEEE Transactions on Audio, Speech and Language Processing (IEEE-TASLP), 2008.
[12] Y-Y. Wang. Strategies for Statistical Spoken Language Understanding with Small Amount of Data – An Empirical Study. In Proc. of Interspeech, 2010.
[13] J. Liu, S. Cyphers, P. Pasupat, I. Mcgraw, and J. Glass. A Conversational Movie Search System Based on Conditional Random Fields. In Proc. of Interspeech, 2012.
[14] J. R. Finkel and C. D. Manning. Joint Parsing and Named Entity Recognition. In Proc. of NAACL, 2009.
[15] J. R. Finkel and C. D. Manning. Hierarchical Joint Learning: Improving Joint Parsing and Named Entity Recognition with Non-Jointly Labeled Data. In Proc. of ACL, 2010.
[16] G. Druck, G. Mann, and A. McCallum. Semi-supervised Learning of Dependency Parsers using Generalized Expectation Criteria. In Proc. of ACL, 2009.
[17] V. Punyakanok, D. Roth, and W. Yih. The Importance of Syntactic Parsing and Inference in Semantic Role Labeling. Computational Linguistics, Vol. 34, No. 2, Pages 257-287, 2008.

打赏
微信扫一扫支付
微信logo微信扫一扫, 打赏作者吧~

mickey

记录生活,写给几十年后的自己。