企业网站创建小结,网页编辑面试知识,iis wordpress 权限,ui设计摘要SemEval-2任务8专注于名词对之间语义关系的多分类。 该任务旨在比较语义关系分类的不同方法#xff0c;并为将来的研究提供标准的测试平台。 本文定义了任务#xff0c;描述了训练和测试数据及其创建过程#xff0c;列出了参与的系统#xff08;10个团队#xff0c;28…摘要SemEval-2任务8专注于名词对之间语义关系的多分类。 该任务旨在比较语义关系分类的不同方法并为将来的研究提供标准的测试平台。 本文定义了任务描述了训练和测试数据及其创建过程列出了参与的系统10个团队28个运行并讨论了其结果。
1简介
SemEval-2010任务8着重于名词对之间的语义关系。例如茶和人参在“杯子中含有来自人参干的茶”中具有“实体-原点”关系。语义关系的自动识别具有许多应用例如信息提取文档摘要机器翻译或叙词表和语义网络的构建。它还可以促进辅助任务例如单词义消除歧义语言建模释义和识别文本含义。我们的目标是创建一个自动分类语义关系的测试平台。在制定任务时我们遇到了几个挑战选择合适的关系集指定注释过程以及确定任务本身的细节。它们将在第2节中进行简要讨论。另请参见Hendrickx等。 2009年其中包括相关工作的调查。任务8的直接前身是名词之间的语义关系分类即SemEval-1中的任务4Girju等2009它为七个关系中的每一个都有一个单独的二进制标签数据集。我们将SemEval2010任务8定义为多向分类任务其中每个示例的标签都必须从十个关系的完整集合中选择并且事先不提供从名词到参数槽的映射。我们还提供了更多数据10,717个带注释的示例而SemEval-1 Task 4中为1,529个。
2数据集创建
2.1语义关系清单
我们首先决定了语义关系清单。理想情况下它应该是详尽无遗的启用任何一对名词之间的关系描述并且是互斥的上下文中的每对名词仅应映射到一个关系。但是文献表明任何关系清单都不能同时满足这两种需求并且在实践中必须接受它们之间的某种权衡。作为务实的妥协我们选择了九种关系涵盖范围广泛足以引起一般和实际利益。我们旨在尽可能避免语义重叠。但是我们包括两组高度相关的关系ENTITY-ORIGIN / ENTITY-DESTINATION和CONTENT-CONTAINER / COMPONENTWHOLE / MEMBER-COLLECTION以评估模型进行细粒度区分的能力。我们的库存如下。前四个也用在SemEval-1任务4中但是注释准则已经过修订因此不应假定完全连续。
因果CE。事件或物体会产生效果。示例那些癌症是由辐射暴露引起的 文书机构IA。代理人使用工具。示例电话接线员 产品生产商PP。生产者导致产品存在。示例一家工厂生产西服 内容容器CC。对象物理上存储在空间的划定区域中。示例称重满满一瓶蜂蜜 实体来源EO。实体来自原点例如位置或材料或从原点衍生。示例来自外国的信件 实体目标ED。实体正在走向目的地。例子男孩上床睡觉 整体分量CW。对象是更大整体的组成部分。示例我的公寓有一个大厨房 成员集合MC。成员构成集合的非功能部分。例子森林里有很多树 消息主题MT。消息书面或语音与主题相关。示例讲座是关于语义的
2.3注释过程 注释进行了三轮。首先我们通过基于模式的Web搜索为每个关系手动收集了大约1200个句子。为了确保各种例句我们为每种关系使用了大量的模式通常在一百到几百之间。重要的是在第一轮中关系本身未加注释目标只是收集积极和几乎未遂的候选实例。一个粗略的目标是让90的候选人实例化目标关系“积极实例”。在第二轮中为每个关系收集的候选者转到两个独立的注释器进行标记。由于我们有一个多向分类任务因此注释者使用了9个关系以及OTHER的完整清单。由于重叠的案例在很大程度上是系统性的因此这种注释变得更加容易这是由诸如隐喻用法之类的一般现象和存在多个关系的情况引起的。例如CONTENTCONTAINER和ENTITY-DESTINATION之间存在系统的潜在重叠具体取决于句子中描述的情况是静态还是动态例如, “When I came, the apples were already put in the basket.” is CC(e1, e2), 而 “Then, the apples were quickly put in the basket.” is ED(e1, e2).
3任务参与 系统必须解决以下任务给定一个句子和两个标记的名词预测这些名词之间的关系以及关系的方向。 我们发布了一个详细的评分器该评分器输出1混淆矩阵2准确性和覆盖率3每个关系的精度P召回率R和F1-分数4微观平均PRF15宏观平均PRF1。 对于4和5计算将忽略OTHER关系。 我们的官方评分指标是针对9 1方式分类的宏观平均F1-分数。 要求团队为训练数据的不同部分提交测试数据预测。 具体来说我们要求获得前1000、2000、4000和8000个训练实例称为TD1到TD4的结果。 TD4是完整的培训套件。
