Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ＩＳＳＮ １００１．９０８１ ２０１６—０２．１０ 计算机应用，２０１６，３６（２）：４２４—４２７ 文章编号：１００１—９０８１（２０１６）０２—０４２４—０４ ＣＯＤＥＮ ＪＹＩＩＤＵ ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ｃｎ ＤＯＩ：１０．１１７７２／ｊ．ｉｓｓｎ．１００１—９０８１．２０１６．０２．０４２４ 基于词语相关度的微博新情感词自动识别 陈鑫 ，王素格 ，廖健 （１．山西大学计算机与信息技术学院，太原０３０００６； ２．计算智能与中文信息处理教育部重点实验室（山西大学），太原０３０００６） （｛通信作者电子邮箱ｗｓｇ＠ＳＸＵ．ｅｄｕ．ｃｎ） 摘要：针对微博中新情感词的识别问题，提出了一种基于词语相关度的微博新情感词自动识别方法。首先，对 于分词软件把一个新词错分成几个词的问题，利用组合思想将相邻词进行合并作为新词的候选词；其次，为了充分利 用词语上下文的语义信息，采用神经网络训练语料获得候选新词的空间表示向量；最后，利用已有的情感词典作为指 导，融合基于词表集合的关联度排序和最大关联度排序算法，在候选词上筛选，获得最终的情感新词。在ＣＯＡＥ２０１４ （第六届中文倾向性分析评测）任务３语料上，提出的融合算法与点互信息（ＰＭＩ）、增强互信息（ＥＭＩ）、多词表达距离 （ＭＥＤ）、新词语概率（ＮＷＰ）以及基于词向量的新词识别方法相比，准确率至少提高了２２％，说明该方法自动识别微 博新情感词效果优于其他五种方法。 关键词：情感词识别；词语相关度；词向量；排序算法；微博 中图分类号：ＴＰ３９１ 文献标志码：Ａ Ａｕｔｏｍａｔｉｃ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ｏｆ ｎｅｗ ｓｅｎｔｉｍｅｎｔ ｗｏｒｄ ａｂｏｕｔ ｍｉｃｒｏｂｌｏｇ ｂａｓｅｄ ｏｎ ｗｏｒｄ ａｓｓｏｃｉａｔｉｏｎ ＣＨＥＮ Ｘｉｎ ．ＷＡＮＧ Ｓｕｇｅ 。．ＬＩＡＯ Ｊｉａｎ ｔ１．Ｓｃｈｏｏｌ ｏｆＣｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｘｉ ＵＲ ，Ｔａｉｙｕａｎ Ｓｈａｎｘｉ ０３０００６，Ｃｈｉｎａ； ２．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｎｔｅｌｌｉｇｅｎｅｅ ａｎｄ Ｃｈｉｎｅｓｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ（Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ）， Ｔａｉｙｕａｎ Ｓｈａｎｘｉ ０３０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇ ａｔ ｎｅｗ ｓｅｎｔｉｍｅｎｔ ｗｏｒｄ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ａｎ ａｕｔｏｍａｔｉｃ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｎｅｗ ｗｏｒｄｓ ａｂｏｕｔ ｍｉｃｒｏｂｌｏｇ ｗａｓ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｗｏｒｄ ａｓｓｏｃｉａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ａ ｎｅｗ ｗｏｒｄ ｗｈｉｃｈ ｗａｓ ｉｎｃｏｒｒｅｃｔｌｙ ｓｅｐａｒａｔｅｄ ｉｎｔｏ ｓｅｖｅｒａｌ ｗｏｒｄｓ ｕｓｉｎｇ ｔｈｅ Ｃｈｉｎｅｓｅ ａｕｔｏ－ｓｅｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍ，ｓｈｏｕｌｄ ｂｅ ａｓｓｅｍｂｌｅｄ ａｓ ｔｈｅ ｃａｎｄｉｄａｔｅ ｗｏｒｄ．Ｉｎ ａｄｄｉｔｉｏｎ，ｔｏ ｍａｋｅ ｆｕｌｌ ｕｓｅ ｏｆ ｔｈｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｗｏｒｄ ｃｏｎｔｅｘｔ，ｔｈｅ ｓｐａｔｉａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｖｅｃｔｏｒ ｏｆ ｔｈｅ ｃａｎｄｉｄａｔｅ ｗｏｒｄｓ ｗａｓ ｏｂｔａｉｎｅｄ ｂｙ ｔｒａｉｎｉｎｇ ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ． Ｆｉｎａｌｌｙ，ｕｓｉｎｇ ｔｈｅ ｅｘｉｓｔｉｎｇ ｅｍｏｔｉｏｎａｌ ｖｏｃａｂｕｌａｒｙ ａｓ ａ ｇｕｉｄｅ，ｃｏｍｂｉｎｉｎｇ ｔｈｅ ａｓｓｏｃｉａｔｉｏｎ－ｓｏｒｔ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｖｏｃａｂｕｌａｒｙ ｌｉｓｔ ａｎｄ ｔｈｅ ｍａｘ ａｓｓｏｃｉａｔｉｏｎ—ｓｏｒｔ ａｌｇｏｒｉｔｈｍ，ｔｈｅ ｆｉｎａｌ ｎｅｗ ｅｍｏｔｉｏｎａｌ ｗｏｒｄ ｗａｓ ｓｅｌｅｃｔｅｄ ｆｒｏｍ ｃａｎｄｉｄａｔｅ ｗｏｒｄｓ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ ｔａｓｋ Ｎｏ．３ ｏｆ ＣＯＡＥ２０１ ４ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｉｎｃｒｅａｓｅｓ ａｔ ｌｅａｓｔ ２２％，ｃｏｍｐａｒｅｄ ｔｏ Ｐｏｉｎｔｗｉｓｅ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ（ＰＭＩ），Ｅｎｈａｎｃｅｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ（ＥＭＩ），Ｎｏｒｍａｌｉｚｅｄ Ｍｕｌｔｉ·ｗｏｒｄ Ｅｘｐｒｅｓｓｉｏｎ Ｄｉｓｔａｎｃｅ （ＮＭＥＤ），Ｎｅｗ Ｗｏｒｄ Ｐｒｏｂａｂｉｌｉｔｙ（ＮｗＰ），ａｎｄ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ｏｆ ｎｅｗ ｓｅｎｔｉｍｅｎｔ ｗｏｒｄ ｂａｓｅｄ ｏｎ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ，ｗｈｉｃｈ ｐｒｏｖｅｓ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ． Ｋｅｙ ｗｏｒｄｓ：ｓｅｎｔｉｍｅｎｔ ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ；ｗｏｒｄ ａｓｓｏｃｉａｔｉｏｎ；ｗｏｒｄ ｖｅｃｔｏｒ；ｓｏｒｔ ａｌｇｏｒｉｔｈｍ；ｍｉｃｒｏｂｌｏｇ ０ 引言 向为正面，而分词过程将其错分为“给／ｐ力／ｎ”，使其对于句 子级和篇章的情感分析过程产生不良影响。另外，新词的出 微博作为当前社交媒体中的重要组成部分，以短小、精 现也给命名体识别、机器翻译、问答系统等任务造成了很大的 悍、快捷的特点博得大众的厚爱，它承载着海量的数据，涉及 困扰。在第六届中文倾向性分析评测（ＣＯＡＥ２０１４）将自动识 范围广泛。博主为了表达自己的情感意愿，往往不断创新，从 别微博新情感词作为其任务３。 而产生了大量的新词。所谓新词，是随着时代的发展而新创 在新词识别方面，已有基于规则自动识别方法 、基于 造或旧词新义的词…。据国家语委语言应用研究所统计，平 统计自动识别方法和基于机器学习的自动识别方法。在基于 均每年有８００个新词出现。 统计的方法中，词语关联度量被广泛应用。张艳辉等 提出 由于中文词与词之间没有空隙，中文分词成为中文信息 一种基于点互信息（Ｐｏｉｎｔｗｉｓｅ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＰＭＩ）的微博 处理的重要步骤，而新词在分词过程中造成的错误超过了 新词发现算法，点互信息可以度量两个词之间相互依赖程度， ６０％ Ｊ。在情感分析方面，新创词也为情感分析带来很大的 但对于两个不对称同现词之间的关联程度却表现不理想。 挑战。例如：“给力”作为新词，含义为“牛、酷、棒”，其情感倾 Ｚｈａｎｇ等 为了度量两个词同现的最优化关联，对ＰＭＩ进行 收稿日期：２０１５－０８—２９；修回日期：２０１５—０９—１３。 基金项目：国家８６３计划项目（２０１５ＡＡ０１５４０７）；国家自然科学基金资助项目（６１１７５０６７，６１２７２０９５，６１４３２０１１，６１５７３２３１，Ｕ１４３５２１２）；山西 省科技基础条件平台计划项目（２０１５０９１００１—０１０２）；山西省回国留学人员科研项目（２０１３．０１４）。 作者简介：陈鑫（１９９２一），女，山西长治人，硕士研究生，ＣＣＦ学生会员，主要研究方向：文本情感分析；王素格（１９６４一），女，河北定州人，教 授，博士，ＣＣＦ会员，主要研究方向：自然语言处理；廖健（１９９０一），男，湖北鄂州人，博士研究生，ＣＣＦ学生会员，主要研究方向：文本情感分析。 第２期 陈鑫等：基于词语相关度的微博新情感词自动识别 ４２５ 了改进，得到增强互信息（Ｅｎｈａｎｃｅｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ， ＥＭＩ）。另外，Ｂｕ等 提出一种配合词语之间的距离度量，即 多词表达距离（Ｎｏｒｍａｌｉｚｅｄ Ｍｕｌｔｉ－ｗｏｒｄ Ｅｘｐｒｅｓｓｉｏｎ Ｄｉｓｔａｎｃｅ， ＮＭＥＤ），这种词语间的度量不限定组合的长度。Ｈｕａｎｇ等 利用单个字成词的概率，提出一种新词构词程度的度量方法， 即新词语概率（Ｎｅｗ Ｗｏｒｄ Ｐｒｏｂａｂｉｌｉｔｙ，ＮＷＰ），该方法可以去 除频繁出现但又不是新词的候选词。唐波等 和杨阳等 则利用词语关联度及其左右灵活度识别新词。还有一些统计 方法不仅利用了词语同现信息，还将其上下文信息融入到新 词识别的方法中 。在基于机器学习方法中，Ｌｉ等 将 新词识别问题看成一个二分类问题，使用支持向量机 （Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）识别新词，这种方法的缺点是 需要花费大量的人力选取特征及标注大量语料。 在新情感词识别方面，目前主要使用两种思路。一种思 路是先识别出所有的新词，然后从中筛选出新情感词。唐波 等 基于副词的模板识别新情感词；杨阳等 Ｊ贝０利用词向量 之间相关性从新词中获得新情感词及其倾向；付丽娜等 基 于分类的思想，利用单类别支持向量机（Ｏｎｅ—ｃｌａｓｓ Ｓｕｐｐｏ￣ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＯＣ—ＳＶＭ）对新词进行分类，获得新情感词。 另一种思路是基于Ｂｏｏｔｓｒａｐｐｉｎｇ方法识别新情感词。Ｈｕａｎｇ 等 从小种子集出发，通过词语之间的关联度扩充种子集， 获得最终的情感新词。 本文借鉴了基于统计方法中词语相关度的方法，使用 Ｗｏｒｄ２Ｖｅｃ表示词向量，利用词之间的相关度识别微博中的新 情感词 １ 新情感词识别方法 新情感词属于未登录词，分词软件常常将其错分为两个 或多个词语。针对这一问题，首先将分词处理后的语料相邻 的两个词语进行合并作为新情感词的候选词。设Ｓ＝（ｓ ， …，ｓ 一，Ｓ ）为经过分词后的微博集合，其中ｓ ＝（Ｗ 一， 一，Ｗ ）；对于每一个句子Ｓ ，将Ｗ ，Ｗ （ｉ＝１，２，…， 一１） 两个词合并成一个词，获得候选新情感词集合ＣＷ。在此基础 上，利用词语间的关联度的排序算法，计算每个候选新词与外 部词典情感词的相关度。其相关度越大，候选词为新情感词 的概率越大，反之越小。新情感词自动识别过程见图１所示。 预处理 原始数据产叫数据预处理（去噪、分词） 句子集 候选词 ｌ 旦量 箜卜 量／ 获取 匝亟亘 查匝耍 外部词典 基于词表集合 新情感 关联度排序算法 词获取 基于最大关联度 排序算法 图１新情感词自动识别方法流程 １．１基于词表集合的关联度排序方法（ＳｕｍｏｆＣｏｓ） 由于候选新情感词集ＣＷ中存在大量的噪声数据，为了 从中筛选出新情感词，本文使用已有词表作为指导，计算候选 新情感词与词表所有情感词之间的关联程度。由于关联程度 越大，候选新词是新词的概率就越大；反之，越小。因此，利用 候选词的关联程度排序，可以筛选出最终新情感词。 对于Ｇｏｏｇｌｅ提供的基于神经网络的Ｗｏｒｄ２Ｖｅｃ，可以度量 词语之间的关联程度。本文采用Ｗｏｒｄ２Ｖｅｃ获得所有词语的 词向量。对于两个词” 和Ｗ：，计算词向量ｖ 与ｖ 的均值： ｌ ２：（ａｖｇ（ ， ）ｌ，ａｖｇ（ ， ）２，…， ａｖｇ（ １， ）ｆ ） 其中：ａｖｇ（ｖ ，ｖ ） ＝ ： ＋ｗ２：（ ＋ ）／２（ｋ＝１，２，…， Ｉ ｖ １），即获得候选词ｃ （ＣＷ ＝ｕｎｉｏｎ（ｗ ， ））的向量 ｖＷｌ ２；再计算情感词ＣＷ 与基准词表中的所有词的相关度 ＣＯＳ（见式（１））；最后按照相关度值对所有候选新情感词ＣＷ 排序。 ＳｕｍｏｆＣｏｓ（ｃ ）＝∑ｃ６ Ｅ ｏｓ（。 （ ， ）， ） （１） 本文采用大连理工大学的情感词表与分词后的语料取交 集，得到最终的基准词表ＢＷ。 １．２基于最大关联度排序方法（ＭａｘｏｆＣｏｓ） 在１．１节中，利用式（１）计算的关联度是候选词与所有 基准词表的情感词的综合关联度。然而，这种度量将降低一 部分只与词表中关系密切的候选新情感词的关联性，掩盖了 最有可能成为新情感词的词。因此，利用已有词表的情感词 作为指导，计算候选情感词与词表中情感词的词向量的最大 相关度，筛选出与部分情感词密切关联的候选词，用于弥补 １．１节中方法的不足。本节构建基于词表的候选词最大关联 度排序算法。最大相关度计算方法见式（２）。 具体过程只需将１．１节中的式（１）替换为式（２），得到最 大相关度的得分，再根据其得分排序，获得最终包含最大相关 度的词集ＭＣＶ。 ＭａｘｏｆＣｏｓ（ＣＷ ）＝ ｍａｘ（ｃ…ｏ５（ａｖｇ（ １， ” ）， ０）） （２） １．３基于融合关联度的排序方法（ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ） 由于１．１节选出了与外部情感词表综合相关度高候选 词，而１．２节选出了与外部情感词表中相关度最大的候选词。 本节将融合１．１节和１．２的方法给候选新词打分，自动抽取 情感新词，融合得分计算见式（３）。 Ｓｃｏｒｅ（ＣＷ ）＝ＯＬ ｎｏｒｍ（ＳｕｍｏｆＣｏｓ（ＣＷ ））＋ （１一 ） ｎｏｒｍ（ＭａｘｏｆＣｏｓ（ＣＷ ）） （３） 其中：ＣＷ ∈ＣＷ；ｄ∈［０，１］；ｎｏｒｍ（ ｆ）表示 的归一化，由 式（４）计算得到。 ，、 —ｍｉｎ（ ） … ∞ ， （４ 其中： Ｘ，ｍｉｎ（Ｘ）代表 中最小值，ｍａｘ（Ｘ）代表 中最大 值。 ２ 实验结果与分析 ２．１数据集与评价指标 １）实验数据集。实验使用ＣＯＡＥ２０１４（第六届中文倾向 性分析评测）任务３微博数据集，总计９９９９ ６２６条数据，其中 涉及到体育、娱乐、汽车、游戏等多个领域。 ２）评价指标。由于使用的语料规模较大，没有完整的答 案集，无法使用传统的召回率（Ｒｅｃａｌ１）、准确率（Ｐｒｅｃｉｓｉｏｎ）和 Ｆ值对实验效果进行评价。因此，本文使用Ｐ＠Ｎ方法对最终 结果进行评价，Ｐ＠Ｎ代表在前Ⅳ个词中准确率Ｐ。 ２．２语料预处理 １）去噪。由于使用的语料涉及范围广泛，部分语料中包 含繁体字（如“跳水俱”）、网址（如“ｈｔｔｐ：／／ｔ．ｃｎ／ｚｌｍＦｄＮＢ”）、 表情符号（如“００（３”）等其他噪声信息。为了提高词性组合 的准确率及其效率，将语料中繁体字转换为简体字，用符号 ４２６ 计算机应用 第３６卷 “＆”代替非中文字符。 ２）分词。使用中国科学院计算技术研究所汉语词法分 析系统（ＩＣＴＣＬＡＳ２０１５）对数据集进行初始分词，作为词合并 的原始语料Ｓ。 ３）词向量表示。Ｗｏｒｄ２Ｖｅｃ是通过神经网络训练语料得 到词向量，其拥有固定维度，避免了维数灾难；并且每个维度 都是实值，解决了大数据中数据稀疏问题；另外，最终得到的 词向量中含有潜在的语义信息，可以为计算词表与候选词之 间相关度提供重要的指导。因此，本文使用Ｗｏｒｄ２Ｖｅｃ训练 分词后语料Ｓ，得到词向量集合 。 ２．３实验方案设计 为了验证本文提出方法的有效性，设计了两组对比实验， 具体实验方案如下： 实验１ 参数值 的确定。为了发现ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ最 理想的 参数值，本实验设置Ｏｔ＝０，０．１，０．２，…，０．９，１。 实验２验证本文提出方法有效性。将１．３节提出的融 合方法与ＰＭＩ［ 、ＥＭＩ［ 、ＮＭＥＤ［ 和ＮＷＰ［ 以及文献［９］的 获取新情感词的方法进行对比实验。对于文献［９］的方法， 文中并没有明确给出阈值，本文采用词频阈值ａ ：３，点互信 息阈值ａ ＝１０～，左邻接熵阈值ａ ＝３和右邻接熵的阈值 ａ４＝４。 ２．４结果及分析 ２．４．１ 实验１的结果与分析 为了获取ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ算法最理想的Ｏｔ参数值，本实 验取Ｏ／＝０，０．１，０．２，…，０．９，１，共进行了１１组实验，结果如 图２。从图２可以看出： １）当 ＝０．４时，ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ算法能取得较好的结 果。 ２）ＳｕｍｏｆＣｏｓ（即Ｏｔ＝１）识别新词的方法准确率高于 ＭａｘｏｆＣｏｓ（即 ＝０）方法。主要原因是ＳｕｍｏｆＣｏｓ方法使用了已 有词表的全部语义信息，而ＭａｘｏｆＣｏｓ方法只利用了词表的少量 语义信息，造成了ＭａｘｏｆＣｏｓ准确率低于ＳｕｍｏｆＣｏｓ的准确率。 ３）融合后的算法ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ准确率高于ＳｕｍｏｆＣｏｓ 和Ｍａｘ０ｆＣｏｓ单方法准确率，主要原因是：ＳｕｍｏｆＣｏｓ方法能度 量候选词与已有词表所有情感词的综合关联度，筛选出与词 表综合相关度高的候选词；而ＭａｘｏｆＣｏｓ方法能度量候选词与 词表中情感词词向量最大相关度，筛选出与词表相关度最大 的候选词；ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ算法正好使得ＳｕｍｏｆＣｏｓ和 ＭａｘｏｆＣｏｓ方法互补，因此可以使实验效果得到提升。 “ 图２方法融合参数 选择实验结果 ２．４．２实验２的结果及分析 在ＣＯＡＥ２０１４语料中，采用融合算法ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ （ ＝０．４）与ＰＭＩ 、ＥＭＩ 、ＮＭＥＤ 、ＮＷＰ 和文献［９］识 别新情感词方法进行对比实验，结果见表ｌ和图３。从表１ 和图３中可以发现： １）本文融合算法ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ（ ＝０．４）的实验效果 明显高于ＰＭＩ、ＥＭＩ、ＮＥＭＤ和ＮＷＰ几种词语关联度量，其主要 原因是ＰＭＩ、ＥＭＩ、ＮＥＭＤ和ＮＷＰ方法只利用了候选词的上下 文的一种统计信息，造成其成词率很低，从而影响整个准确率。 ２）本文融合算法ＢｌｅｎｄＡｓｓｏｃｉａｔｉｏｎ（ＯＬ＝０．４）的准确率高 于文献［９］方法。其主要原因是文献［９］利用频数、点互信 息、左邻接熵和右邻接熵综合筛选新词，充分利用了候选词的 上下文统计信息，识别新词的成词率很高；但其未利用语义信 息，导致识别新词中大多数不是情感词，造成最终准确率降 低。而本文提出的方法利用了语料和情感词典的语义信息， 致使识别出的新词是情感词的概率增加，准确率高于文献 ［９１方法。 表１新词度量方法对比实验 ％ ７０ ６０ ５０ 褥 ４０ 器 垫 ３Ｏ ｉ ｒｉ ２０ １０ Ｏ Ｐ＠５０ Ｐ＠１００ Ｐ＠１５０ Ｐ＠２００ 图３新词度量方法对比实验 ３ 结语 本文在对语料进行分词的基础上，首先采用词与词组合 方式得到候选新词；之后，利用神经网络训练语料得到的词向 量，在已有情感词典的语义信息指导下，计算候选新词号隋感 词典词语的关联度；最后，根据关联度排序得到最终的新情感 词。经实验结果表明，本文提出的基于词语相关度的微博新 词识别方法准确率明显好于对比的几种新词度量方法，验证 了本文提出方法是有效的。然而，本文获得候选情感词方法 只对相邻的两个词进行绑定，有一定的局限性，造成候选词的 成词率下降，进而使最终识别新情感词的准确率下降。 在未来的工作中，对获取候选词的方法进行改进，以便提 高候选词的成词率，提高最终的准确率。 参考文献： 【ｌ】 张海军，史树敏，朱朝勇，等．中文新词识别技术综述［Ｊ】．计算机 科学，２０１０，３７（３）：６—１０．（ＺＨＡＮＧ Ｈ Ｊ，ＳＨＩ Ｓ Ｍ，ＺＨＵ Ｃ Ｙ，ｅｔ １ａ．Ｓｕｒｖｅｙ ｏｆ Ｃｈｉｎｅｓｅ ｎｅｗ ｗｏｒｄｓ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｃｉ－ ｅｎｃｅ，２０１０，３７（３）：６—１０．） ［２】 ＣＨＥＮ Ａ．Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｍｉｎｉｍａｌ ｌｉｎｇｕｉｓｔｉｃ ｋｎｏｗｌ－ ｅｄｇｅ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ ＳＩＧＨＡＮ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｈｉｎｅｓｅ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．Ｓｔｒｏｕｄｓｂｕｒｇ，ＰＡ：Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎ－ ｌａ Ｌｉｎｇｕｉｓｔｉｃｓ．２００３：１４８—１５１． ［３】 郑家恒，李文花．基于构词法的网络新词自动识别初探ｆ Ｊ］．山西 大学学报（自然科学版），２００２，２５（２）：１１５—１１９．（ＺＨＥＮＧ Ｊ Ｈ， ＬＩ Ｗ Ｈ．Ａ ｓｔｕｄｙ ｏｎ ａｕｔｏｍａｔｉｃ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ｆｏｒ Ｉｎｔｅｍｅｔ ｎｅｗ ｗｏｒｄｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｗｏｒｄ—ｂｕｉｌｄｉｎｇ ｒｕｌｅ【Ｊ】．Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ （Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ），２００２，２５（２）：１１５—１１９．） 【４］ 张艳辉，刘培玉．基于互信息的微博新词发现算法¨］．科技视 第２期 陈鑫等：基于词语相关度的微博新情感词自动识别 ４２７ （上接第４２３页） 【１８】ＦＯＲＭＯＳＯ Ｖ，ＦＥＲＮＡＮＤＥＺ Ｄ，ＣＡＣＨＥＤＡ Ｆ，ｅｔ ａ１．Ｄｉｓｔｒｉｂｕｔｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ ｒｅｃｏｍｍｅｎｄｅｒ ｓｙｓｔｅｍｓ［Ｊ】． Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ：Ｉｎｔｅｒｎｅｔ＆Ｗｅｂ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０１４，１８ ＯＬ］．【２０１４—１２—２０］．ｈｔｔｐ：／／ｗｗｗ２．ｉｎｆｏｒｍａｔｉｋ．ｕｎｉ—ｆｒｅｉｂｕ￣．ｄｅ／ ～ｃｚｉｅｇｌｅｒ／ＢＸ （４）：１—２１． 【１９】ＰＡＧＡＲＥ Ｒ，ＳＨＩＮＤＥ Ａ．ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｓｙｓｔｅｍ ｕｓｉｎｇ Ｂｌｏｏｍ ｆｉｌ— ｔｅｒ ｉｎ ＭａｐＲｅｄｎｃｅ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ＆ Ｂａｃｋｇｒｏｕｎｄ Ｔｈｉｓ ｗｏｒｋ ｉｓ ｐａｒｔｉｌａｌｙ ｓｕｐｐｏｒｔｅｄ ｂｙ ｔｈｅ ｍａｊｏｒ ｐｒｏｊｅｃｔ ｏｆ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｈｕｂｅｉ Ｐｒｏｖｉｎｃｅ（２０１５ＣＦＡ０６７），ｔｈｅ Ｋｅｙ Ｐｒｏｊｅｃｔ ｏｆ Ｓｃｉｅｎｔｉｉｆｃ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｃｅｓｓ，２０１３，３（６）：１２７—１３４． ［２０】ＬＥＥ Ｃ—Ｒ，ＣＨＡＮＧ Ｙ—Ｆ．Ｅｎｈａｎｃｉｎｇ ａｃｃｕｒａｃｙ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｂｙ ｓｔｏｃｈａｓｔｉｃ ＳＶＤ ａｎｄ ｉｔｓ ＭａｐＲｅ Ｒｅｓｅａｒｃｈ Ｐｒｏｊｅｃｔ ｏｆ Ｅｄｕｃａｔｉｏｎ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｈｕｂｅｉ（１３２０１５１００１），Ｗｕｈａｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｄｏ￣Ｐｒｏｊｅｃｔ（２０１３ｏｌ２４ｏ１ ０１ｏ８５１）． ＬＩＡＮＧ Ｊｕｎｊｉｅ，ｂｏｒｎ ｉｎ １９７４，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅ ｐｒｏｆｅｓｓｏｒ．Ｈｅｒ ｒｅ－ ｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｍｕｌｔｉｍｅｄｉａ ｄａｔａｂａｓｅ，ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌ ｉｎｄｅｘｉｎｇ． ＧＡＮ Ｗｅｎｔｉｎｇ，ｂｏｒｎ ｉｎ １９８９，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ ｒｅｓｅａｒｃｈ ｉｎｔｅｒ－ ｅｓｔｓ ｉｎｃｌｕｄｅ Ｗｅｂ ｉｆｏｒｎｍａｔｉｏｎ ｍｉｎｉｎｇ，ｐｅｒｓｏｎａｌｉｚｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ． ＹＵ Ｄｕｎｈｕｉ，ｂｏｒｎ ｉｎ １９７４，Ｐｈ．Ｄ．，ａｓｓ￣ｉｍｅ ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ ｒｅ． ｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｐｅｒｓｏｎａｌｉｚｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ，ｂｉｇ ｄａｔａ． ｄｕｃｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ［Ｃ １／／ＩＰＤＰＳＷ ２０１３：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｐａｒｌｌａｅｌ＆Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏ— ｃｅｓｓｉｎｇ，Ｗｏｒｋｓｈｏｐｓ ａｎｄ ＰｈＤ Ｆｏｒｕｍ．Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２０１３：１８６９—１８７８． 【２１】 Ｉｎｓｔｉｔｕｔ ｆｏｒ Ｉｎｆｏｒｍａｔｉｅ Ｆｒｅｉｂｕｒｇ．Ｂｏｏｋｉｎｇ－ｃｒｏｓｓｉｎｇ ｄａｔａ ｓｅｔｓ【ＥＢ／
