本文已被：浏览 1852次 下载 620次
投稿时间：2020-02-24
投稿时间：2020-02-24
中文摘要: 针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性，利用知识增强的语义表示（ERNIE）预训练模型，根据上下文计算出字的向量表示，在保留该字上下文信息的同时也能根据字的多义性进行调整，增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元（BiGRU），将训练后的词向量作为BiGRU的输入进行训练，得到文本分类结果。实验表明，该模型在新浪新闻的公开数据集THUCNews上的精确率为94.32%，召回率为94.12%，F1值为0.942 2，在中文文本分类任务中具有良好的性能。
中文关键词: 文本分类 利用知识增强的语义表示模型 双向门限循环单元模型 预训练模型 知识整合
Abstract:In the news text classification method,the representation of word vectors cannot well preserve the information of the words in the sentence and its ambiguity.Using ERNIE pre-trained model,the vector of words is calculated according to the context.While retaining the context information of the word,it can also be adjusted according to the ambiguity of the word,which enhances the semantic representation of the word.A BiGRU layer is innovatively added after the ERNIE model,and the trained word vector is used as the input of the BiGRU for training to obtain the text classification result.The experiments show that the accuracy of the model on the public data set THUCNews of Sina News is 94.32%,the loss rate is 94.12%,and the F1 value is 0.9422,which has good performance in Chinese text classification tasks.
keywords: text classification enhaned representation through knowledge integration bidirectional gated recurrent unit pre-trained model knowledge integration
文章编号：20204003 中图分类号：TP391.1 文献标志码：
基金项目:
| 作者 | 单位 | |
| 雷景生 | 上海电力大学 计算机科学与技术学院 | |
| 钱叶 | 上海电力大学 计算机科学与技术学院 | 1320838950@qq.com |
引用文本：
雷景生,钱叶.基于ERNIEBiGRU模型的中文文本分类方法[J].上海电力大学学报,2020,36(4):329-335,350.
LEI Jingsheng,QIAN Ye.Chinese-text Classification Method Based on ERNIEBiGRU[J].Journal of Shanghai University of Electric Power,2020,36(4):329-335,350.
雷景生,钱叶.基于ERNIEBiGRU模型的中文文本分类方法[J].上海电力大学学报,2020,36(4):329-335,350.
LEI Jingsheng,QIAN Ye.Chinese-text Classification Method Based on ERNIEBiGRU[J].Journal of Shanghai University of Electric Power,2020,36(4):329-335,350.