期刊介绍
期刊导读
- 07/30内蒙古高校实力排行,内蒙古大学勇夺桂冠,内
- 07/30便捷就医 内蒙古开出首张医疗收费电子票据
- 07/30中华儿慈会教育与医疗公益项目推介会暨内蒙古
- 07/28内蒙古济生中医医院开展爱心义诊活动
- 07/27了解内蒙古?走进内蒙古?爱上内蒙古
面向教育的中文知识图谱自动构建技术(4)
图7 知识融合规则
四、实验
1.实验设置
为了验证本实验的有效性,本文使用《数据库系统概论》[21]这本教材以及高校教师上课所使用的PPT 演示文稿作为实验的输入分别构建知识图谱,再使用KGT&S 技术对两者进行融合。
本研究将实验分为两个阶段,第一阶段实验中,采用本文所提出的KG-T、KG-S 和KG-T&S 技术进行实验,并对实验结果进行分析。此外,为了验证KG-T&S 技术的有效性,即证明无论针对何种现有技术生成的知识图谱,KG-T&S 方法都可以使得融合后的结果相对于融合前有一定提升,因此设计了第二阶段的实验。
2.实验结果与分析
(1)第一阶段实验
实验1-1:使用本文所提出的技术生成知识图谱,分别计算三个部分的查准率(Precision)、查全率(Recall)和F1-分数(F1-score),得到如图8 所示的结果。可以观察到融合后的查全率比融合前的两个结果提高了不少。但由于回收了很多没有用的关系,得到了极低的查准率,以至于得到较低的F1-分数。
图8 实验1 调整前结果对比
针对实验1-1 的结果并针对实验数据情况,本文在实验1-2 中制定了两个调整方案:方案1,去除融合结果中关系权重值小于等于0.8 的关系,对剩余的结果分别计算查准率、查全率和F1-分数。方案2,去除融合结果中关系权重值小于等于0.6 的关系,对剩余的结果分别计算查准率、查全率和F1-分数。
实验结果展示见图9,可以看出相比于调整前,两个调整方案都使得查准率和F1-分数有了一定幅度的提升,其中方案1 得到了较为平衡的结果。
图9 实验1 调整后结果对比
对比表2 中此阶段的实验数据,实验1-1 中KG-S的提取结果中查准率、F1-分数都取得了最高值,证明本文所提出的KG-S 技术在基于教学PPT 演示文稿生成知识图谱的工作中,可以有效地生成具有一定精度的知识图谱,此外知识图谱中知识点关系间的权重为知识图谱的调整创造了便利。
表2 实验1 对比注:* 为三个对比实验中取得的最大值。
相比于调整前,实验1-2 中的两个方案由于删除了一定量的无用数据,使得F1-分数都得到了相应的提升。其中方案1 使得查准率得到了最大幅度提升,相对的查全率也得到了一定幅度的下降,F1-分数相对于调整前也有了大幅度提升。
图10 为实验最终实验结果对比图,其中,每一个指标都相对于前两项有相对的提升,这个结果也证明本文提出的技术能实现构建精度较高且具有更灵活调整性的知识图谱。
图10 实验1 结果对比
(2)第二阶段实验
为了进一步验证KG-T&S 技术的有效性,在实验1的基础上设计了两种实验方案,总结为表3。
表3 实验方案总结注:* 为三个对比实验中取得的最大值。
实验2:复现了文献[12]中基于联合优化模型(Joint Optimization Model,JOM)生成Database 这门课的知识图谱实验结果,并以此替换本文第一部分:基于课本生成知识图谱,其余部分仍然用本文的方法。
实验3:课本部分使用本文的方法;PPT 演示文稿部分在使用KG-S 技术的前提下,把该技术中所使用的概念提取模型更改为中科院的NLPIR,此部分在实验中表示为KG-S’。此外,为了得到与实验1 中PPT 演示文稿提取结果相比相差较大的结果,对KG-S’实验结果中的查准率进行了适当的调整,从而提高了F1-分数。
表4 实验2 对比注:* 为三个对比实验中取得的最大值。
本文使用和第一阶段同样的步骤对三个实验进行对比分析。实验2 的结果数据列于表4 中。实验3 的结果数据列于表5 中,笔者分别对实验结果进行了分析。
表5 实验3 对比注:* 为三个对比实验中取得的最大值。
在实验2-1 中,相比于融合前,融合后的结果中查准率相比JOM 下降了0.13,但是查全率和F1-分数都有一定的提升,分析其原因,同样是由于回收的三元组中有不少无用的。对此,我们进行了实验2-2 调整实验。
实验2-2 中,使用了与第一阶段相同的调整方案。表4 可以观察到:相比于调整前,方案1 的查准率高达0.9,提高了0.34;相对的,查全率得到了相应幅度的下降,下降了0.14。而对综合了查准率和查全率的结果的评价指标F1-分数进行分析发现,方案1 的F1-分数取得了实验2 中的最高值。此结果说明方案1 的综合效果最好,再次证明了本文提出的KG-T&S 技术的有效性。
文章来源:《内蒙古教育》 网址: http://www.nmgjyzzs.cn/qikandaodu/2021/0730/1179.html
上一篇:浅谈儿童乐园的景观设计
下一篇:基于技术的基础教育资源平台建设研究