计算机工程

作者：曾碧卿, 陈鹏飞, 姚勇涛

单位：华南师范大学软件学院, 广东 佛山 528225

关键词：方面情感三元组抽取,大型语言模型,低秩自适应微调,思维链,提示学习

基金：广东省普通高校人工智能重点领域专项(2019KZDZX1033); 广东省基础与应用基础研究基金(2021A1515011171); 广州市基础研究计划基础与应用基础研究项目(202102080282)

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一, 传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而, 随着深度神经网络的发展, 生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调, 但是忽略了LLM的幻觉现象, 导致性能下降。提出一种融合思维链技术和LLM低秩自适应(LoRA)微调LFC方法, 实现生成式的ASTE新范式, 以提升任务性能。在LFC中, 首先基于思维链技术, 通过人工构造少量推理样本, 并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调ChatGLM3-6B模型的学习。在微调过程中, 采用LoRA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明, LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res16 4个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点, 该方法不仅能够准确地识别三元组, 而且在一定程度上优化了LLM的幻觉现象。

来源：2024年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第7期