大语言模型(LLMs)在推荐系统(RS)的特征工程与特征编码、预训练与微调和提示学习等阶段发挥着关键作用。通过特征工程与特征编码,LLMs提升了推荐系统的个性化和准确性,同时优化了模型的泛化能力和适应性。研究表明,LLMs在特征工程阶段能够丰富用户画像和提取物品特征;在预训练与微调阶段则通过大量未标记数据训练,为下游任务部署做好准备;在提示学习阶段通过设计有效的指令和提示,提高了模型对推荐任务的理解和解决能力。文中还讨论了LLMs在推荐系统应用中面临的挑战,例如计算成本高、API依赖、数据噪声等问题,研究者正在探索优化策略。未来推荐系统的发展潜力集中在数据增强、微调效率提升、提示设计优化和可解释性增强等方面,这些综合性分析为推荐系统领域的持续发展和创新提供了坚实的理论基础。

医学教育数字化是医学教育发展的必然趋势。通过引入医学教育大语言模型,打破传统医学教育的局限,提高学生的学习兴趣和参与度,提供医学教育的个性化实践,加强因材施教的个性化临床实践教学和科研训练,可提升教学效率和效果。文中梳理了大语言模型技术的发展和医疗大模型的技术进展,列举了大模型的医学教育应用场景和大模型的医学教育应用七大挑战,指出了医学教育大模型的未来发展是采用知识与数据混合驱动的技术路线,研发自主可控的协同医学教育大模型。

针对中文的一词多义特点,基于现有各类汉语词典资源构建一个义项全面、描述规范的中文多义词知识库,对于汉语语义分析、智能问答、机器翻译以及大语言模型消歧能力调优和评估等具有重要意义。文中针对《现代汉语词典》和《现代汉语规范词典》等资源整合过程中“词条义项含义相同但描述不同”等问题进行了深入分析,并创新性地提出了基于大语言模型和提示学习的多义词义项融合技术,即充分利用大语言模型对常识知识的分析理解和辅助决策能力,通过有效的问题分解策略和提示模版设计,以及义项关系交叉验证等手段完成了多义词义项的自动化融合工作。实验结果表明,在通过正态分布抽取50个多义词共754个义项对的评测数据上,基于上述算法的义项融合的正确率达96.26%,Dice系数为0.973 3。该项研究验证了利用大语言模型开展中文知识资源自动化加工的可行性和有效性,与传统依赖语言专家加工模式相比,在保证较高质量的前提下,显著提升了知识加工效率。

针对网络谣言识别面临的新挑战,探索大模型在识别谣言不同来源中的效能。研究构建国内外人为谣言与AI谣言数据集,据此在零样本设置情况下,对4种大模型的谣言来源辨识能力进行测试。研究发现,单一大模型识别谣言的精确度较低,存在明显错误倾向。为提高识别性能,采用预训练、微调和集成学习等方法,使得大模型性能得到显著提升。进一步,提出基于模型碰撞的集成学习方法,利用多模型反馈改善谣言来源识别效能。实验结果显示,集成学习框架能够整合各模型优势,显著提高识别准确性。通过实证研究验证了大型语言模型在谣言识别中的潜力和改进方向,有助于应对当前复杂的网络谣言环境,维护网络空间的清朗。

随着深度学习技术的发展及语音合成研究的深入,汉语、英语等通用、高资源语言的合成语音已越来越接近于自然语音。越南语与汉语有密切联系,是一种声调语言,属于南亚语系越芒语族越语支。因受制于可获取的语料数据规模以及相关研究的深入程度,越南语语音合成离自然语音还有明显差距。在低资源前提下,提出了两种提高越南语语音合成自然度的方法:1)基于预训练的音素大语言模型XPhoneBERT构建音素编码器,在数据集有限的情况下,显著提高越南语语音合成的韵律表现力;2)改进轻量化扩散语音合成模型LightGrad中的U-Net结构,增加嵌套跳跃路径,使模型在低资源条件下得到充分训练、捕获更有效的信息、提高噪声预测的准确性,从而提升语音合成质量。实验结果表明,采用上述提出的方法,越南语语音合成系统的客观、主观评测性能有明显的提升,MCD(梅尔倒谱失真)和MOS(平均意见得分)分别达到6.25和4.22,相比于基线系统的7.44和3.56有明显的下降和提升。

糖尿病的治疗是一项长期且高度个性化的工作,给患者的日常生活带来了巨大负担。患者通过医学大语言模型进行糖尿病问诊能有效减轻患者的医疗负担,但大语言模型在处理医学等专业领域文本时更可能会产生幻觉,即错误、无意义或与输入不匹配的输出。且现有的幻觉缓解技术在医学领域的准确率并不理想,这会极大地影响大语言模型的准确率。为了解决这一问题,提出一种结合指令微调和检索增强生成的幻觉自查与主动缓解方法,主要在生成过程前对用户提问形成附加知识,在生成过程后通过相似度对比判断幻觉是否产生。实验在多个医学数据集上进行,在大规模糖尿病多轮对话数据集上取得了0.79的F1值、2.38的BLEU-4值和9.26的Rouge-l值,在准确率和生成效率方面均优于现有的大语言模型幻觉缓解技术。

随着ChatGPT的出现,从通用领域到专业领域,大语言模型开始在各行各业发挥着重要作用。审计领域与人工智能结合的方法不断涌现,但是传统人工智能方法的准确率远低于现有大语言模型,因此大语言模型在审计领域中的应用仍需进一步研究。在审计领域中,通过人工智能方法智能识别出文本中的有用实体可以极大提升工作效率,减少错误情况。传统的审计文本实体识别算法主要是基于机器学习结合特征工程,这种方法准确率普遍较低。鉴于此,研究几种常见的开源模型(如Llama等)和闭源模型(如ChatGPT等)在审计文本实体识别中的应用,同时结合上下文学习技术提升模型识别效果,有效提升了识别准确率。其中,上下文学习技术结合了基于相似度选择的样例组织方式,实体识别准确率最高提升至98.3%,取得了较好的效果。

大型语言模型在自然语言处理任务中取得显著进展,但其对封装在参数内的知识依赖易引发幻觉现象。为缓解这一问题,检索增强生成技术通过信息检索方法降低错误风险。然而,现有方法检索到的文档往往含有不准确或误导性信息,且在评估文档相关性方面存在判别准确性不足的问题。针对上述挑战,设计了一种简洁高效的方法,通过结合稀疏检索与稠密检索,兼顾词汇重叠的信息与语义相关性。此外,引入排序器对检索到的候选段落进行重排序,在排序器的输入中注入稀疏和稠密检索的分数,进一步优化了段落的排序质量。为验证所提方法的有效性,在SQuAD和HotpotQA数据集上进行实验,并与现有基准方法比较。实验结果表明,所提方法在提升问答性能方面具有显著优势。

随着企业数智化转型的持续推进,人工智能技术已经开始应用到企业内部管理、经营分析和生产效率提升等各个方面。然而,传统的AI应用研发流程涉及数据采集、数据清洗、特征提取、算法建模和应用研发等多个环节。整体技术门槛高,团队成员协作难,硬件资源利用率低,难以支撑数智化业务需求的敏捷落地。针对上述问题,提出了一套基于预训练大模型的AI应用服务平台。该平台主要面向AI应用研发和运营全过程管理进行设计,大幅降低了团队协作和资产管理难度。针对预备态、设计态和运行态中的核心流程,引入了预训练大模型和低代码技术,通过构建标注大模型、测试大模型和运营大模型,提升了AI应用的研发效率,同时实现了对运营数据的实时分析,保障了用户的使用体验,并大幅提升了硬件资源的利用率。

提出了一种基于大模型微调技术的领域UML(统一建模语言)自动构建系统,用于将各领域软件系统制作需求的自然语言描述自动转换为符合统一建模语言标准的UML类图。研究过程包括自然文本数据集构建、模型微调、量化部署以及前端交互界面的开发。通过此系统,非专业用户可以通过简单的自然语言输入,自动生成符合统一建模语言标准的UML类图,大大降低了时间和人力成本。

随着5G基站数量的倍增和接入终端数量的剧增,网络流量的规模将呈现指数级增长,网络流量则呈现出显著的非线性、多模态和突发性特征,对网络资源分配和优化提出了新的挑战。为应对这些挑战,提出了一种基于大语言模型(LLM)的网络流量预测方法(NT-LLM)。该方法通过重编程技术,将传统的网络流量数据转换为适合LLM处理的形式,从而充分利用LLM在跨任务推理和复杂模式识别方面的优势,仅需少量训练数据和较短训练周期,就能够高效处理不同时间尺度的复杂网络流量模式。实验结果表明,与LSTM,Informer,Transformer等基线模型相比,NT-LLM模型在多个区域的网络流量预测均方误差显著下降,分别降低了44.26%,56.78%和51.36%。此外,该方法无需对预训练的语言模型进行大规模微调,具有较强的扩展性和适应性,能够在减少计算资源消耗的同时保持高精度的预测能力。