随着短视频、智能监控和人机交互等应用不断发展,如何联合建模音频与视觉信息以实现复杂视频语义理解,成为多模态机器学习的重要问题。视听语义分析关注声音事件、视觉对象、行为动作及其时空关系的联合建模,其核心挑战在于跨模态对齐、长时序建模与感知证据约束。对此,围绕视听语义分析的任务体系与技术框架,系统综述该领域的研究进展,梳理数据集与评测方法的演进,并从基础表示学习、音视频联合建模、视听预训练模型及多模态大语言模型等方面总结关键技术路线。进一步结合典型应用场景分析模型能力需求,归纳细粒度音视频对齐、长视频建模、多模态幻觉与证据可追溯等核心挑战。综述指出,视听语义分析正从封闭类别识别转向开放场景下的证据驱动推理,其关键在于构建时间、空间与语义一致的跨模态证据链。相关总结可为后续研究与实际应用提供参考。

视觉语言大模型(LVLMs)在多模态理解、推理与生成任务中展现出卓越性能,但视觉模态的引入也使其安全风险呈现出跨模态脆弱性、隐蔽性增强和风险路径复杂化等新特征,LVLM安全问题已成为多模态人工智能领域的重要研究方向。现有研究已围绕LVLMs的攻击构造、安全评测与防御机制展开广泛探索,但不同工作在威胁模型、任务设定、评价指标和技术路径等方面差异较大,缺乏对攻击类型、防御逻辑及其适用边界的系统归纳。对此,从攻击与防御双重视角对LVLM安全研究进行综述。首先,从模型结构、数据资源和评价指标3个方面构建LVLM安全研究的基础分析框架;其次,在攻击层面,将现有方法归纳为对抗攻击、越狱攻击、提示注入攻击和后门攻击4类,并从攻击目标、威胁模型、实现机制和适用场景等方面比较其作用逻辑与适用边界;在防御层面,从训练阶段和推理阶段两个角度,总结现有防御策略的作用机制、适用条件与局限性。最后,进一步讨论LVLM安全领域面临的关键挑战和未来研究方向,旨在为后续攻防方法设计、安全评测体系完善和可信多模态系统构建提供系统化参考。

科技查新是评估科研项目新颖性与专利授权可行性的关键环节,整套比对流程对逻辑严谨性要求极高。传统检索增强生成范式在处理长文本技术文献时,常因“语义平滑”效应丢失微观工艺特征与拓扑关联;同时,在底层证据缺失的情境下,大模型易受参数化先验知识干扰而诱发级联幻觉,导致查新结论的事实性偏离。针对上述问题,提出一种融合图重排序与自反思机制的检索增强生成框架SRG-RAG。首先,该框架设计了多维意图解耦模型以提升文献初筛精度;其次,通过动态抽取技术特征子图并引入拓扑差分打分算法,对高混淆度查新方案完成精细化重排序;最后,构建基于伪相关反馈的自反思评估器,通过动态查询改写实现检索生成的闭环纠错。在自建的拓扑结构对齐评测基准TopoNovelty-Bench上的实验结果表明,SRG-RAG以Qwen2.5-72B-Instruct为底层基座,将事实幻觉率由基线的22.4%压降至6.2%,显著提升了查新报告的证据效力与判决准确性,为垂直领域的高信度生成任务提供了参考范式。

不完整多模态学习依赖视觉、语音和文本等异构模态的互补融合,但真实场景中模态常因传感器故障、带宽约束或隐私限制而缺失,严重削弱了模型的鲁棒性。现有条件扩散恢复方法多基于单一时域建模,难以保持全局谱结构,易产生局部性偏差;同时,静态条件注入可能导致条件模态过度主导,抑制缺失模态的真实表征。为此,提出了多阶段时-频谱保持扩散模型(Multi-stage Time-Spectral Preserving Diffusion,MT-SPD),在时域-频域联合建模下设计全局结构构建、条件谱对齐和局部细节强化三阶段生成策略,以兼顾宏观一致性与局部保真度。进一步地,引入双路扩散机制,使模态内分支保持共享谱特征自洽,缺失模态分支专注于目标模态重建,并通过交叉引导实现模态内外协同。实验结果表明,MT-SPD 在 IEMOCAP,CMU-MOSI 和 CMU-MOSEI 等多模态基准数据集上均取得优于现有方法的性能,在 CMU-MOSI 的 {A,V} 场景下 F1 较次优模型提升 3.92个百分点,并在不同缺失率下表现出良好鲁棒性。

红外和可见光图像融合的目的在于融合红外图像清晰的轮廓结构和可见光图像丰富的纹理信息来得到一张融合图像,该图像拥有两种模态的互补优势特性,可用于医疗诊断、自动驾驶等场景。现有深度融合方法虽然已逐步引入频域变换、频率注意力或频谱约束,但多数工作仍将频域信息作为辅助增强项嵌入统一主干,缺少对低频结构与高频细节的显式分离和差异化建模。由此,提出一种基于高低频双流解耦的红外与可见光图像融合网络(High-Low Frequency Dual-stream Decoupling Network,HLDNet)。首先,利用高斯低通与残差高通将红外图像和可见光图像分解为低频结构分量与高频细节分量;随后,构建低频流和高频流两个异构分支来分别承担主体结构建模和局部边缘纹理增强,在融合阶段,低频流采用跨注意力引导与门控机制突出热目标和场景结构,高频流采用差分驱动的细节掩码强化边界与纹理;最后,通过跨流一致性模块,利用低频空间先验增强主体结构和显著区域,并利用高频边界信息增强图像细节纹理。与其他先进方法的对比实验表明,所提方法在ROADSCENE数据集上的MI和Qabf分别达到4.21和0.70,在M3FD数据集上的EN和SF分别达到7.30和17.99,在MSRS数据集上的VIF和Qabf分别达到1.12和0.75。实验结果验证了所提方法在边缘增强和细节保真方面的有效性。

互联网模因因具有高度隐喻性与多模态特征,已成为网络仇恨言论传播的新型隐蔽载体。现有的端到端检测方法缺乏深层隐喻解码能力,而基于大语言模型的生成式推理又容易脱离视觉事实产生“推理幻觉”,且面临高参数部署瓶颈。针对上述问题,提出一种基于大模型与知识图谱增强的仇恨模因检测框架。该框架实现了感知与推理的模态解耦:首先,引入视觉结构先验字典精准提取图像要素;其次,结合知识图谱增强构建深层多跳逻辑证据链,建立深层语义关联;随后,设计“起草-审计-精炼”的反思式推理机制,通过跨模态自我审计强制锚定客观事实,从底层机制上遏制幻觉;最后,提出渐进式多模态知识蒸馏策略,将复杂推理能力高效迁移至轻量级目标模型。实验验证,所提框架在Harm-P数据集上的检测准确率高达91.92%,优于现有基线方法。特别地,模型生成解释的事实一致性获4.63分(满分5分),显著抑制了推理幻觉;在跨架构实验中,该框架使基础模型准确率最高提升33.82个百分点。

针对当前加密协议不断演进导致传统单模态检测方法表征能力受限、模型在高度混淆环境下鲁棒性不足等挑战,通过构建保留字节逻辑与时空纹理的多级流表示矩阵(FLR),并结合微调大语言模型(LLM)提取流量语义特征,提出了一种基于跨模态对比学习的多模态加密流量分类方法 CMCL-ETC。该方法解决了单模态检测能力不足、异构特征对齐困难等问题。具体地,设计了双向跨模态注意力交互机制与自适应门控融合策略,利用共享语义空间映射与对比损失约束,实现了流量的字节物理分布与语义特征的对齐互补。在CSTNET-TLS 1.3 和CipherSpectrum两个加密流量数据集上的实验结果表明,CMCL-ETC在全量数据下的准确率分别达到93.65%和97.33%,均优于当前先进的基准模型。实验证实,通过引入LLM与跨模态交互机制,能够提升大规模加密流量分类任务的性能。

预训练数据检测判断候选文本是否在预训练阶段被大语言模型(LLM)学习。现有方法采用硬阈值或关键词选定词元后等权平均,将未选中词元丢弃,且仅依赖词元异常度(token surprisal),忽略了参考差异(reference gap,目标模型相对同族小型参考模型的对数概率优势)。针对上述权重固定与信号单一两点局限,将现有方法统一为加权聚合框架的特例,提出软加权聚合方法SoftTail:利用17个参数的多层感知机(Multilayer Perceptron,MLP)为所有词元生成连续权重,并引入参考差异作为互补信号。在MIMIR基准175次交叉验证上,SoftTail在宏平均曲线下面积(AUC)和5%假阳性率下的真阳性率(TPR@5%FPR)两项指标上均取得最高值,后者相对于Min-K%++提升4.77个百分点,配对自助法(bootstrap)检验表明差异显著。消融实验表明参考差异的引入是性能提升的关键。WikiMIA基准与GPT-2跨架构验证中,所提模型检测优势保持一致。

大语言模型在复杂语义理解方面表现出强大的能力,但由于数据模态差异、特征表达复杂性及高昂的训练成本,其在网络流量领域的应用面临着诸多挑战。为应对上述挑战,提出了FlowSem-LLM(Flow Semantic Large Language Mo-del)——一种面向网络流量语义理解的TLS加密流量分类方法。在无需特定领域预训练的条件下,该方法通过对通用大语言模型进行任务定向微调,实现对加密流量的精准分类。为充分挖掘加密流量特征,设计了一种融合统计特征与TLS协议特征的多维度特征提取方法,分别在应用层、传输层与网络层提取统计特征,并深入解析TLS握手过程,提取协议握手元特征与动态行为特征。在此基础上,将结构化的流量特征转化为指令式语料,使其能够以语义化形式输入大语言模型,并采用参数高效微调的低秩自适应方法对Llama 3.1模型进行指令式监督微调。实验结果表明,FlowSem-LLM在CSTNET-TLS1.3数据集上的120类流量分类任务中取得了0.8662的准确率,验证了该方法在协议语义理解与加密流量分类任务中的有效性。

随着电动网约车规模的扩大,其在线调度面临实时性要求高与决策复杂度高的挑战。传统启发式规则因具备实时性与可解释性而在工业界得到广泛应用,但其高度依赖人工设计,且难以适应复杂动态环境。传统遗传规划等启发式自动设计方法受限于预定义的模块化组件,难以充分利用问题语义信息;而现有基于大语言模型(LLM)的启发式自动设计方法虽具备语义表达能力,却缺乏有效的局部优化引导,通常需要多轮交互才能获得高质量规则。针对上述问题,提出了一种结合评判引导的LLM启发式进化框架LEHR-C。通过构建LLM驱动的进化搜索机制,在基于LLM的子代生成阶段,仅利用交叉与变异算子实现对启发式规则设计思想与代码结构的语义级全局引导;并提出LLM评判机制对候选规则进行缺陷分析与反馈,从而为规则演化提供针对性的局部优化方向。在真实路网数据集上的实验结果表明,相比代表性LLM启发式自动设计方法,LEHR-C能够在减少约45%的LLM交互次数与推理开销的情况下,生成具有良好泛化能力的高质量启发式规则,有效提升在线动态订单处理与车辆路径构建效率,并在启发式规则质量与训练成本之间取得良好平衡。

针对地下管线环境复杂、噪声干扰严重及光纤长距离信号衰减等问题,提出一种基于多模态数据特征融合的光纤外破事件识别方法,以降低第三方施工破坏事件的误报率。该方法将光纤信号的时序数据与时频图像数据相结合,构建多模态数据输入;提取时频域特征并建模光纤通道间的空间关联,以更全面地表征事件;引入一种分层注意力融合机制,利用模内注意力与模间注意力分别学习各模态内部的关键信息及模态间的互补性互信息,并利用门控单元进行自适应加权融合,从而构建了一个鲁棒性更强的光纤外破事件识别模型。实验结果表明,所提出的模型在人工挖掘、挖掘机、疑似事件等6类事件分类上有效提升了光纤振动信号事件识别的准确性,其召回率较传统机器学习与深度学习等基准模型分别提升了约20个百分点和30个百分点。