1974年1月创刊(月刊)
主管/主办:重庆西南信息有限公司
ISSN 1002-137X
CN 50-1075/TP
CODEN JKIEBK
编辑中心
    计算机图形学与多媒体 栏目所有文章列表
    (按年度、期号倒序)
        一年内发表的文章 |  两年内 |  三年内 |  全部
    Please wait a minute...
    1. 弹幕信息协助下的视频多标签分类
    陈洁婷, 王维莹, 金琴
    计算机科学    2021, 48 (1): 167-174.   https://doi.org/10.11896/jsjkx.200800198
    摘要 (241)   PDF (2404KB) (586)  
    文中探究了弹幕信息协助下的视频多标签分类任务。多标签视频分类任务根据视频内容从不同角度赋予视频多个标签,与视频推荐等应用紧密相关。多标签视频数据集的高标注成本和对视频内容的多角度理解是该研究领域面临的主要问题。弹幕是一种新近出现的用户评论形式,受到了众多用户的欢迎。由于用户参与度高,弹幕视频网站的视频拥有大量用户自发添加的标签,这些标签是天然的多标签数据。文中以此构建了一个多标签视频数据集,并整理出了视频标签间的层级语义关系,该数据集在未来将公开发布。同时,弹幕文本模态包含大量与视频内容相关的细粒度信息,因此在以往视频分类工作融合视觉和音频模态的基础上,引入弹幕文本模态进行视频多标签分类研究。在基于聚类的NeXtVLAD模型、注意力Dbof模型和基于时序的GRU模型上进行实验,在增加弹幕模态后,GAP指标最高提升了23%,证明了弹幕信息对该任务具有辅助作用。此外,还探索了如何在分类中利用标签层级关系,通过构建标签关系矩阵来改造标签,进而将标签语义融入训练。实验结果表明,加入标签关系后,Hit@1指标提升了15%,因此其能优化多标签分类的效果。此外,MAP指标在细粒度小类上提升了4%,说明标签语义的引入有利于预测样本量较少的类别,具有研究价值。
    参考文献 | 相关文章 | 多维度评价
    2. 基于域适应的X光图像的目标检测
    何彦辉, 吴桂兴, 吴志强
    计算机科学    2021, 48 (1): 175-181.   https://doi.org/10.11896/jsjkx.200200023
    摘要 (184)   PDF (3097KB) (413)  
    随着卷积神经网络的发展,X光安全检查图像的自动目标检测算法已经取得了重大进步。但是,当将这些目标检测算法应用到不同于训练集数据的新数据,即训练域数据和测试域数据的图像数据服从不一致的分布时,这些检测算法的性能通常会降低。根据X光成像的变化,提出一种基于上下文的透射率自适应域对齐方法,用于解决检测算法的域不适应问题。首先,通过利用X光图像中存在的颜色信息,设计了一种注意力机制来分别处理X光图像的每个颜色通道特征,解决不同X光机器的颜色差异问题。接着,提出一种多分辨率特征对齐方法,以解决不同厂商不同X光图像之间的数据分布差异。最后,使用上下文向量作为对抗训练的正则化,利用邻域信息提高测试精度。基于X光图像数据集和Cityscape数据集的实验表明,所提方法解决了目标检测算法在不同于训练域数据的测试域中精度下降的问题。
    参考文献 | 相关文章 | 多维度评价
    3. 基于改进生成对抗网络的动漫人物头像生成算法
    张扬, 马小虎
    计算机科学    2021, 48 (1): 182-189.   https://doi.org/10.11896/jsjkx.191100092
    摘要 (204)   PDF (4547KB) (716)  
    针对已有的动漫人物头像生成方法中生成结果的多样性较差,且难以准确地按照用户想法按类生成或按局部细节生成的问题,基于含辅助分类器的对抗生成网络(ACGAN),结合互信息理论、多尺度判别等提出了一种改进模型LMV-ACGAN(Latent label attached Multi scale ACGAN with improved VGG mode),用于动漫人物头像的生成。文中设计的模型主要包括特征整合的反卷积生成器,多尺度特征提取器以及真假、类别、隐参数,还原3个全连接神经网络。对于网络结构,所提模型除了类别标签外,额外引入了一组连续值的隐参数,用来增强对模型的约束,同时将卷积神经网络部分的VGG模型中的池化层替换为跨步卷积,并且判别器引入了图像的多尺度信息进行特征融合且改进了网络末端结构以及各部分的参数更新方式,以尽可能减弱末端的分类部分、真假判别部分和隐参数还原部分之间的相互影响。实验结果表明,所提模型有效地解决了模式崩塌的问题,同时较ACGAN提高了模型生成指定类型图像的成功率和准确度,对于ACGAN等生成失败或者类型判别错误的图像,可以做到正确生成,且能够通过调整连续的隐参数有效地实现一些简单的图像编辑功能,如人脸的朝向等。
    参考文献 | 相关文章 | 多维度评价
    4. 基于多尺度与注意力特征增强的遥感图像描述生成方法
    赵佳琦, 王瀚正, 周勇, 张迪, 周子渊
    计算机科学    2021, 48 (1): 190-196.   https://doi.org/10.11896/jsjkx.200600076
    摘要 (140)   PDF (2149KB) (578)  
    遥感图像描述生成是同时涉及计算机视觉和自然语言处理领域的热门研究话题,其主要工作是对于给定的图像自动地生成一个对该图像的描述语句。文中提出了一种基于多尺度与注意力特征增强的遥感图像描述生成方法,该方法通过软注意力机制实现生成单词与图像特征之间的对齐关系。此外,针对遥感图像分辨率较高、目标尺度变化较大的特点,还提出了一种基于金字塔池化和通道注意力机制的特征提取网络(Pyramid Pool and Channel Attention Network,PCAN),用于捕获遥感图像多尺度以及局部跨通道交互信息。将该模型提取到的图像特征作为描述生成阶段软注意力机制的输入,通过计算得到上下文信息,然后将该上下文信息输入至LSTM网络中,得到最终的输出序列。在RSICD与MSCOCO数据集上对PCAN及软注意力机制进行有效性实验,结果表明,PCAN及软注意力机制的加入能够提升生成语句的质量,实现单词与图像特征之间的对齐。通过对软注意力机制的可视化分析,提高了模型结果的可信度。此外,在语义分割数据集上进行实验,结果表明所提PCAN对于语义分割任务同样具有有效性。
    参考文献 | 相关文章 | 多维度评价
    5. 一种结合非局部和多区域注意力机制的细粒度图像识别方法
    刘洋, 金忠
    计算机科学    2021, 48 (1): 197-203.   https://doi.org/10.11896/jsjkx.191000135
    摘要 (139)   PDF (2787KB) (439)  
    细粒度图像识别的目标是对细粒度级别的物体子类进行分类,由于不同子类间的差异非常细微,使得细粒度图像识别具有非常大的挑战性。目前细粒度图像识别算法的难度在于如何定位细粒度目标中具有分辨性的部位以及如何更好地提取细粒度级别的细微特征。为此,提出了一种结合非局部和多区域注意力机制的细粒度识别方法。Navigator只利用图像标签便可以较好地定位到一些鉴别性区域,通过融合全局特征以及鉴别性区域特征取得了不错的分类结果。然而,Navigator仍存在缺陷:1)Navigator未考虑不同位置间的联系,因此所提算法通过引入非局部模块与Navigator相结合,来加强模型的全局信息感知能力;2)针对非局部模块未建立特征通道间联系的缺陷,构建基于通道注意力机制的特征提取网络,使得网络关注更加重要的特征通道。最后,所提算法在3个公开的细粒度图像库CUB-200-2011,Stanford Cars 和FGVC Aircraft上分别达到了88.1%,94.3%,92.0%的识别精度,并且相比Navigator有明显的精度提升。
    参考文献 | 相关文章 | 多维度评价
    6. 基于PatchMatch的半全局高效双目立体匹配算法
    桑苗苗, 彭进先, 达通航, 张旭峰
    计算机科学    2021, 48 (1): 204-208.   https://doi.org/10.11896/jsjkx.191000205
    摘要 (113)   PDF (2562KB) (600)  
    近年来双目立体匹配技术发展迅速,高精度、高分辨率、大视差的应用需求无疑对该技术的计算效率提出了更高的要求。由于传统立体匹配算法固有的计算复杂度正比于视差范围,已经难以满足高分辨率、大视差的应用场景。因此,从计算复杂度、匹配精度、匹配原理等多方面综合考虑,提出了一种基于PatchMatch的半全局双目立体匹配算法,在路径代价计算过程中使用空间传播机制,将可能的视差由整个视差范围降低为t个候选视差(t远远小于视差范围),显著减少了候选视差的数量,大幅提高了半全局算法的计算效率。对KITTI2015数据集的评估结果表明,该算法以5.81%的错误匹配率和20.2 s的匹配时间实现了准确性和实时性的明显提高。因此,作为传统立体匹配改进算法,该设计可以为大视差双目立体匹配系统提供高效的解决方案。
    参考文献 | 相关文章 | 多维度评价
    7. 图像描述技术综述
    苗益, 赵增顺, 杨雨露, 徐宁, 杨皓然, 孙骞
    计算机科学    2020, 47 (12): 149-160.   https://doi.org/10.11896/jsjkx.200500039
    摘要 (562)   PDF (3031KB) (1122)  
    图像描述技术就是以图像为输入通过数学模型和计算使计算机输出对应图像的自然语言描述文字使计算机拥有"看图说话"的能力是图像处理领域中继图像识别、图像分割和目标跟踪之后的又一新型任务.文中以图像描述技术的发展历程为主线对图像描述任务的方法、评价指标和常用数据集进行了详细的综述.针对图像描述任务的技术方法总结了基于模板、检索和深度学习的图像描述生成方法重点介绍了基于深度学习的图像描述的多种方法并对不同方法的实验结果进行了总结和讨论;详细介绍了图像描述任务的实验结果评价指标及其计算方法和该任务中常用的数据集;最后提出了该任务现有的问题和未来的发展方向.
    参考文献 | 相关文章 | 多维度评价
    8. 基于语言描述的细粒度美妆图片排序
    姚林丽, 陈师哲, 金琴
    计算机科学    2020, 47 (12): 161-168.   https://doi.org/10.11896/jsjkx.200800209
    摘要 (129)   PDF (2150KB) (294)  
    文中研究了化妆领域中基于文本的细粒度视觉推理问题具体探究了一个新颖的多模态任务即根据有序的化妆步骤描述对化妆过程中打乱顺序的人脸图片进行排序.针对这个新颖的任务通过数据的处理和分析提出了两个排序模型:第一个排序模型从单模态的角度出发只利用图片的信息进行排序;第二个模型从多模态的角度出发通过建立文本描述和图片之间的联系来指导图片排序.在You Makeup VQA Challenge数据集上进行了详实的实验以及分析实验结果表明所提出的两个模型在不同的图片对数据上具有互补性在美妆图片排序任务上具有良好的表现在测试集上的选择准确率分别达到了70%和58.93%.
    参考文献 | 相关文章 | 多维度评价
    9. 采用多相关滤波策略的鲁棒长时自适应目标跟踪
    谭建豪, 殷旺, 刘力铭, 王耀南
    计算机科学    2020, 47 (12): 169-176.   https://doi.org/10.11896/jsjkx.191000021
    摘要 (132)   PDF (5328KB) (281)  
    传统相关滤波方法在目标运动模糊和光照变化上取得了一定的鲁棒效果但当目标存在形变、颜色变化、重度遮挡等干扰因素时难以实现跟踪鲁棒性差且当目标丢失后不能再恢复无法实现长时间跟踪.因此文中提出了一种鲁棒长时自适应目标跟踪算法.首先提出了一种特征互补策略将方向梯度直方图和全局颜色直方图的特征响应线性加权学习对颜色变化和形变都具有鲁棒性的相关滤波模型用以估计目标位移;然后仅提取目标前景HOG特征学习一个判别滤波器用以保持对目标外观的长期记忆使用该长期滤波器的输出响应来判别是否出现遮挡或跟踪失败采用在线SVM分类器对丢失目标进行再检测从而能够跟踪已丢失目标以实现长期跟踪;其次学习了以目标位置为中心的特征金字塔模型以预测尺度变化防止目标框漂移;最后在OTB目标跟踪基准数据集上对算法进行实验并与目前较为流行的目标跟踪算法进行对比进一步验证了所提算法的鲁棒性、准确性和优越性.
    参考文献 | 相关文章 | 多维度评价
    10. 基于深度多任务学习的社交图像标签和分组联合推荐
    耿蕾蕾, 崔超然, 石成, 申朕, 尹义龙, 冯仕红
    计算机科学    2020, 47 (12): 177-182.   https://doi.org/10.11896/jsjkx.191000141
    摘要 (151)   PDF (2998KB) (364)  
    随着在线社交的多媒体共享网站的蓬勃发展社交图像推荐逐渐成为研究热点.人们通常对社交图像进行标签化、分组化使得图像数据更加易于管理.传统的图像标签或分组推荐方法往往只关注特定任务忽略了标签推荐和分组推荐任务之间的隐含关系.多任务学习则可以充分挖掘不同任务对图像的共享或相互关联的隐含表示融合多种任务抽取图像特征对于提高单一任务的准确性具有积极意义.因此文中提出了一种基于深度多任务学习的社交图像标签和分组联合推荐模型.该方法使用基于比较的偏序学习深度网络分别进行标签推荐和分组推荐有效缓解了单任务中的数据稀疏性问题.此外在处理社交图像视觉特征的卷积神经网络中首先使用多任务学习将来自不同任务的中间层特征进行连接然后通过卷积实现降维和特征的自动融合使得不同任务的图像特征得到共享同时降维后的融合特征能够满足下一层卷积神经网络的尺寸要求使得单一任务的整体结构得以保持.从大量Flickr图片共享网站上爬取的真实数据集上的实验结果表明与现有经典推荐算法相比所提算法获得的准确率和召回率均有较大提升证明了该方法的有效性和可行性.
    参考文献 | 相关文章 | 多维度评价
    首页 | 前页| 后页 | 尾页 第1页 共2页 共14条记录