计算机科学 ›› 2019, Vol. 46 ›› Issue (9): 259-264.doi: 10.11896/j.issn.1002-137X.2019.09.039

• 图形图像与模式识别 • 上一篇    下一篇

基于卷积神经网络的图像局部风格迁移

缪永伟1,2, 李高怡1, 鲍陈1, 张旭东1, 彭思龙3   

  1. (浙江工业大学计算机科学与技术学院 杭州310023)1;
    (浙江理工大学信息学院 杭州310018)2;
    (中国科学院自动化研究所 北京100190)3
  • 收稿日期:2018-07-20 出版日期:2019-09-15 发布日期:2019-09-02
  • 通讯作者: 缪永伟(1971-),男,博士,教授,博士生导师,CCF高级会员,主要研究方向为计算机图形学、数字几何处理、计算机视觉、机器学习,E-mail:ywmiao@zstu.edu.cn
  • 作者简介:李高怡(1994-),女,硕士生,主要研究方向为计算机视觉、机器学习;鲍 陈(1983-),男,博士生,主要研究方向为计算机图形学、计算机视觉、机器学习;张旭东(1982-),男,博士,讲师,主要研究方向为计算机图形学、计算机视觉、机器学习;彭思龙(1971-),男,博士,研究员,博士生导师,主要研究方向为计算机视觉、机器学习。
  • 基金资助:
    国家自然科学基金项目(61272309)

Image Localized Style Transfer Based on Convolutional Neural Network

MIAO Yong-wei1,2, LI Gao-yi1, BAO Chen1, ZHANG Xu-dong1, PENG Si-long3   

  1. (College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023,China)1;
    (College of Information Science and Technology,Zhejiang Sci-Tech University,Hangzhou 310018,China)2;
    (Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)3
  • Received:2018-07-20 Online:2019-09-15 Published:2019-09-02

摘要: 图像风格迁移是计算机图形学和计算机视觉的一个研究热点。针对现有的图像风格迁移方法中难以对内容图局部区域进行风格迁移的难点,提出了一种基于卷积神经网络的图像局部风格迁移框架。首先,根据输入的内容图和风格图,利用图像风格迁移网络生成全局风格迁移图;然后,利用图像语义分割网络,通过自动语义分割生成的掩码确定图像前景区域与背景区域;最后,利用掩码图确定风格迁移区域并融合未迁移区域得到图像局部风格迁移结果,同时提出一种基于曼哈顿距离的图像融合算法以优化局部风格迁移对象与未迁移区域之间边界的衔接和平滑过渡。该框架综合考虑了目标区域和边界带的像素值、位置等细节信息,在3个公开的图像数据集上进行实验,结果表明该方法能够高效、快速并自然地实现输入内容图的局部风格迁移,生成艺术性与真实性和谐并存的视觉效果。

关键词: 图像局部风格迁移, 深度学习, 卷积神经网络, 曼哈顿距离, 自动语义分割

Abstract: Image style transfer is a research hot topic in computer graphics and computer vision.Aiming at the difficulty in the style transfer of the local area of the content image in the existing image style transfer method,this paper proposed a localized image transfer framework based on convolutional neural network.First,according to the input content image and style image,the image style transfer network is used to generate the whole style transferred image.Then,the image foreground and the background area are determined by the mask generated by automatic semantic segmentation.Finally,according to style transfer result of the foreground or the background region,an image fusion algorithm based on Manhattan distance is proposed to optimize the convergence and smooth transition between the stylized object and the original area.The framework comprehensively considers the pixel values and positions of the target area and the boundary band,and experiments on three public image datasets demonstrate that the method can efficiently,quickly and naturally implement local style transfer of input content maps,and produce visual effects that are both artistic and authentic.

Key words: Localized image style transfer, Deep learning, Convolutional neural network (CNN), Manhattan distance, Automatic semantic segmentation

中图分类号: 

  • TP391
[1]GOOCH B,GOOCH A.Non-photorealistic rendering [M].New York:AK Peters/CRC Press,2001.
[2]DECARLO D,SANTELL A.Stylization and abstraction of photographs [J].ACM Transactions on Graphics,2002,21(3):769-776.
[3]WANG J,XU Y,SHUM H Y,et al.Video toning [J].ACM Transactions on Graphics,2004,23(3):574-583.
[4]LI P,SUN H Q,SHENG B,et al.Image stylization with enhanced structure on GPU [J].Science China Information Scie-nces,2012,55(5):1093-1105.
[5]ZANG Y,HUANG H,LI C F.Stroke style analysis for painterly rendering [J].Journal of Computer Science and Technology,2013,28(5):762-775.
[6]GATYS L A,Ecker A S,BETHGE M.Image style transfer using convolutional neural networks [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2016:2414-2423.
[7]GATYS L A,BETHGE M,HERTZMANN A,et al.Preserving color in neural artistic style transfer[J].arXiv:1606.05897,2016.
[8]JOHNSON J,ALAHI A,LI F F.Perceptual losses for real-time style transfer and super-resolution [C]//Proceedings of Euro-pean Conference on Computer Vision.Cham:Springer,2016:694-711.
[9]DUMOULIN V,SHLENS J,KUDLUR M,et al.A learned representation for artistic style [J].arXiv:1610.07629,2016.
[10]SHELHAMER E,LONG J,DARRELL T.Fully convolutional networks for semantic segmentation [J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(4):640-651.
[11]LAFFERTY J D,MCCALLUM A,PEREIRA F C N.Condi-tional random fields:probabilistic models for segmenting and labeling sequence data [C]//Proceedings of Eighteenth International Confe-rence on Machine Learning.Morgan Kaufmann Publishers Inc.,2001:282-289.
[12]DENG J,DONG W,SOCHER R,et al.ImageNet:A large-scale hierarchical image database [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2009:710-719.
[13]SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition [J].arXiv:1409.1556,2014.
[14]HE K,ZHANG X,REN S,et al.Deep residual learning for ima-ge recognition [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2016:770-778.
[15]MALKAUTHEKAR M D.Analysis of euclidean distance andManhattan Distance measure in face recognition [C]//International Conference on Computational Intelligence and Information Technology.IET,2013:503-507.
[16]ABADI M,AGARWAL A,BARHAM P,et al.Tensorflow:large-scale machine learning on heterogeneous distributed systems [J].arXiv:1603.04467,2016.
[1] 周燕, 曾凡智, 吴臣, 罗粤, 刘紫琴. 基于深度学习的三维形状特征提取方法[J]. 计算机科学, 2019, 46(9): 47-58.
[2] 马露, 裴伟, 朱永英, 王春立, 王鹏乾. 基于深度学习的跌倒行为识别[J]. 计算机科学, 2019, 46(9): 106-112.
[3] 李青华, 李翠平, 张静, 陈红, 王绍卿. 深度神经网络压缩综述[J]. 计算机科学, 2019, 46(9): 1-14.
[4] 王嫣然, 陈清亮, 吴俊君. 面向复杂环境的图像语义分割方法综述[J]. 计算机科学, 2019, 46(9): 36-46.
[5] 孙中锋, 王静. 用于基于方面情感分析的RCNN-BGRU-HN网络模型[J]. 计算机科学, 2019, 46(9): 223-228.
[6] 江泽涛, 秦嘉奇, 胡硕. 基于多路卷积神经网络的多光谱场景识别方法[J]. 计算机科学, 2019, 46(9): 265-270.
[7] 石晓红, 黄钦开, 苗佳欣, 苏卓. 基于卷积网络的边缘保持滤波方法[J]. 计算机科学, 2019, 46(9): 277-283.
[8] 邓存彬, 虞慧群, 范贵生. 融合动态协同过滤和深度学习的推荐算法[J]. 计算机科学, 2019, 46(8): 28-34.
[9] 杜威, 丁世飞. 多智能体强化学习综述[J]. 计算机科学, 2019, 46(8): 1-8.
[10] 郭旭, 朱敬华. 基于用户向量化表示和注意力机制的深度神经网络推荐模型[J]. 计算机科学, 2019, 46(8): 111-115.
[11] 张义杰, 李培峰, 朱巧明. 基于自注意力机制的事件时序关系分类方法[J]. 计算机科学, 2019, 46(8): 244-248.
[12] 于洋, 李世杰, 陈亮, 刘韵婷. 基于改进YOLO v2的船舶目标检测方法[J]. 计算机科学, 2019, 46(8): 332-336.
[13] 李舟军,王昌宝. 基于深度学习的机器阅读理解综述[J]. 计算机科学, 2019, 46(7): 7-12.
[14] 张琳娜,陈建强,陈晓玲,岑翼刚,阚世超. 面向行车视频目标实时检测的轻量级SSD网络[J]. 计算机科学, 2019, 46(7): 233-237.
[15] 李健, 杨祥如, 何斌. 基于深度学习的几何特征匹配方法[J]. 计算机科学, 2019, 46(7): 274-279.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 朱虹,李千目,李德强. 基于单个卷积神经网络的面部多特征点定位[J]. 计算机科学, 2018, 45(4): 273 -277, 284 .
[2] 吴建霞, 杨永立. 一种降低FBMC-OQAM系统PAPR的算法[J]. 计算机科学, 2018, 45(6): 89 -95 .
[3] 赖文星, 邓忠民. 基于支配强度的NSGA2改进算法[J]. 计算机科学, 2018, 45(6): 187 -192 .
[4] 沈夏炯, 张俊涛, 韩道军. 基于梯度提升回归树的短时交通流预测模型[J]. 计算机科学, 2018, 45(6): 222 -227,264 .
[5] 周枫, 李荣雨. 基于BGRU池的卷积神经网络文本分类模型[J]. 计算机科学, 2018, 45(6): 235 -240 .
[6] 王振朝,侯欢欢,连蕊. WSN中基于位置预测的地理路由算法[J]. 计算机科学, 2018, 45(5): 59 -63 .
[7] 屠要峰,刘辉,张国良,刘春. 一种分布式缓存系统的关键技术及应用[J]. 计算机科学, 2018, 45(5): 156 -162 .
[8] 刘壮,柴秀娟,陈熙霖. 双通道Faster R-CNN在RGB-D手部检测中的应用[J]. 计算机科学, 2018, 45(5): 232 -237 .
[9] 宋波,闫继雄,陈泽华. 基于变粒度的大规模真值表快速知识约简[J]. 计算机科学, 2018, 45(7): 167 -171 .
[10] 饶元,陆淑敏. 面向知识服务的科技资源协同创新服务机制[J]. 计算机科学, 2018, 45(7): 286 -292 .