计算机科学 ›› 2017, Vol. 44 ›› Issue (10): 59-63.doi: 10.11896/j.issn.1002-137X.2017.10.011

• 2016 全国高性能计算学术年会 • 上一篇    下一篇

基于Openstack的高能物理虚拟计算集群系统及应用

黄秋兰,李海波,石京燕,孙震宇,伍文静,程耀东,程振京   

  1. 中国科学院高能物理研究所计算中心 北京100049,中国科学院高能物理研究所计算中心 北京100049,中国科学院高能物理研究所计算中心 北京100049,中国科学院高能物理研究所计算中心 北京100049;中国科学院大学 北京100049,中国科学院高能物理研究所计算中心 北京100049,中国科学院高能物理研究所计算中心 北京100049,中国科学院高能物理研究所计算中心 北京100049;中国科学院大学 北京100049
  • 出版日期:2018-12-01 发布日期:2018-12-01
  • 基金资助:
    本文受国家自然科学基金(11305192,11605223,11475210),中国科学院高能物理研究所谢家麟基金(Y6546160U2)资助

Openstack-based Virtualized Computing Cluster and Application for High Energy Physics

HUANG Qiu-lan, LI Hai-bo, SHI Jing-yan, SUN Zhen-yu, WU Wen-jing, CHENG Yao-dong and CHENG Zhen-jing   

  • Online:2018-12-01 Published:2018-12-01

摘要: 高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。

关键词: 高性能计算,Openstack,KVM,虚拟计算集群

Abstract: High energy physics computing is a high-performance computing application,which requires a lot of computing resource.If the utilization of CPU resource is not high,it will cause the worse computing efficiency.In traditional computing environment,the static resource management leads to the difficulty to satisfy the resource requirements of different kinds of jobs such as sudden jobs,batch jobs,CPU-intensive jobs,IO-intensive jobs and so on.The paper discussed the virtualized computing system based on Openstack,which implements scheduling jobs with CPU cores,danamically schedule the resources,greatly improves the utilization of resources according to the current job and resource status.Firstly,we introduced the relative research activities including KVM performance testing and optimization,performance analysis of HEP (High Energy Physics) jobs running between KVM and physical machines and the public cloud service IHEPCloud.All of them illustrate it’s totally acceptable to make HEP jobs run in virtualized platform.Then,we demonstrated the design and implementation of virtualized computing system.Finally,the current status of the virtualized computing cluster is shown,which verifies that the performance of virtualized computing system can meet the needs of high energy physics computing.

Key words: High-performance computing,Openstack,KVM,Virtualized computing cluster

[1] FOSTER I,et al.Cloud Computing and Grid Computing 360-Degree Compared[C]∥Grid Computing Environments Workshop (GCE’08).Austin,2008.
[2] STAPLES G.TORQUE resource manager[C]∥ACM/IEEEConference on Supercomputing.ACM,2006:8.
[3] HTCondor [EB/OL].https://research.cs.wisc.edu/htcondor.
[4] ETSION Y,TSAFRIR D.A Short Survey of Commercial Cluster Batch Schedulers[R].Hebrew Univ of Jerusalem,2005.
[5] Openstack [EB/OL].https://www.openstack.org.
[6] KIVITY A,KAMAY Y,LAOR D,et al.kvm:the Linux Virtual Machine Monitor[C]∥Linux Symposium.Ottawa,Ontario,2014.
[7] OHMAN H,PANITKIN S,HENDRIX V.Using Puppet to Con-textualize Computing Resources for Atlas Analysis on Google Compute Engine[J].Journal of Physics:Conference Series,2014,3:032073.
[8] CHEN M J,YAO Z G,GAO B,et al.R&D of LHAASO-WCDA[C]∥32nd International Cosmic Ray Conference.Beijing,China,2011.
[9] HUANG Q L,LI S,CHENG Y D,et al.Performance optimization and Application of KVM in HEP computing Environment[J].Computer Science, 2015,2(1):67-71.(in Chinese) 黄秋兰,李莎,程耀东,等.高能物理计算中的KVM虚拟机性能优化与应用[J].计算机科学,2015,42(1):67-71.
[10] CEPE [EB/OL].http://cepc.ihep.ac.cn.
[11] LIU L,ZHU Z,HAN S,et al.The cryogenic system of BESIII in preliminary design[C]∥Proceedings of the Twentieth International Cryogenic Engineering Conference (ICEC20).2005:39-42.
[12] Jiangmen Underground Neutrino Observatory[EB/OL].http://english.ihep.cas.cn/rs/fs/juno0815.
[13] LHAASO[EB/OL].http://english.ihep.cas.cn/ic/ip/LHAASO.
[14] HAO H F.Development of VME-based RPC Electronics forDaya Bay Reactor Neutrino Experiment[D].Hefei:University of Science and Technology of China,2012.(in Chinese) 郝慧峰.大亚湾反应堆中微子试验中基于VME的RPC电子学研制[D].合肥:中国科技大学,2012.

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 雷丽晖,王静. 可能性测度下的LTL模型检测并行化研究[J]. 计算机科学, 2018, 45(4): 71 -75, 88 .
[2] 夏庆勋,庄毅. 一种基于局部性原理的远程验证机制[J]. 计算机科学, 2018, 45(4): 148 -151, 162 .
[3] 厉柏伸,李领治,孙涌,朱艳琴. 基于伪梯度提升决策树的内网防御算法[J]. 计算机科学, 2018, 45(4): 157 -162 .
[4] 王欢,张云峰,张艳. 一种基于CFDs规则的修复序列快速判定方法[J]. 计算机科学, 2018, 45(3): 311 -316 .
[5] 孙启,金燕,何琨,徐凌轩. 用于求解混合车辆路径问题的混合进化算法[J]. 计算机科学, 2018, 45(4): 76 -82 .
[6] 张佳男,肖鸣宇. 带权混合支配问题的近似算法研究[J]. 计算机科学, 2018, 45(4): 83 -88 .
[7] 伍建辉,黄中祥,李武,吴健辉,彭鑫,张生. 城市道路建设时序决策的鲁棒优化[J]. 计算机科学, 2018, 45(4): 89 -93 .
[8] 刘琴. 计算机取证过程中基于约束的数据质量问题研究[J]. 计算机科学, 2018, 45(4): 169 -172 .
[9] 钟菲,杨斌. 基于主成分分析网络的车牌检测方法[J]. 计算机科学, 2018, 45(3): 268 -273 .
[10] 史雯隽,武继刚,罗裕春. 针对移动云计算任务迁移的快速高效调度算法[J]. 计算机科学, 2018, 45(4): 94 -99, 116 .