单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行计算、集群与网格技术在虚拟天文台中应用探讨,内容大纲,并行计算技术,集群及相关技术,网格计算,如何满足不断增长的计算力需求？,用速度更快的硬件，也就是减少每一条指令所需时间,优化算法（或者优化编译）,用多个处理机,(,器,),同时解决一个问题,并行计算,串行计算与并行计算,并行的层次,程序级并行,子程序级并行,语句级并行,操作级并行,微操作级并行,并行粒度,粗,细,共享内存与分布式内存,P=,处理器,M=,内存,S=,网络交换设备,P,M,P,P,M,P,M,S,局部共享内存,S,P,M,P,P,M,P,Node,Node,实现并行计算的常见方法,1,、多线程程序,2,、基于,OpenMP,的并行程序,3,、基于消息传递的并行程序,PVM,MPI,XPVM,XPVM,并行计,算,算环境,简,简介,PVP,（,ParallelVectorProcessor,）,使用专,用,用向量,处,处理器,银河,I,，,CrayT90,，,NEC,的地球,模,模拟器,。
SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,个,个处理,器,器可以,等,等同访,问,问共享,存,存储器,、,、,I/O,设备和,操,操作系,统,统服务,IBMRS6000,Cluster,由很多,连,连接在,一,一起的,独,独立计,算,算机组,成,成，像,一,一个单,独,独的集,成,成的计,算,算机一,样,样协同,工,工作,集群的,节,节点可,以,以是,SMP,（或者,PVP,）,Cluster1350,，蓝色,基,基因在虚拟,天,天文台,中,中的应,用,用情形,处理实,时,时性要,求,求很高,的,的大量,观,观测数,据,据,观测数,据,据的并,行,行可视,化,化处理,并行数,据,据挖掘,并行数,据,据服务,提,提供,集群技,术,术,集群概,念,念最早,由,由,IBM,于,20,世纪,60,年代提,出,出,集群一,般,般由高,速,速网络,连,连接起,来,来的高,性,性能工,作,作站或,PC,机组成,集群,在,在工作,中,中像一,个,个统一,的,的整合,资,资源，,所,所有节,点,点使用,单,单一界,面,面集群,NotaClusterCluster,集群计,算,算系统,体,体系结,构,构,集群相,关,关技术,网络层,网络互,联,联结构,、,、通信,协,协议、,信,信号技,术,术等。
节点机,及,及操作,系,系统层,高性能,PC,或工作,站,站、分,层,层或基,于,于微内,核,核的操,作,作系统,等,等集群系,统,统管理,层,层,资源管,理,理、资,源,源调度,、,、负载,平,平衡、,并,并行,I/O,、安全,等,等应用层,并行程,序,序开发,环,环境、,串,串行应,用,用、并,行,行应用,等,等Cluster1350,Cluster1350,是,IBM,公司目,标,标定位,于,于高性,能,能计算,市,市场的,Linux,集群，,包,包括一,套,套完整,的,的解决,方,方案，,集,集成了,众,众多,IBM,与非,IBM,的先进,的,的软硬,件,件技术,，,，有其,特,特有的,技,技术优,势,势与强,大,大的服,务,务支持,Cluster1350,逻辑结,构,构,Cluster1350,节点硬,件,件、网,络,络和操,作,作系统,(,天津大,学,学,IBM,中心）,管理节,点,点,IBMeServerxSeries 345(1),计算节,点,点,IBMeServerxSeries 335(16),网络,千兆以,太,太网,操作系,统,统,RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司开,发,发，专,门,门用于,集,集群系,统,统管理,的,的中间,件,件，在,Cluster1350,解决方,案,案集成,。
CSM,的设计,思,思想与,体,体系结,构,构来自,PSSP(IBMParallelSystem SupportProgramsfor AIX),与其它,一,一些开,源,源的集,群,群管理,软,软件还,还有一,些,些中间,件,件及技,术,术，虽,然,然不直,接,接为用,户,户服务,，,，但构,成,成了,CSM,的不可,或,或缺的,基,基础，,包,包括,RMC,、,SRC,、,RSCT,等CSM,Cluster1350系,统,统管理,整个集,群,群由单,一,一结点,控,控制,所有结,点,点的,开机、,关,关机、,状,状态查,询,询,显示远,程,程控制,台,台,安装操,作,作系统,升级,(,安装,),各结点,系,系统及,应,应用软,件,件,一个完,整,整的集,群,群只需,一,一套外,置,置输入,/,输出设,备,备,(,键盘、,鼠,鼠标、,显,显示器,),Linux,集,集群上,可,可用的,任,任务调,度,度系统,Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,动,动完成,节,节点间,进,进程迁,移,移,需要重,新,新编译,Linux,内核,对用户,来,来说是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心开发,为了达,到,到集群,系,系统整,体,体上的,负,负载平,衡,衡，对,各,各个节,点,点上的,任,任务进,行,行调度,，,，但不,进,进行节,点,点间任,务,务迁移,不需要,重,重新编,译,译内核,集群上,的,的应用,程,程序（,计,计算）,开,开发,适于开,发,发基于,消,消息传,递,递的并,行,行应用,程,程序,可以使,用,用,PVM/MPI,步骤：,配置并,行,行计算,的,的编译,与,与运行,环,环境,主要是,rsh/ssh,设计、,编,编写、,编,编译程,序,序,使用,PVM/MPI,提供的,程,程序库,及,及编译,环,环境,部署应,用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,运行程,序,序,配置高,可,可用集,群,群,最大程,度,度地减,少,少服务,中,中断，,而,而不是,容,容错。
Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列软,件,件,Heartbeat,集,集群,LVS,集,集群,集群在,虚,虚拟天,文,文台中,的,的角色,高性能,计,计算,构成虚,拟,拟天文,台,台网格,环,环境中,强,强有力,的,的计算,资,资源,高可用,服,服务,在网格,环,环境中,提,提供稳,定,定、可,靠,靠的数,据,据、计,算,算、调,度,度等服,务,务,网格计,算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,网,网格,理想的,网,网格,ThepictureabovedescribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,网格计算环,境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,结束语,虚拟天文台,将,将构筑于网,格,格环境之上,集群将构成,网,网格环境中,强,强有力的计,算,算与服务支,撑,撑平台,并行计算将,为,为具体事务,处,处理提供技,术,术与手段上,支,支持,Thanks!,演讲完毕，,谢,谢谢观看！,。