超级计算中心 45

瑞士国家超级计算中心
刘 波 上海超级计算中心 上海 201203 bliu@ssc.net.cn

瑞士国家超级计算中心（Swiss National Supercomputing 开拓中心：开发极具前景的软硬件技术，并将其发

Centre，CSCS）是瑞士国家的一个科学与服务中心，为瑞士
研究机构在高性能计算各个领域提供科学服务，并开发促
进新的技术。CSCS成立于1991年，是位于苏黎士的联邦技
术研究所（ETH Zurich）的一个独立部分。
CSCS作为瑞士新信息技术的先驱，借此与国内外研
究者合作，开展自己的计算机科学及科学计算的研究。
CSCS的科学家负责提供支持服务，关于HPC系统、高性能
计算应用程序、基准测试的编写与程序开发、数据挖掘、
可视化，以及在工业领域的合作。
瑞士国家超级计算中心目前可概括为如下三个
中心：
服务中心：在瑞士，为科学计算提供一流的IT资源；
展为全球领先的科学设备投入生产，推动领域的扩展；
能力中心：25人组成的团队中，18位工程师、科学
家及计算机专家（6位博士，12位理科硕士和学士），以及
7位技术工程师。
1、资源情况：
CSCS自从1991年起为瑞士提供国家级超级计算服务。
IT-infrastructure总的最优先目标是充分利用高性能计算及网
络HPCN资源（计算系统、网络、数据管理及存储）。
CSCS的IT基础设施将超级计算机、高速网络和数据
管理资源紧密整合在一起，提供给终端用户一个面向应用

应 用 的、高集成的超级计算设施。

展 与 印
发
算 中 心 编
能 计 算
高性 超级 计
上 海

THE CSCS PRODUCTION HPCN INFRASTRUCTURE

1.1、计算资源：CSCS为国家级用户组织提供超级 带宽低延迟的Cray SeaStar进行连接。并行文件系统提供

计算服务有下列体系结构：
Horizon:Cary XT3 TMMPP超级计算机，峰值性能
5.6Tflop/s。欧洲第一个使用Cray系列“Red Storm”技术
的超级计算中心，属于同PSI的联合项目，主要应用科
学研究。Cray XT3拥有1100个2.6GHz AMD OpteronTM处理
器，总内存2.2TB。处理器之间由使用3D环形拓扑，具高
28TB暂时存储器，最大性能传输率4.5GB/s。
并行集群（PCC）：由8个IBM Regatta p690 SMP节
点组成，总共256个1.3GHz Power4 CPU,总内存768GB，
AIX5.2操作系统，峰值性能1.3Tflop/s。Double Colony系
统提供了一个拥有4TB全局并行文件系统的并行环境。
下图为其文件系统示意图：
46 《高性能计算发展与应用》 2006 年第一期 总第十四期

应 用
与 印
并行向量处理机（PVP）：NEC SX－5，16个 R13.1操作系统运行有NQS调度程序，HiPPI和千兆以太

展
CPU，理论峰值性能128Gflops,64GB共享内存，Super-UX 网。这台机器将在06年夏停止使用。

发
下表为其主要机器的一些参数比

算 中 心 编
能 计 算
高性 超级 计
上 海
为了实现最尖端的科学应用，特别的关注平衡的体
系结构问题，尤其是：存储带宽互连等待时间；互连带
宽；高性能并行I/O。
在到2010年这个时间段内，超级计算中心的主要
问题之一即拥有数据管理解决方案的不同种类的超级计
算机的整合。战略上的考虑包括交互操作性、公开的规
程、可扩缩性、附加特征和性能。网络、磁盘和磁带存
储、共享文件系统和分级管理概念及工具会对所有相关
技术产生重大影响。
1.2、数据管理资源
CSCS数据存档设备基于SamFS分层存储管理（
HSM）软件。它运行在高效的SUN集群机上（它包括两
台SUN V880服务器），它可以在拥有20TB高速缓存的快
速LSI Logic D280和两个使用混合SCSI／FC磁带驱动技术
的大容量StorageTek磁带库“Powderhorn”之间实现透明
控制数据传送。冗余的Brocade交换机确保了一个完全交
换的光纤通道存储环境。不断进行硬件和软件组件的升
级使得用户可以获得更高的文件存储性能，并增强服务
有效性，同时确保文件存储容量的无缝增长，目前已超
过350TB。
CSCS数据管理解决方案设计用来满足用户应用对于
总数据存储、数据传送和总的数据生命周期管理的不断
增长的需求。为了实现在线和近线存储（磁盘高速缓存
和磁带），需要更高密度磁盘、磁带以及数据存储路径
（数据服务器、网络和磁带驱动）持续和谐的扩展和迁
移，从而为HPC系统增长的I/O需求提供可用数据存储容
量和数据存取持续性能的相应增长。实际上，在数据管
理领域，为了实现超级计算机数据转移的需要，大量革
新工作是必需的。
 超级计算中心 47
1.3、CSCS网络 供点到点专用网络服务。
高性能网络的核心体系结构是基于HiPPI以及
标准协议（NFS、FTP、NIS）的千兆以太网技术。 1.4、软件资源
CSCS的LAN已经被整合到瑞士学术和研究网络WAN（ CSCS配备了丰富的软件资源，主要是基础研究、工
SWITCHlambda）里，它能保证CSCS同国家学术以及研 业工程应用和可视化软件。工业工程主要是计算流体力
究用户的网络连接。另外，依照签署的相应的服务等 学领域的商业软件包。
级协议，对于特殊用户类型，比如MeteoSwiss，CSCS提 下表为部分软件资源：

化学应用 ADF（2005.01b）
，AMBER（v.8（fix55）），CPMD（3.9.2），DALTON（2.0），
软件 v-Espresso（3.0），GAMESS／US（27 JUN 2005（R2）），GAUSSIAN03
（G03 Rev.D.01）
，GAUSSIAN98（G98 Rev.A11.3），GROMACS（GROMACS
3.3 ）， JAGUAR （ 5.0 ）， MELDF － X ， MOLCAS （ 5.4.116 ）， MOLPRO
（2002.6(patchlevel107)），MPQC（v.2.2.3），NAMD（2.6b1），NWCHEM
（4.7），PRDDO／M（5.1），psapt2K2（Nov.23，2002），Q－CHEM（2.1），
TURBOMOLE（5.8）
，WIEN2K（WIEN2K_05.5）
计算流体 ANSYS CFX（10.0）
动力学及 FLUENT（6.2.16）
相关预处 CD-Adapco STAR-CD（3.150A）
理软件包 ANSYS ICEM CFD/CAE（10.0）

用
AVS／Express（6.3） 一般终端用户和应用机房环境

应
AVS ／ Express toolkit CSCS 为分子科学自定义的工具包

与 印
for Chemistry（3.0）

展
Visualation Toolkit 开源免费软件，3D 计算机图示、图像处理

发“VTK”

算 中 心 编（5.0） 及可视化，包含一个 C++类库，以及 Tcl/Tk，

Java，Python 在内的解释中间层

能 计 ParaView（2.4.2）

算
支持并行分布和共享存储器以及单处理器
系统，使用 VTK 做为数据处理和图形绘制

高性 超级
科学可视 计
化软件 Matlab（7.0.4）
工具，且有由 Tcl/Tk 和 C＋＋语言混合编
写的用户界面
集成工艺计算环境，结合数值计算，高级

上 海 Molekel（4.2）
图形化和可视化，以及高级程序语言
分子图形软件包，分子和电子结构数据可
视化，CSCS 于 1990 年代开发
VMD（1.8） 分子可视化程序，使用 3D 图形技术和内置
脚本程序显示、动画和分析大生物分子系
统，免费源代码
Tecplot（10.0） 职业协会的可视化软件
Grace（5.1.14） 适用 X Window 系统的 WYSIWYG 2D 绘图工
具

2、应用、研发及服务： 维护并进一步培养程序设计语言范例的专业经验；
2.1、科学应用: 熟悉新兴HPC软件技术；
目前测重领域为生物科学、化学、及环境科学。主 提供支持、培训及技术文档。
要任务是开发、增强和调试客户的应用程序。使其更高 2.2、基准测试编写与程序开发（Benchmarking &
效、更有效的使用CSCS资源，同时配置和维护最新版本 Development）
的第三方程序库、自行开发工具及商业应用软件。 小组主要任务是包括计算平台的标准程序，涉及到
主要目标： 在HPC领域里高性能应用程序和软件的开发。其中，提
对应用程序开发人员遇到的所有方面问题给予帮 前的基准测试目标是确定硬件平台与预期性能的最佳匹
助，从端口、编译、调试到高水平算法优化及并行化； 配，这些会根据用户对应用程序的要求。同时为了用户
对第三方程序库、工具及构架的使用提供建议； 更好的使用而提供顶级的专业能力和知识。特别是为计
48 《高性能计算发展与应用》 2006 年第一期 总第十四期
划新的计算资源，提供必要的HPC技术和市场趋势信息。
除了基准测试外，同网格计算领域一样小组还负责
涉及HPC服务及相关工具的软件开发。主要产品如性能
监控应用软件，存取计算资源和现有产品集成解决方案
的基础设施。此外，小组在网格计算领域也可以提供专
业指导。目前在网格计算领域的研究包括国际和国内的
项目和合作，比如瑞士HPCN网格计划，并积极参与欧洲
R＆D项目，如GGF（Global Grid Forum），以及网格产品
和工具的内部评估、增强和调配。
主要工作范畴：
高性能应用程序计算平台的评估及基准测试编写；
新硬件采购技术咨询；
HPC维护及工具的软件开发；
国内及国际网格项目和计划的合作；
网格产品及工具的评估、增强以及调配。
2.3、可视化与数据挖掘
主要目标是为CSCS、联邦技术研究所、州大学、瑞
士政府实验室和瑞士工业界的研究者提供高级可视化专
用
业知识。研究活动主要集中在计算科学研究和工程领域，
应
与 印
比如分子动力学、材料科学、计算流体力学、结构力学等
发 展
等。为了完成这些目标，制定了如下如下研究方向：
编
保持对分子可视化环境（EnSight7，AVS/Express，
计 算 中 心
VTK，ParaView）的专家处理能力，可以快速配置可视化
解决方案；
能 计 算
高性 超级
研制特定应用的解决方案：应用环境的用户定制
化；创新可视化技术的软件集成；实现可重复使用的脚
海
本和模块化对象的自动支持
上
利用分布式的客户端服务器的可视化方案，实现
CSCS高性能计算和大容量存储设备的无缝接入；
开发最新的集成的专用于GUI的OpenGL解决方案
提供用户支持和培训。
CSCS在可视化领域成果显著，尤其在粒子数据模
拟方面。此外，为AVS／Express和VTK开发了一些自定
义模块，包括：AVS UCD数据格式读取器，可用在正式
版VTK和ParaView 1.8；Fluent GAMBIT中立文件格式读取
器，可用于nightly CVS VTK4.5；netCFD读取器；CFX5文
件格式读取器；用VTK实现拉格朗日算子欧拉平移平流
算法，用于非定常流模拟；等等。
此外，CSCS与HP有很好的合作，利用HP的Sepia技
术。由Intel工作站集群组成的Sepia可视化系统，拥有商
业显卡外加HP专利的sort-last合成硬件。这个集群运行
Linux系统，集成软件系统为用户提供高性能并行可视
化服务。
2.4、网格及分布计算程序
终端用户工程项目可以利用CSCS的经验和已配置的
高端计算、存储、存档、可视化资源，以及技术支持。
目前CSCS的网格项目有：瑞士生物网格（Swiss Bio
Grid）、Eurogrid（2004年1月完成）、Enacts（2004年
12月完成）、Enabling Grids for E-science（EGEE）、
LHC（Large Hadron Collider）。
3、合作：
1)、工业合作：CSCS通过提供大规模计算资源，将
学术研究与产业研发结合起来。比如同VA TECH（全球
水力发电站电力机械设备提供商及服务商）的合作项目
以及EPFL的水力机械实验室。
2)、基础研究：为所有瑞士学术同行提供HPC能力
及集成技术，实现分子科学基础研究的并行、优化及可
视化。目前已与ERCOFTAC SIG、法国的Ecole Centrale de
Lyon以及瑞士的VA TECH HYDRO进行平滑粒子流体力学
方面的研究，此外还与ETHZ化学部计算科学实验室进行
密切合作。
3)、机构合作：自2002年起，MeteoSwiss的所有数值气
象预报（NWP），包括每日有效短距离天气预报和研究活
动都在CSCS运行。CSCS也同CERN及瑞士粒子物理研究所
合作，在瑞士建设了LHC计算网格的Tier2硬件设施。
LHC（Large Hadron Collider）－The Swiss Tier 2
of the LCG：欧洲高能物理研究组织在建的—大型强子
碰撞型加速装置（LHC），CERN全球最大加速器于日
内瓦的部分。实验收集的数据会被用于对自然基本定律
的新领域的探索，比如希格斯机制可能发现希格斯玻色
子。LHC项目最大的难题之一是数据的采集和分析。等
效数据量在100MB／s到1GB／s之间。预计每个实验每
年会收集到1PB原始数据，每个实验有2000个科学家负
责开发硬件和软件。他们期望对数据和最新的分析工
具包可以实现立即存取。瑞士，同其它CERN成员国一
样，积极参与到LHC项目的整体运作中。自2003年起，
CHIPP小组将瑞士涉及到科学分析及通过LHC实验进行
数据产品开发的大学实验室连接在一起。03年10月，
CSCS与CHIPP合作配置了Tier 2集群的第一个原型机。
4)、欧洲范围内合作：
Enabling Grids for E-science（EGEE）：欧洲
委员会资助的网格项目。集合超过27个国家的专家学者，
运用当今最先进的网格技术，研制一个可以供科学家全天
24小时使用的服务网格基础设施。EGEE项目组被分成12个
伙伴同盟，由超过70个合约商及超过30个独立合伙人，覆
盖各种科学研究及工业应用。EGEE的三个核心领域：
建造一个兼容、牢固、安全的网格网络，它将吸
 超级计算中心 49
引到更多附加的计算资源； 从而提高欧洲地面系统模型的效率，并为欧洲气候计算
不停改进和维护中间件，向用户提供可靠的服务； 设施的建立铺平道路。预期产生的成果将有一个可靠、
吸引科学领域及工业界新用户，并确保用户得到 高效、便于移植，以及拥有友好用户交换的地面系统模
所需的高标准的培训和支持 型及气候预测设施。
ENACTS：欧盟（EU）资助的基础设施联合运作网
络（Infrastructure Co-operation Network），集合了高性能计 4、2004－2010年战略计划：
算的大型设备及关键用户群，以衡量未来发展趋势。预计 在未来合作模式中，CSCS将会扮演高性能科学服务
计算机科学将影响到全欧洲高性能计算技术的发展。 商的角色。完成其使命：促进技术和科学研究发展，更
EUROGRID：EU资助的大型研发和软件工程技术 好的为瑞士研究组织提供高性能及高吞吐量计算服务。
项目，试图开发重要的网格软件构件并在EUROGRID软 作为新信息技术的先锋，实现科学与服务中心的目标。
件基础设施上集成、运作，并进行支持。EUROGRID设 三大目标：
施由欧洲各国的高性能计算中心运作并给予支持。项目 目标1：科学计算核心领域的发展：高性能计算及
结束后，EUROGRID软件将作为配套产品使用。 联网（HPCN）方法和软件
瑞士生物网格（Swiss Bio Grid）：CSCS同其它重 CSCS将在科学计算领域发展一个强大的分支，基于
要研究机构一起，开发的一个全国范围内的设施。它通过 现有的科学应用软件，基准测试、程序开发和高级可视
使用分布式高性能计算、高速网络、大数据采集和档案存 化能力，最终在HPC方法和软件开发方面开展中心自己
储技术，及必需的软件工具和数据整合能力，支持大规模 的研究。核心领域的发展将基于重要战略研究领域的应
生物信息学、生物仿真、化学信息学及生物医学领域的计 用。必需的人力资源和科学计算专门技能的建立将促进
算应用。瑞士生物网格目标建立一个增值的合作平台，集

应 用 CSCS在计算机科学技术的应用发展。因此，CSCS将增强

与 印
中解决生物科学领域急需解决的关键科学难题。 对国内和国际顶尖研究人员的吸引力，并加强HPCN和科

发
目标是开发一个实验性的欧洲气候模型软件基础设施。展
PRISM：EU资助的大型项目，集成地球系统模型，

编
学服务之的相互联系。
下表是CSCS对一些研究领域的描述：

计 算 中
研究领域心 描述

能
可视化

计 算 高级可视化能力，远程可视化及虚拟现实

高性 超级
最优化，数值化与基准测试 CSCS 基准测试组，求解器及其它数学方法的研发
数据密集型计算 数据挖掘，知识管理，信息管理及检索，机器学习，

上 海
分布式计算
教育与培训
地理信息系统
网格计算，网络连接，通信，代理，分布式服务
组织课程和夏季学校，访问学者
模型化架构支持 研究开发一软件结构，作为研究试验的公共模块

目标2：互补式HPCN计算机体系结构运作，至少有 CSCS将继续加强国内和国际网络连接。为学术界，
一个是国际领先的系统 政府和工业界的合作者提供科学计算服务。
CSCS将在Manno继续试验不同的HPC计算机体系结 截至2000年，CSCS的应用和专业技术发展为四个主要
构。机器的选择取决于用户现有和即将发展的应用领域 领域：工程（CFD，能源，自动化，空气动力学），计算化
的需求，以及技术预测和前期基准测试编写。CSCS不会 学，计算物理，气象学和气候模拟。依靠现有力量，CSCS将
局限于某一个HPC体系结构或是制造商。顶端系统资源 继续拓展这些能力及合作，推进核心领域的发展。
的分配优先给高质量研究项目的科学家。 开发阶段中，对新的用户群体，进一步丰富应用软
目标3：通过与关键科学研究人员的合作，对中心 件组合非常重要。比如生物学和生物医学，粒子物理，
在国内和国际进行定位 以及网格计算和服务。