| |
| Ibm ds8000 redbook 翻译 |
|
| 网友:glz 发布于:
2006.09.27 09:36 (共有条评论) 查看评论 | 我要评论 |
| |
[/url]
目录[
[url=javascript:toggleToc()]隐藏
]
[
编辑
]
第一部分 介绍
在这个部分介绍了
IBM
TotalStorage
DS8000
以及他的主要特性。这包含:
第一章
DS8000
介绍
本章提供了DS8000的特征、功能以及益处的概述。内容包括:
- IBM 关于DS8000的随需应变的市场策略
- DS8000的部件及特性概览
- DS8000的定位以及益处
- DS8000的性能特色
[
编辑
]
1.1 IBM TotalStorage DS 家族成员
略。
[
编辑
]
1.2 DS8000概览
IBM DS8000是一款新的高性能、高容量的磁盘阵列产品。如图1-1所示。它提供了6倍于IBM ESS800的平衡的性能。容量线性的从1.1TB直到192TB。
借助于IBM
POWER5
服务器
技术,DS8000有可能建立存储系统的逻辑分区(LPARs),完全将产品分割开来,用于实验或其他独特的存储环境。
因为DS8000被计划为将添加和适应新技术的产品,因此是一款弹性的可扩展的磁盘系统。
DS8000完全采用新的包装并拥有新的管理工具,例如可以同时管理和配置DS8000和DS6000的DS 存储管理器和DS 命令行界面(CLI)。
DS8000 被设计为运行在24*7环境下,拥有保障商业连续性(business continuity)的领先容灾(remote mirror)和拷贝功能的产品。

图1-1 DS8000基础机柜
IBM TotalStorage DS8000重要特性包括:
- 专为关键业务负载提供强大、灵活和高性价比的磁盘存储而设计
- 提供优异的系统可用性,支持不间断的运行
- 物理存储容量可扩展到192TB,空前简化的模块到模块的保护投资的升级方式
- 在多种服务器平台环境下实现存储共享
- 通过简化的集中管理帮助提升存储的管理效率
- 创造性的提供存储系统分区功能(LPARs),完全将产品分割开来,用于实验或其他独特的存储环境。
- 比ESS800基础结构降低20%的占地面积,而提供了更高的存储容量
- 工业领域首先提供4年的保修
[
编辑
]
1.2.1 硬件概述
DS8000比ESS800拥有几个鲜明的特征,提供了管理的灵活性。更多的信息请参阅第六章,“IBM TotalStorage DS8000模块概述和可扩展性”
此节我们只简单的描述主要硬件。
POWER5 处理器技术
DS8000使用了IBM
POWER5
技术,这也是实现存储系统分区
LPARs
的基础。DS8100 Model 921使用了2路64位
微处理器
,DS8000 Model 922/9A2 使用4路64位微处理器。在DS8000的POWER5 服务器中提供了最大256GB Cache,4倍于原来的ESS。
内部Fabric
DS8000 的内部采用了在IBM
pSerise
服务器中使用的高带宽,容错的内部连接方式。它叫做RIO-2(Remote I/O),能够运行在1GHz下,每条连接提供2GB持续带宽。
交换式光纤通道仲裁环路(Switched Fibre Channel Arbitrated Loop)
磁盘内部连接与ESS不同,采用了交换式FC-AL设备代替了SSA环路。这提供了到每块硬盘和适配卡的点对点的连接,同时提供了从控制器到每块硬盘的4条可用路径。
光纤通道硬盘
DS8000提供多种基本的光纤通道硬盘供选择。有73GB (15000 rpm),146GB (15000 rpm),146GB (10000 rpm),300GB (10000 rpm)可以使用。使用300G硬盘时可以使系统达到192T的容量。
主机适配卡(Host Adapters –HA)
DS8000提供了增强连通性的4端口FC/FICON
主机适配卡
。2Gb/s 的4端口FC/FICON主机适配卡可以提供长波和短波端口,并自动兼容1Gb/s的连接速率。4端口FC/FICON主机适配卡能够被配置为混合使用 FC和FICON。这可以保护用户在主机适配卡上的投资,增强客户迁移到新的服务器上来的能力。DS8000同时提供2个端口ESCON适配卡。一台 DS8000最大可以提供32块主机适配卡,带来128个FC/FICON接口。
DS8000存储硬件管理控制台(S-HMC)
DS8000提供了一套新的综合的管理控制台。未来,这套控制台可以服务和管理8台DS8000。最初,它只能管理一台DS8000。S-HMC是管理阵列和拷贝服务的焦点设备,它可以拥有自己完整的键盘、显示器设备或者采用远程Web浏览器方式。
更多的信息请参阅第二章,“部件”。
[
编辑
]
1.2.2 存储容量
DS8000的物理容量通过购买disk drive sets。一个disk drive set含有16块同样的硬盘,这些硬盘具有同样的容量和同样的转速(RPM)。
可用的硬盘类型有:
- 73GB (15000 rpm)
- 146GB (15000 rpm)
- 146GB (10000 rpm)
- 300GB (10000 rpm)
基础机架内具有最大128块
硬盘
(disk drive modules (DDMs))的空间,每个扩展机架能够容纳256块DDMs。最大容纳的限制是640块DDMs,如果采用300G硬盘的话,系统能够达到192T存储容量。
DS8000支持
RAID-5
和
RAID-10
,或者两者的混合。作为性价比的领导者,
RAID-5
能够为多数地客户的应用提供出色的性能。而RAID-10能够为挑剔的应用提供更好的性能。
用户可以通过采用不同的硬盘实现价格、性能以及容量的最佳组合。
DS8000提供的随需备用容量
DS8000的随需备用容量(Standby CoD)允许客户当需要的时候使用额外的存储容量。使用Standby CoD时,IBM将安装64块硬盘(以16为增量)。任何时间,你可以逻辑上配置客户的Standby CoD容量并去使用。激活的动作不许要IBM的参与。在逻辑的配置上,客户能够去改变容量。
更多的信息请参阅9.4,“容量规划”
[
编辑
]
1.2.3 存储系统逻辑分区(LPARs)
DS8000在工业领域第一个实现了存储系统的
逻辑分区
。这意味着客户能够同时运行两个完全隔离的、独立的、虚拟存储影像用于不同的负载,和不同的操作系统环境,此时只有一台物理的DS8000。DS8300 Model 9A2.具有LPAR功能。
第一次运用
pSeries
虚拟引擎技术的DS8000能够将系统分割成2个虚拟的
存储
系统。
处理器
、
内存
、
适配卡
都将分配在2个系统上。通过硬件和POWER5 Hypervisor™ 固件将2个分区完全的分离开来。
最初,每个存储分区拥有:
- 50%的处理器
- 50%的处理器内存
- 最大16块主机适配卡
- 最大320块硬盘(容量最大96TB)
对于这两个分区,可以运行相同或不同的微码,以及能够被用于完全分割开的生产系统、测试或其他独特的存储环境,这一切只是运行在一套物理系统上。
详细的说明请参阅第三章,“存储系统LPARs”。
[
编辑
]
1.2.4 支持环境
DS8000提供了广阔的服务器环境连通性支持,包括IBM z/OS、z/VM、OS/400、i5/OS和AIX操作系统以及
Linux
、
HP-UX
、
Sun
SOLARIS
、
Novell
NetWare和
Microsoft
Windows
环境。DS8000支持的系统与
ESS800
非常相似;支持超过90种以上的平台。如此丰富的异构环境的支持和连接,能够使DS8000非常容易和便捷的将容量分配给不同的环境,帮助巩固动态的、改变的环境。
[
编辑
]
1.2.5 业务连续性弹性家族
业务连续性意味着业务进程和关键业务应用需要在任意时间可用,因此需要存储环境提供弹性的支持计划内和计划外停机。
DS8000支持非常丰富的拷贝服务以及管理工具,能够建立一个与业务连续需求环境吻合的方案。这些包含IBM TotalStorage 弹性家族的时间点快照(Point-in-Time Copy)、远程镜像(Remote Mirror)和拷贝方案。
注意:在ESS以前文档中的PPRC(Peer-to-Peer Remote Copy)已经归类到远程镜像(Remote Mirror)和拷贝。
客户可以通过叫做DS命令行(CLI)和叫做浏览器方式的DS Storage Manager管理拷贝服务。DS Storage Manager允许客户在有网络环境的任何地方建立以及管理数据拷贝。
IBM TotalStorage FlashCopy
FlashCopy
能够帮助减少或者避免关键应用的计划内停机。在DS6000和DS8000上,FlashCopy像ESS上的FlashCopy V2一样,被设计为提供逻辑卷的同一时间点的拷贝(point-in-time copy),同时允许几乎马上就能访问源数据卷和拷贝。
FlashCopy支持许多高级功能,包括:
Data Set FlashCopy允许在zSeries环境下建立一个Data Set的FlashCopy,
- Multiple Relationship FlashCopy
多关联快照(Multiple Relationship FlashCopy)允许一个源数据卷同时拥有多个目标卷。
增量快照(Incremental FlashCopy)提供不需要再次完全复制源数据卷的情况下更新快照目标卷。
- FlashCopy to a Remote Mirror primary
FlashCopy to a Remote Mirror primary提供了使用一个同时是远程镜像源数据卷的快照目标卷的可能。这个过程允许客户建立一个基于时间点的拷贝并在远端建立一个数据拷贝。
- Consistency Group commands
Consistency Group commands(一致性组命令)允许DS8000控制中断一个LUN或卷的I/O活动直到快照一致性组命令(FlashCopy Consistency Group commands)完成。一致性组能够用来帮助建立一个一致性的时间点拷贝跨越多个LUN或卷,以及跨越多个DS8000。
- 在远程镜像线路上的带内命令(Inband Commands over Remote Mirror link)
在一个远程镜像环境中,在远端管理FlashCopy的命令能够在本地或者中间点使用远程镜像线路上传递。这样便排出了在远端单独建立一条网络连接去管理FlashCopy的需要。
IBM TotalStorage Metro Mirror (Synchronous PPRC)
Metro Mirror是一种远程数据镜像技术,可以在所有的支持的服务环境实现,包括z/OS以及开放系统。它被用于在城市内(典型的最大距离是采用DWDM 300km)实现从本地到远端保持不变的数据更新拷贝。使用同步镜像数据技术,数据的流通在两个地点保持,因此距离因素会影响到性能。Metro Mirror是首选的业务连续性方案,来保护数据防止磁盘系统失效或地点的完全失效。
IBM TotalStorage Global Copy (PPRC Extended Distance, PPRC-XD)
Global Copy是一种在z/OS和开放平台下的异步远程拷贝功能,用来实现可能比Metro Mirror更远的距离。Global Copy的操作方式是:在收到远端完成的信息之前,本地的写操作就已经完成了。这个功能被设计原来提高主系统的性能,减少等待远端写完成的时间。所以,本地和远端之间可以是任意距离。这个功能适合于距离上无限制的远程数据迁移,离线备份和传输停止的数据库log。
IBM TotalStorage Global Mirror (Asynchronous PPRC)
Global Mirror(全球镜像)拷贝提供了一种支持z/OS和开放系统的2个地点之间延长距离的远程镜像。Global Mirror的工作方式是:主机写入到本地存储单元的数据也被异步方式传送到远端。一个数据一致性的拷贝然后被自动的保存在远端存储单元。这种2个地点的数据镜像功能被设计提供高性能、更有效的成本和全球距离的数据复制以及灾难恢复方案。
IBM TotalStorage z/OS Global Mirror (Extended Remote Copy XRC)
z/OS Global Mirror是一个在z/OS和OS/390上可用的远程数据镜像功能。它在不受到距离限制的远端控制着一个远程异步数据拷贝。z/OS Global Mirror是一种非常适合大型zSeries服务器负载,以及被用于业务连续性方案、负载传送(workload movement)和数据迁移环境。
IBM TotalStorage z/OS Metro/Global Mirror
这种镜像能力使用z/OS Global Mirror去把本地数据通过长距离镜像,以及使用z/OS Metro Mirror将本地数据镜像到城市内。这能够使在z/OS上实现三地(three-site)的高可用性和灾难恢复方案,达到更好的非计划内停机保护。
Three-site solution
一种将Global Mirror和Global Copy结合,叫做Metro/Global Mirror Copy的功能可以用于ESS750和ESS800。这种三地步骤方式以前叫做异步级联PPRC(Asynchronous Cascading PPRC)。数据首先同步到中间地点,然后异步拷贝到更远的距离的地点。
更多信息请参阅第七章,“拷贝服务”。
[
编辑
]
1.2.6 互操作性
就像前面提及的,DS8000支持广阔的服务器平台环境。但是这里还有一个关于互操作性非常有优势的特点。DS8000的远程镜像以及拷贝服务能够与DS8000、DS6000和ESS Model 750/800/800Turbo互通。这提供了一个引人注目的增加系统弹性的镜像和远程拷贝方案,也能够为实现比以前更小投资的业务连续性方案提供了可能。
[
编辑
]
1.2.7 服务与安装
DS8000的安装完全由IBM负责。客户的职责是安装计划,retrieval和安装激活代码,以及逻辑配置计划和应用。这与ESS没有区别。
对于维护和服务操作,IBM的存储硬件管理控制台(S-HMC)是焦点。管理控制台是IBM DS8000物理系统的一部分的专用的工作站,能够自动监测客户的系统,当需要服务时提醒客户和IBM。
S-HMC同时又是远程服务的接口。远程连接能够在客户环境下进行配置。它可能提供下列某个或更多的功能: call on error (machine detected))connection for a few days (customer initiated), 以及 remote error investigation (service initiated))。管理控制台与IBM服务机构之间的远程连接使用internet或modem经过一条虚拟的专用网络(VPN)点对点连接起来。
DS8000提供4年的硬件和软件的保修。这突出的显示了IBM在此产品上的信心。再一次的,这使得DS8000具有更好的总体拥有成本(TCO)。
[
编辑
]
1.3 定位
DS8000被设计为提供优越的性能、可扩展性以及灵活性,支持24*7操作环境的产品,帮助提供访问需求和保护如今的商业环境。它也提供了只需要更低长期投资的灵活性和集中化的管理。它是IBM TotalStorage DS家族中的一部分,被选择用作最大限度的可靠性、可扩展性以及保证对关键应用的性能的环境。
[
编辑
]
1.3.1 共同的功能
DS8000支持的多数特性和功能并不仅限于DS8000。这些共同的功能能够同样被很好的使用在DS6000上。因而只需要一套管理方法来管理这些产品。这能够帮助减少管理上的投资和总体投资(TCO)。
共同的存储管理功能包括一种给予Web方式的图形化界面管理IBM TotalStorage DS Storage Manager,和IBM TotalStorage DS Command-Line Interface (CLI),以及IBM TotalStorage DS open application programming interface (API)。
FlashCopy,Metro Mirror,Global Copy,以及Global Mirror也是共同的高级拷贝管理功能。另外,IBM DS6000/8000镜像方案也可与ESS800和750兼容。这提供里一个新纪元的具有高弹性的和高效的业务连续性解决方案。
DS8000与ESS对比
D8000是新一代的企业级存储服务器(Enterprise Storage Server),因此所有在ESS上的功能都能够在DS8000上使用(除了Metro/Global Copy)。从统一的观点出发,现在又可能将4台ESS800替换为1台DS8000。以及通过LPAR实现附加的机会,因为你可以将一台物理存储设备变为2套逻辑存储设备。
自从DS8000与ESS镜像方案兼容以来,这能够建立一套本地是高性能的存储系统DS8000,而远端部要求高性能的地方采用ESS构建灾难恢复解决方案。
DS8000与DS6000对比
DS6000和DS8000现在提供了一套企业级存储连续性解决方案。所有拷贝功能(除了Global Mirror for z/OS Global Mirror,这个功能只能在DS8000上可用)都可以在2套系统上可用。客户可以在两台设备之间使用Metro Mirror, Global Mirror,和 Global Copy。
明显的,DS8000比DS6000拥有更高吞吐能力和扩展性,但是并不是所有用户都需要这么高的吞吐能力和容量。客户可以根据自己的需要选择。2种系统都支持同样的SAN基础架构和同样的主机平台。
所以可以非常简单的在一个环境中混合DS6000和DS8000,提供共同的技术和管理功能,使客户的存储方案实现投资最优。
逻辑分区功能只能用于DS8000,还不能在DS6000上实现。更多的信息请参阅The IBM TotalStorage DS6000 Series: Concepts and Architecture, SG24-6471。
[
编辑
]
1.3.2 共同的管理功能
DS8000提供了同样使用于DS6000的新的管理工具和界面。
IBM TotalStorage DS Storage Manager
IBM TotalStorage DS Storage Manager是一种基于web图形使用界面(GUI)被能够完成逻辑管理和拷贝服务的管理工具。只要具有网络环境的地方都可以通过浏览器的方式实现。用户可以采用下列的选项使用IBM TotalStorage DS Storage Manager:
- 模拟配置Simulated (Offline) configuration
这种应用允许客户没有连接网络的条件下,建立或者修改逻辑配置。当建立配置后,客户能够保存它并在网络连接存储系统后应用。
- 在线配置Real-time (Online) configuration
在网络连接到存储单元上时,它提供了在线管理逻辑配置和拷贝服务。
IBM TotalStorage DS Command-Line Interface (DS CLI)
DS CLI是能够使用命令完全的进行逻辑配置和拷贝服务工作。现在能够将DS CLI命令组合为一个脚本。这能够消除以前使用GUI建立和保存一个任务的需求,提高生产效率。DS CLI也能够将拷贝服务命令给ESS750、ESS800或DS6000使用。
下面列出了使用DS CLI界面能够完成的功能细节:
- 检查和校验存储单元的配置
- 检查存储单元当前的拷贝服务配置
- 建立新的逻辑存储(logical storage)以及拷贝服务配置
- 更改或删除逻辑存储(logical storage)以及拷贝服务配置
DS CLI的详细说明请参阅第十一章,“DS CLI”。
DS Open application programming interface
DS Open application programming interface(
API
)是一个共享的存储管理客户端应用,它支持常规的LUN管理活动,例如LUN建立,映射和屏蔽,以及建立或删除RAID-5和RAID-10卷的空间。DS 开放API也允许操作拷贝服务功能,例如FlashCopy和Remote Mirror and Copy。
[
编辑
]
1.3.3 可扩展性和配置灵活性
使用DS8000能够使存储容量直线的升级到192T。系统的结构被设计为能够使用现在的300G硬盘达到1PB容量。然而,出于理论上结构的限制,基于寻址能力,使一个惊人的96PB。
DS8000有基础和扩展模块提供多种选择,因此它能够去满足客户细节上的性能和配置要求。DS8100(Model921)采用双路处理器,支持一个扩展机柜。DS8300(Model 922和9A2)采用4路处理器,支持1或2个扩展机柜。Model 9A2支持2个IBM TotalStorage System LPARs(逻辑分区)在一个物理的DS800内。
DS8100提供最大128G处理器缓存,DS8300最大提供256G处理器缓存。另外,非易失性缓存Non-Volatile Storage (NVS)的大小是可以调整的,帮助优化系统性能。
另外一个重要的特性是关于灵活的LUN/Volume
虚拟化
。现在能够建立或删除一个LUN或一个Volume而不会影响在
RAID
rank中的其他的LUN。当删除一个LUN或一个Volume时,只是容量降低了,例如,形成不同大小的LUN。允许跨RAID rank分配LUN或Volume,建立的LUN或Volume最大达到2TB。
主机系统访问LUN通过volume groups控制。主机或硬盘在相同的volume groups中共享访问数据。这是一种新的LUN屏蔽样式。
DS8000能够:
- 最大255个逻辑系统logical subsystems (LSS);使用2个LPAR时达到510个LSS
- 最大65280逻辑设备;使用2个LPAR时达到130560个LSS
[
编辑
]
1.3.4 存储系统LPARs的未来方向
IBM未来的计划包括提供更多使用存储系统
LPAR
的灵活性。当前的计划是想要提供一个更细致的I/O分配。同样,在LPAR之间的处理器资源分配预期从50/50能够变化为像25/75,0/100,10/90或20/80。不仅处理器资源将更加灵活,在未来,计划提供在存储系统LPAR之间更加动态的缓存改变。
这些特征能够为变化的负载和性能环境起作用,显示DS8000强大的灵活性。
另外一个想法如果应用也可以使用LPAR, 那这将最好的体现存储设备的LPAR功能的价值。IBM现在正在评估提供给用户最大价值的存储应用的种类。例如,可能的应用,备份/恢复应用(TSM,,Legato,Veritas等)。
[
编辑
]
1.4 性能
DS8000提供了理想的性能平衡,吞吐能力6倍于ESS800。因为DS8000结合了多种性能增强手段,例如双集群的POWER5服务器,新的4口2Gb FC/FICON主机适配卡,新的FC 硬盘,以及高带宽、容错的内部连接系统使这成为可能。
通过使用这些部件,使DS8000处于了高性能产品类别里面的顶峰。
[
编辑
]
1.4.1 Sequential Prefetching in Adaptive Replacement Cache (SARC)
另外一个增强的是新的自学习Cache算法。DS8000高速缓存技术改善了Cache使用效率以及增强了Cache命中率。还在申请专利的算法被用于DS8000和
DS6000
上,被叫做Sequential Prefetching in Adaptive Replacement Cache (SARC)。
SRAC提供了:
- 申请专利的改进的算法在主机近来存取和频率上计算出什么数据应该被放在Cache中
- 预取功能,在主机请求之前将预期使用的数据提前放入Cache
- 自学习算法在主机使用频率上自适应的动态的学习什么数据应该被放在Cache中
[
编辑
]
1.4.2 IBM TotalStorage Multipath Subsystem Device Driver (SDD)
SDD是一种支持多路径(
Multipath
) 配置环境的软件解决方案,提供从主机到储存设备的驱动。它提供负载均衡和增强数据可用性功能。对于多路径分布式I/O负载,SDD提供动态负载均衡和消除数据流动瓶颈。SDD 还能帮助解除潜在的单点故障,它是通过当一个路径发生故障时,把I/O自动地导向到冗余路径上实现的。
DS8000 的SDD是不需要附加费用的。光纤通道连接配置支持AIX,HP-UX,Linux, Microsoft® Windows,Novell NetWare,,以及Sun Solaris环境。
[
编辑
]
1.4.3 zSeries下的性能
在
zSeries
环境下,DS8000支持如下的性能革新:
- FICON 扩大DS8000系统对当逻辑卷需要时,对潜在的高带宽需求的输送能力。旧的技术在一块硬盘带宽和一个ESCON通道上性能很有限,但是FICON可以同时工作在DS8000其他功能上,为多路复用操作提供一个高速的管道。
- Parallel Access Volumes (PAV) 允许一台zSeries在同一个逻辑卷上同时处理多个I/O操作,能够较大的帮助减少设备队列等待的时间。它通过对每个卷定义多个地址实现。动态PAV,自动的分配逻辑卷的地址,帮助负载与目标系统吻合,减少整体队列。PAV是DS8000上一个可选特性。
- Multiple Allegiance 扩展的多zSeries服务器同时的访问逻辑卷的能力。这个功能是PAV的发展,允许DS8000并行的处理更多的I/O,帮助改善性能以及更好的使用大型卷。
- I/O priority queuing 倘若zSeries负载管理器管理着I/O操作顺序,就允许DS8000使用I/O优先权信息
更多信息请参阅第十二章,“性能上需要考虑的事项”。
[
编辑
]
1.5 总结
在这一章节中,提供了简短的新的DS8000益处和特性的概述,展示出为什么DS8000提供了:
- 平衡的性能,6倍于ESS800
- 线性的可扩展到192T(计划到1PB)
- 存储系统LPAR完整的方案能力
- 可寻址范围的极大提高大大增加了系统灵活度
- 可扩展性,因为DS8000被设计添加/自适应新技术
- 新的管理工具
- 可用性,DS8000被一开始就被设计为用于24*7的环境
- 弹性贯穿于工业领先的远程镜像和拷贝能力
- 低的远期投资,达到首个工业4年保修服务,以及模块到模块的升级能力。
更多详细增强信息以及DS8000的概念原理和体系结构,在此红皮书剩下的部分说明。
[
编辑
]
第二部分 体系结构
在这个部分描述了
DS8000
体系结构的多个方面。这些包含:
- 硬件部件
- LPAR特点
- RAS—可靠性、可用性和适用性
- 虚拟概念
- 模块综述
- 拷贝服务
第二章 组成部分
此章描述了构成DS8000的组成部分。此章为那些希望看到个别组成部分及架构清楚的图片的人有意的提供了这些。
此章介绍了:
- 机架
- 体系结构
- 综合处理机processor complexes
- 硬盘系统
- 主机适配卡
- 电源和冷却
- 管理控制台网络
[
编辑
]
2.1 机架
DS8000被设计为模块化扩展。从高等级的视图中显示出DS8000可用三种类型的
机架
。然而,靠近的观察,几乎所有的机架都是一样的。机架唯一的不同变化是其中包含的处理机,I/O Enclosure,
电池
以及
硬盘
。
图2-1是一个尝试显示DS8000机架内可能的变化的视图。左边的机架是一个基础机架,内部包含处理机(eServer p5 570)。中间的机架是一个扩展机架,包含额外的I/O Enclosure,但是没有处理机。右边的机架是一个扩展机架,只含有硬盘(没有处理机、I/O Enclosure或电池)。每个机架包含一个机架电源区域,里面有电源和其他与电源有关的硬件。

图2-1 DS8000机架可能性
[
编辑
]
2.1.1 基础机架
基础机架的左边(从设备的正面看)是机架电源区域。只有这个机架包含有机架电源控制卡rack power control cards (RPC),来控制存储单元的电源顺序。机架内同时含有风扇感应卡,来监控风扇。基础机架包含2个主要的供电电源primary power supplies (PPSs),将输入的交流电转换为直流电。电源区域也包含依赖于型号和配置的2个或三个后备电池单元battery backup units (BBUs)。
基础机架能够最大包含8个disk enclosure,每个disk enclosure能够放置16块硬盘。最大配置下,基础机架能够包含128块硬盘。在disk enclosure上面的是位于一个cooling plenum里的冷却风扇。
在disk enclosure和综合处理机processor complexes之间是2个以太网交换机,一个存储硬件管理控制台Storage Hardware Management Console(S-HMC)和一个键盘/显示器模块。
基础机架包含2个综合处理机processor complexes。这些eServer p5 570服务器包含处理器和内存,驱动DS8000的所有功能。在ESS上,将它们归类于集群,但是这些术语不再有关联。现在有能力将每个 processor complexes分为2个LPAR,每个都等同于ESS的集群。
最后,基础机架包含4个I/O enclosure。这些I/O enclosure提供适配卡和processor complexes之间的连通。在I/O enclosure使用的适配卡既可以是主机适配卡也可以是设备适配卡(HA/DA)。适配卡和processor complexes之间的通信链路使用RIO-G环路。这个环路不仅提供了I/O enclosure到processor complexes之间的连通,同时提供了processor complexes之间的通信。
[
编辑
]
2.1.2 扩展机架
每个扩展机架左边(从设备的正面看)是机架电源区域。扩展机架没有包含机架电源控制卡rack power control cards (RPC);这些卡只出现在基础机架上。他们包含一个风扇感应卡,来监控机架内的风扇。每个扩展机架包含2个主要的供电电源primary power supplies (PPSs),将输入的交流电转换为直流电。最后,电源区域可能根据模块和配置包含3个后备电池。
每个扩展机架能够拥有16个内置硬盘的disk enclosure。他们描述为16-packs,因为每个enclosure能够拥有16块硬盘。最大化配置下,每个扩展机架能够拥有256块硬盘。在 disk enclosure上面的是位于一个cooling plenum里的冷却风扇。
如果是连接model 922或9A2的第一个扩展机架的话,能够包含I/O enclosure和适配卡。model 922或9A2的第二个扩展机架没有I/O enclosure和适配卡,也不能有任何的扩展机架连接model 921。如果扩展机架含有I/O enclosure,enclosure提供适配卡和处理机之间的连通。I/O enclosure内的适配卡可以是主机适配卡或设备适配卡(HA/DA)。
[
编辑
]
2.1.3 机架操作面板
每个DS8000机架都有机架操作面板。这个面板有三个指示器和紧急电源关闭开关emergency power off switch (an EPO switch)。图2-2描述了操作面板。每个面板有2个电源线指示器(每个电源线有一个)。正常的操作下,这些指示器都是打开的,显示出每个电源线被提供了正确的机架电源。这也是故障指示器。如果这个指示器照亮,就必须使用DS 存储管理器GUI或者存储硬件管理控制台(S-HMC)去确定为什么指示器会点亮。
在每个面板上也有一个EPO开关。这个开关只能用于紧急情况。开关跳开会将绕过所有的电源顺序控制,直接的切断系统的电源。一个小型的盖子必须被升起来操作。不要触碰这个开关除非DS8000进行危险保护或者冒生命危险进行安置。

图2-2 机架操作面板
我们可以注意到操作面板上没有电源开关。这是因为电源先后顺序通过S-HMC管理。这用来确保所有的在非易失性缓存non- volatile storage(NVS)中的数据已经在电源关闭前降级到硬盘中。这从而使没有可能在DS8000的操作面板上关闭电源(除了在紧急情况,使用先前提到的 EPO开关)。
[
编辑
]
2.2 体系结构
现在我们已经描述了机架,我们使用此章中剩余的章节探究每个组成部分的技术细节。连接这些组成部分的体系结构视图见图2-3。
在印象里,每个DS8000拥有2个processor complexes。每个processor complexes访问多个主机适配卡(HA)连接到FC、FICON和ESCON主机。,每个DS8000最大能够使用32个主机适配卡(HA)。访问硬盘子系统,每个complexes使用多个4端口光纤通道仲裁环路Fibre Channel arbitrated loop (FC-AL)卡。一个DS8000最大使用16块这样的适配卡形成8对。每个适配卡从2个分离的交换光纤通道网络连接到complexes。每个交换网络隶属于拥有16个硬盘的disk enclosure。每个enclosure包含2个20端口光纤通道交换机。这20个端口,有16个用于连接enclosure 中的16块硬盘,剩余的4个端口用于连接其他的enclosure或者DA。每个硬盘连接到2个交换机。无论什么时候,DA连接一块硬盘,都是使用交换式连接传送数据。这意味着所有数据传输都通过最短路径。
连接的主机通过运行在complexes的软件访问逻辑卷上的数据。每个运行一个逻辑分区LPAR的complexes通过这个软件将处理至少一个实例(视为一台服务器)。这个服务器管理所有到磁盘阵列上的逻辑卷读和写请求。写请求时,服务器使用快速写入,数据写入到一个 complexes的易失性内存,同时写到另一个complexes的持久稳固的内存。服务器然后在数据写入硬盘以前报告写入完成。这提供了足够快速的写入性能。持久稳固的内存也被叫做NVS或者非易失性存储non-volatile storage。

图2-3 DS8000体系结构
当主机进行读操作,服务器从磁盘阵列通过高性能交换式的体系结构中取得数据。数据保存在易失性内存供再次使用。服务器通过已知的SARC (Sequential prefetching in Adaptive Replacement Cache)算法预计未来的读取。数据通过这个聪明的算法尽可能的长时间保存在Cache中,因而主机不需要去等待从硬盘中取得数据。
DA和HA操作在已知的RIO-G这个高带宽容错的连接。RIO-G设计允许在服务器之间共享HA,提供额外的性能和可靠性。
如果能看到彩色的图2-3,可以通过色彩指示了解DS8000硬件在服务器之间的共享(交叉的阴影线是绿色,明亮的颜色是黄色)。在左边,绿色服务器运行在左边的processor complexes。绿色的服务器使用N-way SMP的complexes去完成它的操作。左边的complexes记录它的写数据以及存储它的读数据在易失性内存。在右边的processor complexes上,快速写入数据拥有一个持久稳固的内存区域。在它的控制之下(硬盘也被表示为绿色),访问磁盘阵列,它拥有自己的DA(再一次是绿色)。右边黄色的服务器操作为同样的方式。HA(暗红色)故意的没有染成绿色或黄色,因为他们被2台服务器共享。
[
编辑
]
2.2.1 基于服务器SMP设计
DS8000的益处来源于充分的组合具有领先优势的处理器和内存系统。使用SMP作为主要的处理引擎使DS8000在市场中区别于其他磁盘系统。加之,使用在DS8000的POWER5处理器支持运行两个独立的线程。这个能力归类为simultaneous multi-threading (SMT)。两个线程运行在一个处理器上共享一个共同的L1 cache。SMP/SMT设计将处理器空闲或过载降至最低,虽然一个分布式的处理器设计更容易受到不均衡的处理器任务关系的影响。
设计果断的使用SMP内存当作I/O Cahce是IBM 存储架构的一个关键要素。尽管一个分离的I/O Cache能够提供快速的访问,但是它不能配合SMP主内存的访问速度。决定使用SMP主内存作为Cache在第三代IBM 企业级存储ESS上得到了检验。性能一般说来双倍于每一代。这个性能的提高能够被完全的被集成SMP、处理器速度,L1/L2缓存大小和存储、内存带宽和响应时间以及PCI总线性能等能力描绘出来。
对于DS8000, Cache接通作为SMP内存一部分的NVS后,访问速度被进一步的加速。
可以理解,所有内存被安装在所有具有处理器的processor complexes。在同一个complexes上的所有处理器,共同的分配内存地址。另一方面,在SMP使用主内存作为Cache,导致了一个分区的 Cache。每个处理器访问processor complexes上的主内存,但是不能去访问其他的complexes。这并不妨碍processor complexes之间的负载均衡。
[
编辑
]
2.2.2 Cache 管理
绝大多数高端磁盘系统把Cache纳入到系统内部设计,多少有些系统运作的需要。长期的,Cache大小引人注目的在增长,但是用于系统磁盘能力的Cache大小比率一直保持几乎相同。
DS6000和DS8000使用正在申请专利的Sequential Prefetching in Adaptive Replacement Cache (SARC) 算法,developed by IBM Storage Development in partnership with IBM Research。它有自动调节、自动优化,解决各种顺序和随机I/O流的负载。SARC从Adaptive Replacement Cache (ARC)算法中得到灵感,并从中继承了很多优点。对于ARC详细的说明请参阅N. Megiddo 和 D. S. Modha的,“Outperforming LRU with an adaptive replacement cache algorithm,” IEEE Computer, vol. 37, no. 4, pp. 58–65, 2004.
SARC基本上关注4件事情:
- 什么时候数据拷贝到Cache
- 哪些数据拷贝到Cache
- 当Cache充满后哪些数据被清除
- 算法怎么动态去适应不同的负载
DS8000的Cache按照叫做Cache page或slot的4K字节pages组织起来。这样的单元分配(这比用其它数值的存储系统)保证小I/O不会浪费Cache。
拷贝到DS8000 Cache中一些数据的结果能够触发两条股则:请求页面调度paging和预取Prefetching。请求页面调度Demand paging 意味着8个磁盘块disk blocks(一个4K的Cache 页)在一次cache miss完成。页面调度对所有的卷都是有效的,保证在Cache中能够找到最近被使用的I/O。
预取Prefetching意味着数据在被请求之前就已经投机的拷贝到Cache中。对预取,是一个对未来需要访问的数据的预测。因为有效的成熟的预取计划需要大量的page访问历史(在现实环境是不可行的),SARC对顺序负载上使用预取功能。顺序访问模式自然的出现在视频、数据库检索、拷贝、以及恢复领域。顺序预取的目标是发现顺序访问以及有效的提前将数据装入Cache,来减少Cache miss。
对于预取,cache管理采用track。一个track是128个磁盘块disk blocks(16个 cache page)。发现一个顺序访问模式后,计数器保持纪录所有正在被访问的track以及它的前身。只有当计数器建议一个连续访问模式时,顺序预取功能才激活。通过这种方法,DS6000/DS8000监视应用读I/O模式和动态的确定是否是进入Cache最佳的时机:
- 刚好pages被请求
- 请求的page加上剩余的数据在磁盘track上
- 一个全部的disk track(或一组disk track)之前没有被请求
决定在什么时候和什么数据被预取,以每一个应用为基础(而不是整个系统),敏感的区分同时正在运行的不同应用的不同数据参考模型。
顺序和随机(非顺序)数据被分开为2个列表(看图2-4),决定当Cache充满的时候,什么page被清除出去。一个page装载到 cache中通过简单的请求内存分页添加到随机列表RANDOM List 的MRU((Most Recently Used)的顶部。未来没有更多I/O访问下,它下降到(LRU Least Recently Used)底部。一个顺序访问的page装载到Cache中,通过顺序预取添加到顺序列表SEQ list的MRU顶部接着进入。另外的规则控制这个page在两个列表的之间的迁移,因此相同的page不会出现两次。

图2-4 SARC算法对于随机和顺序数据的cache列表
跟随负载压力的变化,算法交易cache空间在random和seq之间动态自适应的改变。这使得SARC抵抗扫描,所以,一次性的顺序请求不会污染整个cache。SARC为顺序列表保持一个期望的大小。期望的大小响应负载进行不断的修改。特别的,如果SEQ list底部的部分被发现比RANDOM 底部的部分更加有价值,期望的大小将增加;另外的,期望的大小将减小。不断努力充分利用有限的cache空间,以及提供更大的吞吐能力,和在一定的 cache大小下得到更快的响应时间。
另外,算法动态更改不仅是两个列表的大小,而且大小改变的速度的比率。在稳定的状态下,根据cache miss率,pages被驱逐出cache。更大的(各自的,更小的)miss比率影响适应的更加快速的(各自的,更慢的)比率A larger (respectively, a smaller) rate of misses effects a faster (respectively, a slower) rate of adaptation。
[
编辑
]
2.3 Processor complex
DS8000基础机架包含2个Processor complex。model 821采用2路处理器,model 922和9A2采用4路处理器。(2路意味着每个Processor complex有2个cpu内核,3路意位置每个Processor complex有4个CPU内核)。
DS8000的特色是采用IBM POWER5服务器技术。根据工作量,DS8100 Model 921最大主机每秒I/O操作数量是ESS800的3倍。DS8200 Model 922或9A2 最大主机每秒I/O操作数量是ESS800的6倍。
DS8000中使用的服务器硬件详细的说明,请参阅IBM p5 570 Technical Overview and Introduction, REDP-9117, 网址:
http://www.redbooks.ibm.com
对称多处理器(SMP)p5 570系统特色是2路或4路,基于铜和绝缘硅(SOI)技术的POWER5 微处理器运行在1.5GHz或1.9GHz,配置芯片外部36MB三级缓存。系统根据堆积木原理构建。p5 570 Processor complex被促进以对处理器互联和系统弯曲线缆使能多达4个4路p5 570 Processor complex被连接,达到一个真实的16路SMP 组合的系统。这些特征实现了DS8000能力的改变。
一个p5 570 Processor complex包含:
- 5个改进的错误处理Enhanced Error Handling (EEH)的热插拔PCI-X插槽
- 一个被改进的blind-swap机械装置,允许热交换hot-swap复位或安装PCI-X适配器不需要变化enclosure到服务位置的机制。
- 2个Ultra320 SCSI控制器
- 一个10/100/1000 Mb集成的双端口以太网控制器
- 2个串口
- 2个USB 2.0端口
- 2个HMC以太网口
- 4个远程RIO-G端口
- 2个系统电源控制网络System Power Control Network (SPCN)端口
p5 570包含2个3个一组正面的具有热插拔能力的硬盘插槽。这6个硬盘插槽使用146G Ultra320 SCSI硬盘时,使IBM p5 570能够容纳880.8GB存储容量。2个附加的媒体槽被用来放置可选的薄型媒体设备,例如DVD-ROM或DVD-RAM驱动器。p5 570也包含使用RIO-G连接的I/O扩展能力。这些特征实现了DS8000能力的改变。

图2-5 Processor complex
处理器内存
DS8100 Model 921 提供最大128G处理器内存,DS8300 Model 922/9A2 提供最大256G处理器内存。一半内存位于每个Processor complex上。另外,NVS占处理器内存大小可以选择,这样也帮助性能优化。
Service processor 服务处理器and SPCN
服务处理器service processor (SP)是一个基于一个POWER PC 405GP(PPC405)处理器的嵌入控制器。SPCN (System Power Control Network)用来控制连接到I/O子系统的电源。SPCN的控制软件和服务处理器软件都运行在同一个PPC405 处理器。
SP 执行有预测性的失败分析根据所有可恢复性的处理器错误。SP能够在启动过程中监视固件的操作,以及监视操作系统失控。这使得SP可以采取适当的行为。
SPCN监视运行环境,例如电源、风扇以及温度。环境临界或不临界情况可能引发早期电源关闭预警Early Power-Off Warning (EPOW)事件。重要事件触发适当的信号从硬件对受影响的零件,防止没有操作系统或固件介入下任一数据损失。非临界环境事件也被记录和报告。
[
编辑
]
2.3.1 RIO-G
RIO-G端口用于I/O扩展到外部的I/O抽屉。RIO代表remote I/O。RIO-G是从早期的RIO连接演化而来。
每个RIO-G端口能够运行在1GHz双向模式,能够在每个环路端口每个方向上传输数据。它被设计为一种高性能自修复的连接。p5 570提供2个外部RIO-G端口,一个适配卡增加2个端口。在每个Processor complex上的2个端口形成一个环路。

图2-6 DS8000 RIO-G端口设计
图2-6说明DS8000使用8个I/O 抽屉时RRI-G如何连接。这只是发生在所有扩展机架都安装的情况下。DS8000 RUO-G 连接将根据型号变化。一个2路的DS8000型号将只有1个RIO-G环路。1个4路的DS8000型号将有2个RIO-G环路。每个环路支持4个 disk enclosure。
[
编辑
]
2.3.2 I/O enclosure
所有基础型号都包含I/O enclosure和适配卡。I/O enclosure内安装适配卡,提供适配卡到Processor complex的连接。DA和HA都安装在I/O enclosure里面。每个I/O enclosure有6个槽位。每个槽位都支持运行在64位133MHz的PCI-X适配卡。3号和6号插槽用来使用DA。每个I/O enclosure剩下的插槽用来安装最多4块HA。

图2-7 I/O enclosure
每个I/O enclosure有如下特征:
- 4U机架式
- 6个PCI-X插槽:3.3V,keyed,133 MHz blind-swap hot-plug
- 默认的冗余热插拔电源和冷却设备
- 2个RIO-G和SPCN端口
[
编辑
]
2.4 磁盘子系统
DS8000提供可选的光纤通道硬盘,包括300G硬盘,使得DS8100容量标称到115.2TB,DS8300容量标称到192T。磁盘子系统由三部分组成:
- 位于I/O enclosure内的DA。这些是由存储影像访问RAID阵列的RAID控制器。
- 在disk enclosure内连接到交换式的控制器卡。这样就建立了一个交换式光纤通道硬盘网络。
- 最后,我们有硬盘。这些硬盘通常称为硬盘驱动器模块disk drive modules(DDMs)。
[
编辑
]
2.4.1 DA(Device adapters)
每个DS8000 DA卡提供4个2Gb FC-AL端口。这些端口被用来连接processor complexes到disk enclosure。适配卡负责管理、监视和重建RAID阵列。感谢新的高功能/高性能的ASIC,适配卡提供了显著的性能。它支持元数据建立和校验,来保证最大的数据完整性。DA的设计如图2-8。

图2-8 DS8000 DA
DA成对安装,因为每个存储分区需要拥有自己的适配卡来冗余连接每个disk enclosure。这就是为什么我们提及他们时是DA pairs
[
编辑
]
2.4.2 Disk enclosure
每个DS8000机架内都含有8个或16个Disk enclosure,而不依赖是基础机架还是扩展机架。一半的Disk enclosure位于机架的前面,一半位于后面。每个DS8000 Disk enclosure含有总共16块DDMs或者dummy carriers。一个dummy carriers外观看起来与一个DDM非常相似,但是它里面没有电子设备。enclosure的图像描述见图2-9。
注意:如果一个DDM位置上没有硬盘,它的插槽也必须由dummy carriers占用。这是因为如果没有硬盘或一个dummy,冷却气流就不能正确的循环。
每个DDM是一个工业标准的FC-AL硬盘。每块硬盘插入到enclosure背板。Disk enclosure的背板是其电子学和物理上的中枢。

图 2-9 DS8000 的Disk enclosure
非交换式FC-AL缺点
在一个标准的FC-AL Disk enclosure内,所有的硬盘被安排在一个LOOP内,像图2-10描述的那样。这个基本环路结构意味着数据在抵达任意的尽头DA时,要流动过所有的硬盘(在存储服务器上展示过)。

图 2-10 工业上标准的FC-AL Disk enclosure
标准的FC-AL访问DDMs主要问题是:
- 整个环路都必须参与数据传送。在任何数据传输以前,环路的完整发现必须通过LIP(环路初始化协议 loop initialization protocol)。环路的稳定性会受到DDM的故障影响。
- 一个硬盘故障的事件,会因为一个环路的破损很难被准确标明,导致复杂的问题判定。
- 当环路中设备数量的增长是,导致性能下降。
- 扩展环路经常必须部分打开它。如果犯错误,导致一个全部环路中断。
这些问题被DS8000交换式 FC-AL设备解决。
交换式FC-AL 优点
DS8000使用交换式FC-AL技术连接DA pairs和DDM。交换式FC-AL使用标准的FC-AL协议,但是物理设备是不同的。交换式FC-AL技术主要特点是:
- 从DA到DDM使用标准的FC-AL通信协议。
- 在DA和DDM之间建立直接点对点连接。
- 隔离硬盘故障事件的能力,只需简单的问题判定。
- 预测性的失败统计。
- 简化的扩展;例如,添加其他的Disk enclosure时不需要电缆改线。
DS8000的体系结构使用双冗余的交换式FC-AL访问每个Disk enclosure。这样使用的益处是:
- 2个独立的网络访问Disk enclosure
- 到每个DDM有4条访问路径
- 每个DA卡端口独立操作
- 比传统FC-AL环路设备具有双倍带宽
在图2-11中,描述出每个DDM附加了2个独立的光纤交换机。这意味着使用2个DA,拥有4个有效的数据路径到每块硬盘,每条路径运行在2Gb/s。注意这个图表中表示出一个交换式的硬盘网络连接到每个DA。每个DA实际上支持2个交换式网络。

图2-11 DS8000的 Disk enclosure
当在DA和一块硬盘之间一个连接被建立起来,这个连接是一个交换式的使用仲裁协议的连接。这意味着一个mini-loop在DA和硬盘之间被建立起来。图2-12描绘出从每个DA端口上引出的4个并发的独立的连接。

图 2-12 Disk enclosure交换式连接
DS8000的交换式FC-AL设备
DS8000的更多关于交换式硬盘体系结构请查阅图2-13。它显示出每个DS8000 DA连接到2个被叫做环路的硬盘网络。扩展通过每个交换机的扩展端口添加enclosure。每个环路能够最大使用6个enclosure,但是这些会根据及其型号和DA pair数量发生改变。正面的enclosure位于机器的前。后面的enclosure位于机器的背面。

图 2-13 DS8000的交换式硬盘扩展
扩展
扩展enclosure被成对的按照16块硬盘每组进行添加。关于ESS 800,每个有8块硬盘的enclosure,描述为8-pack。对于DS8000,使用16-pack这个术语,尽管这个术语真实的描述出一个 disk enclosure中有16块DDM。它接受16块DDMs的两个订单来达到完全的组装一个disk enclosure(前面和后面)。
提供一个例子,如果一台设备共有6个disk enclosure,将会有3个在前面,3个在背面。如果所有的disk enclosure安装满硬盘,另外购买16块DDM之后,2个新的disk enclosure被添加,一个在前面,一个在背面。交换式网络添加这些disk enclosure不需要被破坏broken。它们只需要添加到环路的末端。16块DDMs将位于前面的disk enclosure,一半位于背面的disk enclosure。如果一个另外的16 DDMs后来购入,它们将被充满disk enclosure对。
阵列和热备盘 array and spare
array site包含8块DDM并采用这些硬盘建立起来。配置的时候,可以选择一个array site建立一个RAID-5或RAID-10阵列,在第十章,“DS存储管理器—逻辑配置”讨论。最初的4个array site建立在一个DA pair上,每个array site提供一块硬盘作为热备盘。因此根据磁盘的混合,最少有4块热备盘在每个DA pair上建立起来。
这个目的每个DA pair是只拥有4块热备盘,但是这个数量依靠DDM混合可以增加。我们需要有4个高容量的DDM以及最少2块更高转速的DDM。如果所有的DDM是相同大小和转速,那么4块热备盘已经足够。
Arrays across loops
每个array site包含8块DDM。4块DDM从前面装入一个enclosure pair内,4块DDM从后面装入一个enclosure pair内。这意味着当array site建立一个RAID,一半的array处在每个enclosure内。因为前面的enclosure在一个交换式环路上,后面enclosure在第二个交换式环路上,因此这使得array穿过2个环路。这叫做array across loops (AAL)。
更好的了解AAL可以参阅图2-14和图2-15。为了使示图更加清晰,所以只有16块硬盘被表现出来,每个enclosure内有8个。当满配时,每个enclosure将有16块硬盘。无论如何,这个图示表示出的是一个有效的配置。
图2-14 被用来描绘DA pair设计。一个DA pair建立2个交换式环路。前面的enclosure位于一个环路,背面的enclosure位于另一个环路。每个enclosure有2个交换机连接每个环路。每个enclosure能够放入16块DDM。DDM按照16块一组销售。一半的DDM放入前面的enclosure,一半放入后面的 enclosure。

图2-14 DS8000交换式环路设计
确定物理上的设计后,示意图现在被改变来反映出array site的设计。array site 0是绿色(暗色的硬盘)在每个enclosure内使用左边的4个DDM。array site 1是黄色(亮色的硬盘)在每个enclosure内使用右边的4个DDM。当一个array被建立在在每个arrar site,一半的array位于每个环路。如果disk enclosure满配DDM,将有4个array site。

图 2-15 AAL
AAL益处
AAL被用来提升性能。当DA写入一条带数据到RAID-5 array,它发送一半的写(入的数据)到每个交换式环路。分开负载的这种方式,每个环路均匀的处理提高了性能。如果使用RAID-10,2个RAID- 0 array被建立。每个环路控制1个RAID-0 array。当运行读I/O,一般的读被发送到每个环路上,通过横越环路平衡负载再一次提高了性能。
DDMs
每个DDM是热插拔的,并有两个指示器。绿色的指示器显示硬盘活动,当琥珀色的指示被光通路诊断使用,来允许容易地辨识和置换一块故障的DDM。
现在DS8000提供如下DDM类型供选择:
- 73GB (15000 rpm)
- 146GB (15000 rpm)
- 146GB (10000 rpm)
- 300GB (10000 rpm)
[
编辑
]
2.5 HA(Host Adapter)
DS8000支持两种类型的HA:ESCON和FC/FICON。它不支持SCSI适配卡。
DS8000的ESCON适配卡是双端口的HA,用来连接老式的不支持FICON的zSeries主机。在ESCON卡上的端口使用MT-RJ类型的连接器。
控制单元和逻辑路径
ESCON体系结构只能认出163,990个逻辑控制单元(logical control unit— LCU),即使DS8000能够模拟更多(这些控制单元能够被FICON使用)。一半的LCU(偶数的)在Server 0,另外一半(奇数的)在Server 1。因为ESCON主机适配卡能够同时连接2个服务器,每个适配卡地址总数为16个LCU。
一个ESCON链路由2条光纤组成,每个方向上一条,连接在各个末端由ESCON连接器到ESCON端口。每个ESCON适配卡支持2个ESCON端口或链路,每条链路支持64个逻辑路径。
ESCON 距离
没有中继器(repeaters)的连接下,ESCON使用50微米多模光纤,距离是5km,使用62.5微米的多模光纤,距离达到3km。DS8000支持扩大连接距离的9032 ESCON导向器用于所有的型号。
使用ESCON远程镜像和拷贝
ESS 2105的远程镜像和拷贝功能(比PPRC更好)最初的使用设备是ESCON适配卡。这为人所知是PPRC 第一个版本。DS8000的ESCON适配卡不支持任何形式的远程镜像和拷贝。如果希望建立一个在DS8000和ESS800之间,或其他DS8000或 DS6000的远程镜像,必须使用光纤通道卡。不能在一个DS8000与ESS E20 ,或F20 之间建立远程镜像关系,因为E20/F20只支持在ESCON上的远程镜像和拷贝。
ESCON 支持的服务器
ESCON被用来连接DS8000到IBM S/390 和zSeries服务器。大部分的当前支持列表在这个Web地址:[
http://www.storage.ibm.com/hardsoft/products/DS8000/supserver.htm
]
这个站点应该经常被参考,因为它有关于服务器支持的最新信息。
[
编辑
]
2.5.1 FICON和光纤通道协议主机适配卡
光纤通道是一个允许数据高速的远距离(达到10km甚至更远)传送的标准技术。DS8000使用光纤通道协议传送在光纤通道帧内的SCSI数据。它也使用光纤通道传输FICON数据,使用光纤通道帧携带zSeries I/O。
每个DS8000光纤通道卡提供4个2Gbps光纤通道口。线缆连接器需要需要LC类型连接到这块卡上。每个端口独立的自动适应2G或1G 连接速度。DS8000上使用的4端口适配卡也能够独立的成为FCP或FICON,尽管最初时端口规定为交换式的点与点FCP。选择的端口将自动根据 FICON主机的定义被配置成FICON。每个端口可以是FCP或FICON。端口个性的可变性操作通过DS Storage Manager GUI。一个端口不能既是FICON同时也是FCP,但是它能够根据需要进行改变。
卡本身是PCI-X 64 Bit 133MHz。卡被一个新的强功能、高性能的ASIC驱动。确保最大化的数据完整性,他支持元数据建立以及校验。每个光纤通道端口最大支持509个主机登陆地址。这允许建立一个非常巨大的存储区域网。卡设计图示见图2-16。

图 2-16 DS8000 FICON/FCP 主机适配卡(HA)
光纤通道支持的服务器
最新的光纤通道连接服务器支持列表在这个Web地址:
[
http://www.storage.ibm.com/hardsoft/products/DS8000/supserver.htm
]
这个站点应该经常被参考,因为它有关于服务器支持的最新信息。
光纤通道距离
这里有两种类型的HA卡能够被选择:长波和短波。对于长波激光,可以连接节点的距离超过10km(无中继)。对于短波,只能限制距离在300到500米(无中继)。每块卡所有端口必须是长波或短波(这里不能在一块卡上混合使用两种类型)。
[
编辑
]
2.6 电源和冷却
DS8000电源和冷却系统是高冗余的。
Rack Power Control cards (RPC) 机架电源控制卡
DS8000有一对冗余的RPC卡被用来控制遍及DS8000的电源的顺序。这些卡附加了Service Processor(SP)卡在每个处理器,允许它们通信两个S-HMC和存储设备影像LPAR。在每个机架内,RPC也与每个主供电电源、每个机架风扇感应卡和disk enclosure通信。
主供给电源 Primary power supplies
DS8000的主供给电源Primary power supplies(PPS)将输入的交流电转换为直流电。PPS有高电压和低电压版本,因为在世界上,使用的电压是不同的。也因为世界上有着广泛种类的电源线插座,所以电源线输出线也许也没有与客户国家合适的插座。这也许就需要一个电工在机器交货后进行替换。
每个DS8000机架有两种冗余PPS。每个PPS有能力为机架单独供电。PPS产生208V输出电,为processor complex和I/O enclosure提供动力。它同时也产生5V和12V输出电,为disk enclosure提供动力。如果系统有配置extended power line disturbance 的功能,那么增强模块可以在系统断电的情况下暂时支持系统的运行,(参阅第四章,“RAS”,关于为什么这个零件对于客户的安装是否有必要的完整说明)。
每个PPS拥有内置风扇来提供电源的冷却。
处理器和I/O enclosure的供电
每个处理器和I/O enclosure都有双冗余电源供给,将208V直流电转换为enclosure或complex需要的电压。每个enclosure也都含有自己的冷却风扇。
Disk enclosure的电源和冷却
Disk enclosure直接从PPS中引出电源而没有单独分离的供电设备。这样做后仍然有冷却风扇通风系统在enclosure上。冷却气流从每个enclosure前面通过,在机架顶部排出。
后备电池装置
后备电池装置帮助在失去外部电源时保护数据。型号921含有2个后备电池装置,型号922和9A2含有3个(来支持4路处理器)。当完全失去输入的交流电时,电池后备装置被用来在电源失去前容许NVS内存中的内容写入到processor complex内置的一定数量的硬盘。
供电失去后,FC-AL硬盘不能被保护,除非购买extended power line disturbance feature。
[
编辑
]
2.7 管理控制台网络
所有的基础型号装运时都含有一个有键盘(一个)、显示器和2个以太网交换机的存储硬件管理控制台Storage Hardware Management Console (S-HMC)。
S-HMC
S-HMC是拷贝服务管理和维护工作的中心配置。它也可以订购2个管理控制台来冗余的工作。一种典型的配置是由1台内部的和一台外部的控制台。内部的S-HMC为远程服务含有一个PCI modem。
以太网交换机
就像每个Disk enclosure安装的光纤通道交换机一样,DS8000基础机架包含有2个16端口以太网交换机。这两个交换机能够建立一个完全冗余的管理网络。每个 processor complex到每个交换机有多重联结。这使得每个服务器可以访问每个交换机。这个交换机不能被用于任何与DS8000无关的设备。交换机从内部电源总线得到电源供应,不需要单独的电源插座。
[
编辑
]
2.8 总结
此章描述了构成DS8000的各种各样的组成部分。关于其它的信息,参阅下面链接的文档:
[
http://www-1.ibm.com/servers/storage/support/disk/index.html
]
[
编辑
]
第三部分 存储系统LPAR(逻辑分区)
此章提供了关于DS8000存储系统逻辑分区(LPAR)的相关信息。
下面详细讨论了如下的内容:
- LPAR和storage facility images (SFIs)
- DS8300 LPAR实现过程
- 一个SFI的硬件零件
- DS8300 Model 9A2 配置选项
- LPAR安全性和保护措施
- LPAR和拷贝服务
- LPAR益处
[
编辑
]
3.1 逻辑分区介绍逻辑分区
Logical partitioning 允许将一个服务器分割成几个完全独立的虚拟服务器或分区。
IBM于1960年晚期开始了逻辑分区的工作,使用特定的CP40的VM(虚拟机)的先驱S/360大型机系统。从那以后,逻辑分区在 IBM大型机(现在叫做IBM zSeries)发展为从一个基于硬件边界支配的物理分区配置,到一个考虑虚拟化和动态负载均衡共享资源。IBM在1999年实现LPAR支持 AS/400(现在叫做IBM iSeries)平台,在2001年pSeries平台实现。2000年,IBM宣布能够在一台zSeries服务器上的一个LPAR上或在VM顶部运行 Linux操作系统,从而创造了在唯一的一个系统内运行数以万计的Linux实例。
[
编辑
]
3.1.1 虚拟化引擎技术
IBM虚拟化引擎包括的一套系统服务和技术构成IBM随需应变(on demand)计算模型的关键元素。它把各自的服务器、存储和网络产品视作一个池,更加高效率的允许资源的访问和管理横跨组织。在随需应变的操作环境中,虚拟化是一个关键的组成部分。这种系统基础被提供了这种环境下操作实现这些功能所需要的具有巨大进步的POWER5处理器实现。
LPAR是POWER 5系统技术的一个组成部分,也是IBM虚拟化引擎的一个部分。
使用IBM虚拟化引擎技术,选择DS8000型号能够使用一个独立的、大型的存储系统,或能够利用LPAR能力使用两个存储系统。IBM LPAR技术是存储业界唯一一个能够将存储系统资源分配为单独的逻辑存储系统分区,每个分区是完全独立和隔离开的。虚拟化引擎(VE)提供简化基础设施来允许在一个单一的系统上管理异构分区/服务器的能力。
[
编辑
]
3.1.2 分区概念
它是适当的澄清我们分类这些机制的术语和定义。
注意:下面这些项讨论了分区的一般概念,并不是所有都适用于DS8000。
分区 Partitions
当多处理器计算机再被细分倍数的独立的操作系统影像,那些独立的操作环境叫做分区。系统调拨资源到独立的分区。
资源 Resources
资源被定义为系统的处理器、内存和I/O插槽。I/O插槽能够插入不同的适配卡,例如以太网、SCSI、光纤通道或其他设备控制器。一个硬盘被分配到一个分区,由它分配一个含有硬盘控制器的I/O插槽。
积木 Building block
一个Building block是系统资源的收集品,例如处理器、内存和I/O连接。
物理分区 Physical partitioning (PPAR)
对于物理分区,分区沿着硬件边界线分开。每个分区能够运行一个不同版本的同一种操作系统。分区的数目取依赖于硬件。物理分区具有的优点是允许完全隔离在其他处理器上运行的操作,因而保证它们的可用性和正常运行时间。处理器、I/O板、内存和内部连接不被共享,允许关键性业务或为那些安全问题完全被隔离。物理分区的缺点是物力设备不能分割成使用逻辑分区那样多的分区,以及使用者不能在一台设备上合并一些轻负载应用程序。
逻辑分区 Logical partitioning (LPAR)
一个逻辑分区使用硬件和软件去逻辑的划分一个系统的资源。LPAR逻辑的分割操作系统影像,因此着不依靠硬件积木。
一个逻辑分区包含处理器、内存和I/O插槽,在一个系统中这些都是一个可用资源的子集,如图3-1所示。当有这些配置规则,资源的单位颗粒度能够非常弹性的被分配给分区。它有可能只添加很少的需要的内存,而不依靠内存控制器的大小或者不需要必须添加那些不需要的更多处理器或I/O插槽。
LPAR不同于物理分区的方面是资源被分组形成一个分区。逻辑分区不需要符合积木的物理的边界线建立服务器。替代物理性的积木分组,LPAR添加更多灵活性来从全部系统可用资源池中选择零件。

图 3-1 逻辑分区
软件和硬件故障隔离
因为一个分区的主机独立的运行操作系统影像,因此这是一个坚固的软件隔离software isolation。这意味着在一个分区里的一个工作或软件的崩溃不会影响到资源中的其他分区。
动态逻辑分区 Dynamic logical partitioning
从AIX 5LTM 5.2版开始,IBM pSeries 服务器型号上的多个逻辑分区,支持动态逻辑分区(也被称为DLPAR)分隔。
动态逻辑分区功能允许例如CPU、内存和I/O插槽资源添加或从一个分区移出,也可以是资源在两个分区间移动,不需要操作系统重启(漂移)。
微分区 Micro-Partitioning™
同AIX 5.3一起,分区被增强了包含小于处理器分区或微分区能力。微分区它可能分配小于一个完整物理处理器到一个逻辑分区。
微分区的好处是,它允许完全利用系统资源自动的只给每个分区需要数量的处理器资源。
虚拟I/O
在POWER5服务器上,I/O资源(硬盘和适配卡)能够通过虚拟I/O共享。虚拟I/O提供为一台虚拟服务器提供I/O适配卡和设备的能力,允许随需分配这些资源到不同分区以及管理这些I/O设备。物理资源被虚拟I/O服务器拥有,
[
编辑
]
3.1.3 为什么要逻辑分区
这是一个为高端系统提供更好的灵活性的需要,独特再把它们细分为能运行一个版本操作系统的分区或一套特殊应用程序负载分区的能力。
一个大型的系统进行分区的主要原因是:
服务器合并
一个高度可靠的服务器具有充足的处理能力和根据服务器的需要有能力由逻辑上再把服务器细分为一定数量、更加小型的系统的能被分区的能力。这样,应用隔离能够放在在一个统一的环境里,额外的好处是减小占地面积,一个管理节点,以及根据负载变化更加简单的再次分配资源。提高或减少分配给分区的资源能够促进暴露在变化很大工作量的服务器得到更好的利用。
生产和测试环境
一般情况下,生产和测试环境是彼此分开的。如果没有分区能力,唯一实用的方法是为应用开发和测试购买另外的软件和硬件。
分区是当生产环境继续运行下,留出系统资源为测试新版本的应用程序和操作系统的方法。这消除了需要另外的服务器专门用于测试,以及提供了测试版本将能够平滑的迁移到生产环境中的更高的可信度,因为它们是在生产的硬件系统上测试的。
合并多种版本的相同OS或应用
LPAR内在固有的弹性能够很大的帮助计划和实现正常的升级和系统维护工作。所有涉及到升级一个应用程序或者甚至是一套操作系统的预备活动,都能够完全在一个隔离的分区上进行。一个LPAR能够被建立来测试在升级产品环境以前新版本的操作系统。而不是为这个租用而使用一个单独的服务器,极小的资源能够被临时使用去建立一个新的完成测试的LPAR。当这个分区不需要时,它的资源分配给其他的LPAR。
应用隔离
分区隔离一个应用从另外的一个不同分区。例如,2个应用在一个SMP系统会互相干扰或者争抢同一个资源。分割应用到自己的分区,它们不会互相干扰。同时,如果一个应用挂起或崩溃操作系统,他也不会对其他分区又影响。同样,应用被防止过度消耗资源,这样会使其他应用需要的资源缺乏。
增好的硬件利用率
分区是一种很好的方式,达到当软件不能横跨大量的处理器时更好的硬件利用率。可能,运行在分开的小的分区上的多个实例能够提供比运行一个大的应用实例带来更好的生产能力。
增加资源分配的灵活性
一个负载需要的随时间改变的资源需求能够被更加容易的在一个分区内管理。
[
编辑
]
3.2 DS8000 和LPAR
在章节的第一部分我们讨论了LPAR的一般特征。在这一节我们提供LPAR如何在DS8000系列上实施。
DS8000系列是一个服务器基础的磁盘存储系统。集成了POWER5 eServer p5 570在DS8000系列里面,IBM提供了第一个在磁盘存储系统里实现服务器LPAR功能。
存储系统LPAR功能现在支持DS8300 Model 9A2。它提供在一个物理设备上2个虚拟存储系统。每个存储系统LPAR能够运行自己等级的内部许可编码licensed internal code (LIC)。
对于DS8300上2个存储系统LPAR的处理器、内存和I/O插槽的资源分配现在被分为固定的50/50比例。
注意:资源的分配将能够更加灵活。依据IBM已经出版发行的Statement of General Direction宣告信:
IBM打算提高DS8000系列的型号选择虚拟化引擎分区的能力,提供更加灵活的分配和管理两个影像之间资源。
在两个存储设备影像之间,通过硬件存在一个坚固的隔绝;例如,分开的RIO-G环路,POWER5 Hypervisor,相关更多的信息请参阅2.3节,“LPAR安全性通过POWER5TM Hypervisor(PHYP)”
[
编辑
]
3.2.1 LPAR和存储设备影像
在我们开始解释DS8300 LPAR功能是如何实现以前,我们要澄清一些术语和命名约定。图3-2举例说明了这些术语。

图3-2 DS8300 Model 9A2 –LPAR 和存储设备影像
图3-2 DS8300系列结合了两台eServer p5 570。我们把它们每个叫做一个processor complex。每个processor complex支持一个或多个LPAR。现在每个DS8300上的processor complex可以被分为两个LPAR。一个LPAR是在processor complex上的一组资源,来支持执行一个操作系统。存储设备影像storage facility image从一对LPAR上被建立,一个影像在每个processor complex上。
图3-2显示了来自processor complex 0的LPAR01和来自processor complex 1的LPAR11的storage facility image 1 的例子。来自processor complex 0的LPAR02和来自processor complex 1的LPAR12的例子是第二个storage facility image 1。
重要:DS8300中,重要了解一个LPAR在一个processor complex不是相同作为一个storage facility image。
[
编辑
]
3.2.2 DS8300 LPAR 实现
每个storage facility image将可以在所有机器类型/型号的编号/SN的DS8300 9A2 基础机架上使用。机架SN将以0结束。SN最后的字符由一个范围1到8来独特的识别DS8000影像。最初这个数字是1或2,因为只有2个存储设备影像可用。在GUI、CLI和为准许和分配许可在存储设备影像之间,SN是需要在存储设备影像之间区别的。
DS8300 Model 9A2 的LAPR功能第一个版本提供在资源之间50/50比率的拆分,如图3-3所示。

图 3-3 DS8300 LPAR资源分配
每个存储设备影像的资源是:
- 处理器的百分之50
- 处理器内存的百分之50
- 1个RIO-G互联环路
- 最大16块HA(4个I/O抽屉,每个最大4个HA)
- 最大320块硬盘驱动器(最大96TB容量)
本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u/3380/showart_177168.html
|
| 发表评论 | 查看评论(共有条评论)
|
| |
|
|
|