内容简介本书全面系统地介绍了基于光纤通道和ip
技术的存储区域网络的
设计方法。书中首先对存储和网络概念做了一些
基础性的介绍,然后对光纤通道结构内部的工作模式进行讲解,并介绍了光纤通道san拓扑结构和一些产品。随后对ipsan技术进行
分析,并介绍了一些ipsan产品。接着本书讨论了各种san的硬件和软件、san的
故障隔离、san的管理、存储虚拟化等内容,并给出多个san的应用实例以便进行分析,最后简单讨论了san技术未来的发展趋势。附录包含san资源、厂商、snia共享存储模型、snia存储网络术语辞典等内容。
本书内容简洁明快,
实用性强,能够使读者在了解光纤通道和ipsan基本技术的基础上,较快地掌握san的设计方法。本书适合网络设计工程师、存储系统设计师、网络管理员等技术人员,以及对san这一领域感兴趣的读者阅读。
图书目录第1章绪论1.1使用snia共享存储模型1.2范例:carlson公司1.3本书概览1.4小结第2章存储和网络概念2.1服务器前方的网络2.1.1串行传输2.1.2访问方法2.1.3编址2.1.4数据打包2.1.5报文路由2.1.6上层协议支持2.2scsi体系结构2.3并行scsi总线2.4网络附接存储2.5服务器后方的网络2.6小结第3章光纤通道内部解析3.1光纤通道层次3.21
gbps和2gbps传输3.3
物理层的选择3.4数据编码3.5有序集3.6组帧协议3.7服务类3.8流量控制3.9命名和编址的约定3.10小结第4章光纤通道san拓扑结构4.1点到点4.2仲裁环4.2.1环的物理拓扑4.2.2环的寻址4.2.3环的初始化4.2.4端口登录4.2.5环端口状态机4.2.6仲裁4.2.7仲裁环的非广播特性4.2.8仲裁环设计时需要考虑的问题4.3光纤网4.3.1光纤网登录4.3.2简单名字服务器4.3.3状态转变通告4.3.4专用环的支持4.3.5光纤网分区4.4建立扩展的san4.4.1e_port
标准化4.4.2主交换机选择4.5光纤网和环4.6小结第5章光纤通道产品5.1收发器5.2主机总线适配器5.3光纤通道raid5.4光纤通道jbod5.5仲裁环hub5.5.1星形拓扑结构仲裁环5.5.2hub的体系结构5.5.3不可管理hub5.5.4可管理hub5.6交换式hub5.7光纤网交换机5.7.1部门级光纤网交换机5.7.2光纤通道骨干交换机5.8fibrechannel-to-scsi桥接器5.9光纤通道扩展产品5.9.1使用dwdm的光纤通道扩展5.9.2使用ip隧道的光纤通道扩展5.9.3光纤通道wan桥接5.10小结第6章ipsan技术6.1以太网和tcp/ip6.1.1千兆位以太网传输6.1.2tcp/ip6.2本地ip存储协议6.2.1internet光纤通道协议6.2.2internetscsi6.3ipsan的发现6.3.1服务定位协议(slp)6.3.2internet存储名字服务器6.4ipsan的服务质量6.5ipsan的安全6.6广域存储网络6.7小结第7章ipsan产品7.1千兆位以太网交换机7.2ip路由器7.3iscsi适配卡7.4iscsi存储
设备7.5ip存储网关7.6iscsi-to-scsi桥接器7.7isns服务器7.8小结第8章san软件产品8.1服务器集群8.2磁带备份8.3数据复制8.4分布式文件系统和文件共享8.5小结第9章san的故障隔离9.1简单故障隔离技术9.2光纤通道分析器9.3iscsi网络分析器9.4性能工具9.5小结第10章san的管理10.1存储网络管理10.1.1in-band管理10.1.2out-of-band管理10.1.3snmp10.1.4http10.1.5telnet10.1.6存储网络管理中的问题10.2存储资源管理10.3存储管理10.4存储、系统以及企业级管理的集成10.5通用接口模型10.6小结第11章存储虚拟化11.1什么是存储虚拟化11.2in-band和out-of-band虚拟化11.3基于主机的存储虚拟化11.4基于san互连的存储虚拟化11.5基于存储的虚拟化11.6多厂商存储虚拟化11.7文件系统和nas虚拟化11.8磁带虚拟化11.9虚拟化和数据存储公用设施11.10小结第12章应用研究12.1视频后期编辑12.2印前处理12.3lan-free和server-free磁带备份12.4服务器集群12.5存储合并12.6internet服务提供商12.7园区存储网络12.8远程磁带遥连12.9灾难恢复12.10小结第13章san的问题13.1标准化13.2互操作性13.3管理13.4融合13.5小结第14章san的未来14.1将san集成到主流网络中14.2共享存储的普遍性14.3虚拟化14.4人的因素14.5有贡献的技术14.6小结附录asan资源附录bsan和相关厂商附录c标准化过程附录d存储网络行业协会附录esnia共享存储模型附录fsnia存储网络术语辞典参考文献
序言/前言译者序今天,随着信息技术的突飞猛进,商业运转和学术研究中产生了越来越多的海量数据,从而给it界带来了前所未有的存储“危机”。人们开始使用大容量的磁盘,希望能够缓解一部分负荷,然而使用传统的技术很难将足够数量的磁盘连接到文件和程序服务器上。于是人们又寄希望于分布式文件系统等传统网络存储技术,但是要想使其带宽跟上存储数据的要求又成了一个问题。这些问题使得基本存储结构的性能与用户需求之间的矛盾日显突出。如今必须超越传统的服务器/存储器互连的技术局限,寻找新的存储解决之道。存储区域网络(san)应运而生,成为人们解决带宽、容量和管理问题的首选方案。san是一种基于光纤通道或ip标准的结构,它提供了吉比特级别的速度、长距离的传输,并且支持网络扩展到数百万台设备。尽管san这个古老的名词在较早的电子
计算机和微型计算机领域就已经存在,但存储网络的概念却是一直到光纤通道产品面世才真正进入到主流应用中来的。随着技术的发展,基于千兆位以太网的san更加引人注目,得到了更为广泛的网络厂商的支持。相比目前的传统存储模式,san代表着一种更先进的技术,因为它在服务器和存储器之间引入了新的网络化的产品和概念。本书的第一版于1999年冬出版,是国外关于san技术的一本经典著述,并多次重印。经过三年多的发展,无论是基于光纤通道还是基于ip的san,都有了长足进步。一些概念和提法已经过时,一些新的模型被提了出来,一些新的标准得以通过并且工业化,市场也正掀起风起云涌的波涛。tomclark先生在2002年推出“ipsans:aguidetoiscsi,ifcp,andfcipprotocolsforstorageareanetworks”一书之后,继而对本书于
2003年进行了全面重写,以反映
最新的技术趋势和市场现状。与第一版相比,
第二版在提纲上保留了原有的标题框架,但内容却是彻头彻尾地全面改写,引入了snia共享存储模型并贯彻始终,以全新的视角和独立于厂商的角度,看待近几年技术和市场的变革,以其二十多年的it经历笑看风云变幻。本书新增的附录占据了非常大的篇幅,几乎占到本书厚度的一半,更为读者充分理解正文内容提供了相当翔实的文献和
资料。无论是对于初次涉及san领域的读者,还是那些使用san技术解决实际问题的人,这都是一本很好的参考书。目前,随着对网络计算和存储环境需求的不断增强,译者所在的“并行与分布处理”国家重点实验室下属课题组目前正在进行“光互连高速存储器”关键技术的研究与实现。继翻译并出版本书第一版和“ipsans:aguidetoiscsi,ifcp,andfcipprotocolsforstorageareanetworks”之后,我们有幸再次翻译本书第二版。在这三本书的前后翻译过程中,我们也随着作者的思路,清晰地看到整个领域的发展过程,感到受益匪浅。对于与作者多次e-mail来往,并承蒙馈赠亲笔签名样书,我们深感荣幸。本书翻译工作由姜南组织,初稿由邓劲生、李宝峰、李蕾、余磊、姜南、方兴等同志完成,罗金平、陈曙晖、汪东、徐峰、胡勇、郑艳波、周建飞等人也做了大量的工作,最后由邓劲生统稿。在翻译过程中,张银福研究员以其极大热情审阅了部分关键性章节,并提出了许多
指导性意见。snia
中国的于震先生也一直关注我们的工作,并给予了很大的支持。尽管我们为此付出了许多努力,但由于存储网络是一个正在兴起的全新领域,译者涉足该领域的时间也不长,加上翻译时间仓促,笔头疏忽和理解错误在所难免,欢迎大家批评指正,以求共同进步。前言本书是对前一版本内容的扩展和更新,该书仅用二百多页第一次为存储区域网络(san)技术提供了简要概览,对于厂商和客户来说都适合作为介绍和培训用的
教材。在过去这三年里,存储行业中发生了迅猛的市场增长和技术发展,新的功能和技术要求已经改变了san这一领域。除了光纤通道性能和交换技术得以更进一步地发展之外,还引入了基于tcp/ip和千兆位以太网的san,并且正在浮现的存储虚拟化也使客户在处理其存储需求时有更多的选择。虽然这些技术动态的部分内容已经在作者的第二本书“ipsans:aguidetoiscsi,ifcp,andfcipprotocolsforstorageareanetworks”中有所覆盖,本书却是第一次针对实现人员在使用当前技术来设计一个san解决方案时所需要考虑的实际问题而展开阐述的。存储区域网络(san)现在已经被认为是满足公共机构和企业关键数据存储需求的优先之选。san在实现用户价值方面的成功,体现在所有的主流解决方案提供商都采用这项技术作为其主推服务器和存储方案。比如ibm、hp、sun、dell和其他解决方案提供商,现在都提供认证的san配置以优化存储数据的性能、可用性和备份。存储厂商,如emc、ditachidatasystems、xiotech等,都在其主流产品中提供了san接口。虽然在当前基于san的解决方案所占有的市场还只有整个存储市场的20%,san却有望在几年内成为市场的主流。正在发展的存储网络代表了两种不同技术的融合,两者都有其各自的重点、词汇和背景。在过去的二十年里,存储的发展比较缓慢,尽管得到了体积更小容量更大的磁盘和更快的通道性能,但是进展仍然局限于主机与存储设备之间固定的主从关系。与之相反的是,网络技术的迅猛发展却早已颠覆了先前的体系结构和关系,正如internet所代表的,产生了创造力无限和丰富多彩的世界。将相对保守的存储与更为活跃的网络结合,所产生的背景冲突却更有利于双方发展。数据存储从数据
通信的局外人,转变成了投资者、厂商和技术专家所关心的热点。网络获得了无穷的高容量数据支持,而数据得以更大的扩展并调整了在企业中的重要性。数据还获得了新的机遇,可以创建存储专用的接口和功能。将存储和网络集成到一项新的技术中去,为客户和厂商都提出了挑战和机遇。存储资源的管理员和经理们现在都必须接受网络的概念和术语,如编址、路由和网络收敛;而网络架构师和管理员也必须学习以前所不熟悉的lun、jbod和raid级别。因此本书的读者面较为广泛,it经理、管理员、顾问人员和技术员工都可从中学习存储和网络的实现。另外,存储网络还产生了一些新的概念,也出现了一些以前在存储或网络中都未曾有过的问题。正文中还讨论了在一个开放式网络环境中存储资源的放置所产生的不同效果,这些内容在应用研究中也有所涉及。虽然存储网络对于处理存储数据的急速增长来说是一项很好的技术,但是现有的棘手的互操作性和管理问题,也使得它备受指责。san相关的某些问题,只是新的技术在试图开拓新的应用背景时所产生的副产品;然而遗憾的是,另外的某些问题,则是厂商在试图获取市场份额时产生的。克服互操作性和管理复杂性,是san技术得以更广泛应用的需求;现在已有多个行业机构正在试图处理这些障碍。虽然这些努力可能需要好几年才能有所成效,本书也进行了讨论。在编写本书第一版的时候,san的底层构造还只有光纤通道。作为第一个成功的吉比特串行传输技术,光纤通道所开创的
信号传输和数据编码机制后来被千兆位以太网所采用。如果千兆位以太网首先出现的话,恐怕它早已超越光纤通道成为存储网络传输的主流了。虽然以太网在
数据通信市场上占据了不可撼动的统治地位,但是它对于存储网络来说还只是个迟到者,与风头正盛的光纤通道的冲突才刚刚开始。虽然这场竞争使得厂商产生了激烈的争论,但毕竟光纤通道和以太网都只是简单的底层结构。本书对于光纤通道和基于以太网的san都给予技术细节的讨论,希望客户能够自行做出决定看看到底哪种传输方式最适合自己。销售san解决方案的主流厂商,都计划提供光纤通道和基于ip的两种产品,以满足不同客户的需要。直接负责设计和实现san的人们,迫切希望关于产品容量和互操作性更详细的信息,比如哪个版本的特定备份应用程序能够适用于哪种数据库或哪种操作系统。仅仅给出本书写作的这么点时间,是不可能面面俱到地覆盖这些有用信息的。即使本书中牵涉到这些内容,也会马上过时并且毫无价值。snia(storagenetworkingindustryassociation,存储网络行业协会)正在建立最终用户组织,以维护客户问题和解决方案的在线数据库。作者建议大家搜索更多详细的san解决方案信息,加入到这个snia组织的活动中,以构建将使更多人受益的实践资源。设计一个存储网络,首先就要回答一个基本问题:它的应用是什么?客户毕竟不会去花费数百万美元在存储阵列、磁带子系统、交换机、服务器和缆线上,却仅仅是为了技术本身。应用是san发展的源
动力,并且应用随着机构和企业的需求不同而完全不同。虽然厂商可以准备好全套的解决方案来满足通常的需求(比如存储合并或磁带备份),但是san架构师应该注意不要被厂商所左右,而是去驱动厂商来解决自己的特定应用需求。本书试图讲述san技术高效解决的最为常见的应用,但这些都只是一个开始,存储网络将会在更为广阔的现实世界应用中施展拳脚。本书的组织结构本书将会带领你学习一系列的概念,最终得到理解存储网络基础设施和应用的一些基础知识。本书不需要读者以前学习过san的相关知识,同时也试图在基础和高级的内容之间保持平衡。这种混合将为希望了解它的读者提供足够的技术细节,又能为希望更深层次地理解san技术的人们提供有针对性的概览。前面两章为理解共享存储的中心概念提供了一个框架。第1章简述了snia共享存储模型,它清晰地描述了存储应用和底层基础设施的基本层次。snia共享存储模型对于理解san体系结构并定位于相关上层应用需求非常有用。它还解释了一个特定的解决方案如何更好地满足业务需求,从而有利于调整san结构以更好地管理。第2章提供了存储和网络这两个概念的概览,并解释二者是如何融合而产生一个新的技术来解决数据存储问题的。由于光纤通道首先出现在存储网络领域,并且一直占据着很大的市场份额,因此接下来的三章提供了关于光纤通道协议、拓扑和产品的技术讨论。第3章概述了底层物理传输、协议和编址。第4章概述了光纤通道拓扑,重点在于当前大部分san解决方案所提供的光纤通道光纤网交换式服务。第5章描述了光纤通道厂商开发的产品,包括服务器、存储设备、互连以及其他组件。总的来说,它们为san架构师在设计高效的解决方案时提供了丰富的工具箱。从
2000年开始,将存储数据在主流的tcp/ip网络上进行传输的企图,产生了ip存储网络体系结构和产品。这些产品进一步增强了san设计人员在构造共享存储配置上的能力,可以单独使用ip,或者将ip和光纤通道集成为一个异构的存储网络。第6章概述了ipsan的协议和问题,第7章描述了在过去两年多时间里市场上所出现的一些ip存储产品。第8章概述了由san基础设施支撑的特定存储应用。服务器集群用以获取高可用的数据访问,磁带备份用以对数据进行存档,以及通过磁盘镜像进行数据复制,尽管这些存储应用原本只为高级客户业务应用程序和数据库服务,但现在却都是san解决方案中很常见的一部分。然而,san在带来这一切的同时,势必也带来了某些痛苦。虽然厂商都在试图进一步
调试和验证san配置,但是在
安装或接下来的操作中必然会引发一些问题。第9章解释了一些基础的故障排除技术和工具,用于确定并隔离存储网络问题。第10章讨论了san管理及其特有的挑战。共享存储的管理人员,必须将传输的管理以及数据在磁盘或磁带上进行放置的管理结合起来。建立一个统一的管理是非常困难的,即使软件厂商已经掌握了足够的资源来处理san管理。但是,cim(commoninformationmodel,通用信息模型)已经进入这个行业中,可能会为存储网络的综合管理提供一个框架。第11章试图描述尚未定型的一个东西,叫做“存储虚拟化”。存储虚拟化在某种意义上被厂商的市场宣传过度炒作,但是对于简化存储管理并为san解决方案打开更为广阔的市场来说,它是一项可行的技术。该章覆盖了存储虚拟化的
理论能力,以及在当前市场产品中可用的极为有限的功能。各种机构和企业,正在为互不相同的应用而实现san。其中的一些应用在第12章中进行了讨论,提供了在实施和管理san时客户可能会遇到的潜在问题。在实用中,光纤通道和ip存储产品的结合是可行的,尤其是在处理城域或广域san配置时。第13章讨论了san技术中迄今仍然没有解决的一些问题,包括互操作性、管理以及使用主流网络的san收敛。对于工程师而言,这些问题都只是必须掌握的挑战而已,市场的竞争并不能够阻挡大势所趋。作为san设计的总结,第14章是对存储网络前景的思考。这些前景的承诺,与san以前的发展一样地难以捉摸,从新的存储方向(比如虚拟化和基于ip的san)的快速发展,到新的主机互连(如infiniband)的到来。本书的附录中包含了大量额外
材料,有助于读者获得关于存储网络的参考和背景信息。snia也以snia共享存储模型和snia术语辞典的形式,做了一些非常有价值的工作。作者希望存储网络技术的厂商和客户都采用snia的工作,并且如果可能的话,也加入到snia活动中。客户与技术人员的目标越是接近,可行的解决方案就会越早递交到客户手中。致谢在编写本书的新版本时,我受益于在过去十年里san开发过程中成千上万的人们的辛勤劳动。解释一项技术的原理,与那些定义并生成不同解决方案的辛苦相比,要相对容易得多。因此我首先希望感谢技术人员、工程师、架构师、施工人员、系统工程师、技术支持人员、最终用户还有市场人员,是他们共同构造了存储网络的产品和应用。存储网络是一项用于保证信息访问的技术,这样才能提高我们的通用环境。我要感谢编辑karengettman和addison-wesley的emilyfrey,是他们在管理这个项目、认真校对并编辑手稿。没有他们在处理出版问题上始终如一的支持和努力,这项工作就不可能完成。我还要感谢我的朋友,他们审阅文稿,并对手稿提出了建议和修正。这里感谢larrykrantz、charlesmonia、milanmerhar、bobsnead和garyorenstein,他们不辞劳苦地审读,并从技术和语句组织等方面都提出了改进。我要感谢我的妻子兼第一线编辑louclark,感谢她在生活和工作中给予我的关怀和支持。本书包含很多对存储网络行业协会的参考,我是站在它的肩膀上完成这项工作的。snia的发起成立者主要是存储和存储网络厂商,团队主要来自成员公司的志愿者。snia以其雄厚的技术和丰富的经验,致力于确保存储网络成为完善并可信的解决方案。为新的存储技术确定标准需求、遵循的标准、互操作性、管理、培训以及其他工作,需要持久地关注和研究;而负责这些任务的人却很少被it业界所熟知。因此我要感谢所有的志愿者,他们花费了大量的时间和精力在snia技术工作组、委员会、论坛和技术委员会;我同样要感谢他们所在的公司和研究机构。下面还要感谢networkassociates的jimvale,他最早认识到ip网络对于san的重要性,并将存储的思想带入了主流it领域。最后,我要感谢那些客户,他们对san解决方案在实施时的优势和弱点都提出了很有价值的建议。我还要特别感谢sniacustomerexecutivecouncil和sniacustomeradvisorycouncil的成员,尤其是carlson公司的garyjohnson和markprice,以及微软的johnalley、bradbasden(和他的朋友们)和marklicata。
tomclark
于西雅图
designing.sans@verizon.net