基于对称式虚拟存储的分类播报——虚拟化存储

编辑

目前，虚拟存储的发展还没有统一的标准。 虚拟化存储的拓扑结构主要有两种：对称和非对称。 对称虚拟存储技术是指将虚拟存储控制设备、存储软件系统、交换设备集成为一个整体，嵌入网络数据传输路径中； 非对称虚拟存储技术是指虚拟存储控制设备独立于数据传输路径。 外部。 从虚拟化存储的实现原理来看，有两种方式：数据块虚拟化和虚拟文件系统。 详情如下：

对称虚拟存储

在图1所示的对称虚拟存储结构图中，存储控制设备High Speed（HSTD）与存储池子系统Pool集成在一起，形成SAN。 可见，在该方案中，存储控制设备HSTD在主机与存储池之间的数据交换过程中发挥着核心作用。 本方案的虚拟存储流程如下：HSTD嵌入式存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元（LUN），并进行端口映射（指定某个LUN可以看到哪些端口） ，主机端将每个可见的存储单元映射到操作系统识别的驱动器盘符上。 当主机向SAN写入数据时，用户只需指定数据写入位置为自己的映射盘符（LUN）即可。 数据通过HSTD的高速并行端口，首先写入缓存。 HSTD中的存储管理系统自动完成该过程。 在目标位置从LUN到物理硬盘的转换过程中，用户看到的只是虚拟逻辑单元，并不关心每个LUN的具体物理组织结构。 该方案具有以下主要特点：

(1)采用大容量缓存，显着提高数据传输速度。

缓存是存储系统中广泛使用的一种中间介质，位于主机和存储设备之间的I/O路径上。 当主机从存储设备读取数据时，会将当前数据存储位置所连接的数据读取到缓存中，并将多次调用的数据保留在缓存中； 当主机读取数据时，有很大概率能够从缓存中找到所需的数据。 直接从缓存中读取。 从缓存读取数据时的速度仅受电信号传播速度（等于光速）的影响，因此远高于从硬盘读取数据时磁盘机械旋转的速度。主机向存储设备写入数据时，首先将数据写入缓存。 主机端写入操作停止后，数据再从缓存写入硬盘。 这也比直接写入硬盘更快。

(2)多端口并行技术消除I/O瓶颈。

传统FC存储设备中控制端口与逻辑磁盘之间存在固定的关系。 对硬盘的访问只能通过控制它的控制器端口进行。 在对称虚拟存储设备中，SAN存储端口和LUN之间的关系是虚拟的，这意味着多个主机可以通过多个存储端口（最多8个）并发访问同一个LUN； 在光纤通道100MB/带宽的一般前提下，并行工作的端口越多，数据带宽就越高。

(3)逻辑存储单元提供高速的磁盘访问速度。

在视频应用环境中，应用程序以固定大小的数据块（从 到 1MB）读取和写入数据。 为了保证应用程序的带宽需求，存储系统通常被设计为在传输数据块大小超过100%时实现最佳的I/O性能。 在传统SAN结构中，当容量需求增加时，唯一的解决方案是将多个磁盘（物理或逻辑）绑定成条带集，以实现大容量LUN。 在对称虚拟存储系统中，为主机提供真正大容量、高性能的LUN，而不是通过条带集实现的性能较差的逻辑卷。 与条带集相比，Power LUN 有很多优点。 例如，大I/O块将真正被存储系统接受，有效提高数据传输速度； 而且由于没有条带集处理，主机CPU可以缓解很多问题。 负担大，提高主机性能。

(4)配对HSTD系统的容错性能。

在对称虚拟存储系统中，HSTD是数据I/O的唯一场所，存储池是数据存储的场所。 既然存储池中的数据都有容错机制来保证安全，那么用户自然会想知道HSTD是否有容错保护。 与很多大型存储系统一样，在成熟的对称虚拟存储系统中，HSTD都是成对配置的，每对HSTD通过SAN内嵌的网管服务实现缓存数据的一致性和相互通信。

(5)交换设备可以方便地接入SAN，实现超大规模SAN。

由于系统保持了标准的SAN结构，并为系统扩展和互连提供了技术支持，因此交换设备可以方便地与SAN连接，实现超大规模的SAN。

非对称虚拟存储系统

在图2所示的非对称虚拟存储系统结构图中，网络中的每台主机和虚拟存储管理设备都连接到磁盘阵列，主机的数据路径通过FC交换设备到达磁盘阵列； 虚拟存储设备对连接网络的磁盘阵列进行虚拟化操作，将每个存储阵列中的LUN虚拟成逻辑条带集（Strip），并为每个Strip指定访问权限（可写、可读、禁止访问）。 当主机想要访问一个Strip时，必须先访问虚拟存储设备，读取Strip信息和访问权限，然后通过交换设备访问Strip中的实际数据。 在此过程中，主机只会识别逻辑条带，而不会直接识别物理硬盘。 该解决方案具有以下特点：

(1)将不同物理硬盘阵列中的容量进行逻辑组合，实现虚拟条带集，并绑定多个阵列控制器端口，在一定程度上增加系统的可用带宽。

(2)当交换机端口数量充足时，可以在一个网络中安装两台虚拟存储设备，实现Strip信息和访问权限的冗余。

但该方案存在以下缺陷：

(1)该方案本质上是条带集-磁盘阵列结构。 一旦条带集中的磁盘阵列控制器损坏，或者阵列到交换机路径上的铜缆或GBIC损坏，就会创建虚拟LUN。 离线，并且条带集本身没有容错能力。 一个LUN的损坏意味着整个Strip中数据的丢失。

（2）由于本方案的带宽提升是通过阵列端口绑定实现的，而普通光纤通道阵列控制器的有效带宽只有40MB/S左右，实现几百兆的带宽意味着调用十个阵列就会占用几十个交换机端口，这对于只有一两台交换机的中小型网络来说是不切实际的。

(3)由于各种品牌、型号的磁盘阵列的性能并不完全相同，如果为了虚拟化的目的而绑定不同品牌、型号的阵列，就会出现一个问题：在写入或读取数据时，磁盘阵列的速度会受到影响。每个并发的数据流都是不同的，这意味着传输完成后原有的数据包顺序被打乱，系统需要占用时间和资源对数据包进行重新排序，这将严重影响系统性能。

块虚拟化和虚拟文件系统

上面从拓扑的角度分析了对称和非对称虚拟存储方案的异同。 事实上，虚拟化存储的实现方式有两种：数据块虚拟化和虚拟文件系统。

数据块虚拟存储解决方案重点解决数据传输过程中的冲突和延迟。 在由多台交换机组成的大型结构SAN中，由于多台主机通过多个交换机端口访问存储设备，因此延迟和数据块冲突是非常严重的问题。 数据块虚拟存储解决方案采用虚拟多端口并行技术，为多个客户端提供极高的带宽，最大限度地减少延迟和冲突。 在实际应用中，数据块虚拟存储方案采用对称就是一种表示。

虚拟文件系统存储解决方案重点解决大规模网络中文件共享的安全机制问题。 通过为不同站点指定不同的访问权限，保证网络文件的安全。 在实际应用中，虚拟文件​​系统存储解决方案采用非对称拓扑的形式。

虚拟内存广播

编辑

它实际上是一种逻辑存储，本质上是对物理存储设备进行逻辑处理，呈现给用户一个统一的逻辑视图。 因此，用户在使用时，操作的是虚拟设备，无需关心底层物理环境。 因此，可以充分利用基于异构平台的存储空间，实现最佳的使用效率。 [1]

虚拟存储系统功能报告

编辑

虚拟存储系统一般具有以下功能：[1]

(1)具有判断存储设备故障并自动触发更换故障设备的功能。 [1]

(2)具有存储协议自由转换功能，从而能够支持不同协议下的异构存储和服务器环境。 [1]

(3)支持SAN存储配置，实现存储本体的集中管理和存储容量的扩展。 [1]

(4)可以通过TCP/IP协议在网络上实现对存储器的各种远程同步操作。 [1]

(5)可实现数据缓存、定时自动备份和恢复等。 [1]

因此，使用时其存储效率高，可以显着降低用户存储硬件开销和管理维护成本，提高系统安全性。 特别适合在拥有海量信息资源的企业级和网络环境中使用。 [1]

特征分析广播

编辑

说到虚拟化，大家立刻就会想到节约和绿色。 因为它的使用可以减少我们设备的资金投入，减轻成本压力。 一段时间以来，虚拟存储（ ）概念的不同版本相继出现，有的是从软件角度解释的，有的是从硬件角度举例说明的。 各个厂商基于对虚拟技术的理解，都有实用的产品提供给用户。 虚拟存储领域确实百家争鸣，因此很难对虚拟存储技术的概念给出清晰准确的描述。

尽管如此，总结虚拟存储的一些共同特征可以看出，所谓虚拟存储就是通过一定手段对多个存储介质模块（如磁盘、磁盘阵列）进行集中管理，所有存储模块都在一个存储池中在虚拟存储环境中，无论后端物理存储设备是什么，服务器和工作站看到的都是其熟悉的存储设备的逻辑映像，即使物理存储发生变化也不会改变。系统管理员不需要关心后端存储，只需要专注于管理存储空间，所有存储管理操作，如系统升级、创建和分配虚拟磁盘、更改RAID级别、扩展存储空间等都比以前容易得多。 ，存储管理变得轻松简单。

从用户的角度来看，虚拟存储可以用一句更简单的话来概括——使用存储空间而不是使用物理存储硬件（磁盘、磁带），管理存储空间而不是管理物理存储硬件。

虚拟存储技术具有以下特点：

1、虚拟存储可以大大提高存储系统的整体访问带宽，这也是其对于视频网络系统最有价值的特性。 我们知道，视频网络的存储系统一般由多个存储模块组成，而虚拟存储系统可以很好地进行负载均衡，将每次数据访问所需的带宽合理分配到各个存储模块，从而使系统整体访问带宽增加。 例如，如果存储系统中有4个存储模块，每个存储模块的访问带宽为50MB/s，则存储系统的总访问带宽可以接近每个存储模块的带宽之和，即 200MB/s。

2、虚拟存储技术为大容量存储系统提供了集中管理方式，由网络中的一条链路（如服务器）统一管理，避免了存储设备扩容带来的管理麻烦。 例如，使用通用的存储系统，当添加新的存储设备时，需要重新配置整个系统（包括网络中的许多用户设备），以便将这个“新成员”添加到存储系统中。 中间。 采用虚拟存储技术，当添加新的存储设备时，网络管理员只需对存储系统进行相对简单的系统配置更改即可。 客户不需要任何操作，只感觉存储系统的容量增加了。

3、虚拟存储技术为存储资源管理提供了更好的灵活性。 可以集中管理和使用不同类型的存储设备，保护用户前期购买存储设备的投资。

实现方法广播

编辑

目前，虚拟存储主要分为以下几类：

服务器端虚拟存储

服务器厂商会在服务器端实现虚拟存储。 同样，软件供应商将在服务器平台上实现虚拟存储。 这些虚拟存储的实现是通过服务器端将镜像映射到外围存储设备上。 除了分配数据之外，无法控制外围存储设备。 服务器端一般通过逻辑卷管理来实现虚拟存储技术。 逻辑卷管理提供了一个虚拟化层，用于将物理存储映射到逻辑卷。 服务器只需要处理逻辑卷，不必管理存储设备的物理参数。

以这种方式构建虚拟存储系统时，服务器端是性能瓶颈，因此很少用于多媒体处理领域。

存储子系统侧的虚拟存储

实现虚拟化的另一个地方是存储设备本身。 这种虚拟存储一般由存储厂商实现，但很可能使用该厂商的独家存储产品。 为了避免这种不兼容性，供应商可以与服务器、软件或网络供应商合作。 当虚拟存储在设备侧实现时，逻辑（虚拟）环境和物理设备处于同一控制之下。 这样做的好处是虚拟磁盘可以高效地使用磁盘容量，虚拟磁带可以高效地使用磁带介质。

存储子系统侧的虚拟存储设备主要通过大规模RAID子系统和多个I/O通道与服务器连接。 智能控制器提供LUN访问控制、缓存以及数据复制等其他管理功能。 这种方式的优点是存储设备管理员对设备拥有完全的控制权，并且通过与服务器系统分离，可以将存储的管理与多个服务器操作系统隔离，并且可以方便地调整硬件参数。

在网络设备侧实现虚拟存储

网络厂商会在网络设备侧实现虚拟存储，通过网络将逻辑镜像映射到外围存储设备。 除了分配数据之外，它们对外围存储设备没有任何控制权。 在网络侧实现虚拟存储是合理的，因为它的实现既不是在服务器端，也不是在存储设备端，而是在两个环境之间。 它可能是最“开放”的虚拟实现环境，并且最有可能支持任何服务器、操作系统、应用程序和存储设备。 从技术上来说，网络侧实现的虚拟存储有两种结构形式：对称虚拟存储和非对称虚拟存储。

从目前虚拟存储技术和产品的实际情况来看，基于主机和基于存储的方式对尝鲜者最有吸引力，因为它们不需要任何额外的硬件，但对于异构存储系统和操作系统来说，虚拟化存储系统的运行效果会受到影响。系统不是很好。 基于互联设备的方法介于两者之间。 它避免了一些安全问题，具有更强的存储虚拟化功能，可以减少单主机的负载，并且可以实现良好的扩展性。

无论采用哪种虚拟存储技术，其目的都是为了提供高性能、安全、稳定、可靠、可扩展的存储网络平台，满足节目制作网络系统的苛刻要求。 根据综合性价比，一般情况下，当基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时，会优先考虑，因为这两种虚拟存储技术构建起来比较方便，管理简单，维护方便，产品比较成熟，性价比高。 当单纯基于存储设备的虚拟存储技术无法保证存储系统的性能要求时，可以考虑采用基于互连设备的虚拟存储技术。

专题播出

编辑

虚拟存储具有以下特点：

（1）虚拟存储提供了对大容量存储系统进行集中管理的手段，由网络中的一条链路（如服务器）统一管理，避免了存储设备扩容带来的管理麻烦。 例如，使用一般的存储系统，当添加新的存储设备时，整个系统(包括网络中的许多用户设备)需要经过繁琐的重新配置工作，才能将这个“新成员”添加到存储系统中。 使用虚拟存储技术时，在添加新的存储设备时，网络管理员只需对存储系统进行相对简单的系统配置更改即可。 客户端不需要任何操作。 感觉存储系统的容量只是增加了。

(2)虚拟存储对于视频网络系统最有价值的特点是可以大大提高存储系统的整体访问带宽。 存储系统由多个存储模块组成，虚拟存储系统可以很好地进行负载均衡，将每次数据访问所需的带宽合理分配到各个存储模块，从而提高系统整体的访问带宽。 。 例如，如果一个存储系统中有4个存储模块，每个存储模块的访问带宽为 ，则该存储系统的总访问带宽可以接近每个存储模块的带宽之和，即。

(3)虚拟存储技术为存储资源管理提供了更好的灵活性。 它可以集中管理和使用不同类型的存储设备，保证用户对过去购买的存储设备的投资。

(4)虚拟存储技术可以通过管理软件为网络系统提供一些其他有用的功能，例如无需服务器的远程镜像和数据快照()。

应用广播

编辑

由于虚拟存储具有上述特点，虚拟存储技术正逐渐成为共享存储管理的主流技术。 其应用如下：

数据镜像

数据镜像是通过双向同步或单向同步方式在不同存储设备之间建立数据副本。 合理的解决方案应该提供一种在同一存储阵列以及不同存储阵列之间进行镜像的方法，而不依赖于设备制造商和操作系统的支持。

数据复制

通过IP地址进行异地数据迁移（通常是异步传输）对于各种规模的企业来说都是极其重要的数据容灾工具。 一个好的解决方案不应该依赖特殊的网络设备支持，同时也不应该依赖主机来节省公司的管理成本。

磁带备份增强设备

过去几年，磁带备份技术几乎没有什么新的发展。 尽管如此，网络存储设备平台还应该能够在磁带和磁盘之间架起一座桥梁，快速、顺利、安全地完成备份工作。

实时复制品

企业通常需要复制数据以进行测试、扩展和聚合或出于某些其他原因。

实时数据恢复

使用磁带恢复数据是数据恢复的主要手段，但往往很难成功。 数据管理的重要新发展之一是将最近的备份数据（可以是几周前的历史数据）移动到磁盘介质而不是磁带介质。 从磁盘恢复数据速度快如闪电（所有文件可在 60 秒内恢复），并且比从磁带恢复数据更安全可靠。 同时，可以恢复整个()数据。

应用集成

存储管理发展的另一个新方向是让服务更贴近应用。 没有信息技术经理会纯粹出于对存储设备的兴趣而购买它。 存储设备用于服务于应用程序，例如数据库、通信系统等，通过将存储设备与企业关键应用活动相结合，可以获得更大的价值，同时大大降低运营难度。

虚拟存储在数字视频网络中的应用

现在主要研究虚拟存储在数字视频网络中的应用。

数字视频网络对于广电行业来说已经不再是一个陌生的概念。 由于它在广播电视技术数字化进程中发挥着重要作用，国内各级电视台都高度重视并开始建设和应用。 在数字视频网络的概念上，完全打破了传统的一台录像机、一套编辑系统、一套播出系统的结构，取而代之的是上传工作站、编辑制作工作站、播出工作站和节目存储。 工作站流程，方便操作和管理。 节目上传、节目编辑、节目播出在不同功能的工作站上完成，工作效率成倍提高。 同时，由于采用非线性编辑系统，除了采集过程中的压缩损失。 制作播出过程中不再出现任何信号损失，节目的技术质量将得到极大的提高。

在现有的视频网络系统中，虽然计算机的主频、网络的传输速率以及交换设备的性能能够满足大多数应用的要求，但存储设备的访问带宽成为了主要的性能问题。系统。 瓶颈。 视频编辑制作具有数据存储量大、代码流量高、实时性强、安全性重要的特点。 这就要求视频领域使用的存储技术和产品必须具有足够的带宽和良好的稳定性。

在单机应用中，为了保证编辑站点有足够的数据带宽，广泛采用SCSI技术和本地独立磁盘冗余阵列RAID（Array of Disks）技术（包括软件和硬件）。 它将多个SCSI硬盘和控制器组合起来组成一个大容量、快速响应、高可靠性的存储子系统。 从用户的角度来看，它可以用作逻辑磁盘或虚拟磁盘，从而大大提高数据传输速率和存储容量。 同时采用纠错技术，提高存储可靠性，满足带宽要求。

随着节目制作需求的发展，需要2-3个台共享编辑数据。 这时就可以利用SCSI网络技术来实现这一要求。 多个编辑站点配备高性能SCSI适配器，并连接到共享SCSI磁盘阵列，不仅可以让多个站点共享数据，还可以保证每个单机的工作带宽。

光纤通道技术的成熟应用是视频网络发展的里程碑。 从此，主机与共享存储设备之间的连接距离限制从几米、十几米扩大到数百米、数千米，并且在光纤通道交换设备的配合下，网络规模不断扩大。扩大了数倍甚至十几倍。 此时，FC（Fibre Fibre ）磁盘阵列——RAID容错技术，相比SCSI具有高带宽和大容量的特点，成为视频网络中的核心存储设备。

随着电视台规模的发展，台湾层面大规模视频网络的应用被提出。 在这种需求下，必须将更先进的存储技术和产品引入视频领域。 目前存储区域网络（SAN）的发展正处于快速增长期，各种概念不断涌现。 其中，具有划时代意义的是虚拟存储概念的引入。 与传统交换机加RAID阵列相比，主机通过硬件层直接访问阵列中硬盘的SAN结构。 虚拟存储的定位是从实际物理数据访问过程中抽象出数据存储功能，让普通用户在访问数据时无需关心具体存储设备的配置参数、物理位置和容量，从而简化用户和系统管理员的工作。

在设计视频网络系统时，选择存储系统时应主要考虑以下因素： （1）整体带宽性能； (2)可管理性； (3) 安全； (4)可扩展性； (5)系统成本。

当然，这些因素有时是相互制约的，尤其是系统成本与性能、安全性之间的关系。 如何寻求这些因素之间合理、务实、经济的合作是一个需要解决的课题。 虚拟存储技术的出现为我们在构建视频网络系统时提供了一种实用、高性能、高性价比的解决方案。

从拓扑结构来看，对称方案具有更高的带宽性能和更好的安全特性，因此更适合大规模视频网络应用。 非对称方案采用虚拟文件原理，因此更适合普通局域网（如办公网络）中的应用。