[素材装载与备份] 影响数据传输表现的因素

发表于 2015-1-5 21:19 | [复制链接] | 打印 |上一主题| 下一主题

[素材装载与备份] 影响数据传输表现的因素

本帖最后由 崔巍 于 2015-1-6 15:13 编辑

影响数据传输表现的因素

本文提供了关于目前主流储存设备的观点,以及通过不同配置,提高执行效率的洞见。

存储技术

目前有四种储存设备被广泛使用

  • 机械硬盘(HDD)
  • 固态硬盘(SSD)
  • 闪存记忆卡(CF,SDHC,SxS等等)
  • 阵列系统

机械硬盘目前仍旧是计算机世界最主要的存储设备,它们有数片叠加的磁盘组成,在一个金属的方盒中旋转,一个可移动的探针通过检测与改变磁盘小扇区上的属性来读取和写入数据。机械硬盘有3.5寸和2.5寸两种规格。它们主要的区别在于容量,转速和需要的供电量。机械硬盘很便宜,容量大,经常被用来传输大量数据,典型的机械硬盘的读取速度一般在100MB/秒左右,磁盘转速越高(比如每秒5400转),读写速度就越快。

固态硬盘(SSD)不基于任何机械运动部件,而是通过电子电路(主要是闪存)来存储信息。固态硬盘提供了和机械硬盘一样的接口来兼容已有的设备,在绝大多数情况下,它们比机械硬盘的速度要快得多,同时也昂贵得多。一van情况下,SSD硬盘可以达到300MB/秒以上的读写速度。

闪存记忆卡使用和固态硬盘相似的基数,不过形状和接口不同,它们主要被用来连接非计算机设备比如摄影机,照相机取决于价格,零件和接口的不同,存在闪存记忆卡提供了不同速度的选择。另外,读卡器和它们的连接接口也会影响速度表现。举个例子,阿莱艾丽莎摄影机使用的SxS存储卡通常速度是150MB/秒,不过如果你使用Sony生产的一种基于USB2.0接口的SxS读卡器,那最快也只能获得30MB/秒的速度。

磁盘阵列系统(独立冗余磁盘阵列)通过将数块机械硬盘或者固态硬盘整合成一个逻辑磁盘来增加容量,速度和/或可靠性。标准的独立磁盘阵提供类似机械硬盘盒固态硬盘的接口。阵列一般用在需要存储大量数据或者需要进一步的数据安全的场合,阵列系统理论上可以增加磁盘的读写速度,不过取决于组建阵列的级别以及阵列控制器的功能是否强大。

机械硬盘和固态硬盘的区别

固态硬盘和机械硬盘的第一个区别是价格,目前固态硬盘几乎是同等容量的机械硬盘价格的10倍,另外你也无法找到和机械硬盘一样的超大容量的固态硬盘,一般情况下,固态硬盘的容量都要比传统机械硬盘小得多。目前机械硬盘的容量已经上升到4TB,但是常用的固态硬盘的容量仍旧以256GB为主(截止2012年)

两者最重要的区别在于数据传输表现:固态硬盘在绝大多数情况下,都远比机械硬盘的速度快得多,这会在现场数据拷贝下,极大影响整体工作效率。

机械硬盘在线性读写的情况下,将会保持最好的运行表现,某些情况下甚至可以接近固态硬盘的速度,不过当以下几种情况发生时(根据实际情况有10余种影响因素),机械硬盘的运行速度大幅下降

  • 并行处理多个读写任务,或者
  • 一个文件的数据被存储在磁盘的不同扇区下面,

由于探针头必须物理地在扇区的读写区域不停移动。

如果磁盘容量接近用完,机械硬盘速度也会下降,当磁盘无法将更多数据存储在磁盘内部的时候。(机械硬盘是从磁盘的外外部向内部依次写入数据)而机械硬盘则相反,在随机读写与并行处理多个读写任务时,能提供和线性读写几乎一样的传输速率。

另外在室外环境下,固态硬盘面对摇晃与震动等情况,更为可靠。固态硬盘极为坚固,甚至可以从桌面高度摔落而不出问题,而机械硬盘可能在轻微的冲击下,就会有严重损坏的可能。

关于固态硬盘和机械硬盘区别的详细列表可以看维基百科的相关文章

http://en.wikipedia.org/wiki/Solid-state_drive#Comparison_of_SSD_with_hard_disk_drives

阵列级别

基于用来组建阵列系统的机械硬盘/固态硬盘的数量,阵列系统可以提供相对于单个硬盘更多的功能与改进。

1块硬盘

  • 无法组成阵列

2块硬盘或更多

  • RAID0(条带化):可以提高整体速度与容量(但无法提升安全性)。数据信息将被分为小块分别存储到2个磁盘中,由于一个文件的数据可以被分别存储在2个磁盘里,所以可以提高读写速度。

  • RAID1(镜像):提高安全性(但无法提升容量和速度)。数据信息将被分为小块,而且每一小块数据都会单独被存储到两个磁盘中。如果任意一块磁盘损坏了,全部的数据都会完好地被保存在另外一块磁盘中。但是整体速度没有提。

三块硬盘或更多

  • RAID5(奇偶校验):可以提高整体速度,容量和安全性。数据被分为小块,而每一块都只会存入一个磁盘,与此同时,分区信息则被另外存储,整个阵列会分出一块磁盘用来存储分区信息(例如,4块1T硬盘组成的RAID5阵列,可以存储3TB的数据,而另外1TB则用来存储分区)。于此同时,条带化机制仍旧可以提高整体速度,如果任意一块硬盘损坏了,只要将损坏的硬盘替换一块同等容量或者更大的新硬盘。整个数据信息可以被之前存储的分区数据重新创建(重建)。

四块硬盘或者更多

  • RAID6(双重奇偶校验):可以提高整体速度,容量和安全性。和Raid5阵列类似,不过在Raid6中,有两块硬盘被用来保存分区,所以即使有2快硬盘同时损坏,数据也不会出问题。

另外还有更复杂的不同Raid级别组合的阵列系统,比如三个Raid5阵列系统在组合成Raid0,称之为Raid50(5+0),更多Raid系统的技术可以参加维基百科相关文章

http://en.wikipedia.org/wiki/RAID#Problems_with_RAID_5_in_enterprise_environments

Raid系统的功能,既可以由相关硬件来实现(比如外置Raid设备),也可以由系统自带的软件来实现。对于硬件系统来说,整体表现取决于使用的Raid控制器强大与否。便宜的RAID控制器将会严重局限整体RAID系统的表现,使其实际速度慢于理论上该系统所能达到的速度。


接口

  • USB2,已经长期存在的一种接口,高兼容性,低速度,一般在25MB/秒左右‘

  • Firewire (FW) 400(火线400):主要用于苹果系统,支持菊花链,速度一般在40MB/秒左右

  • Firewire (FW) 400(火线400):主要用于苹果系统,支持菊花链,速度一般在80MB/秒左右

  • SATA:硬盘的内部接口,速度最高300 MB/秒

  • USB3:比较新的接口,连接方式和USB2一样,最高速度在350MB/秒左右

  • SATA3:硬盘的内部接口,速度最高700 MB/秒

  • Thunderbolt(雷电接口):主要用于苹果系统,支持菊花链,理论速度接近1GB/秒左右

  • FibreChannel光纤通道:光纤技术,主要用于大型RAID/SAN系统,单根16GB的连接线可以提供最高1.6GB/秒的速度

Daisy-chaining(菊花链)意味着你可以只用计算机上面的一个端口以链条形式链接多个设备,接口的速度由链条上的多个设备共享,比如说,菊花链上面有2个火线800磁盘设备,那么这两个磁盘的速度将会是每个40 MB/秒(80MB/秒的速度被平均分配给2个设备)

通常,一个计算机上的几个同类型接口可能仅由一个控制器控制,所以在一个控制器控制的多个接口都连接了设备的情况下,也会影响整体速度。

对于如何分析与改进数据传输处理,请看以下文字“分析与改进数据传输表现”原文链接: http://kb.pomfort.com/silverstack/offloadandbackup/factors-for-data-transfer-performance/





回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

工作时间周一至周五9:00-18:00|尊正商城|尊正官网|手机版|真彩尊正

GMT+8, 2020-10-25 22:00 , Processed in 0.042581 second(s), 27 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表