关于solaris硬盘cxtxdxsx的含义

  这是CU上的一篇精华帖子。讨论的是cxtxdxsx的具体含义。我觉得不错特意整理了一下。

 

问题：

c0t0d0s0：
Ｃ：controller
Ｔ：Target
Ｄ：Disk
Ｓ：slice

为何在虚拟机的磁盘编号（/dev/dsk/c0d0s0 ）有D无T？

 

解答：

一、

QUOTE:

Last login: Thu Apr 23 17:03:51 2009 from x.x.x.x
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005
# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c0t0d0
          /pci@0,600000/pci@0/pci@8/pci@0/scsi@1/sd@0,0
       1. c0t1d0
          /pci@0,600000/pci@0/pci@8/pci@0/scsi@1/sd@1,0
       2. c1t16d0 cyl 51198 alt 2 hd 256 sec 16>     //这个lun 100G
          /pci@1,700000/fibre-channel@0/sd@10,0
       3. c1t16d1 -1.00TB>
          /pci@1,700000/fibre-channel@0/sd@10,1
       4. c1t16d2 2.00TB>
          /pci@1,700000/fibre-channel@0/sd@10,2
       5. c1t17d0
          /pci@1,700000/fibre-channel@0/sd@11,0
       6. c1t17d1
          /pci@1,700000/fibre-channel@0/sd@11,1
       7. c1t17d2
          /pci@1,700000/fibre-channel@0/sd@11,2
       8. c2t16d0
          /pci@3,700000/fibre-channel@0/sd@10,0
       9. c2t16d1
          /pci@3,700000/fibre-channel@0/sd@10,1
      10. c2t16d2
          /pci@3,700000/fibre-channel@0/sd@10,2
      11. c2t17d0
          /pci@3,700000/fibre-channel@0/sd@11,0
      12. c2t17d1
          /pci@3,700000/fibre-channel@0/sd@11,1
      13. c2t17d2
          /pci@3,700000/fibre-channel@0/sd@11,2
      14. emcpower0a
          /pseudo/emcp@0
      15. emcpower1a
          /pseudo/emcp@1
      16. emcpower2a
          /pseudo/emcp@2
Specify disk (enter its number):

• 第0、1号磁盘是本地硬盘，只有一个控制器，这个不说了，其他的盘都是从存储阵列上来的
• 第2、3、4和5、6、7和8、9、10和11、12、13这4组是重复的，其实就只有3块盘（为什么这样呢，后面说）
  • 如果注意看，就会发现编号为2,5,8,11这4块盘的大小是一样的，其实它们指向的是存储上的同一个LUN
  • 此外，3,6,9,12也是同一个LUN，4,7,10,13亦是如此
• 2-13这4组盘，经过多路径管理软件后重新变成3块盘：14、15、16（最终我们使用这3块盘，2-13的盘我们不去动它）

现在开始解释：

先看连接图

QUOTE:

                                                   |========存储阵列控制器1-sp1
       |----HBA卡1=======SAN交换机1|========存储阵列控制器2-sp1
服务器|
       |----HBA卡2=======SAN交换机2|========存储阵列控制器1-sp2
                                                   |========存储阵列控制器2-sp2

图例说明：======  表示一对光纤，光纤接口总是分成两个小口，一收一发，要接两根光纤（术语通常叫尾纤）

注解：一收一发，两根光纤，光纤从来都是讲对的，而不是和双绞线一样讲根，特此说明。（其实双绞线也讲对，一根里面有4对，5类线以100MB速率传输时仅用其中2对，即4根；6类线以千兆速率传输时就要用全其中的4对8根线了）

这样呢，可以看到服务器有两块hba卡，分别连不同的光纤交换机，而每台光纤交换机和同一台存储阵列都有两条路径连接。

于是，服务器到存储阵列就变成有4条通道：

• 控制器1（c1，即hba卡1）经过光纤交换机1后有两条通道到存储阵列（所以有两个target number,t16,t17）
• 控制器2（c2，即hba卡2）经过光纤交换机2后有两条通道到存储阵列（所以有两个target number,t16,t17）

结果呢，就导致存储上的一块盘（对存储而言叫做lun，logic unit number,书本P46），到服务器的操作系统上看来就变成了4块盘，但dx的x保持不变（LUN对操作系统而言就叫 disk number，怎么变成4块盘的下面接着说）

本实例中，

• 存储上划了3个lun(Lun 10,lun 11,lun12,大小分别是100G,1T,2T)给服务器使用，因为solaris的cxtxdxsx中的dx是和存储的Lun一一对应的，所以在服务器端的solaris系统的眼里来看，对应的dx也只有三个，分别为：d0,d1,d2。
  
  
• 但是呢，因为每个lun有4条路径（经过两块HBA卡(c1和c2),每块HBA卡有两条路径(t16和t17)，共4条路径)到达服务器端，所有在服务器端看的话同一个lun会变成4块盘，比如d0就变成4块：c1t16d0,c1t17d0,c2t16d0,c2t17d0
  
  
• 因此最后需要用多路径管理软件把4块盘在重新整编起来变成逻辑意义上的一块盘，免得误用，最后来自存储的3个lun==》操作系统的emcpower0a,emcpower1a,emcpower2a这三块盘，大小不变，还是分别为100G,1T,2T

二、

之所以 t 与 d 混淆 是由于 SCSI 造成的
传统上的小型机（当然大型机也是） 硬盘与机器的设备接口是SCSI 的， 而我们用的PC机是IDE的。因此在SPARC小型机上会看到带 t 的标识， 而在自己PC（IDE盘）上安装solaris的话，就不会看到t.
之所以定义了t 是因为， 沿用了SCSI的定义。 因为SCSI bus 里有 Initiator, target 和 terminator.
Initiator 发布操作命令。 target 接受命令。 terminator 是电气要求完成阻抗平衡。
Target Number 就是Physical Unit Number (PUN)。比如一个SCSI卡上连了3个硬盘和1个CD-ROM， 那么就可能看到：
c0t0d0 ,  c0t1d0, c0t2d0,  c0t6d0. 主要是在t 上设置， d 都是0。
d 的定义， 其实就是lun,  LUN 也是SCSI的概念。 因为SCSI ID识别号只能扩展到4位 （8/16个device）。 当接驳更多设备的时候， 为了提供更多的设备识别号给主机， SCSI技术标准在SCSI ID 基础上增设了LUN 。比如在一个SCSI卡外面直接挂一个SCSI磁盘阵列，里面的N多个盘可以看成对应同一个target上的N多个lun。 或者在阵列里选其中的几个物理盘做成一个RAID逻辑盘对应成一个LUN。
所以说t和d 是沿用SCSI概念的产物。而Fibre Channel, 由于寻址能力强，它定义的target 数量没有SCSI/16的限制， 但沿用了cXtXdX 的风格。linux 下设备标识则使用简单的BSD风格来表达。

讨论贴地址：