KVM+QEMU世界中的pci总线与virtio总线

9800阅读 0评论2019-05-15 lelv123
分类:虚拟化

这篇文章的背景是通过9p文件系统在host os与guest os间共享一个目录,或许更专业点的叫法是File system Passthru. 因此需要配置guest os中Linux内核,使之支持下面的选项(.config)

CONFIG_NET_9P=y

CONFIG_NET_9P_VIRTIO=m

CONFIG_9P_FS=y

CONFIG_9P_FS_POSIX_ACL=y

但是本文不讨论如何使用9P文件系统来达成这一目标的具体步骤,而是讨论其幕后实现中的一个技术细节:pci总线与virtio总线的关系。

在上述的背景下,如果我们使用QEMU命令行来启动一个VM,在命令行中加入类似: -device virtio-9p-pci 这样的参数选项时, 那么在Guest OS中不但在/sys/bus/pci/devices中出现一个对应的pci设备,而且在/sys/bus/virtio/devices中也会出现一个virtio类型设备。


我们知道PCI总线是现代计算机体系结构中普遍存在的一个物理总线,而virtio总线则纯粹是软件定义的,在KVM+QEMU的世界里,两者之间到底是何关系?或者假设我们现在想在QEMU+KVM中添加一个新的virtio设备及其驱动,应该怎么做?

 

通常,Guest OS在初始化过程中会扫描pci bus num = 0的host bridge,也就是北桥,通过它来发现其下挂载的一系列pci设备(包括桥设备),所以我们想添加的的新的virtio设备必须对外展现出一个pci的接口。因为host bridge本身就是靠QEMU模拟出来的,所以在QEMU中模拟一个新的pci设备也是很简单的事情。如果QEMU成功模拟了一个挂在host bridge上的pci设备,那么Guest OS将会通过PCI总线扫描发现之,继而通过device_add函数把该设备添加到系统中,这将导致:
1. 在Guest OS中的/sys/bus/pci/devices目录下出现一个新的pci设备(被QEMU模拟出的)  
2. 在Guest OS中与该pci设备对应的驱动程序将会被加载(围绕着PCI总线的bind)。

 

到目前为止,都是PCI的作用范围,跟virtio总线没有什么关系。那么Guest OS中/sys/bus/virtio/devices下面出现的设备及其驱动又是如何产生的?

 

答案是pci设备驱动中定义的virtio_pci_probe().  在drivers/virtio/virtio_pci.c中:

 

/* Qumranet donated their vendor ID for devices 0x1000 thru 0x10FF. */

static DEFINE_PCI_DEVICE_TABLE(virtio_pci_id_table) = {

{ PCI_DEVICE(0x1af4, PCI_ANY_ID) },

{ 0 }

};

 

MODULE_DEVICE_TABLE(pci, virtio_pci_id_table);

 

static struct pci_driver virtio_pci_driver = {

.name                = "virtio-pci",

.id_table        = virtio_pci_id_table,

.probe                = virtio_pci_probe,

.remove        = virtio_pci_remove,

#ifdef CONFIG_PM_SLEEP

.driver.pm        = &virtio_pci_pm_ops,

#endif

};

 

virtio-pci的vendor ID是0x1af4, 这个是当初开发KVM的Qumranet公司PCI Vendor ID。所以,如果在QEMU侧模拟一个pci设备,其vendor ID=0x1af4,那么当Guest OS扫描到该设备时,将会将其加入到系统,于是使得上述的virtio_pci_driver被加载,该过程导致在/sys/bus/pci/devices中出现一个vendor id = 0x1af4的pci设备,同时该设备指向一个名为"virtio-pci"的驱动程序。这期间很重要的一个环节是"virtio-pci"驱动中的.probe成员,也即virtio_pci_probe().

 

在virtio_pci_probe()函数中,它将调用register_virtio_device(),后者将把一个virtio类型(struct  virtio_device)的设备加入到系统,由于该设备所属的总线是virtio bus(源码在drivers/virtio/virtio.c), 导致/sys/bus/virtio/devices/目录下出现一个新的设备:

int register_virtio_device(struct virtio_device *dev)

{

dev->dev.bus = &virtio_bus;

}

 

所以围绕virtio bus导致该设备的驱动被加载。(以上的过程很类似一个PCI接口的FC HBA卡的驱动模式:先PCI总线,后SCSI总线).这个virtio_device的设备驱动定义在net/9p/trans_virtio.c中。

因为OS启动过程中会扫描pci总线,所以必要使得一个设备先能被系统识别(基于pci),然后再做下一步的处理(基于scsi或者virtio...)。更形象地说,一个披着羊皮的狼才能被羊群所接纳,然后再脱掉羊皮变成狼,显现狼的行为。

上一篇:关于博客更新,没脸见你们啊
下一篇:详解Linux中断处理中的hardirq与softirq机制