StratoVirt是開源在openEuler社區(qū)的輕量級虛擬化平臺，具備輕量低噪、強(qiáng)安全性的行業(yè)競爭力。 StratoVirt進(jìn)程運(yùn)行在用戶態(tài)，在虛擬機(jī)啟動之前，StratoVirt會完成啟動之前的準(zhǔn)備工作，包括虛擬機(jī)內(nèi)存的初始化、CPU寄存器初始化、設(shè)備初始化等，啟動，CPU寄存器初始化和虛擬機(jī)在運(yùn)行過程中vCPU陷出事件的處理，都是由StratoVirt的vCPU管理模塊CPU完成。如下是StratoVirt中vCPU管理模塊的組成，以及其在StratoVirt中的位置。

stratovirt
├──acpi
├──address_space
├──boot_loader
├──Cargo.lock
├──Cargo.toml
├──cpu
│├──Cargo.toml
│└──src
│├──aarch64
││├──caps.rs
││├──core_regs.rs
││└──mod.rs
│├──lib.rs
│└──x86_64
│├──caps.rs
│├──cpuid.rs
│└──mod.rs
├──devices
├──hypervisor
├──machine
├──machine_manager
├──migration
├──migration_derive
├──ozone
├──pci
├──src
│└──main.rs
├──sysbus
├──util
├──vfio
└──virtio

StratoVirt vCPU模塊的整體設(shè)計(jì)

StratoVirt的虛擬化解決方案也是一套軟硬結(jié)合的硬件輔助虛擬化解決方案，它的運(yùn)作依賴于硬件輔助虛擬化的能力（如VT-X或Kunpeng-V）。vCPU模塊的實(shí)現(xiàn)也是緊密依賴于這一套硬件輔助虛擬化的解決方案的。 對于物理機(jī)的CPU而言，硬件輔助虛擬化為CPU增加了一種新的模式：Non-Root模式，在該模式下，CPU執(zhí)行的并不是物理機(jī)的指令，而是虛擬機(jī)的指令。這種指令執(zhí)行方式消除了大部分性能開銷，非常高效。但是特權(quán)指令（如I/O指令）不能通過這種方式執(zhí)行，還是會強(qiáng)制將CPU退出到普通模式（即ROOT模式）下交給內(nèi)核KVM模塊和用戶態(tài)StratoVirt去處理，處理完再重新回到Non-Root模式下執(zhí)行下一條指令。 而StratoVirt中的vCPU模塊主要圍繞著KVM模塊中對vCPU的模擬來實(shí)現(xiàn)，為了支持KVM模塊中對CPU的模擬，CPU子系統(tǒng)主要負(fù)責(zé)處理退出到普通模式的事件，以及根據(jù)在GuestOS內(nèi)核開始運(yùn)行前對vCPU寄存器等虛擬硬件狀態(tài)的初始化。整個vCPU模塊的設(shè)計(jì)模型如下圖所示：

StratoVirt通過第三方庫kvm_ioctls來完成和KVM模塊的交互，通過匹配vcpu_fd.run()函數(shù)的返回值來處理退出到ROOT模式的事件，該函數(shù)的返回值是一個名為VcpuExit的枚舉，定義了退出到ROOT模式的事件類型，包括I/O的下發(fā)、系統(tǒng)關(guān)機(jī)事件、系統(tǒng)異常事件等，根據(jù)事件的類型vCPU將對不同的事件作出各自的處理。以上的整個過程都被包含在一個獨(dú)立的vCPU線程中，用戶可以自己通過對vCPU線程進(jìn)行綁核等方式讓虛擬機(jī)的vCPU獲取物理機(jī)CPU近似百分之百的性能。 同時，對vCPU寄存器虛擬硬件狀態(tài)信息的初始化則是和StratoVirt的另一個模塊BootLoader相互結(jié)合，在BootLoader中實(shí)現(xiàn)了一種根據(jù)Linux啟動協(xié)議快速引導(dǎo)啟動Linux內(nèi)核鏡像的方法，在這套啟動流程中，BootLoader將主動完成傳統(tǒng)BIOS對一些硬件信息的獲取，將對應(yīng)的硬件表保存在虛擬機(jī)內(nèi)存中，同時將提供一定的寄存器設(shè)置信息，這些寄存器設(shè)置信息將傳輸給vCPU模塊，通過設(shè)置vCPU結(jié)構(gòu)中的寄存器值，讓虛擬機(jī)CPU跳過實(shí)模式直接進(jìn)入保護(hù)模式運(yùn)行，這樣Linux內(nèi)核就能直接從保護(hù)模式的入口開始運(yùn)行，這種方式讓StratoVirt的啟動流程變得輕量快速。 在整個vCPU模塊中，因?yàn)樯婕暗絻?nèi)核的KVM模塊，少不了與C語言代碼做交互。作為系統(tǒng)編程語言，Rust對FFI有非常完善的支持，讓vCPU中和KVM模塊交互的部分高效且安全。

vCPU線程模型同步

vCPU模塊還有一大職責(zé)就是管理vCPU的生命周期，包括new（創(chuàng)建），realize（使能），run（運(yùn)行），pause（暫停），resume（恢復(fù)），destroy（銷毀）。New和realize的過程就是結(jié)構(gòu)體創(chuàng)建和寄存器初始化的流程，run的過程即是實(shí)現(xiàn)KVM中vCPU運(yùn)作和VCPU_EXIT退出事件處理的流程。 另外的三種生命周期的實(shí)現(xiàn)則涉及到對線程同步的精密控制，例如在虛擬機(jī)destroy的過程中，一般只有某一個vCPU接收到VCPU_EXIT中的SHUTDOWN事件，該vCPU線程需要把該事件傳遞到所有的vCPU線程，同步所有vCPU線程的狀態(tài)，完成虛擬機(jī)的優(yōu)雅關(guān)機(jī)。在這種場景下，我們就需要考慮在Rust中如何實(shí)現(xiàn)在多線程中進(jìn)行狀態(tài)同步。

Rust中通過條件變量來實(shí)現(xiàn)同步

Rust多線程編程中，有一類用于同步的機(jī)制叫做屏障（Barrier），用于讓多線程來同步一些流程開始的位置，它相當(dāng)于一個閘口，使用wait方法，將該線程放進(jìn)臨界區(qū)并阻塞住，只有每個Barrier都到達(dá)wait方法調(diào)用的點(diǎn)，閘口才會打開，所有的線程同步往下運(yùn)行。 而在比較復(fù)雜的同步場景中，Rust還提供了另一個同步機(jī)制條件變量（Condition Variable）來支持更復(fù)雜的同步場景，它和屏障的功能類似，但是它并不阻塞全部進(jìn)程，而是在滿足指定的條件之前阻塞某個得到互斥鎖的進(jìn)程。也就是說，通過條件變量，我們可以在達(dá)到某種條件之前阻塞某個線程，這個特性可以讓我們很好得對線程進(jìn)行同步。 為了支持各種場景的同步控制，條件變量還提供了三個方法：

notify_one(): 用來通知一次阻塞線程，如果有復(fù)數(shù)個線程被阻塞住，notify_one會被一個阻塞的線程所消耗，不會傳遞到別的阻塞線程去。

notify_all(): 用來通知所有的阻塞線程。

wait_timeout(): 將當(dāng)前線程置入臨界區(qū)阻塞住并等待通知，可以設(shè)定一個timeout來設(shè)置阻塞的最大時間，以免造成永久的阻塞導(dǎo)致程序卡死。

需要注意的一點(diǎn)是條件變量需要和鎖一起使用，而在程序運(yùn)行中，每個條件變量每次只能和一個互斥體（被Mutex等鎖包裹都可稱為互斥體）進(jìn)行使用。

vCPU生命周期控制和線程同步

在CPU數(shù)據(jù)結(jié)構(gòu)初始化時，創(chuàng)建一個互斥的生命周期枚舉(CpuLifecycleState)和一個條件變量。

pubfnnew(
vcpu_fd:Arc,
id:u8,
arch_cpu:Arc>,
vm:Arc>,
)->Self{
CPU{
id,
fd:vcpu_fd,
arch_cpu,
state:Arc::Created),Condvar::new())),
work_queue:Arc::new(0),Condvar::new())),
task:Arc::new(None)),
tid:Arc::new(None)),
vm:Arc::downgrade(&vm),
}
}

以destory生命周期為例，在x86_64架構(gòu)下，當(dāng)某個vCPU線程接收到VcpuExit::Shutdown事件后，會將該線程的CpuLifecycleState修改為Stopped，并調(diào)用保存在CPU數(shù)據(jù)結(jié)構(gòu)中一個指向上層結(jié)構(gòu)的虛擬機(jī)destroy方法，該方法能遍歷一個保存著所有CPU數(shù)據(jù)結(jié)構(gòu)的數(shù)組，執(zhí)行數(shù)組中每一個CPU的destory()方法，該函數(shù)的實(shí)現(xiàn)如下：

fndestory(&self)->Result<()>{
let(cpu_state,cvar)=&*self.state;
if*cpu_state.lock().unwrap()==CpuLifecycleState::Running{
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopping;
}else{
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopped;
}

/*省略具體的關(guān)機(jī)邏輯*/

letmutcpu_state=cpu_state.lock().unwrap();
cpu_state=cvar
.wait_timeout(cpu_state,Duration::from_millis(32))
.unwrap()
.0;

if*cpu_state==CpuLifecycleState::Stopped{
*cpu_state=CpuLifecycleState::Nothing;
Ok(())
}else{
Err(ErrorKind::DestroyVcpu(format!("VCPUstillin{:?}state",*cpu_state)).into())
}
}

作為CPU的成員方法，destory函數(shù)能獲取到每個CPU數(shù)據(jù)結(jié)構(gòu)的互斥狀態(tài)和條件變量，此時將除觸發(fā)vCPU外所有的CPU數(shù)據(jù)的互斥狀態(tài)解鎖，并將狀態(tài)從運(yùn)行時的Running修改為vCPU關(guān)機(jī)時的Stopping。這里要注意一點(diǎn)，此時所有CPU的destroy函數(shù)都是在觸發(fā)關(guān)機(jī)事件的vCPU進(jìn)程中進(jìn)行的，而不是在每個vCPU各自的進(jìn)程中進(jìn)行。 緊接著進(jìn)入Stopping狀態(tài)后，destroy函數(shù)會執(zhí)行每個vCPU各自的關(guān)機(jī)邏輯，包括觸發(fā)vCPU，這部分主要還是與KVM模塊進(jìn)行交互，進(jìn)行一些退出狀態(tài)的變更等。在執(zhí)行完vCPU的關(guān)機(jī)邏輯后，條件變量會進(jìn)入到wait_timeout的等待狀態(tài)，它的參數(shù)為每個vCPU的CpuLifecycleState生命周期狀態(tài)枚舉和等待超時時間，也就是說在該生命周期枚舉狀態(tài)變化前，該線程都會進(jìn)入阻塞狀態(tài)。 此時除觸發(fā)vCPU外的vCPU線程中，CpuLifecycleState都已經(jīng)進(jìn)入了Stopping狀態(tài)，在所有vCPU線程中，vCPU的指令模擬函數(shù)kvm_vcpu_exec()都運(yùn)行在一個循環(huán)中，對于每次循環(huán)的入口，都會執(zhí)行ready_for_running()函數(shù)進(jìn)入是否繼續(xù)模擬的判斷，在該函數(shù)中會對每個vCPU對應(yīng)的CpuLifecycleState進(jìn)行監(jiān)控，當(dāng)發(fā)現(xiàn)CpuLifecycleState已經(jīng)變成Stopping時，vCPU將會退出循環(huán)，不繼續(xù)進(jìn)行vCPU的模擬，退出模擬的循環(huán)后，將會修改CpuLifecycleState為Stopped:

//Thevcputhreadisabouttoexit,markingthestateoftheCPUstateasStopped.
let(cpu_state,_)=&*self.thread_cpu.state;
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopped;

修改vCPU線程中互斥的生命周期狀態(tài)枚舉后，將會觸發(fā)阻塞線程中對應(yīng)的wait_timeout()函數(shù)，同時，該vCPU線程的生命周期結(jié)束。而對于阻塞線程，當(dāng)其余vCPU線程的狀態(tài)都已經(jīng)變成Stopped后，阻塞解除，此時，所有的vCPU線程都已經(jīng)狀態(tài)都已經(jīng)同步到了Stopped，線程狀態(tài)同步成功。 用類似思路也可以實(shí)現(xiàn)pause（暫停）和resume（恢復(fù)）的生命周期控制。

原文標(biāo)題：StratoVirt vCPU管理Rust線程同步的實(shí)現(xiàn)

文章出處：【微信公眾號：openEuler】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。