電子發燒友App
當我們接觸電源管理的時候，最簡單的流程就是?關機重啟?，但是仔細分析其涉及的所有源代碼就會發現，關機重啟雖然簡單，但是“?麻雀雖小，五臟俱全?”，涉及到的軟件模塊非常的多，涉及的流程：Linux應用（busybox）-》Linux內核-》BL31-》SCP-》PMIC/CRU等硬件。所以是一個入門學習，特別是還沒接觸過Linux內核代碼的好機會，下面進入代碼的海洋遨游，?超級干貨?！
1. 關機重啟軟件流程框圖
在Linux系統上的處理分為**用戶態**空間、**內核**空間、 **ATF** 、**SCP**四個階段（ATF是ARM獨有的，SCP在復雜SoC上才有應用）來處理：
1.1 用戶層
利用reboot、poweroff等命令進行關機，在應用層會執行：
發送SIGTERM給所有進程，讓進程正常退出
發送SIGKILL給所有進程，將其殺掉，并等待一段時間
調用reboot系統調用讓系統關機/重啟
1.2?Linux內核層
reboot系統調用會進入內核，具體流程為：
reboot系統調用根據參數找到kernel_power_off/reset
向關心reboot事件的進程發送消息--blocking_notifier_call_chain
內核Kobject狀態發生改變不通知用戶空間--usermodehelper_disable
關閉所有的設備--device_shutdown
禁止CPU熱插拔，設置當前CPU為第一個在線CPU，把新任務轉移到當前CPU上--migrate_to_reboot_cpu
關閉syscore設備--syscore_shutdown
提示用戶空間系統將要關閉--pr_emerg
禁止cpu硬件中斷--local_irq_disable
其他cpu處于非工作狀態--smp_send_stop
調用psci接口，執行smc指令，關閉armcpu--pmm_power_off/ rese->psci_sys_poweroff/reset->invoke_psci_fn->
?arm_smccc_smc->SMCCC SMCCC_SMC
1.3?ATF層
執行SMC指令后會觸發異常，進入ATF的BL31中繼續執行：
進入異常向量處理的入口sync_exception_aarch64
跳轉執行rt_svc_desc_t結構體保存的服務std_svc_smc_handler
執行psci相關處理。通用psci的處理函數psci_system_off和psci_system_reset，通過調用平臺提供的system_off、 system_reset接口將psci消息轉化為scmi消息發給SCP模塊，實現最終的關機、重啟。如果如果沒有SCP固件的系統，會在ATF里面操作硬件寄存器進行關機重啟處理。
1.4?SCP層
ATF通過scim消息發送給MHU硬件并產生中斷，SCP接受到中斷后內部依次進行處理的模塊為：
mhu-->transport-->scmi-->scmi_system_power-->power_domain-->ppu/system_power-->i2c/cru，最后SCP固件通過控制PMIC/CRU的硬件寄存器實現對系統的關機重啟設置。
2.?Busybox中的關機重啟命令
執行關機重啟的系統命令，例如shutdown/poweroff/halt/reboot/init命令
進程及服務如果提前會被正確的中止，我們就說其是安全的退出。
通常關機重啟命令需要管理員權限執行，所在系統目錄為/sbin/*，如下為shutdown命令：
|
?命令格式 ?[root@localhost ~]# shutdown [選項] 時間 [警告信息] ?選項: ?-c：取消已經執行的 shutdown 命令； ?-h：關機； ?-r：重啟； |
init命令相關執行：
|
?[root@localhost~]# ?init 0 ?#關機，也就是調用系統的 0 級別 ?[root@localhost ~】# init 6 ?#重啟，也就是調用系統的 6 級別 |
現在Linux里面這些命令基本都使用busybox實現的，代碼參考： https://busybox.net/downloads/
busybox啟動的時候，會注冊reboot的處理信號
initinit.c中init_main函數在初始化的時候調用
|
? ?sigaddset(&G.delayed_sigset, ?SIGUSR1); /* halt */ ???sigaddset(&G.delayed_sigset, SIGTERM); /* reboot */ ???sigaddset(&G.delayed_sigset, SIGUSR2); /* poweroff */ ???? ???/* Now run the looping stuff for the rest of forever */ ???? while (1) { ??? ?????/* ?(Re)run the respawn/askfirst stuff */ ???????? run_actions(RESPAWN | ?ASKFIRST); ? ???????? /* Wait for any signal (typically it's SIGCHLD) */ ???????? check_delayed_sigs(NULL); /* NULL timespec makes it wait */ ???????? ..... ???? } |
check_delayed_sigs（）函數會收到reboot的信號
運行busybox reboot的時候，reboot—> halt_main，可知會執行 halt_main()函數，在inithalt.c中
|
static ?const smallint signals[] = { SIGUSR1, SIGUSR2, SIGTERM ?}; ?#? define RB_HALT_SYSTEM? 0xcdef0123 ?#? define RB_ENABLE_CAD?? 0x89abcdef ?#? define RB_DISABLE_CAD? 0 ?#? define RB_POWER_OFF??? 0x4321fedc ?#? define RB_AUTOBOOT???? 0x01234567 ? ?flags = getopt32(argv, ?"d:+nfwi", &delay); ? ?if (!(flags & 4)) { /* no -f */ ???? rc = kill(pidlist[0], ?signals[which]); ?} ?else{ ???? rc = reboot(magic[which]); ?} |
這里可以看出來，分為兩個流程：
當reboot命令沒有加-f的時候，直接使用kill發送信號到busybox執行halt_reboot_pwoff函數
直接使用-f的話，直接使用reboot系統調用接口，通知內核，讓內核執行重啟操作，簡單粗暴
如果1中發送kill命令的SIGTERM 信號后，在busybox的輪詢處理函數中會接收信號進行處理，如下：
|
static ?void check_delayed_sigs(struct timespec *ts) ?{ ???? int sig = ?sigtimedwait(&G.delayed_sigset, /* ?siginfo_t */ NULL, ts); ???? if (sig <= 0) ???????? return; ? ???? /* ?The signal "sig" was caught */ ?#if ENABLE_FEATURE_USE_INITTAB ???? if (sig == SIGHUP) ???????? reload_inittab(); ?#endif ???? if (sig == SIGINT) ???????? run_actions(CTRLALTDEL); ???? if (sig == SIGQUIT) { ???????? exec_restart_action(); ???????? /* returns only if no restart action defined */ ???? } ???? if ((1 << sig) & (0 ?#ifdef SIGPWR ???????? | (1 << SIGPWR) ?#endif ???????? | (1 << SIGUSR1) ???????? | (1 << SIGUSR2) ???????? | (1 << SIGTERM) ???? )) { ???????? halt_reboot_pwoff(sig); ???? } ???? /* ?if (sig == SIGCHLD) do nothing */ ?} |
在busybox內部解析后會執行halt_reboot_pwoff（）函數
|
?#define ?RB_AUTOBOOT??????? 0x01234567 ?#define RB_POWER_OFF?????? 0x4321fedc ? ?static void halt_reboot_pwoff(int sig) ?{ ???????? const char *m; ???????? unsigned rb; ? ???????? ?reset_sighandlers_and_unblock_sigs(); ???????? ?run_shutdown_and_kill_processes();//進行關機通知其他進程處理 ? ???????? m = "halt"; ???????? rb = RB_HALT_SYSTEM; ???????? if (sig == SIGTERM) { ???????????????? m = "reboot"; ???????????????? rb = RB_AUTOBOOT; ???????? } else if (sig == SIGUSR2) { ???????????????? m = ?"poweroff"; ???????????????? rb = RB_POWER_OFF; ???????? } ???????? message(L_CONSOLE, ?"Requesting system %s", m); ???????? pause_and_low_level_reboot(rb); ?} |
halt_reboot_pwoff（）分為三步：
發送SIGTERM給所有進程，讓進程正常退出
發送SIGKILL給所有進程，將其殺掉
讓系統重啟
發送SIGTERM和SIGKILL信號給其他進程
|
static ?void run_shutdown_and_kill_processes(void) ?{ ???????? run_actions(SHUTDOWN); ? ???????? message(L_CONSOLE | L_LOG, ?"The system is going down NOW!"); ? ???????? /* Send signals to every ?process _except_ pid 1 */ ???????? kill(-1, ?SIGTERM); ???????? message(L_CONSOLE, "Sent ?SIG%s to all processes", "TERM"); ???????? sync(); ???????? sleep1(); ? ???????? kill(-1, ?SIGKILL); ???????? message(L_CONSOLE, "Sent ?SIG%s to all processes", "KILL"); ???????? sync(); ???????? /*sleep1(); - callers take care ?about making a pause */ ?} |
調用子進程進行reboot系統調用：
|
Go ?static ?void pause_and_low_level_reboot(unsigned magic) ?{ ???????? pid_t pid; ? ???????? sleep1(); ???????? pid = vfork(); ???????? if (pid == 0) { /* child */ ???????????????? reboot(magic); ???????????????? _exit(EXIT_SUCCESS); ???????? } ? ???????? waitpid(pid, NULL, 0); ???????? sleep1(); /* paranoia */ ???????? _exit(EXIT_SUCCESS); ?} |
reboot(magic);進行了系統調用。 ?
3. Linux內核中的處理
內核中代碼執行流程圖：
關機主要過程總結：
reboot系統調用根據參數找到kernel_power_off/reset
向關心reboot事件的進程發送消息--blocking_notifier_call_chain
內核Kobject狀態發生改變不通知用戶空間--usermodehelper_disable
關閉所有的設備--device_shutdown
禁止CPU熱插拔，設置當前CPU為第一個在線CPU，把新任務轉移到當前CPU上--migrate_to_reboot_cpu
關閉syscore設備--syscore_shutdown
提示用戶空間系統將要關閉--pr_emerg
禁止cpu硬件中斷--local_irq_disable
其他cpu處于非工作狀態--smp_send_stop
調用psci接口，執行smc指令，關閉arm cpu--pmm_power_off/ rese->psci_sys_poweroff/reset->invoke_psci_fn->
?arm_smccc_smc->SMCCC SMCCC_SMC ?
3.1 系統調用實現
在kernel/reboot.c中聲明了rboot系統調用的實現：
|
SYSCALL_DEFINE4(reboot, int, magic1, int, magic2, unsigned int, cmd,void __user *, arg) ?{ ???? ...... ???? switch (cmd) { ???????? case LINUX_REBOOT_CMD_POWER_OFF: ???????????????? kernel_power_off(); ???????????????? do_exit(0); ???????????????? break; |
其中cmd就是系統調用傳進來的magic值，其他的值定義為：
|
#define??????? LINUX_REBOOT_CMD_RESTART? ?0x01234567 ?#define??????? ?LINUX_REBOOT_CMD_HALT?????0xCDEF0123 ?#define???? ???LINUX_REBOOT_CMD_CAD_ON? ? 0x89ABCDEF ?#define??????? ?LINUX_REBOOT_CMD_CAD_OFF? 0x00000000 ?#define??????? LINUX_REBOOT_CMD_POWER_OFF 0x4321FEDC ?#define??????? ?LINUX_REBOOT_CMD_RESTART2 0xA1B2C3D4 ?#define???????LINUX_REBOOT_CMD_SW_SUSPEND 0xD000FCE2 ?#define??????? ?LINUX_REBOOT_CMD_KEXEC? ? 0x45584543 |
reboot系統調用實現過程：
|
1）判斷調用者的用戶權限，如果不是超級用戶（superuser），則直接返回錯誤（這也是我們再用戶空間執行reboot、halt、poweroff等命令時，必須是root用戶的原因）； 2）判斷傳入的magic number是否匹配，如果不匹配，直接返回錯誤。這樣就可以盡可能的防止誤動作發生； 3）調用reboot_pid_ns接口，檢查是否需要由該接口處理reboot請求。這是一個有關pid namespaces的新特性，也是Linux內核重要的知識點； 4）如果是POWER_OFF命令，且沒有注冊power off的machine處理函數（pmm_power_off），把該命令轉換為HALT命令； 5）根據具體的cmd命令，執行具體的處理，包括， ???? 如果是RESTART或者RESTART2命令，調用kernel_restart。 ???? 如果是CAD_ON或CAD_OFF命令，更新C_A_D的值，表示是否允許通過Ctrl+Alt+Del組合鍵重啟系統。 ???? 如果是HALT命令，調用kernel_halt。 ???? 如果是POWER_OFF命令，調用kernel_power_off。 ???? 如果是KEXEC命令，調用kernel_kexec接口。 ???? 如果是SW_SUSPEND，調用hibernate接口； 6）返回上述的處理結果，系統調用結束。 |
3.2 內核關機函數分析
這里我們以關機poweroff命令為例，進行代碼分析，重啟流程相似。
|
void ?kernel_power_off(void) ?{ ?????kernel_shutdown_prepare(SYSTEM_POWER_OFF); ? ? ? ?if (pmm_power_off_prepare) ? ? ? ? ? ? ? ?pmm_power_off_prepare();//PM相關的power off prepare函數 ???????? migrate_to_reboot_cpu();//將當前的進程（task）移到一個CPU上 ???????? syscore_shutdown(); //syscore的關閉流程,將系統核心器件關閉（例如中斷等） ???????? pr_emerg("Power ?down "); ???????? ?kmsg_dump(KMSG_DUMP_POWEROFF);//向這個世界發出最后的聲音（打印日志） ???????? machine_power_off();//soc基本的關閉 ?} |
|
1）調用kernel_xxx_prepare函數，進行restart/halt/power_off前的準備工作，包括， ?????? 調用blocking_notifier_call_chain接口，向關心reboot事件的進程，發送SYS_RESTART、 SYS_HALT或者SYS_POWER_OFF事件。對RESTART來說，還好將cmd參數一并發送出去。 ?????? 將系統狀態設置為相應的狀態（SYS_RESTART、SYS_HALT或SYS_POWER_OFF）。 ?????? 調用usermodehelper_disable接口，禁止User mode helper。 ?????? 調用device_shutdown，關閉所有的設備（具體內容會在下一節講述）； 2）如果是power_off，且存在PM相關的power off prepare函數（pm_power_off_prepare），則調用該回調函數； 3）調用migrate_to_reboot_cpu接口，將當前的進程（task）移到一個CPU上； ?注2：對于多CPU的機器，無論哪個CPU觸發了當前的系統調用，代碼都可以運行在任意的CPU上。這個接口將代碼分派到一個特定的CPU上，并禁止調度器分派代碼到其它CPU上。也就是說，這個接口被執行后，只有一個CPU在運行，用于完成后續的reboot動作。 4）調用syscore_shutdown接口，將系統核心器件關閉（例如中斷等）； 5）調用printk以及kmsg_dump，向這個世界發出最后的聲音（打印日志）； 6）最后，由machine-core的代碼，接管后續的處理。 |
3.3 關閉所有設備處理
kernel_shutdown_prepare-->device_shutdown會關閉所有設備。設備關閉的過程是遍歷全局變量devices_kset里面的所有設備，并從鏈表中刪除，執行相關的shuntdown回調函數。函數處理過程如下：
|
void ?device_shutdown(void) ?{ ???????? struct device *dev, *parent; ? ???????? wait_for_device_probe(); ???????? device_block_probing(); ? ???????? ?spin_lock(&devices_kset->list_lock); ???????? while ?(!list_empty(&devices_kset->list)) { ???????????????? dev = ?list_entry(devices_kset->list.prev, struct device, ???????????????????????????????? ?kobj.entry); ? ?????????parent = ?get_device(dev->parent); ?????????get_device(dev); ? ?????????list_del_init(&dev->kobj.entry); ? ? ? ? ? ?spin_unlock(&devices_kset->list_lock); ? ? ? ?/* hold lock to avoid ?race with probe/release */ ? ? ? ? ? if (parent) ? ? ? ? ? ? ? ? device_lock(parent); ??????????device_lock(dev); ? ? ? ? ? ? ?/* Don't allow any more ?runtime suspends */ ? ? ? ? ? ? pm_runtime_get_noresume(dev); ? ? ? ? ? ? pm_runtime_barrier(dev); ? ????????????if (dev->class ?&& dev->class->shutdown_pre) { ? ? ? ? ? ? if ?(initcall_debug) ? ? ? ? ? ? ? ? ? ? ?dev_info(dev, ?"shutdown_pre "); ? ? ? ? ? ? ? dev->class->shutdown_pre(dev); ????????????} ???????????????? if (dev->bus ?&& dev->bus->shutdown) { ? ? ? ? ? ? ? ? ? ?if ?(initcall_debug) ? ? ? ? ? ? ? ? ? ? ? ? ?dev_info(dev, "shutdown "); ???????????????????????? dev->bus->shutdown(dev); ???????????????? } else if ?(dev->driver && dev->driver->shutdown) { ? ? ? ? ? ? ? ? ? ? ?if ?(initcall_debug) ? ? ? ? ? ? ? ? ? ? ? ? ? dev_info(dev, "shutdown "); ???????????????????????? dev->driver->shutdown(dev); ???????????????? } ? ? ? ? ? ? ? ? device_unlock(dev); ? ? ? ? ? ? ? ? if (parent) ? ? ? ? ? ? ? ? ? ? ? device_unlock(parent); ? ? ? ? ? ? ? ? put_device(dev); ? ? ? ? ? ? ? put_device(parent); ? ??????????????spin_lock(&devices_kset->list_lock); ???????? } ???????? ?spin_unlock(&devices_kset->list_lock); ?} |
|
1）遍歷devices_kset的鏈表，取出所有的設備（struct device）； 2）將該設備從鏈表中刪除； 3）調用pmm_runtime_get_noresume和pmm_runtime_barrier接口，停止所有的Runtime相關的電源管理動作； 4）如果該設備的bus提供了shutdown函數，優先調用bus的shutdown，關閉設備； 5）如果bus沒有提供shutdown函數，檢測設備driver是否提供，如果提供，調用設備driver的shutdown，關閉設備； 6）直至處理完畢所有的設備。 |
系統中所有的設備都在“/sys/devices/”目錄下，這些設備是一個鏈表結構串起來的，devices_kset是鏈表頭，里面都是struct device，然后找到對應的struct bus_type和struct device_driver等，然后按照優先級例如：class>bus>driver執行對應的shutdown回調函數。
3.4 多CPU調度相關處理
對于多CPU的機器，無論哪個CPU觸發了當前的系統調用，代碼都可以運行在任意的CPU上。這個接口將代碼分派到一個特定的CPU上，并禁止調度器分派代碼到其它CPU上。也就是說，這個接口被執行后，只有一個CPU在運行，用于完成后續的reboot動作。
|
void ?migrate_to_reboot_cpu(void) ?{ ???????? /* The boot cpu is always ?logical cpu 0 */ ???????? int cpu = reboot_cpu; ? ???????? cpu_hotplug_disable(); ? ???????? /* Make certain the cpu I'm ?about to reboot on is online */ ???????? if (!cpu_online(cpu)) ???????????????? cpu = ?cpumask_first(cpu_online_mask); ? ??? ?????/* Prevent races with other tasks ?migrating this task */ ???????? current->flags |= ?PF_NO_SETAFFINITY; ? ???????? /* Make certain I only run on ?the appropriate processor */ ???????? set_cpus_allowed_ptr(current, ?cpumask_of(cpu)); ?} |
|
1）CPU 0是默認重啟使用的CPU 2）禁止CPU熱插拔 3）如果CPU 0不在線，則設置當前CPU為第一個在線的CPU 4）允許current進程在重啟使用的CPU上運行 |
3.5 內核核心關閉
system core的shutdown和設備的shutdown類似，也是從一個鏈表中，遍歷所有的system core，并調用它的shutdown接口。 ?
3.6 硬件平臺的關閉
|
void ?machine_power_off(void) ?{ ???????? local_irq_disable(); ???????? smp_send_stop(); ???????? if (pmm_power_off) ???????????????? pmm_power_off(); ?} |
|
1）屏蔽當前CPU上的所有中斷，通過操作arm核心中的寄存器來屏蔽到達CPU上的中斷，此時中斷控制器中所有送往該CPU上的中斷信號都將被忽略。 2）對于多CPU的機器來說，Restart之前必須保證其它的CPU處于非活動狀態，由其中的一個主CPU負責Restart動作。調用smp_send_stop接口，確保其它CPU處于非活動狀態； 這里會等待1秒時間來停止其他CPU。 3）調用PSCI相關接口實現相關關機操作 |
3.7 內核PSCI相關操作
PSCI（Power State Coordination Interface）電源狀態協調接口，是ARM定義的電源管理接口規范。
PSCI初始化流程：
在kernel的setup_arch啟動時，掃描設備樹節點信息關于psci部分，根據compatible來匹配到psci_0_2_init()函數，然后進入psci_probe()函數，并在psci_0_2_set_functions()函數中設置相關的函數指針：
start_kernel() -> setup_arch() ->psci_dt_init() -> psci_0_2_init() -> psci_probe() ->psci_0_2_set_functions()
設備樹里面的信息如下里標記的版本是psci-0.2，method是使用smc。
|
psci { ? ? ? ?compatible = "arm,psci-0.2"; ? ? ? ? ?method = "smc"; }; |
psci_0_2_set_functions會給處理函數賦值
|
static ?void __init psci_0_2_set_functions(void) ?{ ???????? pr_info("Using standard ?PSCI v0.2 function IDs "); ???????? psci_ops.get_version = ?psci_get_version; ? ???????? ?psci_function_id[PSCI_FN_CPU_SUSPEND] = ???????????????????????????????????????? ?PSCI_FN_NATIVE(0_2, CPU_SUSPEND); ???????? psci_ops.cpu_suspend = ?psci_cpu_suspend; ? ???????? ?psci_function_id[PSCI_FN_CPU_OFF] = PSCI_0_2_FN_CPU_OFF; ???????? psci_ops.cpu_off = ?psci_cpu_off; ? ???????? ?psci_function_id[PSCI_FN_CPU_ON] = PSCI_FN_NATIVE(0_2, CPU_ON); ???????? psci_ops.cpu_on = psci_cpu_on; ? ???????? ..... ???????? arm_pm_restart = ?psci_sys_reset; ???????? pm_power_off = psci_sys_poweroff; ?} |
PSCI關機流程：
|
#define ?PSCI_0_2_FN_BASE??????????????????????? ?0x84000000 ?#define PSCI_0_2_FN(n)????????????????????????? (PSCI_0_2_FN_BASE + ?(n)) ?#define PSCI_0_2_FN_SYSTEM_OFF????????????????? PSCI_0_2_FN(8) ? ?static void psci_sys_poweroff(void) ?{ ???????? ?invoke_psci_fn(PSCI_0_2_FN_SYSTEM_OFF, 0, 0, 0); ?} |
PSCI_0_2_FN_SYSTEM_OFF的值計算為：0x84000000+8，查看ARM PSCI手冊：
invoke_psci_fn（）在smc模式下對應__invoke_psci_fn_smc（）函數：
|
static ?unsigned long __invoke_psci_fn_smc(unsigned long function_id, ???????????????????????? unsigned long ?arg0, unsigned long arg1, ???????????????????????? unsigned long ?arg2) ?{ ???????? struct arm_smccc_res res; ? ???????? arm_smccc_smc(function_id, ?arg0, arg1, arg2, 0, 0, 0, 0, &res); ???????? return res.a0; ?} |
arm_smccc_smc（）函數的實現為匯編代碼，在arch/arm/kernel/smccc-call.S中
|
.macro SMCCC_SMC ?? ?__SMC(0) ? ? ? .endm ???????? ?/* 定義SMCCC宏，其參數為instr */ ???????? .macro SMCCC instr ?/* 將normal world中的寄存器入棧，保存現場 */ ?UNWIND(??????? .fnstart) ???????? mov??????? r12, sp? /* r12指向老的sp地址 */ ???????? push??????? {r4-r7}? /* 推r4-r7入棧，則sp = sp - 4 * 4 */ ?UNWIND(??????? .save??????? {r4-r7}) ???????? ldm??????? r12, {r4-r7}? /* 把r12指向的內容的刷入r4-r7，其實就是把參數a4-a7存入r4-r7 ???????? instr??? /* 執行instr參數的內容，即執行smc切換 */ ???????? pop??????? {r4-r7}?? /* 出棧操作，恢復現場 */ ???????? ldr??????? r12, [sp, #(4 * 4)] ???????? stm??????? r12, {r0-r3} ???????? bx??????? lr ?UNWIND(??????? .fnend) ???????? .endm ???????? ?ENTRY(__arm_smccc_smc) ???????? SMCCC SMCCC_SMC ?ENDPROC(__arm_smccc_smc) ? ?#define arm_smccc_smc(...) __arm_smccc_smc(__VA_ARGS__, NULL) |
SMCCC宏如下，smc指令觸發一個安全監視器異常后，將棧上的數據存到x0~x3上，回頭看__invoke_psci_fn_smc函數實際是返回x0的結果。
由于smccc_smc函數的入參有9個參數，按照約定，前4個參數存在r0 - r3，其他參數從右向左入棧。
r0=a0, r1=a1, r2=a2, r3=a3, r4=a4, r5=a5, r6=a6,r7=a7
進入ATF中EL3模式執行：
smc指令是arm-v8手冊中定義的一個指令，這個安全監視器觸發一個異常，然后進入到EL3。 EL3:安全監控異常級別。異常級別，用于執行安全監視器代碼，用于處理非安全狀態和安全狀態之間的轉換。EL3始終處于Secure狀態. ?
4.?ATF Bl31中的處理
4.1 ATF 軟件流程框圖
BL31中smc異常觸發流程圖
執行SMC指令后會觸發異常，進入ATF的BL31中繼續執行：
在Linux側調用smc異常之后，會根據中斷向量表觸發cpu的同步異常sync_exception_aarch64/32
然后跳轉執行到handle_sync_exception->smc_handler64/32中
根據_RT_SVC_DESCS_START_+RT_SVC_DESC_HANDLE的位置，跳轉執行rt_svc_desc_t結構體保存的服務std_svc_smc_handler
執行psci相關處理，找到psci_system_off和psci_system_rese處理函數。ATF直接處理如果是關機就執行halt指令，重啟則通過設置gpio，或者轉送給SCP處理。
最后跳轉到el3_exit返回Linux側。
SMC異常觸發執行流程：
進入ATF的方式觸發異常：同步異常SMC、異步異常(irq,fiq)
如果是同步異常，那么一定是在linux或tee中發生了smc調用，此時進入跳轉ATF中異常向量表中的同步異常程序smc_handler64或smc_handler32
在該程序中，解析smc id，來選擇跳轉到具體哪一個rt-svc(runtime service)
如果是異步異常，那么一定是觸發了irq或fiq或serror中斷等，此時進入跳轉ATF中異常向量表中的異步異常程序，進而跳轉到響應的中斷處理函數.
4.2?內存布局bl31_entrypoint
編譯使用的lds文件是arm-trusted-firmware/bl31/bl31.ld.S，開頭就可以看到入口是bl31_entrypoint：
| ENTRY(bl31_entrypoint) |
bl31_entrypoint在bl31/aarch64/bl31_entrypoint.S中定義
可以看到設置_exception_vectors為runtime_exceptions函數的：
|
/* ?--------------------------------------------------------------------- ????????? * For !RESET_TO_BL31 systems, ?only the primary CPU ever reaches ????????? ?* bl31_entrypoint() during the cold boot flow, so the cold/warm boot ????????? * and primary/secondary CPU ?logic should not be executed in this case. ????????? * ????????? * Also, assume that the ?previous bootloader has already initialised the ??????? ??* SCTLR_EL3, including the endianness, and ?has initialised the memory. ????????? * ?--------------------------------------------------------------------- ????????? */ ???????? el3_entrypoint_common??????????????????????????????????????? ???????????????? _init_sctlr=0??????????????????????????????????????? ???????????????? ?_warm_boot_mailbox=0??????????????????????????????? ???????????????? ?_secondary_cold_boot=0??????????????????????????????? ???????????????? _init_memory=0??????????????????????????????? ???????? ???????????????? _init_c_runtime=1??????????????????????????????? ???????????????? _exception_vectors=runtime_exceptions??????????????? ???????????????? ?_pie_fixup_size=BL31_LIMIT - BL31_BASE |
在bl31/aarch64/runtime_exceptions.S中
|
???? .globl??????? runtime_exceptions ?vector_base runtime_exceptions??????? //定義 .vectors ?vector_entry sync_exception_aarch64 ???????? handle_sync_exception ???????? check_vector_size ?sync_exception_aarch64 ?vector_entry sync_exception_aarch32 ???????? handle_sync_exception ???????? check_vector_size ?sync_exception_aarch32 |
vector_base 是一個宏，在include/arch/aarch64/asm_macros.S中定義：
|
???????? .macro vector_base? label, section_name=.vectors//label為標號以冒號結尾 ???????? .section section_name, ?"ax"http://指定代碼段必須存放在.vectors段里， “ax”表示該段可執行并且可‘a’讀和可‘x’執行 ???????? .align 11, 0//地址方式對齊11 其余字節用0填充 ???????? label: ???????? .endm |
同樣其他宏經過轉化如下：
|
?.section ?.vectors, "ax"??????? //指定代碼段必須存放在.vectors段里， “ax”表示該段可執行并且可‘a’讀和可‘x’執行 ?.align 11, 0??????????????????????? //地址方式對齊11 其余字節用0填充 ?runtime_exceptions: ???????? .section .vectors, ?"ax"http://指定代碼段必須存放在.vectors段里， “ax”表示該段可執行并且可‘a’讀和可‘x’執行 ???????? .align 7, 0??????????????????????????????? //地址方式對齊7 ???????? sync_exception_aarch64: ???????? ????????handle_sync_exception ???????????????? .if (. - ?serror_aarch64) > (32 * 4)??????? //這個.應該是當前位置 - 段的開頭地址 如果大于 32條指令 ???????????? .error "Vector exceeds ?32 instructions"??????????????? //向量超過32條指令 ???????????? .endif ???????? sync_exception_aarch32 ????? ????????handle_sync_exception ???????????????? .if (. - ?serror_aarch64) > (32 * 4)??????? //這個.應該是當前位置 - 段的開頭地址 如果大于 32條指令 ???????????? .error "Vector exceeds ?32 instructions"??????????????? //向量超過32條指令 ???????????? .endif |
4.3?runtime服務程序初始化
bl31_entrypoint入口向下執行首先是bl31_setup，然后是bl31_main
|
?void ?bl31_setup(u_register_t arg0, u_register_t arg1, u_register_t arg2, ???????????????? u_register_t arg3) ?{ ???????? /* Perform early ?platform-specific setup */ ???????? ?bl31_early_platform_setup2(arg0, arg1, arg2, arg3); ? ???????? /* Perform late ?platform-specific setup */ ???????? bl31_plat_arch_setup(); |
bl31_main（）函數：
|
void ?bl31_main(void) ?{ ???????? NOTICE("BL31: %s ", ?version_string); ???????? NOTICE("BL31: %s ", ?build_message); ???????? bl31_platform_setup();??????? //通用和安全時鐘初始化，其他芯片相關功能初始化 ???????? bl31_lib_init();??????? //空函數 ???????? INFO("BL31: Initializing ?runtime services "); ???????? runtime_svc_init();??????? //重點 下面展開分析 ???????? if (bl32_init) {??????? ???????????????? INFO("BL31: ?Initializing BL32 "); ???????????????? (*bl32_init)(); ???????? } ???????? ?bl31_prepare_next_image_entry();??????? ?//加載下一階段的入口地址 ???????? console_flush();??????? //控制臺刷新 ???????? bl31_plat_runtime_setup();??????? //空函數 ?} |
runtime_svc_init（）函數
|
//注冊smc指令相關的服務 ?void runtime_svc_init(void) ?{ ???????? int rc = 0; ???????? unsigned int index, start_idx, ?end_idx; ? ???????? /* Assert the number of ?descriptors detected are less than maximum indices */ ???????? //這句話表明 ?RT_SVC_DECS_NUM時當前加載的服務數量 ???????? assert((RT_SVC_DESCS_END >= ?RT_SVC_DESCS_START) && ???????????????????????? (RT_SVC_DECS_NUM < MAX_RT_SVCS));??????? ???????????????????????????????????????? ? ? ???????? if (RT_SVC_DECS_NUM == 0)??????? //如果沒有服務要注冊 ???????????????? return; ???????? memset(rt_svc_descs_indices, ?-1, sizeof(rt_svc_descs_indices));//初始化rt_svc_descs_indices ? ???????? rt_svc_descs = (rt_svc_desc_t ?*)RT_SVC_DESCS_START;//建立一個注冊表結構體 ???????? for (index = 0; index < ?RT_SVC_DECS_NUM; index++) { ???????????????? rt_svc_desc_t *service ?= &rt_svc_descs[index]; ????????? ???????rc = validate_rt_svc_desc(service);//判斷每一個服務的各項參數是否正確 ???????????????? if (rc) { ???????????????????????? ?ERROR("Invalid runtime service descriptor %p ", ???????????????????????????????? (void ?*) service); ???????????????????????? panic();??????? //不正確 ???????????????? } ???????????????? if (service->init) ?{??????? //該服務是否需要初始化 ???????????????????????? rc = ?service->init();??????? //進行初始化 ???????????????????????? if (rc) {??????? //初始化是否成功 ???????????????????????????????? ?ERROR("Error initializing runtime service %s ", ???????????????????????????????????????????????? ?service->name); ???????????????????????????????? ?continue; ???????????????????????? } ???????????????? } ???????????????? start_idx = ?get_unique_oen(rt_svc_descs[index].start_oen, ??????????????????? ?????????????service->call_type);??????? //八位的id號 ???????????????? assert(start_idx < ?MAX_RT_SVCS); ???????????????? end_idx = ?get_unique_oen(rt_svc_descs[index].end_oen, ???????????????????????????????? ?service->call_type);??????? ?//八位的id號 ???????????????? assert(end_idx < ?MAX_RT_SVCS); ???????????????? for (; start_idx <= ?end_idx; start_idx++) ???????????????????????? ?rt_svc_descs_indices[start_idx] = index;//證明可以根據rt_svc_descs_indices[?]的值找到其對應的rt_svc_descs[index]中index值 ???????? } ?} |
RT_SVC_DECS_NUM表示svc數量
|
#define ?RT_SVC_DECS_NUM? ((RT_SVC_DESCS_END - RT_SVC_DESCS_START) ????/ sizeof(rt_svc_desc_t)) |
RT_SVC_DESCS_START開始的位置已經存入了結構體數據數組，因為在ld文件中進行了內存布局說明
在bl31/bl31.ld.S中：
|
???????? RODATA_COMMON ? ???????? /* Place pubsub sections for ?events */ ???????? . = ALIGN(8); ?#include ? ???????? . = ALIGN(PAGE_SIZE); ???????? __RODATA_END__ = .; ???? } >RAM ?#else ???? ro . : { ???????? __RO_START__ = .; ???????? *bl31_entrypoint.o(.text*) ????? ???*(SORT_BY_ALIGNMENT(.text*)) ???????? *(SORT_BY_ALIGNMENT(.rodata*)) ? ???????? RODATA_COMMON |
在include/common/bl_common.ld.h中
|
#define ?RODATA_COMMON??????????????????????????????????????? ???????? RT_SVC_DESCS??????????????????????????????????????? ???????? ?FCONF_POPULATOR??????????????????????????????????????? ???????? PMF_SVC_DESCS??????????????????????????????????????? ???????? PARSER_LIB_DESCS??????????????????????????????? ???????? CPU_OPS??????????????????????????????????????????????? ? ?????? ??GOT??????????????????????????????????????????????? ? ???????? BASE_XLAT_TABLE_RO??????????????????????????????? ???????? EL3_LP_DESCS ? ?#define RT_SVC_DESCS??????????????????????????????????????? ???????? . = ALIGN(STRUCT_ALIGN);??????????????????????? ???????? __RT_SVC_DESCS_START__ = ?.;??????????????????????? ???????? KEEP(*(rt_svc_descs))??????????????????????????????? ???????? __RT_SVC_DESCS_END__ = .; |
rt_svc_descs段存放的內容是通過DECLARE_RT_SVC宏來定義的：
//其中__setion("rt_svc_descs")的意思就是注冊到rt_svc_descs段中
|
?#define ?DECLARE_RT_SVC(_name, _start, _end, _type, ?_setup, _smch)??????? ???????? static const rt_svc_desc_t ?__svc_desc_ ## _name??????????????????????? ? ???????????????? __section("rt_svc_descs") __used = {??????????????????????? ???????????????????????? .start_oen = ?(_start),??????????????????????????????? ? ???????????????????????? .end_oen = ?(_end),??????????????????????????????? ? ???????????????????????? .call_type = ?(_type),??????????????????????????????? ? ????????????????????? ???.name = #_name,??????????????????????????????????????? ???????????????????????? .init = ?(_setup),??????????????????????????????? ? ???????????????????????? .handle = ?(_smch)??????????????????????????????? ? ???????????????? } |
例如在services/std_svc/std_svc_setup.c中
|
/* ?Register Standard Service Calls as runtime service */ ?DECLARE_RT_SVC( ???????????????? std_svc, ? ???????????????? OEN_STD_START, ???????????????? OEN_STD_END, ???????????????? SMC_TYPE_FAST, ???????????????? std_svc_setup, ???????????????? std_svc_smc_handler ?); ?#define OEN_STD_START??????????????????????? ?U(4)??????? /* Standard Service ?Calls */ ?#define OEN_STD_END??????????????????????? ?U(4) ?#define SMC_TYPE_FAST??????????????????????? ?UL(1) ?#define SMC_TYPE_YIELD???? ???????????????????UL(0) |
static const rt_svc_desc_t __svc_desc_std_svc服務。其服務id為SMC_TYPE_FAST<< 6 + OEN_STD_START,結束服務的id為SMC_TYPE_FAST << 6 + OEN_STD_END
service->init()會執行std_svc_setup（）函數
->psci_setup((const psci_lib_args_t *)svc_arg)
(void) plat_setup_psci_ops((uintptr_t)lib_args->mailbox_ep,
&psci_plat_pm_ops);
plat_setup_psci_ops（）的定義根據平臺，我們使用的是qemu，對應plat/qemu/qemu_sbsa/sbsa_pm.c文件中：
*psci_ops = &plat_qemu_psci_pm_ops;
|
static ?const plat_psci_ops_t plat_qemu_psci_pm_ops = { ???????? .cpu_standby = ?qemu_cpu_standby, ???????? .pwr_domain_on = ?qemu_pwr_domain_on, ???????? .pwr_domain_off = ?qemu_pwr_domain_off, ???????? .pwr_domain_pwr_down_wfi = ?qemu_pwr_domain_pwr_down_wfi, ???????? .pwr_domain_suspend = qemu_pwr_domain_suspend, ???????? .pwr_domain_on_finish = ?qemu_pwr_domain_on_finish, ???????? .pwr_domain_suspend_finish = ?qemu_pwr_domain_suspend_finish, ???????? .system_off = qemu_system_off, ???????? .system_reset = ?qemu_system_reset, ???????? .validate_power_state = ?qemu_validate_power_state ?}; |
? 4.4 SMC異常處理入口分析
SMC命令執行后，CPU會根據異常向量表找到sync_exception_aarch64的入口
會執行handle_sync_exception，在bl31/aarch64/runtime_exceptions.S中
|
/* ?--------------------------------------------------------------------- ????????? * This macro handles ?Synchronous exceptions. ????????? * Only SMC exceptions are ?supported. ????????? * ?--------------------------------------------------------------------- ????????? */ ???????? .macro??????? handle_sync_exception ?#if ENABLE_RUNTIME_INSTRUMENTATION ???????? /* ????????? * Read the timestamp value and ?store it in per-cpu data. The value ????????? * will be extracted from ?per-cpu data by the C level SMC handler and ????????? * saved to the PMF timestamp ?region. ????????? *///存放時間戳 ???????? mrs??????? x30, cntpct_el0 ???????? str??????? x29, [sp, #CTX_GPREGS_OFFSET + ?CTX_GPREG_X29] ???????? mrs??????? x29, tpidr_el3 ???????? str??????? x30, [x29, #CPU_DATA_PMF_TS0_OFFSET] ???????? ldr??????? x29, [sp, #CTX_GPREGS_OFFSET + ?CTX_GPREG_X29] ?#endif ? ???????? mrs??????? x30, esr_el3 ?//將esr_el3存入x30 ???????? //#define ESR_EC_SHIFT U(26) ?#define ESR_EC_LENGTH U(6) ???????? //相當于 保留 x30的bit[31-26]并將這幾位提到bit[6-0] ???????? ubfx????? ??x30, x30, #ESR_EC_SHIFT, #ESR_EC_LENGTH ? ???????? /* Handle SMC exceptions ?separately from other synchronous exceptions */ ???????? cmp??????? x30, #EC_AARCH32_SMC ???????? b.eq??????? smc_handler32 ? ???????? cmp??????? x30, #EC_AARCH64_SMC ???????? b.eq???? ???sync_handler64 ? ???????? cmp??????? x30, #EC_AARCH64_SYS ???????? b.eq??????? sync_handler64 ? ???????? /* Synchronous exceptions other ?than the above are assumed to be EA */ ???????? ldr??????? x30, [sp, #CTX_GPREGS_OFFSET + ?CTX_GPREG_LR] ???????? b??????? enter_lower_el_sync_ea ???????? .endm |
三種跳轉選項其中smc_handler32/64能夠正確觸發異常，report_unhandled_exception則是錯誤的流程
|
#define ?EC_AARCH32_SMC??????????????????????? ?U(0x13) ?#define EC_AARCH64_SVC??????????????????????? ?U(0x15) ?#define EC_AARCH64_HVC?????????????????? ??????U(0x16) ?#define EC_AARCH64_SMC??????????????????????? U(0x17) |
x30里面存儲的是esr_el3 的26-32位，里面是什么判斷了smc64
當前平臺架構是aarch64的，看一下sync_handler64這個處理，在bl31/aarch64/runtime_exceptions.S中
|
? ?/* Load descriptor index from array ?of indices */ ???????? //在runtime_svc_init()中會將所有的section rt_svc_descs段放入rt_svc_descs_indices數組， ???????? //這里獲取該數組地址 ???????? adrp??????? x14, rt_svc_descs_indices ???????? add??????? x14, x14, rt_svc_descs_indices ???????? ldrb??????? w15, [x14, x16]//找到rt_svc在rt_svc_descs_indices數組中的index ???????? ????????? /* ????????? * Get the descriptor using the ?index ????????? * x11 = (base + off), w15 = ?index 這個index就是rt_svc_descs結構體數組下標 ????????? * ????????? * handler = (base + off) + ?(index << log2(size)) ????????? */ ???????? adr??????? x11, (__RT_SVC_DESCS_START__ ?+ RT_SVC_DESC_HANDLE) //base + off ???????? lsl??????? w10, w15, #RT_SVC_SIZE_LOG2 //(index << log2(size)) ???????? ldr??????? x15, [x11, w10, uxtw]? //handler ?= (base + off) + (index << log2(size)) ???????? ???????? blr??????? x15//跳轉到handler ? ???????? b??????? el3_exit |
sync_handler64里找rt_svc_desc_t結構體類型里面的handle處理函數，而這些處理函數在rt_svc_descs節中
一個問題：怎么找到index？
例如發的一個smc消息id是0x84000000+8
?bit31決定是fast call，還是std call(yield對應的就是std call)
?bit30表示是以32位傳參，還是以64位傳參，注意我們看了optee在linux的driver，都是以32位方式
?bit29:24 決定服務的類型
?bit23:16reserved
?bit15:0每種call類型下，表示range
這個地方值為4，
|
/* ?Register Standard Service Calls as runtime service */ ?DECLARE_RT_SVC( ???????????????? std_svc, ???????????????? OEN_STD_START, ???????????????? OEN_STD_END, ???????????????? SMC_TYPE_FAST, ???????????????? std_svc_setup, ???????????????? std_svc_smc_handler ?); ?#define OEN_STD_START????????????????????? ?U(4)??????? /* Standard Service Calls */ ?#define OEN_STD_END?????????????????????? ??U(4) ? ? |
系統啟動的時候會把index信息存入到rt_svc_descs_indices里面，根據4取出來就可以了。
|
? ? start_idx ?= (uint8_t)get_unique_oen(service->start_oen,service->call_type); ? ? end_idx = ?(uint8_t)get_unique_oen(service->end_oen,service->call_type); ????assert(start_idx <= ?end_idx); ? ? assert(end_idx < ?MAX_RT_SVCS); ? ? ? for (; start_idx <= ?end_idx; start_idx++) ????????rt_svc_descs_indices[start_idx] ?= index; |
base+index << log2(size)找到結構體數組index對應的元素，然后off就是結構體內handle對應的函數。
handler = (base + off) + (index <
w15 = （__RT_SVC_DESCS_START__ + RT_SVC_DESC_HANDLE） + w15<< log2(size)
? 4.5?smc服務處理分析
std_svc_smc_handler（）中，可以看到會調用psci_smc_handler函數。
|
/* ??* Top-level Standard Service SMC ?handler. This handler will in turn dispatch ??* calls to PSCI SMC handler ??*/ ?static uintptr_t std_svc_smc_handler(uint32_t smc_fid, ????????????????????????????? ?u_register_t x1, ????????????????????????????? ?u_register_t x2, ????????????????????????????? ?u_register_t x3, ????????????????????????????? ?u_register_t x4, ????????????????????????????? void ?*cookie, ????????????????????????????? void ?*handle, ????????????????????????????? ?u_register_t flags) ?{ ???????????????? ret = ?psci_smc_handler(smc_fid, x1, x2, x3, x4, ???????????????????? cookie, handle, ?flags); ? ? |
而在psci_smc_handler函數中，就可以看到上面傳入的psci傳入的PSCI_SYSTEM_OFF指令
|
case PSCI_SYSTEM_OFF: ??????psci_system_off(); ? ? ? /* We should ?never return from psci_system_off() */ ? ? ? ? ?break; |
在psci_system_off進去就打印psci相關的打印，然后調用system_off回調。
|
void ?__dead2 psci_system_off(void) ?{ ???????? psci_print_power_domain_map();//打印 ? ???????? ?assert(psci_plat_pm_ops->system_off != NULL); ? ???????? /* Notify the Secure Payload ?Dispatcher */ ???????? if ((psci_spd_pm != NULL) ?&& (psci_spd_pm->svc_system_off != NULL)) { ???????????????? ?psci_spd_pm->svc_system_off(); ???????? } ? ???????? console_flush(); ? ???????? /* Call the platform specific ?hook */ ???????? ?psci_plat_pm_ops->system_off(); ? ???????? /* This function does not ?return. We should never get here */ ?} |
psci_print_power_domain_map()的打印再和設備重啟時的日志進行對比，發現是一致的。
4.5?硬件平臺相關處理
在qemu平臺上的實現如下：
psci_plat_pm_ops系統初始化的時候會賦值.system_off = qemu_system_off,
|
static ?void __dead2 qemu_system_off(void) ?{ ?#ifdef SECURE_GPIO_BASE ???????? ERROR("QEMU System Power ?off: with GPIO. "); ???????? ?gpio_set_direction(SECURE_GPIO_POWEROFF, GPIO_DIR_OUT); ???????? ?gpio_set_value(SECURE_GPIO_POWEROFF, GPIO_LEVEL_LOW); ???????? ?gpio_set_value(SECURE_GPIO_POWEROFF, GPIO_LEVEL_HIGH); ?#else ??????? ?semihosting_exit(ADP_STOPPED_APPLICATION_EXIT, ?0); ???????? ERROR("QEMU System Off: ?semihosting call unexpectedly returned. "); ?#endif ???????? panic(); ?} |
semihosting_exit：
|
func ?semihosting_call ???????? hlt??????? #0xf000 ???????? ret ?endfunc semihosting_call |
對應重啟，qemu_system_reset（）函數設置GPIO實現
|
gpio_set_direction(SECURE_GPIO_RESET, ?GPIO_DIR_OUT); ???????? ?gpio_set_value(SECURE_GPIO_RESET, GPIO_LEVEL_LOW); ???????? ?gpio_set_value(SECURE_GPIO_RESET, GPIO_LEVEL_HIGH); |
如果不是ATF里面自己處理，有SCP，見下章節分析。 ?
5. SCP中的處理
mhu模塊： mhu_isr收到中斷 ? status = smt_channel->api->signal_message(smt_channel->id);
signal_message是smt模塊里面提供的，對共享內存的數據進行處理
|
status = ?fwk_module_bind(smt_channel->id, ???FWK_ID_API(FWK_MODULE_IDX_SMT, ?MOD_SMT_API_IDX_DRIVER_INPUT),?&smt_channel->api); |
??
審核編輯：劉清
工商網監
評論