嵌入式ARM Linux應用程序項目問題定位

一、現象

業務線反饋，單板只要一跑我們的通訊軟件appA，CPU就變得很高，即使沒有任何通訊，空跑時CPU利用率同樣的高，難得業務會關注CPU性能，好久沒更新博客了，小記一下（又是debug一兩天，最后改一行代碼解決的問題o(╯□╰)o）。

啟動appA?前，top看一下CPU使用情況，如下，9%還算正常（有其他業務應用）。

Mem: 49320K used, 202284K free, 0K shrd, 0K buff, 27420K cached
CPU:  3.0% usr  6.0% sys  0.0% nic 91.0% idle  0.0% io  0.0% irq  0.0% sirq
Load average: 1.79 2.79 2.98 1/86 1721
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1721  1376 root     R     2272  0.9   0  1.6 top -d 1
  917     1 root     S    38936 15.4   0  1.1 ...
  908     1 root     S    38936 15.4   0  0.5 ...
  915     1 root     S    38936 15.4   0  0.5 ...
  896     1 root     S    38936 15.4   0  0.5 ...
  914     1 root     S    38936 15.4   0  0.5 ...
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
    3     2 root     SW       0  0.0   0  0.5 [ksoftirqd/0]
 1376   857 root     S     2272  0.9   0  0.0 -sh
  929     1 root     S     2272  0.9   0  0.0 /sbin/getty -L ttyO2 115200 vt100
    1     0 root     S     2268  0.9   0  0.0 init
  ...

我們的應用啟動后，CPU使用率很高，65%左右，是什么讓CPU占用高？

$top -d1
Mem: 54604K used, 197000K free, 0K shrd, 0K buff, 27220K cached
CPU: 14.6% usr 38.5% sys  0.0% nic 36.2% idle  0.0% io  0.0% irq 10.5% sirq
Load average: 3.26 2.22 1.58 1/107 1470
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1444  1376 root     S    28008 11.1   0  5.8 {Thread_start} ./appA
    3     2 root     SW       0  0.0   0  4.0 [ksoftirqd/0]
 1445  1376 root     S    28008 11.1   0  2.9 {Task_OS_Timer} ./appA
 1470  1376 root     R     2272  0.9   0  2.3 top -d 1
  917     1 root     S    38936 15.4   0  1.7 ...
 1450  1376 root     S    28008 11.1   0  1.7 ...
  896     1 root     S    38936 15.4   0  1.1 ...
 1449  1376 root     S    28008 11.1   0  0.5 {CycleIO} ./appA
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
  ......

TOP各指標含義

簡單介紹下top各指標含義。top 命令顯示了 us、sy、nic、idle 、io、hi、si 和 st 這幾個指標(不同版本的top顯示簡寫有所不同)，各指標含義如下，這幾個指標之和為 100。

us, user    : time running un-niced user processes
sy, system  : time running kernel processes
ni, nice    : time running niced user processes
id, idle    : time spent in the kernel idle handler
wa, IO-wait : time waiting for I/O completion
hi : time spent servicing hardware interrupts
si : time spent servicing software interrupts
st : time stolen from this vm by the hypervisor

CPU指標	含義
us	CPU執行用戶代碼消耗的CPU時間比例，這個比例越高，說明CPU的利用率越好，因為我們的目的就是為了讓CPU將更多的時間用在執行用戶代碼上，如果這個指標過高影響了你的業務，那就需要去分析業務代碼了。
sy	CPU執行內核代碼消耗的CPU時間比例，這個比例要越低越好，因為CPU不應該把時間浪費在執行內核函數上，如內核函數浪費了很多時間，那說明內核可能需要優化了。
ni	Nice值被調大的線程執行用戶態代碼消耗的CPU百分比。對于非實時任務，通過調整線程的Nice值可以控制它的CPU時間，當我們增大一個線程的Nice值時，我們期望它可以少占用一些CPU時間，CPU利用率里的ni這個值就給我們一個參考指標來觀察我們的調整效果。運行一個進程后，它的默認Nice值為0，通過renice來增加該進程的Nice值（正數），該進程的CPU利用率就會在ni中顯示，而減少進程的Nice值（負數）則不會在這里面顯示。
id	CPU空閑時間，我們通常說的整體CPU利用率就是（100-idl）這個值，也是其他幾項的和。為了提升系統的資源利用率，目標就是盡量降低idl。
wa	CPU阻塞在I/O上的時間，比如CPU從磁盤讀取文件內容，由于磁盤I/O太慢，導致CPU不得不等待數據就緒，然后才能繼續執行下一步操作，這就wai時間，這個值越高，說明I/O處理能力出現了問題。
hi	CPU消耗在硬中斷里的時間，正常情況下這個值都很低，因為中斷的處理很快，即使有大量的硬件中斷，也不會消耗很多的CPU時間。
si	CPU消耗在軟中斷里的時間，系統中常見的軟中斷有網絡收發包軟中斷、寫文件落盤產生的軟中斷、高精度定時器軟中斷等。所以網絡吞吐量較高的系統中，這個值也會高一些。

在上面這幾項中，idle 和 wait 是 CPU 不工作的時間，其余的項都是 CPU 工作的時間。idle 和 wait 的主要區別是，idle 是 CPU 無事可做，而 wait 則是 CPU 想做事卻做不了。你也可以將 wait 理解為是一類特殊的 idle，即該 CPU 上有至少一個線程阻塞在 I/O 時的 idle。

二、分析

由CPU: 14.6% usr 38.5% sys 0.0% nic 36.2% idle 0.0% io 0.0% irq 10.5% sirq可以看出，CPU 利用率飆高是由 sys 利用率和sirq利用率變高導致的，也就是說 sys 利用率會忽然飆高一下，比如在 usr 低于 15% 的情況下，sys 會高于 40%，同時sirq會高于10%，持續不到一秒后又恢復正常。

CPU 的 sys 利用率高，說明內核函數執行花費了太多的時間，同樣，CPU 的 sirq利用率高，說明內核處理軟中斷執行花費了太多的時間，先對比應用啟動前后系統各部分信息，看看能否推斷出CPU執行哪部分的的內核函數花費的時間長。

啟動應用前

我們先通過pidstat看看appA啟動前,系統中每個進程usr、system、guest、wait各部分CPU使用情況：

$ pidstat 1 3  #每秒打印一次 打印3次
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0944        0        47    0.00    0.96    0.00    0.00    0.96     0  kworker/0:1
0944        0       894    2.88    3.85    0.00    0.00    6.73     0  cpu_mem_task
0944        0       968    0.00    1.92    0.00    0.00    1.92     0  pidstat

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0945        0       857    0.00    1.00    0.00    0.00    1.00     0  telnetd
0945        0       881    0.00    1.00    0.00    0.00    1.00     0  xxxx
0945        0       894    2.00    5.00    0.00    0.00    7.00     0  xxxx
0945        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

0945      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0946        0         3    0.00    1.00    0.00    0.00    1.00     0  ksoftirqd/0
0946        0       894    1.00    6.00    0.00    0.00    7.00     0  xxxx
0946        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

可以看到，各進程正常，CPU使用率低，接下來通過mpstat查看內核各部分詳細。

]# mpstat --help
Usage: mpstat [ options ] [  [  ] ]
Options are:
[ -A ] [ -n ] [ -T ] [ -u ] [ -V ]
[ -I { SUM | CPU | SCPU | ALL } ] [ -N {  | ALL } ]
[ --dec={ 0 | 1 | 2 } ] [ -o JSON ] [ -P {  | ALL } ]

-A: 等同于-u -I ALL -P ALL

-I:指定SUM CPU SCPU ALL四個參數,SUM表示每個處理器的中斷總數，CPU表示每個核的每秒中斷數量， SCPU表示每個核每秒的軟中斷數量。

-P: 統計的CPU編號，一般用ALL

-u: 輸出列的信息

-V: 查看版本號

CPU利用率

每秒輸出1次，輸出5次：

[root@/tmp]# mpstat 1 5
0951     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
0952     all    1.01    0.00    5.05    0.00    0.00    2.02    0.00    0.00    0.00   91.92
0953     all    2.15    0.00    1.08    0.00    0.00    0.00    0.00    0.00    0.00   96.77
0954     all    0.00    0.00    0.00    0.00    0.00    1.09    0.00    0.00    0.00   98.91
0955     all    2.04    0.00    3.06    0.00    0.00    2.04    0.00    0.00    0.00   92.86
0956     all    0.00    0.00    2.15    0.00    0.00    0.00    0.00    0.00    0.00   97.85
Average:     all    1.05    0.00    2.32    0.00    0.00    1.05    0.00    0.00    0.00   95.58

軟中斷

軟中斷每秒輸出1次, 輸出6次：

# mpstat -I SCPU 1 6
0922     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
0923       0       0.00      25.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
0924       0       0.00      31.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0925       0       0.00      26.00       0.00       4.00       0.00           0.00       0.00       0.00     199.00       0.00
0926       0       0.00      36.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0927       0       0.00      31.00       0.00       3.00       0.00           0.00       0.00       0.00     199.00       0.00
0928       0       0.00      31.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
Average:       0       0.00      30.00       0.33       3.50       0.00           0.00       0.00       0.00     199.67       0.00

對應的軟中斷信息：

# cat /proc/softirqs 
                    CPU0       
          HI:          0
       TIMER:    7778445
      NET_TX:       7244
      NET_RX:     293406
       BLOCK:          0
BLOCK_IOPOLL:          0
     TASKLET:          1
       SCHED:          0
     HRTIMER:  522165833
         RCU:          0

硬中斷

處理器硬中斷總數：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0950     CPU    intr/s
0951     all   3000.00
0952     all   3151.00
0953     all   3229.00
0954     all   3129.00
0955     all   3049.00
0956     all   3210.00
Average:     all   3127.79

每個硬中斷產生速率：

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0946     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
0947       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3151.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       5.00       0.00       0.00       0.00       0.00       0.00
0948       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3140.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       7.00       0.00       0.00       0.00       0.00       0.00
0949       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3355.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0950       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3031.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00
0951       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3288.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0952       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3155.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3186.67       0.00       2.00       0.00       0.00       0.00       0.00       0.00       5.67       0.00       0.00       0.00       0.00       0.00

對應的中斷信息：

# cat /proc/interrupts 
           CPU0       
 84: 1583852200      INTC  68  gp_timer
 86:        108      INTC  70  44e0b000.i2c
 87:     483682      INTC  71  4802a000.i2c
 90:         59      INTC  74  UART2
173:     701497      GPIO  29  eth0
230:          6      GPIO  22  button_int
233:          0      GPIO  25  fpga_int
255:          0      GPIO  15  mmc0
261:          0      GPIO  21  power_int
Err:          0
......

啟動appA應用前，可以看出irq為84的中斷gp_timer中斷比較高， 3155次/S左右。

啟動應用后

先啟動應用，然后再看一下這些指標的變化。

# mpstat 1 5
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1045     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
1046     all    7.95    0.00   18.18    0.00    0.00    3.41    0.00    0.00    0.00   70.45
1047     all    6.17    0.00   16.05    0.00    0.00    1.23    0.00    0.00    0.00   76.54
1048     all    4.94    0.00   17.28    0.00    0.00    2.47    0.00    0.00    0.00   75.31
1049     all    8.05    0.00   17.24    0.00    0.00    4.60    0.00    0.00    0.00   70.11
1050     all   11.76    0.00   12.94    0.00    0.00    2.35    0.00    0.00    0.00   72.94
Average:     all    7.82    0.00   16.35    0.00    0.00    2.84    0.00    0.00    0.00   72.99

usr，sys 升高明顯，soft有所升高，什么導致的sys升高？下面看硬中斷處理信息：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1011     CPU    intr/s
1012     all   6571.00
1013     all   6597.00
1014     all   6574.00
1015     all   6566.00
1016     all   6592.00
1017     all   6583.00
Average:     all   6580.50

對比啟動應用前3000/s，每秒中斷產生次數增長了120%。繼續查看哪些中斷變高了？

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1004     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
1005       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       3.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1006       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1007       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6637.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      27.00       0.00       0.00       0.00       0.00       0.00
1008       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6543.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1010       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6579.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1011       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6561.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      29.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6570.67       0.00       1.83       0.00       0.00       0.00       0.00       0.00      28.67       0.00       0.00       0.00       0.00       0.00

# mpstat -I SCPU 1 6
Linux 3.12.10      08/22/22        _armv7l_        (1 CPU)

1029     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
1030       0       0.00      41.58       0.00       9.90       0.00           0.00       0.00       0.00    2172.28       0.00
1031       0       0.00      43.00       0.00      12.00       0.00           0.00       0.00       0.00    2187.00       0.00
1032       0       0.00      38.00       0.00      11.00       0.00           0.00       0.00       0.00    2191.00       0.00
1033       0       0.00      34.00       1.00      10.00       0.00           0.00       0.00       0.00    2190.00       0.00
1034       0       0.00      37.00       0.00      11.00       0.00           0.00       0.00       0.00    2190.00       0.00
1035       0       0.00      40.00       0.00      10.00       0.00           0.00       0.00       0.00    2184.00       0.00
Average:       0       0.00      38.94       0.17      10.65       0.00           0.00       0.00       0.00    2185.69       0.00

可以看irq為84的中斷gp_timer中斷相比應用啟動前變為2倍，?3155.00次/S左右。相應的高精度定時器軟中斷HRTIMER從之前的200/S上升到2100/S，到此基本可以確定應用瘋狂定時操作引起的，進一步看內核執行的函數來確認。

采集內核函數的方法

目前基本清楚因為定時器中斷變高導致的內核函數執行時間變長，接下來采集 CPU 在 sys 飆高的瞬間所執行的內核函數，同時看看應用執行什么引起的定時器中斷，再做相應的優化。采集內核函數的方法有很多，比如：

通過 perf（ perf 是內核自帶的性能剖析工具）可以采集 CPU 的熱點，看看 sys 利用率高時，哪些內核耗時的 CPU 利用率高；

通過 perf 的?call-graph?功能可以查看具體的調用棧信息，也就是線程是從什么路徑上執行下來的；

通過 perf 的?annotate?功能可以追蹤到線程是在內核函數的哪些語句上比較耗時；

通過 ftrace 的?function-graph?功能可以查看這些內核函數的具體耗時，以及在哪個路徑上耗時最大。

針對一些瞬時sys 利用率高問題，還可以通過系統快照sysrq，把當前 CPU 正在做的工作記錄下來，然后結合內核源碼分析為什么 sys 利用率會高。

sysrq常用來分析內核問題的工具，用它可以觀察當前的內存快照、任務快照，可以構造 vmcore 把系統的所有信息都保存下來，甚至還可以在內存緊張的時候用它殺掉內存開銷最大的那個進程。

用 sysrq 來分析問題，首先需要使能 sysyrq,使能sysrq后沒有任何開銷，使能方式如下：

$ sysctl -w kernel.sysrq=1

sysrq 的功能被使能后，使用它的 -t 選項來把當前的任務快照保存下來，看看系統中都有哪些任務，以及這些任務都在干什么。使用方式如下：

$ echo t > /proc/sysrq-trigger

執行后，任務快照會被打印到內核緩沖區，這些任務快照信息通過?dmesg?命令來查看：

$ dmesg

內核采集分析

這里使用perf?對appA進程進行采樣，輸出內核整個調用鏈上的匯總信息。

# 采樣10s后退出
$ perf record -a -g -p `pidof appA` -- sleep 10

采樣完成后，繼續執行?perf report命令，得到 perf 的匯總報告。

額。。。屏幕太小、ARM 串口來打印，這打印很難看。

火焰圖分析

針對 perf 匯總數據的展示問題，Brendan Gragg 發明了火焰圖，通過矢量圖的形式，更直觀展示匯總結果。

（圖片來自 Brendan Gregg?博客）

橫軸表示采樣數和采樣比例。一個函數占用的橫軸越寬，就代表它的執行時間越長。同一層的多個函數，則是按照字母來排序。

縱軸表示調用棧，由下往上根據調用關系逐個展開。換句話說，上下相鄰的兩個函數中，下面的函數，是上面函數的父函數。這樣，調用棧越深，縱軸就越高。

另外，要注意圖中的顏色，并沒有特殊含義，只是用來區分不同的函數。

火焰圖是動態的矢量圖格式，所以它還支持一些動態特性。比如，鼠標懸停到某個函數上時，就會自動顯示這個函數的采樣數和采樣比例。而當你用鼠標點擊函數時，火焰圖就會把該層及其上的各層放大，方便你觀察這些處于火焰圖頂部的調用棧的細節。

如果我們根據性能分析的目標來劃分，火焰圖可以分為下面這幾種。

on-CPU 火焰圖：表示 CPU 的繁忙情況，用在 CPU 使用率比較高的場景中。

off-CPU 火焰圖：表示 CPU 等待 I/O、鎖等各種資源的阻塞情況。

內存火焰圖：表示內存的分配和釋放情況。

熱 / 冷火焰圖：表示將 on-CPU 和 off-CPU 結合在一起綜合展示。

差分火焰圖：表示兩個火焰圖的差分情況，紅色表示增長，藍色表示衰減。差分火焰圖常用來比較不同場景和不同時期的火焰圖，以便分析系統變化前后對性能的影響情況。

如何生成火焰圖？首先，下載幾個能從?perf record記錄生成火焰圖的工具，這些工具都放在 https://github.com/brendangregg/FlameGraph 。

$ git clone https://github.com/brendangregg/FlameGraph
$ cd FlameGraph

安裝好工具后，要生成火焰圖，其實主要需要三個步驟：

執行?perf script?，將?perf record?的記錄轉換成可讀的采樣記錄；

執行?stackcollapse-perf.pl?腳本，合并調用棧信息；

執行?flamegraph.pl?腳本，生成火焰圖。

如果你的機器安裝了完整的系統，通過管道簡化這三個步驟的執行如下：

$ perf script -i /root/perf.data | ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

因為我的目標系統是在ARM busybos上，先在目標機器上執行步驟1，在將中間文件上傳到X86系上完成步驟2和3。

$ perf script -i perf.data > perf-temp
$ tftp -p 192.168.1.55 -l perf-temp

X86機器上完成步驟2和3.

$ cat perf-temp| ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

使用瀏覽器打開hsys.svg如下。

從下往上看，沿著調用棧中最寬的函數來分析執行次數最多的函數。看到的結果跟的?perf report?類似，但直觀了很多，這幾團系統調用的火焰，就是我們關注的地方。

可以看到，應用發起的幾個系統調用后，內核sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive分別占總執行時間的22.69%、（13.71%+6.15%）、（8.53%+8.89%）。

到這里，找出了內核執行最頻繁的函數調用堆棧，而這個堆棧中的各層級函數，就是潛在的性能瓶頸來源。對比同一cpu高版本內核，該問題并不明顯，如果想深入了解linux時間子系統，請移步時間子系統-蝸窩科技。看來內核是動不了，不好下手，那回到應用看看。

三、解決

既然已經清楚原因是應用定時相關操作引起的，回到應用排查相關代碼。

這個應用是一個協議棧，整個協議棧有多個不同優先級的實時線程，每個線程負責各部分通訊處理，其中兩個線程為整個協議棧提供timers處理機制，線程Thread_start向操作系統注冊一個周期timer，該周期timer的間隔就是協議棧軟件timer的基準時間，線程A周期等待操作系統timer超時信號。

當超時信號到達時，線程Thread_start遍歷所有上層應用注冊的timer，判斷時間是否到期，如果該timer到期，通過消息隊列mq將該timer發送給另一個線程OS_timer進行timer處理，線程OS_timer接收到該timer后，執行該timer注冊的超時回調函數callbalk_timeout。

排查后發現，問題出在線程Thread_start向操作系統注冊的這個周期timer，它的觸發間隔為500us，由于觸發頻率太高，導致操作系統處理定時器軟硬中斷消耗大部分CPU，表現就是系統cpu飆高，但是檢索整個協議棧，并沒有發現上層應用注冊小于1ms的timer，協議棧根本用不到這么小基準的timer。

所以，解決的辦法很簡單，就修改一行代碼，將線程Thread_start向操作系統注冊的周期timer間隔500us調整為1ms，問題解決。

優化后，時鐘軟硬中斷降低。系統sys CPU利用率下降，如下：

$ pidstat  1 5 -p `pidof appA` #目標應用指標
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1745      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
1746        0      1112    8.91    0.99    0.00    0.00    9.90     0  appA
1747        0      1112    3.00    8.00    0.00    0.00   11.00     0  appA
1748        0      1112    8.00    3.00    0.00    0.00   11.00     0  appA
1749        0      1112   10.00    1.00    0.00    0.00   11.00     0  appA

$mpstat  -A   1 1 #系統整體詳細指標
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1724     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
1725     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
1725       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

1724     CPU    intr/s
1725     all   6821.69
1725       0   6820.48

1724     CPU      20/s      28/s      30/s      33/s      34/s      35/s      68/s      80/s      84/s      86/s      87/s      90/s      94/s     116/s     125/s     127/s     173/s     230/s     233/s     255/s     261/s     Err/s
1725       0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00   6792.77      0.00      3.61      0.00      0.00      0.00      0.00      0.00     24.10      0.00      0.00      0.00      0.00      0.00

1724     CPU      HI/s   TIMER/s  NET_TX/s  NET_RX/s   BLOCK/s BLOCK_IOPOLL/s TASKLET/s SCHED/s HRTIMER/s  RCU/s
1725       0      0.00     30.12      1.20     13.25      0.00      0.00      0.00      0.00   1443.37      0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
Average:       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

上面的火焰圖，看到?sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive明顯降低.

?	sys_rt_sigtimedwait	sys_mq_timedsend	sys_mq_timedreceive
前	22.69%	19.86%(13.71%+6.15%)	17.51%(8.53%+8.89%)
后	14.94%	9.84%(5.84%+4%)	11.47%(5.67%+5.8%)

真是debug一兩天，最后改一行代碼解決問題o(╯□╰)o）。。。

　　審核編輯：湯梓紅

閱讀全文

ARM(361233) ARM(361233)
嵌入式(286111) 嵌入式(286111)
cpu(206161) cpu(206161)
Linux(206514) Linux(206514)
應用程序(56174) 應用程序(56174)

ARM9嵌入式系統設計與開發教程

嵌入式Linux應用程序開發..5.1 開發環境的建立5.1.1 嵌入式Linux的開發環境5.1.2 利用Cygwin建立模擬環境5.1.3 交叉編譯環境的建立5.2 Linux及開發工具

2013-01-05 15:01:02

ARM嵌入式Linux系統開發詳解

建立和第一個Linux應用程序；第2篇介紹了Linux應用程序編程基礎、開發多進程/線程程序、網絡通信應用、串行口通信編程、嵌入式GUI程序開發和軟件項目管理；第3篇介紹ARM體系結構及開發實例、深入

2018-09-14 08:57:17

ARM與嵌入式Linux的入門建議

也許你會注意到，現在做嵌入式的人中，做linux研究的人遠比做WinCE的人多，很多產家提供的資料也是以linux為主。我一直很難理解，其實WinCE的界面比linux的界面好看多了，使用起來也很

2018-08-13 17:40:55

ARM與嵌入式Linux，有什么入門建議嗎？

的電子廠商已經開始使用linux開發產品。所以，linux更受人歡迎咯！以下是我總結的一些入門建議，不喜勿噴啦，歡迎評論ARM與嵌入式Linux的入門建議第一、學習基本的裸機編程對于學硬件的人而言

2021-09-16 14:31:16

ARM與嵌入式linux入門學習方法

ARM與嵌入式linux入門學習方法 http://www.arm8.net/thread-542-1-1.htmlarm是嵌入式開發應用的硬件，嵌入式linux是嵌入式開發應用的軟件。我們所謂

2015-10-11 10:27:42

ARM與嵌入式linux入門建議

由于很多人總問這個問題，所以這里做一個總結供大家參考。這里必須先說明，以下的步驟都是針對Linux系統的，并不面向WinCE。也許你會注意到，現在做嵌入式的人中，做linux研究的人遠比

2017-05-20 11:10:45

ARM與嵌入式linux入門建議

嵌入式linux的書籍第六，研究應用程序的編寫。做作品做項目除了編寫驅動程序，最后還要編寫應用程序。現在的趨勢是圖形應用程序的開發，而圖形應用程序中用得最多的還是qt/e函數庫。我一直就使用這個函數庫來

2017-11-14 11:39:08

ARM與嵌入式linux入門建議

由于很多人總問這個問題，所以這里做一個總結供大家參考。這里必須先說明，以下的步驟都是針對Linux系統的，并不面向WinCE。也許你會注意到，現在做嵌入式的人中，做linux研究的人遠比做WinCE

2017-06-03 15:42:36

ARM與嵌入式linux入門建議

2016-10-27 15:26:18

ARM與嵌入式linux的入門建議

分的推薦書籍可以參考另一篇文章《推薦幾本學習嵌入式linux的書籍》。　　第六，研究應用程序的編寫。　　做作品做項目除了編寫驅動程序，最后還要編寫應用程序。現在的趨勢是圖形應用程序的開發，而圖形應用程序中用

2017-06-14 10:14:22

ARM與嵌入式linux的入門建議

文章《推薦幾本學習嵌入式linux的書籍第六，研究應用程序的編寫。　　做作品做項目除了編寫驅動程序，最后還要編寫應用程序。現在的趨勢是圖形應用程序的開發，而圖形應用程序中用得最多的還是qt/e函數庫。我

2016-12-12 16:21:02

ARM菜鳥跪求嵌入式ARM+Linux的學習路線？

ARM菜鳥跪求嵌入式ARM+Linux的學習路線？該如何學習嵌入式ARM+linux？學習路線是什么？路過的朋友可否簡單說下？

2014-04-27 14:00:41

Linux作為嵌入式操作系統的優勢是什么？如何建立嵌入式Linux？

Linux作為嵌入式操作系統的優勢是什么如何建立嵌入式Linux？當前流行的幾種嵌入式Linux系統

2021-04-27 06:34:40

arm與嵌入式linux的入門建議

arm與嵌入式linux的入門建議說明，以下的步驟都是針對Linux 系統的，并不面向WinCE。也許你會注意到，現在做嵌入式的人中，做 linux 研究的人遠比做WinCE 的人多，很多產家提供

2020-04-20 10:34:39

linux應用程序開發與linux系統移植

，kernel移植，rootfs制作）5.linux驅動開發從事嵌入式應具備的能力　　嵌入式開發本身也有高下之分，至少包含嵌入式應用程序工程師和底層的驅動內核工程師兩種。　　舉例：比如月...

2021-12-20 08:19:12

嵌入式 Linux C 語言應用程序設計

嵌入式 Linux C 語言應用程序設計（超清PDF版）

2016-04-28 13:18:29

嵌入式ARM+Linux的學習方法是什么？

ARM菜鳥跪求嵌入式ARM+Linux的學習方法是什么？學習嵌入式ARM+linux有什么方法么？學習路線是什么？路過的朋友可否簡單說下？?

2020-07-16 08:09:29

嵌入式ARM9培訓

，培訓老師均是從事多年電子產品、ARM項目開發、嵌入式Linux項目開發的資深高級工程師，擁有豐富的實際工作經驗，能讓你高起點入門，快速學會ARM、學會嵌入Linux。 1．小班授課（3-6人）、保證

2010-04-28 11:30:38

嵌入式ARM開發板學習路線指引

及如何成為一位合格的嵌入式工程師，一、首先要掌握基礎架構嵌入式Linux系統從軟件角度看可以分為四個部分：引導加載程序（Bootloader），Linux內核，文件系統，應用程序。開發編譯環境的搭建

2018-11-07 13:57:42

嵌入式LINUX應用程序開發標準教程

嵌入式LINUX應用程序開發標準教程-華清遠見《嵌入式LINUX應用程序開發標準教程》作者：華清遠見第6 章文件I/O 編程掌握Linux 中系統調用的基本概念掌握Linux 中用戶編程接口

2021-11-04 06:58:19

嵌入式Linux應用程序開發標準教程

#《嵌入式Linux應用程序開發標準教程》電子書連載#第3章 Linux下C編程基礎，本章將帶領讀者熟悉Linux系統下的開發環境、熟悉vi的基本操作、熟練emacs的基本操作、熟悉gcc編譯器

2013-05-27 09:48:07

嵌入式Linux應用程序開發標準教程

嵌入式Linux應用程序開發標準教程

2020-05-02 12:05:49

嵌入式Linux應用程序開發標準教程

嵌入式Linux應用程序開發標準教程

2014-01-03 16:41:54

嵌入式Linux應用程序開發標準教程

嵌入式Linux應用程序開發標準教程

2016-10-10 16:58:01

嵌入式Linux應用程序開發標準教程

內容簡介：隆重申明：本書為嵌入式與移動開發系列，國家信息技術緊缺人才培養工程系列叢書，內容末尾提供免費下載嵌入式Linux應用程序開發標準教程這本書，在業內有著非常多的贊美，非常適合嵌入式初學者在

2018-05-07 15:40:22

嵌入式Linux應用程序開發標準教程（第二版）

《嵌入式Linux應用程序開發標準教程(第2版)》主要分為3個部分，包括Linux基礎、搭建嵌入式Linux環境和嵌入式Linux的應用開發。Linux基礎部分從Linux基礎、基本操作命令講起，為

2016-08-30 15:03:11

嵌入式Linux應用程序開發詳解

本帖最后由 cxw3506 于 2011-8-13 16:53 編輯華清遠見—|“黑色經典”系列之《嵌入式Linux應用程序開發詳解》！{:soso_e100:}

2011-08-13 16:52:32

嵌入式Linux應用程序開發詳解

嵌入式Linux應用程序開發詳解

2018-01-24 16:58:29

嵌入式Linux應用程序開發詳解

只是推廣一下嵌入式Linux應用程序開發詳解

2012-12-20 14:17:34

嵌入式Linux下的LCD驅動程序怎么編寫？

底層，在內核源代碼中占較大比例，驅動程序開發逐漸成為嵌入式軟件開發中一項重要工作。應項目設計的需要完成了嵌入式Linux下的LCD驅動程序設計。

2019-11-11 07:33:32

嵌入式Linux學習步驟

編譯并下載U-boot 編譯并下載Linux內核編譯并下載Linux應用程序 5、嵌入式系統移植 Linux內核代碼平臺相關代碼分析 ARM平臺介紹平臺移植的關鍵技術移植Linux內核到

2018-07-03 00:56:23

嵌入式Linux學習步驟

Linux內核編譯并下載Linux應用程序　　5、 嵌入式系統移植　　Linux內核代碼平臺相關代碼分析 ARM平臺介紹平臺移植的關鍵技術移植Linux內核到 ARM平臺了解移植的概念能夠移植

2011-05-04 15:01:53

嵌入式Linux學習步驟

下載Linux內核編譯并下載Linux應用程序5、嵌入式系統移植Linux內核代碼平臺相關代碼分析 ARM平臺介紹平臺移植的關鍵技術移植Linux內核到 ARM平臺了解移植的概念能夠移植

2015-03-24 10:41:29

嵌入式Linux怎么學？給大家推薦幾本學習嵌入式系統的書籍

，那么肯定有讀寫硬盤的能力。這個能力我們稱之為驅動程序。當然不僅僅是操作硬盤，還有網卡、USB等等其他硬件。嵌入式Linux能從Flash上讀出并執行應用程序，肯定也得有Flash的驅動程序啊，當然也

2017-09-18 16:03:06

嵌入式Linux操作系統

ARM+LINUX路線，主攻嵌入式Linux操作系統及其上應用軟件開發目標：（1）掌握主流嵌入式微處理器的結構與原理（初步定為arm9）（2）必須掌握一個嵌入式操作系統（初步定為uclinux或

2021-10-27 10:22:58

嵌入式Linux系統開發學習步驟，深圳嵌入式Linux培訓高薪一路相伴

基礎　　Linux操作系統的概念、安裝方法，詳細了解Linux下的目錄結構、基本命令、編輯器VI ,編譯器GCC，調試器GDB和 Make 項目管理工具, Shell Makefile腳本編寫等知識，嵌入式開發環境

2015-11-25 17:23:50

嵌入式Linux網絡驅動程序的實現原理是什么？

嵌入式Linux網絡驅動程序的結構是如何構成的？嵌入式Linux網絡驅動程序的實現原理是什么？如何將設備驅動模塊編譯進內核里？

2021-06-04 06:25:40

嵌入式linux+ARM項目實踐班

課程描述　　2010年3月20日，廣嵌教育震撼推出嵌入式Linux項目實戰就業班，全脫產封閉式教學管理，蟄伏兩個月，全程12大項目實戰訓練，助您成就人生職業生涯夢想！　　嵌入式Linux項目實戰班

2010-01-21 13:09:48

嵌入式linux、arm嵌入式操作系統的相關資料分享

嵌入式linux、arm嵌入式操作系統嵌入式系統應用領域嵌入式系統特點嵌入式實時系統嵌入式系統組成ARM相關知識arm尋址方式ARM 微處理器的工作狀態、工作模式ARM寄存器linux系統linux

2021-12-27 07:35:35

嵌入式linux學***匯總

://www.embedu.org/xuexi/books/3294.html?lcg-openedv　　2.《嵌入式Linux應用程序開發標準教程》　　內容簡介：　　隆重申明：本書為嵌入式與移動開發系列，國家

2020-06-08 08:31:35

嵌入式linux學習步驟

嵌入式Linux應用軟件開發流程熟悉嵌入式系統概念以及開發流程建立嵌入式系統開發環境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內核編譯并下載Linux應用程序4

2021-09-08 11:51:06

嵌入式linux學習步驟

和內核 嵌入式Linux應用軟件開發流程熟悉嵌入式系統概念以及開發流程建立嵌入式系統開發環境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內核編譯并下載Linux應用程序4

2017-10-25 10:12:39

嵌入式linux學習步驟

應用軟件開發流程熟悉嵌入式系統概念以及開發流程建立嵌入式系統開發環境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內核編譯并下載Linux應用程序4、嵌入式系統移植

2016-09-12 14:23:18

嵌入式linux系統與應用開發就業班

  課程描述參加嵌入式linux系統與應用開發就業班可以使學員快速掌握嵌入式系統開發的流程，系統移植的方法，編寫Bootloader等。學習本課程的學員能夠從事嵌入式系統相關的項目

2010-04-13 20:26:35

嵌入式學習-嵌入式名詞

嵌入式學習-嵌入式名詞簡單的理解和定義嵌入式系統、嵌入式Linux、嵌入式軟件工程師、嵌入式學習、嵌入式系統學習、嵌入式ARM、單片機我對嵌入式一些概念名詞簡單的理解通常我們都有這么一個模糊的概念

2016-07-01 14:51:06

嵌入式開發入門之旅

、文件系統制作與移植、圖形化Linux應用程序的開發入門這幾個角度，將學員帶入嵌入式開發這個技術新領域，讓學員領略嵌入式技術的魅力，使學員對嵌入式開發過程有一個大致的了解，了解嵌入式開發所需要的知識及學習方法

2009-07-10 15:59:01

嵌入式開發入門之旅

環境搭建、嵌入式Linux內核編譯、基于ARM硬件平臺的嵌入式Linux系統引導和固化、Boot Loader的編譯與移植、文件系統制作與移植、圖形化Linux應用程序的開發入門這幾個角度，將學員帶入

2009-07-09 16:57:31

嵌入式是不是把linux的內核代碼修改好了再燒入arm處理器中？

嵌入式是不是把linux的內核代碼修改好了燒入arm處理器中，再把編寫好的應用程序的代碼燒入arm處理器中？還是系統和應用程序一起做好，一起寫入到arm處理器中？

2022-05-31 09:33:56

嵌入式的經驗鞏固

階段的主要目的是掌握帶有操作系統的嵌入式系統的構建和燒寫過程，以及對嵌入式系統軟件的總體構成有個整體認識，為我們接下來學習嵌入式應用和驅動開發打下堅實的基礎。4、學習嵌入式Linux應用程序開發這一

2021-11-26 10:34:16

Holer外網訪問ARM嵌入式Linux系統的方法

公網訪問ARM嵌入式Linux系統實驗室里的ARM嵌入式Linux系統，只能在局域網內訪問，怎樣從公網也能訪問內網ARM嵌入式Linux系統？本文將介紹使用holer實現的具體步驟。1. 準備工作

2021-12-16 07:18:51

[分享資料]嵌入式Linux應用程序開發詳解

Linux的環境搭建，以及嵌入式Linux的I/O與文件系統的開發、進程控制開發、進程間通信開發、網絡應用開發、基于中斷的開發、設備驅動程序的開發以及嵌入式圖形界面的開發等，并且還安排了豐富的實驗內容與課后

2015-09-11 23:25:38

《從實踐中學習嵌入式Linux操作系統》高清PDF資源分享！

內容簡介：《從實踐中學嵌入式linux應用程序開發》結合大量實例，講解了嵌入式linux應用程序設計各個方面的基本方法及必要的核心概念。主要內容包括搭建嵌入式linux開發環境、嵌入式文件i/o編程

2019-11-01 16:23:06

【嵌入式】基于ARM的嵌入式Linux開發總結精選資料推薦

前言嵌入式知識點復習一嵌入式知識點復習二 --體系結構嵌入式知識點復習三 --ARM-LINUX嵌入式開發環境嵌入式知識點復習四 --arm-linux文件編程嵌入式知識點復習五

2021-07-16 07:13:12

【AWorks280試用申請】嵌入式Linux應用程序學習與開發

申請理由：已經學習過飛思卡爾的ARM-M0和M3系類芯片，熟悉飛思卡爾芯片的編程模式與風格，正在入門嵌入式Linux，希望有一塊開發板來進行實際的學習，在學習的過程中，也會對這塊開發板的各個功能模塊

2015-10-23 10:08:56

【下載】《ARM9 嵌入式系統設計與開發教程》

`編輯推薦　　本書以ARM920T微處理器為硬件平臺，結合Linux操作系統，詳細介紹了嵌入式應用系統的設計、調試方法，以及嵌入式驅動程序開發。全書內容豐富，語言通俗易懂，具有很強的可讀性。內容簡介

2017-12-25 17:33:32

什么是嵌入式Linux？

Linux到底是什么呢？ 嵌入式linux 是將日益流行的Linux操作系統進行裁剪修改，使之能在嵌入式計算機系統上運行的一種操作系統。簡單來說，是除了電腦之外可以運行程序的設備，將CPU嵌入一個設備，使

2023-10-11 13:47:49

從實踐中學嵌入式Linux應用程序開發

《從實踐中學嵌入式Linux應用程序開發》內容簡介：《從實踐中學嵌入式linux應用程序開發》結合大量實例，講解了嵌入式linux應用程序設計各個方面的基本方法及必要的核心概念。主要內容包括搭建

2021-11-04 06:36:26

從實踐中學嵌入式linux應用程序開發

本帖最后由 lee_st 于 2017-12-8 14:13 編輯《從實踐中學嵌入式linux應用程序開發》結合大量實例，講解了嵌入式linux應用程序設計各個方面的基本方法及必要的核心概念

2017-12-08 10:49:10

公網訪問ARM嵌入式Linux系統的方法

公網訪問ARM嵌入式Linux系統實驗室里的ARM嵌入式Linux系統，只能在局域網內訪問，怎樣從公網也能訪問ARM嵌入式Linux系統？本文將介紹具體的實現步驟。1. 準備工作1.1 安裝并啟動

2021-12-16 07:07:46

典型ARM嵌入式Linux設備啟動流程是怎樣的？

典型ARM嵌入式Linux設備啟動流程是怎樣的？

2021-12-23 06:25:00

初學者嵌入式linux系統的學習步驟

嵌入式Linux應用軟件開發流程熟悉嵌入式系統概念以及開發流程建立嵌入式系統開發環境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內核編譯并下載Linux應用程序5

2019-01-18 10:34:44

基于ARM怎么搭建嵌入式Linux系統？

。Linux操作系統作為一種源代碼開放、同時可支持多種處理器結構的多任務操作系統，具有內核小、易裁剪、可移植性好等優點，是目前嵌入式系統應用與開發的主流操作系統。本文主要研究在ARM9平臺上搭建嵌入式Linux系統的實現方法。

2020-04-17 06:56:08

基于QT的嵌入式linux圖形應用軟件設計

嵌入式linux開發環境搭建、嵌入式linux開發模型、linux內核移植和文件系統、嵌入式linux應用程序移植、嵌入式linux 多進程，多線程應用程序設計、嵌入式linux網絡編程，如果

2021-11-05 08:11:52

基于lrzsz嵌入式linux傳輸應用程序

嵌入式linux與pc串口傳輸文件基于lrzsz嵌入式linux傳輸應用程序通常用nfs、tftp等比較麻煩，一般小應用也就幾k用串口就行，這里給出一種串口傳輸文件的方式lrzszlzsz需要

2021-12-16 06:05:03

好東東！《嵌入式Linux應用程序開發標準教程》完整版PDF

本帖最后由華清遠見2014 于 2014-9-28 10:26 編輯《嵌入式Linux應用程序開發標準教程》圖書簡介：主要分為3個部分，包括linux基礎、搭建嵌入式linux環境和嵌入式

2014-09-28 10:24:05

如何利用linux來開發屬于自己的嵌入式項目

如何利用linux來開發屬于自己的嵌入式項目？有哪些流程？

2021-09-28 07:39:34

如何去實現嵌入式linux設備中應用運行日志呢

嵌入式linux設備中應用運行日志的實現最近在做一個項目時,需要記錄設備運行中情況,以方便對故障進行跟蹤定位,完善.所以決定采用記錄程序運行日志,經過在網上搜索,采用Log4cplus+BOA方案

2021-11-04 08:24:43

如何去實現一種嵌入式Linux應用程序開發呢

如何去實現一種嵌入式Linux應用程序開發呢？如何去實現在ARM開發板的嵌入式linux系統上運行的QT程序呢？

2021-12-27 06:53:01

如何學習ARM與嵌入式linux？

ARM與嵌入式linux入門建議

2021-03-15 07:51:19

如何對嵌入式應用程序進行調試

如何對嵌入式應用程序進行調試

2021-12-24 07:36:55

如何搭建嵌入式arm-linux開發環境

嵌入式arm-linux開發環境搭建開發環境模型：arm-linux開發板+Ubuntu物理/虛擬機+windows模型功能搭建參考開發環境模型：arm-linux開發板+Ubuntu物理/虛擬機

2021-12-27 07:13:28

如何設計嵌入式ARM Linux步進電機驅動程序？

，是未來經濟型激光雕刻機發展的趨勢。而嵌入式ARM(Advanced RISC Machines)Linux步進電機驅動是實現激光雕刻的核心。如何設計嵌入式ARM Linux步進電機驅動程序？我們具體該怎么做呢？

2019-08-13 07:31:19

成為嵌入式Linux工程師需要懂什么？

的linux開發課程，最重要的是很多的階段性的大項目來自企業的真實開發案例，這樣才能真正掌握企業需要的嵌入式系統開發知識。為回饋新老客戶，我司舉辦免費學習月的活動，活動時間每周六、周日可選擇的課程有：嵌入式C語言程序設計電子電路硬件設計PCB線路板設計單片機開發linux驅動開發想學技術的朋友可加微信***

2018-10-16 15:32:45

蔡琰老師手把手教學，ARM-LINUX嵌入式項目實戰資料

`看完蔡琰老師的直播—— 資深單片機研發工程師教學：玩轉Modbus通訊就這么簡單！相信不少朋友想要挑戰一下實戰項目，現特此分享老師的ARM-LINUX嵌入式項目實戰資料，有需要的朋友可以回帖獲取

2021-07-21 11:12:22

請問如何成為嵌入式高手？

編程并且深刻體會整個嵌入式Linux項目開發流程，強化學員對Linux應用開發的能力。1、Linux系統中的進程的概念，在應用程序中線程與父子進程的創建與應用2、線程之間、進程之間的通信3、進程間通信

2020-08-30 11:28:25

轉：嵌入式Linux應用程序開發詳解

。接著系統地講解了嵌入式linux的環境搭建，以及嵌入式linux的i／o與文件系統的開發、進程控制開發、進程間通信開發、網絡應用開發、基于中斷的開發、設備驅動程序的開發以及嵌入式圖形界面的開發等，并且還

2016-06-12 11:11:45

韋東山嵌入式Linux應用開發完全手冊.pdf電子版

`【整理】韋東山視頻教程集合整理出來，一起學習ARM裸機開發實戰嵌入式Linux驅動篇——深度開發之現場從零編寫工作中的驅動嵌入式Linux項目篇：數碼相框&視頻監控&amp

2017-09-18 17:08:56

嵌入式Linux NFS方式下應用程序的實現

嵌入式Linux NFS方式下應用程序的實現:本文在以ARM9 內核芯片，處理器為S3C2410 構造的開發板系統上，詳細討論了如何配置嵌入式Linux NFS 開發環境，并通過一個具體實例來介紹應用

2009-08-02 14:48:54

ARM的嵌入式Linux應用程序開發設計

嵌入式系統已經滲透到人們工作、生活中的各個領域，嵌入式處理器已占分散處理器市場份額的94％。而嵌入式Linux系統也蓬勃發展，不僅繼承了Linux

2008-12-12 17:17:15

993

已全部加載完成

搜索歷史

嵌入式ARM Linux應用程序項目問題定位

評論