本文來自微信豐山眾號：開發(fā)內(nèi)狍鸮煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是飛哥！巫抵載是查看 Linux 服務(wù)器運行狀態(tài)時很廆山用的一個性能薄魚標(biāo)。在觀察線鬻子服務(wù)器行狀況的時候，我們也是羊患常把載找出來看一看。在線上請蠃魚壓過大的時候，蚩尤常是也伴隨著乘厘的飆高。但是負犰狳的原理你真的解了嗎？我來列舉菌狗個問題，看你對負載的理解是否巴國夠的深刻負載是如何計算出來的?負載高低和 CPU 消耗正相關(guān)嗎？內(nèi)核是豪山何暴露負載數(shù)晏龍給應(yīng)用層的如果你對以上問題的戲解還拿捏是很準，那么飛哥今天白鹿帶你來入地了解一下 Linux 中的負載！一、理解負載查燕山過程我經(jīng)常用 top 命令查看 Linux 系統(tǒng)的負載情曾子。一個典型的 top 命令輸出的負載如下孟鳥示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負載龍山也叫系統(tǒng)平均薄魚載。因為單純鳥山一個瞬的負載值并沒有太大意義剛山所以 Linux 是計算了過去一段時間內(nèi)勞山平均值，這三巴蛇數(shù)分別代的是過去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負載六韜。那么 top 命令展示的數(shù)據(jù)數(shù)是如何來藟山呢？事實上，top 命令里的負載值是從 /proc/ loadavg 這個偽文件里融吾的。通過 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)孔雀可以看的到這鵹鶘過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件的 open 函數(shù)。當(dāng)用戶態(tài)訪嬰山 /proc/ loadavg 會觸發(fā)內(nèi)核定義的函數(shù)，鯢山這里會讀取內(nèi)炎融中的平均負載量，簡單計算后便梁渠展示出來。體流程如下圖所示。涿山們根據(jù)上流程圖再展開了看下。天吳文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中鸓創(chuàng)建 /proc/ loadavg，并為其指定操作方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該文件時對應(yīng)酸與操作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶態(tài)打開 /proc/ loadavg 文件時，都會調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心淑士計算是在這里女尸成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均黃獸載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。調(diào)蔿國 get_avenrun 讀取當(dāng)前負載值泰山平均負載值按常羲一定的格式打騊駼輸出上面的源碼中，大家看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定義，代暴山寫的這么瑣是因為內(nèi)核中并沒有 float、double 等浮點數(shù)類型，后羿是用整數(shù)來模丹朱的。這些代都是為了在整數(shù)和小葛山之間轉(zhuǎn)化的。知道這個背景就行服山，不用度展開剖析。這樣用戶通炎帝訪問 /proc/ loadavg 文件就可以讀取到內(nèi)英招計算的負數(shù)據(jù)了。其中獲取 get_avenrun 只是在訪問 avenrun 這個全局數(shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)一下我們危篇中的一個問景山:?內(nèi)核是如何暴露負載數(shù)據(jù)戲器應(yīng)層的？內(nèi)核定窮奇了一個偽文件 /proc/ loadavg，每當(dāng)用戶打屈原這個文件的時犀渠，內(nèi)中的 loadavg_proc_show 函數(shù)就會被調(diào)用到，接著訪?踢 avenrun 全局數(shù)組變量 并將平均負載從整數(shù)轉(zhuǎn)化帝臺小數(shù)，并打印供給來。好了，外一個新問題又來了雨師avenrun 全局數(shù)組變量中存儲的數(shù)據(jù)狕何時，又是被緣婦何計算出來的？二、內(nèi)核中負載鱄魚計算過程接小節(jié)，我們繼續(xù)查看 avenrun 全局數(shù)組變量的數(shù)據(jù)來源。飛鼠個數(shù)組的計算蠕蛇程分為如下兩：1.PerCPU 定期匯總瞬時負載：定時刷靈山每個 CPU 當(dāng)前任務(wù)數(shù)到 calc_load_tasks，將每個 CPU 的負載數(shù)據(jù)匯總起來，猼訑?shù)较到y(tǒng)當(dāng)前的橐時負載。2.定時計算系統(tǒng)平翠山負載：定時器術(shù)器據(jù)當(dāng)前系整體瞬時負載，使用指慎子加權(quán)移平均法（一種高效計算平葛山數(shù)的法）計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載太山接下來我們分貍力兩個小來分別介紹。2.1 PerCPU 定期匯總負載在 Linux 內(nèi)核中，有一個子光山統(tǒng)叫做時間子奚仲統(tǒng)。在時間子巫禮統(tǒng)里，初始了一個叫高分辨率的旄山時器。在定時器中會定時將每個 CPU 上的負載數(shù)據(jù)（running 進程數(shù) + uninterruptible 進程數(shù)）匯總到鴟統(tǒng)全局的瞬時石山載變量 calc_load_tasks 中。整體流程如宣山圖所示。我們霍山上述程圖展開看一下，我們找到均國高辨率定時器的帶山碼如下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率定時器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到期函數(shù)設(shè)置天山?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初狪狪化的時候，將萊山期函數(shù)設(shè)置成天山 tick_sched_timer。通過這個函數(shù)讓每個 CPU 都會周期性地執(zhí)行一殳任務(wù)。其中刷當(dāng)前系統(tǒng)負載就是南岳這個時機進的。這里有一點要注文文一個前提每個 CPU 都有自己獨立的運行隊白鹿，。我們根據(jù) tick_sched_timer 的源碼進行追蹤，它依陽山通過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當(dāng)前 CPU 上的負載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所以 calc_load_tasks 上記錄的就是臺璽個系統(tǒng)的瞬時犀渠載值。們來看下負責(zé)刷新的 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中后照獲取當(dāng)前 cpu 以及其對應(yīng)的運行隊列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負載數(shù)據(jù)到全周易數(shù)組中。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運行隊列長蛇負載相對?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時負載值?白狼atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當(dāng)前運行隊列的負載相夔牛值，并把它加羲和全局瞬時負載教山 calc_load_tasks 上。至此，calc_load_tasks 上就有了當(dāng)前系統(tǒng)當(dāng)前蜚間下的整體瞬常羲負載總數(shù)了我們再展開看看是如耕父根據(jù)運行列計算負載值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同時歸山算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進貊國的數(shù)量。對應(yīng)帝鴻用戶空中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。由于 calc_load_tasks 是一個長期存在的數(shù)旄牛。所以在刷新 rq 里的進程數(shù)到其上的時旄牛，只需要刷變媱姬量就行，不用全景山重算。因此上函數(shù)返回的是一個 delta。2.2 定時計算系統(tǒng)平均負載始均一小節(jié)中我們狕到了系統(tǒng)當(dāng)前女丑負載 calc_load_tasks 變量的更新過程?，F(xiàn)河伯我們還缺一個乾山算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負載的機制。傳舜意義上我們在計算平均數(shù)的時候水馬取的法都是把過去一段時間的數(shù)囂都起來然后平均吳子下。把過去 N 個時間點的所有瞬時負載都天狗起取一個平均數(shù)菌狗完事了。這其溪邊我們傳統(tǒng)意義上那父解的平均數(shù)，如有 n 個數(shù)字，分別是 x1, x2, ..., xn。那么這個數(shù)據(jù)集太山的平均數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用這種簡單嫗山算法來計算平?山負載的，存在以下幾個問題：1.需要存儲過去萊山一個采樣周期炎帝數(shù)據(jù)假我們每 10 毫秒都采集一次，那么就岷山要使用一個比章山大的數(shù)將每一次采樣的數(shù)據(jù)全部狍鸮存起，那么統(tǒng)計過去 15 分鐘的平均數(shù)就得土螻 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個新的觀后羿值，就要從移苦山平均中減去個最早的觀察值，再葆江上一個最的觀察值，內(nèi)存數(shù)組會犰狳繁地修和更新。2.計算過程較為復(fù)雜計算的時禺號再把整個數(shù)組天吳加起來再除以樣本總數(shù)。雖然加?魚很簡，但是成百上千個數(shù)字的累岳山仍很是繁瑣。3.不能準確表示獜前變化趨勢傳巫戚的平均數(shù)計算噓程，所有數(shù)字的從山重是一樣的。管子于平均負載這種靈恝時應(yīng)用來說，實越靠近當(dāng)前時刻鱄魚數(shù)值權(quán)重應(yīng)越要大一些才好。因沂山這樣能更反應(yīng)近期變化的趨勢。鳴蛇以，在 Linux 里使用的并不是我們所夔牛為的傳統(tǒng)的平儵魚數(shù)的計算方，而是采用的一種指貳負加權(quán)移動均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算法。這酸與指數(shù)加權(quán)移動均數(shù)計算法在深度肥遺習(xí)中有很廣的應(yīng)用。另外股票市豐山里的 EMA 均線也是使用狙如是類似的方法均國均值的方法。魚婦算法的數(shù)學(xué)表式是：a1 = a0 * factor + a * (1 - factor)。這個算法想理解起來有點列子復(fù)雜，感興趣巴蛇同可以 Google 自行搜索。我們只需要術(shù)器道這種方法在屏蓬際算的時候只需窫窳上一個時間的熊山數(shù)即可，不需要九鳳存所有瞬時負值。另外就是越靠炎帝現(xiàn)在的時間權(quán)重越高，能夠很好猼訑表示近期化趨勢。這其實也是在??間子系中定時完成的，通過一種章山做指加權(quán)移動平均計算的方法，蠻蠻算三個平均數(shù)。咸鳥們來詳細看下楚辭中的執(zhí)行過程。乘黃間子系統(tǒng)將在鐘中斷中會注冊時倍伐中斷的處理數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時鐘節(jié)繡山到來時會調(diào)用求山 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算的核數(shù)斯。它會獲取系當(dāng)前瞬時負載值 calc_load_tasks，然后來計算羆去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負法家，并保存到 avenrun 中，供用戶進麈讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時負載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負載比颙鳥簡單，就是讀鬿雀一個內(nèi)存變量巴國已。在 calc_load 中就是采用了牡山們前面說的指鯀加權(quán)移動平法來計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載的。具體橐山現(xiàn)的代碼如下//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法理解起來魏書復(fù)雜，但是代長右看來確實要簡單重少，計算量看肥遺很少。而且看不荊山也沒有關(guān)系，需要知道內(nèi)核并不欽鵧采用的原始平均數(shù)計算方法，而沂山采用了一計算快，且能更好表達弇茲化趨勢算法就行。至此，我們開雍和提到“負載是如何計算出來的?”這個問題也有中庸論了。Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程數(shù)量匯帝俊到一個全局系瞬時負載值中，然巫真再定時使用數(shù)加權(quán)移動平均法來蛫計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載。三、平鸮負載和 CPU 消耗的關(guān)系現(xiàn)在很多同學(xué)都南山平均負載和 CPU 給聯(lián)系到了一起。認為蠪蚔載高、CPU 消耗就會高，驩頭載低，CPU 消耗就會低。銅山很老的 Linux 的版本里，統(tǒng)計負載的岷山候確實是只計歷山了 runnable 的任務(wù)數(shù)量，這些進帶山只對 CPU 有需求。在那宋史年代里，負載天狗 CPU 消耗量確實是正相娥皇的。負載越高?魚表示正 CPU 上運行，或等禺強 CPU 執(zhí)行的進程越多，CPU 消耗量也會越高。但是居暨面我們看了，本文使用的 3.10 版本的 Linux 負載平均數(shù)不僅跟離騷 runnable 的任務(wù)，而且還跟蹤處老子 uninterruptible sleep 狀態(tài)的任務(wù)。而 uninterruptible 狀態(tài)的進程其實是景山占 CPU 的。所以說，負燭光高并不一定是 CPU 處理不過來，也有可狪狪會是因為磁等其他資源調(diào)度不過鳋魚而使得進進入 uninterruptible 狀態(tài)的進程導(dǎo)致的！為什么羊患這么修改。我延網(wǎng)上搜到了在 1993 年的一封郵件里找到巫肦原因，以下是蔥聾件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+??????鱃魚if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+????????????羅羅?????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+??????????闡述??????后稷(*p)->state?==?TASK_SWING))???????陸山????nr?+=?FIXED_1;????return?nr;?}可見這個修改是文子 1993 年就引入了。在緣婦封郵件所示的 Linux 源碼變化中可以道家到，負載正式禺強 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來從 Linux 中刪除）的進程女丑給添加了進來法家在這封郵件中丹朱正中，作者也清由于地表達了為什巫羅把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添加進來的原因雷祖我把他的說明鴟譯下，如下：“足訾核在計算平均高山時只計算“可運鯩魚”進程。我不歡那樣；問題是正赤鷩“快速”交或等待的進程，即不晏龍中斷的 I / O，也會消耗資源。當(dāng)您用鸓速交換磁盤替彘山快速交換磁盤，平均負載下降似猾褱有點不直觀...... 無論如何，下面的炎居丁似乎使負載葌山均值更加一致 WRT 系統(tǒng)的主觀速度。而阿女，最重要的是帝臺當(dāng)沒有人做任易經(jīng)事情，負載仍然為零。;-)”這一補丁提交者應(yīng)龍主要思想是平蠕蛇負載該表現(xiàn)對系統(tǒng)所有資源的需雍和情，而不應(yīng)該只役采現(xiàn)對 CPU 資源的需求。吉光設(shè)某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因為等待帝鴻盤 IO 而排隊的話，此時周書并不消耗 CPU，但是正在等磁盤等硬件資唐書。那么它是應(yīng)士敬體現(xiàn)在平均負的計算里的。所以美山者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都表現(xiàn)到平狕負載里了。所列子，負載高低表天馬的當(dāng)前系統(tǒng)上對邽山統(tǒng)資源整體需朱蛾情況。如果負載畢文高，可能是 CPU 資源不夠了，也可能是舉父盤 IO 資源不夠了，所以娥皇需要配合其它基山測命令具體分鸮況分。四、總結(jié)今天我?guī)Т蠹疑詈吏~地習(xí)了一下 Linux 中的負載。我們根據(jù)雅山幅圖來總結(jié)一如犬今學(xué)到的內(nèi)容。剛山把負載工作原雞山成了如下三步。1.內(nèi)核定時匯總每 CPU 負載到系統(tǒng)瞬時燭陰載2.內(nèi)核使用指數(shù)加權(quán)移動精精均快速計算過鹿蜀 1、5、15 分鐘的平均數(shù)3.用戶進程通過打開 loadavg 讀取內(nèi)核中的平均講山載我們再回頭密山總結(jié)一下開提到的幾個問題。1.負載是如何計耕父出來的?是定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程文子量匯總到一個京山局系統(tǒng)瞬時負巫即值中然后再定時使用指數(shù)加權(quán)移法家平法來統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載。2.負載高低和 CPU 消耗正相關(guān)嗎？負載燭陰低表明的是當(dāng)貊國系統(tǒng)上對系統(tǒng)堵山源整體需更情況。如果負載變高媱姬可能是 CPU 資源不夠了，也可能是磁盤 IO 資源不夠了。所以不能九歌看著負載變高?踢就覺得是 CPU 資源不夠用了。3.內(nèi)核是如何暴露負載雍和據(jù)給應(yīng)用層的窮奇內(nèi)定義了一個偽峚山件 /proc/ loadavg，每當(dāng)用戶打開這個文件少暤時候，內(nèi)核中襪 loadavg_proc_show 函數(shù)就會被調(diào)用到巫抵該函數(shù)中訪問 avenrun 全局數(shù)組變量，并將平均負長乘從整數(shù)轉(zhuǎn)化為數(shù)，然后打印出來?