三维免费网站,扫描网站特征dede,手机如何制作网页链接,网站建设项目的生命周期1、GMP模型的设计思想
1#xff09;、GMP模型
GMP分别代表#xff1a;
G#xff1a;goroutine#xff0c;Go协程#xff0c;是参与调度与执行的最小单位M#xff1a;machine#xff0c;系统级线程P#xff1a;processor#xff0c;包含了运行goroutine的资源#…1、GMP模型的设计思想
1、GMP模型
GMP分别代表
GgoroutineGo协程是参与调度与执行的最小单位Mmachine系统级线程Pprocessor包含了运行goroutine的资源如果线程想运行goroutine必须先获取PP中还包含了可运行的G队列
在Go中线程是运行goroutine的实体调度器的功能是把可运行的goroutine分配到工作线程上 全局队列Global Queue存放等待运行的G。全局队列可能被任意的P去获取里面的G所以全局队列相当于整个模型中的全局资源那么自然对于队列的读写操作是要加入互斥动作的P的本地队列同全局队列类似存放的也是等待运行的G存的数量有限不超过256个。新建G’时G’优先加入到P的本地队列如果队列满了则会把本地队列中一半的G移动到全局队列P列表所有的P都在程序启动时创建并保存在数组中最多有GOMAXPROCS可配置个M线程想运行任务就要获取P从P的本地队列获取G当P队列为空时M也会尝试从全局队列拿一批G放到P的本地队列或从其他P的本地队列偷一半放到自己P的本地队列。M运行GG执行之后M会从P获取下一个G不断重复下去
goroutine调度器和OS调度器是通过M结合起来的每个M都代表了一个内核线程OS调度器负责把内核线程分配到CPU的核上执行
有关P和M的个数问题
1P的数量由启动时环境变量 G O M A X P R O C S 或者是由 r u n t i m e 的方法 G O M A X P R O C S ( ) 决定。这意味着在程序执行的任意时刻都只有 GOMAXPROCS或者是由runtime的方法GOMAXPROCS()决定。这意味着在程序执行的任意时刻都只有 GOMAXPROCS或者是由runtime的方法GOMAXPROCS()决定。这意味着在程序执行的任意时刻都只有GOMAXPROCS个goroutine在同时运行
2M的数量由Go语言本身的限制决定Go程序启动时会设置M的额最大数量默认10000个但是内核很难支持这么多的线程数所以这个限制可以忽略。runtime/debug中的SetMaxThreads()函数可设置M的最大数量当一个M阻塞了时会创建新的M
M与P的数量没有绝对关系一个M阻塞P就会去创建或者切换另一个M所以即使P的默认数量是1也有可能会创建很多个M出来
P和M何时会被创建
1P创建的时机在确定了P的最大数量n后运行时系统会根据这个数量创建n个P
2M创建的时机是在当没有足够的M来关联P并运行其中可运行的G的时候。比如所有的M此时都阻塞住了而P中还有很多就绪任务就会去寻找空闲的M如果此时没有空闲的M就会去创建新的M
2、调度器的设计策略
策略一复用线程
避免频繁的创建、销毁线程而是复用线程
1偷取work stealing机制
当本线程无可运行的G时尝试从其他线程绑定的P偷取G而不是销毁线程
2移交hand off机制
当本线程因为G进行系统调用阻塞时线程释放绑定的P把P转移给其他空闲的线程执行
策略二利用并行
GOMAXPROCS设置P的数量最多有GOMAXPROCS个线程分布在多个CPU上同时运行。GOMAXPROCS也限制了并发的程度比如GOMAXPROCS核数/2则最多利用了一半的CPU核进行并行
策略三抢占
在coroutine中要等待一个协程主动让出CPU才执行下一个协程在Go中一个goroutine最多占用CPU 10ms防止其他goroutine被饿死这就是goroutine不同于coroutine的一个地方
策略四全局G队列
当P的本地队列为空时优先从全局G队列获取如果全局队列为空时则通过work stealing机制从其他P的本地队列偷取G
3、go func()调度流程 从上图可以分析出几个结论
通过go func()来创建一个goroutine有两个存储G的队列一个是局部调度器P的本地队列、一个是全局G队列。新创建的G会先保存在P的本地队列中如果P的本地队列已经满了就会保存在全局的队列中G只能运行在M中一个M必须持有一个PM与P是1:1的关系。M会从P的本地队列弹出一个可执行状态的G来执行如果P的本地队列为空就会从其他的MP组合偷取一个可执行的G来执行一个M调度G执行的过程是一个循环机制当M执行某一个G时候如果发生了syscall或其余阻塞操作M会阻塞如果当前有一些G在执行runtime会把这个线程M从P中摘除然后再创建一个新的操作系统线程如果有空闲的线程可用就复用空闲线程来服务这个P当M系统调用结束的时候这个G会尝试获取一个空闲的P执行并放入到这个P的本地队列。如果获取不到P那么这个线程M变成休眠状态加入到空闲线程中然后这个G会被放入全局队列中
4、调度器的生命周期 M0M0是启动程序后的编号为0的主线程这个M对应的实例会在全局变量runtime.m0中不需要在heap上分配M0负责执行初始化操作和启动第一个G在之后M0就和其他的M一样了
G0G0是每次启动一个M都会第一个创建的gourtineG0仅用于负责调度的GG0不指向任何可执行的函数每个M都会有一个自己的G0。在调度或系统调用时会使用G0的栈空间全局变量的G0是M0的G0
package mainimport fmtfunc main() {fmt.Println(Hello world)
}针对上面的代码对调度器里面的结构做一个分析
runtime创建最初的M0和gourtine G0并把两者关联调度器初始化初始化M0、栈、垃圾回收以及创建和初始化由GOMAXPROCS个P构成的P列表示例代码中main函数是main.mainruntime中也有一个main函数runtime.main代码经过编译后runtime.main会调用main.main程序启动时会为runtime.main创建gourtine称它为main gourtine吧然后把main gourtine加入到P的本地队列启动M0M0已经绑定了P会从P的本地队列获取G获取到main gourtineG拥有栈M根据G中的栈信息和调度信息设置运行环境M运行GG退出再次回到M获取可运行的G这样重复下去直到main.main退出runtime.main执行Defer和Panic处理或调用runtime.exit退出程序
调度器的生命周期几乎占满了一个Go程序的一生runtime.main的gourtine执行之前都是为调度器做准备工作runtime.main的gourtine运行才是调度器的真正开始直到runtime.main结束而结束
2、Go调度器调度场景过程全解析
1、场景1
P拥有G1M1获取P后开始运行G1G1使用go func()创建了G2为了局部性G2优先加入到P1的本地队列 2、场景2
G1运行完成后函数goexitM上运行的gourtine切换为G0G0负责调度时协程的切换函数schedule。从P的本地队列取G2从G0切换到G2并开始运行G2函数execute。实现了线程M1的复用 3、场景3
假设每个P的本地队列只能存3个G。G2要创建6个G前3个GG3、G4、G5已经加入P1的本地队列P1本地队列满了 4、场景4
G2在创建G7的时候发现P1的本地队列已满把P1中本地队列中前一半的G还有新创建G转移到全局队列实现中并不一定是新的G如果G是G2之后就执行的会被保存在本地队列利用某个老的G替换新G加入全局队列 这些G被转移到全局队列时会被打乱顺序。所以G3、G4、G7被转移到全局队列
5、场景5
G2创建G8时P1的本地队列未满所以G8会被加入到P1的本地队列 G8加入到P1的本地队列的原因还是因为P1此时在与M1绑定而G2此时是M1在执行。所以G2创建的新的G会优先放置到自己的M绑定的P上
6、场景6
规定在创建G时运行的G会尝试唤醒其他空闲的P和M组合去执行 假定G2唤醒了M2M2绑定了P2并运行G0但P2本地队列没有GM2此时为自选线程没有G但为运行状态的线程不断寻找G
7、场景7
M2尝试从全局队列取一批G放到P2的本地队列函数findrunnable()。M2从全局队列取的G数量符合公式n min(len(GQ) / GOMAXPROCS 1, cap(LQ) / 2 )
相关源码参考
// 从全局队列中偷取,调用时必须锁住调度器
func globrunqget(_p_ *p, max int32) *g {// 如果全局队列中没有g直接返回if sched.runqsize 0 {return nil}// per-P的部分,如果只有一个P的全部取n : sched.runqsize/gomaxprocs 1if n sched.runqsize {n sched.runqsize}// 不能超过取的最大个数if max 0 n max {n max}// 计算能不能在本地队列中放下n个if n int32(len(_p_.runq))/2 {n int32(len(_p_.runq)) / 2}// 修改本地队列的剩余空间sched.runqsize - n// 拿到全局队列队头ggp : sched.runq.pop()// 计数n--// 继续取剩下的n-1个全局队列放入本地队列for ; n 0; n-- {gp1 : sched.runq.pop()runqput(_p_, gp1, false)}return gp
}至少从全局队列取一个G但每次不要从全局队列移动太多的G到P的本地队列给其他P留一点 假定场景中一共有4个PGOMAXPROCS设置为4那么允许最多就能用4个P来供M使用。所以M2只能从全局队列取1个G即G3放到P2本地队列然后完成从G0到G3的切换运行G3
8、场景8
假设G2一直在M1上运行经过2轮后M2已经把G7、G4从全局队列获取到了P2的本地队列并完成运行全局队列和P2的本地队列都空了如场景8图的左半部分 全局队列已经没有G那M就要执行work stealing偷取从其他有G的P那里偷取一半G过来放到自己的P本地队列。P2从P1的本地队列尾部取一半的G本例中一半则只有一个G8放到P2的本地队列并执行
9、场景9
G1本地队列G5、G6已经被其他M偷走并运行完成当前M1和M2分别运行G2和G8M3和M4没有gourtine可以运行M3和M4处于自旋状态它们不断寻找gourtine 为什么要让M3和M4自旋自旋本质是在运行线程在运行却没有执行G就变成了浪费CPU。为什么不销毁现场来解决CPU资源。因为创建和销毁CPU也会浪费时间希望当有新gourtine创建时立刻能有M运行它如果销毁再新建就增加了时延降低了效率。当然也考虑了过多的自旋线程是浪费CPU所以系统中最多有GOMAXPROCS个自旋的线程当前例子中的GOMAXPROCS4所以一共4个P多余的没事做线程会让它们休眠
10、场景10
假定当前除了M3和M4为自旋线程还有M5和M6为空闲线程没有得到P的绑定注意这里最多就只能存在4个P所以P的数量应该永远是MP大部分都是M在抢占需要运行的PG8创建了G9G8进行了阻塞的系统调用M2和P2立即解绑P2会执行以下判断如果P2本地队列有G、全局队列有G或有空闲的MP2都会立马唤醒1个M和它绑定否则P2则会加入到空闲P队列等待M来获取可用的P。本场景中P2本地队列有G9可以和其他空闲的线程M5绑定 11、场景11
G8创建了G9假如G8进行了非阻塞系统调用 M2和P2会解绑但M2会记住P2然后G8和M2进入系统调用状态。当G8和M2退出系统调用时会尝试获取P2如果无法获取则获取空闲的P如果依然没有G8会被记为可运行状态并加入到全局队列M2因为没有P的绑定而变成休眠状态长时间休眠等待GC回收销毁
参考
Golang的协程调度器原理及GMP设计思想
