竞拍网站建设,seo优化一般优化哪些方面,vue做社区网站,wordpress菜单加登陆前言在业务开发过程中#xff0c;经常会在后台写一些shell脚本处理数据#xff0c;但估计很多人不知道shell脚本也可以支持多线程#xff0c;而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。需求为了更好的说明问题#xff0c;我们结合例子讲解…前言在业务开发过程中经常会在后台写一些shell脚本处理数据但估计很多人不知道shell脚本也可以支持多线程而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。需求为了更好的说明问题我们结合例子讲解假设需求就是扫描url.txt文件然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL如http://www.baidu.comhttp://www.google.comhttps://www.jb51.net单进程实现那么shell脚本scanUrl.sh可以这样写#!/bin/bash#判断是否有参数if [ $# ! 1 ] ;thenecho The parameters you enter is not correct !;exit -1;fi#循环读出URL并判断状态码while read linedo{isokcurl -I -o /dev/null -s -w %{http_code} $lineif [ $isok 200 ]; thenecho $line OKelseecho $line nofi}done $1echo 执行结束那么可以执行下面的命令扫描/bin/sh scanUrl.sh url.txt但这样脚本执行非常慢一万个URL几个小时都扫描不完。多进程实现改成多进程实现非常简单只需要在do后面的大括号加 符号在done后面加一个wait,表示父进程等待子进程退出后再退出#!/bin/bash#判断是否有参数if [ $# ! 1 ] ;thenecho The parameters you enter is not correct !;exit -1;fi#循环读出URL并判断状态码while read linedo{isokcurl -I -o /dev/null -s -w %{http_code} $lineif [ $isok 200 ]; thenecho $line OKelseecho $line nofi}}done $1waitecho 执行结束这样就能多进程并发执行了但有个问题是进程会一下子非常多几百上千超过系统限制报错下面我们就加上进程数控制。多进程实现并控制进程数#!/bin/bash#允许的进程数THREAD_NUM200#定义描述符为9的管道mkfifo tmpexec 9tmp#预先写入指定数量的换行符一个换行符代表一个进程for ((i0;idoecho -ne \n 19doneif [ $# ! 1 ] ;thenecho The parameters you enter is not correct !;exit -1;fiwhile read linedo{#进程控制read -u 9{#isokcurl -I -o /dev/null -s -w %{http_code} $lineif [ $isok 200 ]; thenecho $line OKelseecho $line nofiecho -ne \n 19}}done $1waitecho 执行结束rm tmp上面的代码就可以保证子进程在指定数量了其进程控制原理是通过管道实现的当管道无内容可读时就不会执行{#isokcurl -I -o /dev/null -s -w %{http_code} $lineif [ $isok 200 ]; thenecho $line OKelseecho $line nofi#写入一个换行符echo -ne \n 19}而且每个进程执行完成后都会向管道写入一个换行符从而保证进程数是指定的。这样就能达到我们的目的了。
