排名网站建设,云南建设厅网站删除,东莞 营销网站,网页设计素材网站推荐linux系统层面调优和常见的面试题mp.weixin.qq.com无论对Spark集群#xff0c;还是Hadoop集群等大数据相关的集群进行调优#xff0c;对linux系统层面的调优都是必不可少的#xff0c;这里主要介绍3种常用的调优#xff1a;1.linux文件句柄linux在整个系统层面和单个进程…linux系统层面调优和常见的面试题mp.weixin.qq.com无论对Spark集群还是Hadoop集群等大数据相关的集群进行调优对linux系统层面的调优都是必不可少的这里主要介绍3种常用的调优1.linux文件句柄linux在整个系统层面和单个进程两个层面对打开的文件句柄进行限制。配置文件/proc/sys/fs/file-max是对整个系统层面对打开的文件句柄最大数进行控制单个用户或进程能够打开的文件句柄数受此限制。通过ulimit -a查看当前用户或进程能够打开的最大文件数上述只是默认值在实际生产环境肯定是不够用的如果配置过小有时会报类似cant open so many files的错误。通过ulimit -n可以对该值进行临时修改。如果想永久生效需要修改配置文件/etc/security/limits.conf如soft nofile 10000、hard nofile 10000追加到配置文件中。2.单个用户最大进程数上图中max user processes就是单个用户最大进程数的限制通过ulimit -u可以临时修改。永久修改需要追加如soft nproc 10000、hard nproc 10000到/etc/security/limits.conf文件中3.swap分区又被称为交换分区占用的是磁盘空间。操作系统可以将一部分数据存于swap分区中从而为当前运行的程序腾出足够的内存空间。但因为数据存于磁盘性能会相对内存低尤其是读写频繁的情绪IO消耗会更大。合理设置swap分区大小比如设置为0优先使用物理内存。设置方式echo vm.swappiness0 /etc/sysctl.conf。针对不同系统、用户需要修改的文件可能有所不同比如对于普通用户最大打开进程限制配置文件/etc/security/limits.d/20-nproc.conf。除了上述常见的3种调优还有控制每个端口监听队列的最大长度等调优方式这里不再赘述。关于软限制和硬限制的补充上文中soft是软限制hard是硬限制。软限制soft limit内核实际执行的限制任何进程都可以将软限制设置为小于或等于对进程限制的硬限制的值、最大线程数和文件数。硬限制hard limit可以在任何时候任何进程中设置但硬限制需要由超级用户修改。linux常见面试题1.linux系统中获取pid为100的进程所监听的tcp端口号netstat -npta | grep 1002.查找/home目录下大小为10k的文件find /home -size 10K3.在当前目录中的Main.java中关键字keywords出现位置并将结果追加到main.txt中find . -name Main.java | xargs grep -n keywords main.txt【xargs将前一个命令的输出作为后一个命令的参数】4.压缩文件夹testDir为testDir.tar.gztar -zcvf testDir.tar.gz testDir/5.解压缩文件testDir.tar.gz到路径/home/user中tar -zxvf testDir.tar.gz -C /home/user6.查看磁盘使用情况df -h7.查看内存使用情况free -mt8.改变当前路径下testDir及其下面所有文件和目录的所有者为tom组为group-tchown -R tom:group-t ./testDir9.赋予testDir权限为rwxr-xr-xchmod 755 testDir10.查看文件app.log从第3000行开始显示1000行即显示3000-3999行cat app.log | tail -n 3000 | head -n 100011.查看文件app.log显示1000行到3000行cat app.log | head -n 3000 | tail -n 100012.统计当前文件夹下的app目录下js文件数量ll ./app | grep ^- | grep js | wc -l^-正则表达式匹配文件阅读原文
