Linux运维常见故障排查和处理的技巧汇总

第一：常见问题解决集锦

    1.shell脚本不执行
    问题：某天研发同事找我说帮他看看他写的shell脚本，死活不执行，报错。我看了下，脚本很简单，也没有常规性的错误，报“:badinterpreter:Nosuchfileordirectory”错。
    看这错，我就问他是不是在windows下编写的脚本，然后在上传到linux服务器的……果然。
    原因：在DOS/windows里，文本文件的换行符为rn，而在*nix系统里则为n，所以DOS/Windows里编辑过的文本文件到了*nix里，每一行都多了个^M。
    解决：
    1）重新在linux下编写脚本；
    2）vi:%s/r//g:%s/^M//g（^M输入用Ctrl+v,Ctrl+m）
    附：sh-x脚本文件名，可以单步执行并回显结果，有助于排查复杂脚本问题。

    2.crontab输出结果控制

    问题：
    /var/spool/clientmqueue目录占用空间超过100G
    原因：
    cron中执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了/var/spool/clientmqueue目录下的那些文件，日积月累可能撑破磁盘。
    解决：
    1）直接手动删除：ls|xargsrm-f；
    2）彻底解决：在cron的自动执行语句后加上>/dev/null2>&1

    3.telnet很慢/ssh很慢
    问题：
    某天研发 同事说10.50访问10.52memcached服务异常，让我们检查下看网络/服务/系统是否有异常。检查发现系统正常，服务正常，10.50ping10.52也正常，但10.50telnet10.52很慢。同时发现该机器的namesever是不起作用的。
    原因：
    becauseyourPCdoesn’tdoareverseDNSlookuponyourIPthen…whenyoutelnet/ftpintoyourlinuxbox,it’lldoadnslookuponyou。
    解决：
    1)修改/etc/hosts使hostname和ip对应；
    2）在/etc/resolv.conf注释掉nameserver或者找一个“活的”nameserver。

    4.Read-onlyfilesystem
    问题：
    同事在mysql里建表建不成功，提示如下：
    mysql>createtablewosontest(colddname1char(1));
    ERROR1005(HY000):Can’tcreatetable‘wosontest’(errno:30）
    经检查mysql用户权限以及相关目录权限没问题；用perror30提示信息为：OSerrorcode30:Read-onlyfilesystem
    可能原因：
    1）文件系统损坏；
    2）磁盘又坏道；
    3）fstab文件配置错误，如分区格式错误错误(将ntfs写成了fat)、配置指令拼写错误等。
    解决：
    1）由于是测试机，重启机器后恢复；
    2）网上说用mount可解决。

    5.文件删了磁盘空间没释放
    问题：
    某天发现某台机器df-h已用磁盘空间为90G，而du-sh/*显示所有使用空间加起来才30G，囧。
    原因：
    可能某人直接用rm删除某个正在写的文件，导致文件删了但磁盘空间没释放的问题
    解决：
    1）最简单重启系统或者重启相关服务。
    2）干掉进程
    /usr/sbin/lsof|grepdeleted
    ora25575data33uREG65,654294983680/oradata/DATAPRE/UNDOTBS009.dbf(deleted)
    从lsof的输出中，我们可以发现pid为25575的进程持有着以文件描述号（fd）为33打开的文件/oradata/DATAPRE/UNDOTBS009.dbf。在我们找到了这个文件之后可以通过结束进程的方式来释放被占用的空间：echo>/proc/25575/fd/33
    3）删除正在写的文件一般用cat/dev/null>file