如何高效安全地从一个大文件中截取部分信息

Question

下午的时候有个同学问：他们服务器有一个5G的日志文件，如何从中截取出10.5-11.18的日志另一个文件日志文件有规范的时期格式，类似于web服务器日志。相关问题：对于catgrep这类linux命令，如果操作一个大文件会不会占用很大的内存？

Answer 1

无论怎么样你都必须使用某一个程序把这个文件读出来，并且用一定的规则来加以过滤。在Linux中，使用cat和grep对文件进行操作已经可以说是最经济合理的了。占用一定的系统资源是肯定的，具体的话跟你使用的cat，grep以及linux内核都有一定关系，所以可能会略有不同。一般不要在系统里出现那么大的日志文件，最好在一开始就做好日志的大小限制以及合理的日志转储和备份。