求大佬帮帮忙，看一下这个关于python文本文件数据处理的问题？

Question

请问：怎么把a.txt中相同的set或者setenv合并起来（相同值忽略），若path1中含有mnt的换成${mntpath}且生成一行独立的行，结果输出到b.txta.txt：set value1 /usrset value1 /sysset value1 /sysset value2 /asdset value2 /xyzset value2 /xyzsetenv path1 /usr/lib:/usr/abcsetenv path1 /usr/asdsetenv path2 /usrsetenv path2 $path2:/abcsetenv path2 $path2:/aaasetenv path1 $path1:/mnt/abc:/mnt/xyzsetenv path1 $path1:/mnt/ccc:/mnt/dddb.txt：set value1 "/usr:/sys"set value2 "/asd:/xyz"setenv path1 "/usr/lib:/usr/abc:/usr/asd"setenv path2 "/usr:/abc:/aaa"setenv path1 "${path1}:/${mntpath}/abc:/${mntpath}/xyz:/${mntpath}/ccc:/${mntpath}/ddd"由于不知道怎么以code形式或以附件形式发布，所以只能这么贴了。

Answer 1

#!/usr/bin/env python3# -*- coding: utf-8 -*- def zhidao_560604345(infile, outfile):    reader = open(infile, 'r')    set_dict = {}    setenv_dict = {}    while True:        line = reader.readline()        if len(line) == 0:            break        a, b, c = line.strip().split(maxsplit=2)        if a == 'set':            if not b in set_dict:                set_dict[b] = set()            set_dict[b].add(c.strip())        elif a == 'setenv':            if not b in setenv_dict:                setenv_dict[b] = set()            setenv_dict[b].update(c.strip().split(':'))    reader.close()    buff = []    for k, v in set_dict.items():        buff.append('set %s "%s"' % (k, ':'.join(list(v))))    for k, v in setenv_dict.items():        tmp = []        for item in list(v):            if item == '$' + k:                pass            elif item.startswith('/mnt/'):                tmp.append('{mntpath}/' + item[5:])            else:                tmp.append(item)        tmp.sort()        buff.append('setenv %s "%s"' % (k, ':'.join(tmp)))    writer = open(outfile, 'w')    writer.write('\n'.join(buff))    writer.close() if __name__ == '__main__':    zhidao_560604345('zhidao_560604345.input', 'zhidao_560604345.output')

运行结果：

set value2 "/asd:/xyz"set value1 "/usr:/sys"setenv path2 "/aaa:/abc:/usr"setenv path1 "/usr/abc:/usr/asd:/usr/lib:{mntpath}/abc:{mntpath}/ccc:{mntpath}/ddd:{mntpath}/xyz"

 

Answer 2

1. 分隔日志文件存为小文件
   

2. #coding:utf-8 

3. #file: FileSplit.py

4. 
   

5. import os,os.path,time

6. 
   

7. def FileSplit(sourceFile, targetFolder):

8. sFile = open(sourceFile, 'r')

9. number = 100000 #每个小文件中保存100000条数据

10. dataLine = sFile.readline()

11. tempData = [] #缓存列表

12. fileNum = 1

13. if not os.path.isdir(targetFolder):  #如果目标目录不存在，则创建

14. os.mkdir(targetFolder)

15. while dataLine: #有数据

16. for row in range(number): 

17. tempData.append(dataLine) #将一行数据添加到列表中

18. dataLine = sFile.readline()

19. if not dataLine :

20. break

21. tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")

22. tFile = open(tFilename, 'a+') #创建小文件

23. tFile.writelines(tempData) #将列表保存到文件中

24. tFile.close()  

25. tempData = [] #清空缓存列表

26. print(tFilename + " 创建于: " + str(time.ctime()))

27. fileNum += 1 #文件编号

28. 
    

29. sFile.close()

30. 
    

31. if __name__ == "__main__" :

32. FileSplit("access.log","access")

分类汇总小文件：

#coding:utf-8 

#file: Map.py

import os,os.path,re

def Map(sourceFile, targetFolder):

sFile = open(sourceFile, 'r')

dataLine = sFile.readline()

tempData = {} #缓存列表

if not os.path.isdir(targetFolder):  #如果目标目录不存在，则创建

os.mkdir(targetFolder)

while dataLine: #有数据

p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据

match = p_re.findall(dataLine)

if match:

visitUrl = match[0][1]

if visitUrl in tempData:

tempData[visitUrl] += 1

else:

tempData[visitUrl] = 1

dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")

tFile = open(tFilename, 'a+') #创建小文件

tFile.writelines(tList) #将列表保存到文件中

tFile.close()

if __name__ == "__main__" :

Map("access\\access.log1.txt","access")

Map("access\\access.log2.txt","access")

Map("access\\access.log3.txt","access")

3. 再次将多个文件分类汇总为一个文件。

#coding:utf-8 

#file: Reduce.py

import os,os.path,re

def Reduce(sourceFolder, targetFile):

tempData = {} #缓存列表

p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正则表达式解析数据

for root,dirs,files in os.walk(sourceFolder):

for fil in files:

if fil.endswith('_map.txt'): #是reduce文件

sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')

dataLine = sFile.readline()

while dataLine: #有数据

subdata = p_re.findall(dataLine) #用空格分割数据

#print(subdata[0][0],"  ",subdata[0][1])

if subdata[0][0] in tempData:

tempData[subdata[0][0]] += int(subdata[0][1])

else:

tempData[subdata[0][0]] = int(subdata[0][1])

dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(sourceFolder,targetFile + "_reduce.txt")

tFile = open(tFilename, 'a+') #创建小文件

tFile.writelines(tList) #将列表保存到文件中

tFile.close()

if __name__ == "__main__" :

Reduce("access","access")