【pyhon】txt文件按行去重

151 阅读 0 评论 100 点赞

我是靠谱客的博主含蓄篮球，这篇文章主要介绍【pyhon】txt文件按行去重，现在分享给大家，希望可以做个参考。

import os, os.path, sys
import numpy as np
#读取文件，去重
def uni(filename):
    #默认txt文件
    file = open(add+filename+'.txt')
    f = file.readlines()
    for i in range(len(f)):
        f[i] = f[i].strip('n')
    f = np.unique(f)
    #写出 
    fileout = open(add+filename + 'out.txt',mode = 'w+')
    for i in range(len(f)):
        fileout.write(f[i]+'n')
    file.close()
    fileout.close()
#add为地址，[]列表里为待处理的文件名
for i in ['KCNE1','KCNE2','KCNH2','KCNQ1','SCN5A']:
    add = 'G:/大四上/课设/数据/'
    uni(i)