Python按行分割大文件txt/res等

有勇气的牛排 1277 Python 2023-05-18 21:03:37

知止自律打卡-微信小程序APP

一款微信自律打卡小程序，支持自定义打卡项目、习惯记录、项目日记、专注计时与数据统计。自律打卡、学习打卡、读书打卡、健身打卡、运动打卡、减肥打卡、戒色打卡、养生打卡、戒烟、戒酒、戒熬夜等多种场景。万能打卡模板自由创建。可自定义每日打卡目标，记录习惯连续天数，可视化追踪成长进度。

了解产品详情 →

微信搜索「知止自律打卡」

在用单脚本处理大文件时，可能会遇到各种问题，故需要将文件切分为小文件来操作

# 每 50 0000 行拆成一个文件
wdata = []
count = 0
with open('E:/xxx/xxx/xxx.txt', 'r', encoding='utf8') as f:
    d = f.readline()
    while d:
        if count%500000==0:
            print(count)
            with open("file_" + str(count) + ".res", 'w+',encoding='utf-8') as f_target:
                for mydata in wdata:
                    f_target.write(mydata)
                wdata = []
        count+=1
        wdata.append(d)
        d = f.readline()

参考地址：
https://blog.csdn.net/GrandpaTong/article/details/108346941

Python按行分割大文件txt/res等

评论区