觅风论坛

标题: PY哈希去重TXT文件源码分享 [打印本页]

作者: 传世魔王 时间: 2025-1-26 17:08
标题: PY哈希去重TXT文件源码分享
我让他写的是亿级数据的处理，我自己测试千万的数据。速度还挺快，当然还能更快，但我让他用不会丢失数据的写法写的。
下面的功能都是按我自己的需求写的，你们也可以自己改，注意一下这处理的是单行数据
第一个按钮，单文件去重。
第二个按钮，选择文件夹后，只处理单个文件的数据去重。
第三个按钮，选择文件夹后，所有文件夹内的文件对比去重，然后分割成100W每个文件保存在源文件目录下，因为超过100W我这打开很卡。
第四个按钮，选择文件夹后，所有文件夹内的文件对比去重，全部合并成一个文件夹。
当个小工具用还是挺不错的。

作者: qq2556906318 时间: 2025-1-27 20:21
看看看看看看看看看看看看

作者: zxcasd123c1 时间: 2025-1-28 23:33
支持！！！！！！

作者: q13129841235 时间: 2025-1-30 02:46
很给力。。。。很喜欢

作者: SDS 时间: 2025-1-31 05:59
非常不错，感谢分享！

作者: Hacker 时间: 2025-2-1 09:11
看帖子的要发表下看法

作者: zdf517593902 时间: 2025-2-1 09:31
人设人阿松大

作者: zxx736 时间: 2025-2-1 09:51
感谢您的无私精神...

作者: 呵呵 时间: 2025-2-1 10:12
路过还不错

作者: 莫天浩 时间: 2025-2-1 10:32
非常不错，感谢分享！

作者: 啥啥啥 时间: 2025-2-1 10:52
提示: 作者被禁止或删除内容自动屏蔽

作者: 444555 时间: 2025-2-1 11:33
还不错觅风论坛欢迎你

作者: 1811581892 时间: 2025-2-1 12:15
阿斯蒂芬撒反对

作者: 霸王喝粥 时间: 2025-2-1 12:57
看看看看看看看看看看看看

作者: 1811581892 时间: 2025-2-1 13:39
学习了，这就去试试

作者: 黑崎一宇 时间: 2025-2-1 14:20
感觉不错

作者: 任逍遥 时间: 2025-2-1 22:54
的法国风格化规范化

作者: qwe144184 时间: 2025-2-2 07:28
支持，赞

作者: 我去前面探探路 时间: 2025-2-2 16:02
支持你们一下下哈

作者: 任逍遥 时间: 2025-2-3 00:35
这个好好支持一下

作者: lhq19880526 时间: 2025-2-3 09:09
碉堡了!

作者: wangye263 时间: 2025-2-4 00:10
来瞧瞧的，呵呵

作者: 22222222 时间: 2025-2-4 15:12
好好好好的我要下载看看看

作者: 幻之灭 时间: 2025-2-5 06:13
学习一下！十分感谢

作者: a466911461 时间: 2025-2-5 21:15
顶一个了

作者: 行走的蜗牛 时间: 2025-2-6 12:16
这个不错，谢谢共享

作者: q12138 时间: 2025-2-6 14:29
好东西，一定要进行学习

作者: 孤独 时间: 2025-2-6 16:41
学习了，这就去试试

作者: NUNU 时间: 2025-2-6 18:53
我表示压力很大

作者: wangqing520 时间: 2025-2-6 21:05
抢楼了，前排第一次啊

作者: 黑崎一宇啊 时间: 2025-2-6 23:17
感觉不错

作者: 毛泽东 时间: 2025-2-7 01:27
我要下载试试，我要下载试试...

作者: 542134120. 时间: 2025-2-7 03:37
提示: 作者被禁止或删除内容自动屏蔽

作者: IUYUYUUYUY 时间: 2025-2-7 05:46
看看，到底好不好，想学学看看

作者: 啥啥啥 时间: 2025-2-7 07:56
提示: 作者被禁止或删除内容自动屏蔽

作者: qq1423845446 时间: 2025-2-7 10:05
顶起很好的帖

作者: he827298796 时间: 2025-2-7 12:26
6666666666

作者: 无聊玩玩 时间: 2025-2-7 14:47
好东西，一定要进行学习

作者: 骑着蚂蚁兜风 时间: 2025-2-7 17:08
不错！顶LZ

作者: wangye263 时间: 2025-2-7 19:29
支持一下，期待更多东西

作者: 骑着蚂蚁兜风 时间: 2025-2-7 21:50
顶一个了

作者: NUNU 时间: 2025-2-8 02:01
谢谢分享好人有好报6666666

作者: 桃子 时间: 2025-2-8 06:13
还不错觅风论坛欢迎你

作者: csw96781 时间: 2025-2-8 10:24
666学习了！！

作者: 行走的蜗牛 时间: 2025-2-8 14:35
前来支持~~~~~~~~~~~~~~~~~~~

作者: yu1616 时间: 2025-2-8 18:47
这个好好支持一下

作者: jhasgvcah 时间: 2025-2-8 19:09
66666666666666666666

作者: wangqing520 时间: 2025-2-8 19:32
好东西，一定要进行学习

作者: 我去前面探探路 时间: 2025-2-8 19:54
谢谢分享！~

作者: luoyunjie 时间: 2025-2-8 20:17
提示: 作者被禁止或删除内容自动屏蔽

作者: 565562216 时间: 2025-2-8 20:39
碉堡了!

作者: 啦啦啦啦啦啦 时间: 2025-2-9 08:33
多上传一点源码

作者: 2098817979 时间: 2025-2-9 20:27
我要下载试试，我要下载试试...

作者: 呜呜呜 时间: 2025-2-10 08:21
学习了！！！！

作者: 2549051527 时间: 2025-2-10 20:15
提示: 作者被禁止或删除内容自动屏蔽

作者: 幕后煮屎人 时间: 2025-2-11 08:09
必须支持。。。。。。。

欢迎光临觅风论坛 (https://www.eyyba.com/)