赵元任咽了咽口水：“顾组长，不是我不想干，我过去确实也干过大规模文本数据的近似重复检测。
但重复检测只是清洗的一部分工作，一小部分。
再说，过去就我了解的情况，像这么大体积的文本，起码也是一个五人小组一起做。
现在就我一个人？这是不是有点为难我了。”
赵元任的声音越来越低，但意思清晰无比。
“不，不是为难你，你只是清洗50个tb，我要清洗100个，我要处理的数据比你更复杂。”顾彦平淡淡道。
领导以身作则，做的还比你更多，这下你没啥话好讲。
赵元任只好把话咽回去，他转而提起：“那什么时候要做完？”
顾彦平说：“我什么时候做完，你能有t+1的时间。”
他妈的组长还是个股民？难怪语气阴沉，估计最近没少赔。只买基金不买股票的赵元任腹诽道。
“哦对了，你注意看组的公共空间，每天我会把我的经验做上传，包括boss的一些算法，和应用的注意事项我会上传到我们组的代码仓库里，你注意看。
那会节约你非常多的时间。”
自此，无休止的开始转动了。
赵元任感觉自己就像是一个齿轮一样。
他把文件分块下载，然后打开查看，这才发现这些资料压根不能直接用于训练。
网页里充斥着导航栏，广告，版权声明，推荐链接之类的内容。
另外一篇文章可能被不同的网站转载几十上百次，标题只是稍作修改，内容几乎完全一致，百家号的泛滥导致去重工作是天量。
论坛帖子则有大量无意义的回复。
千禧年的回复，“我顶”、“沙发”、“路过”、“露珠好人”。
再加上中文文本本身的复杂度。
简体繁体异体字混杂，全角半角符号
本网站为网友提供小说上传储存空间平台，为网友提供在线阅读交流、txt下载，平台上的所有文学作品均来源于网友的上传
用户上传的文学作品均由网站程序自动分割展现，无人工干预，本站自身不编辑或修改网友上传的内容（请上传有合法版权的作品）
如发现本站有侵犯权利人版权内容的，请向本站投诉，一经核实，本站将立即删除相关作品并对上传人ID账号作封号处理