科研日记

炼丹狗，记录做实验写实验报告。科研零基础。这是一个科研日记贴。

我不认为自己在科研，说成炼丹有点太好听了，我觉得这只是想一些看上去 make sense 的 idea 然后做实验写实验报告。

是不是就是找点别人原创的方法解决自己领域的问题

没啥成果，没有真正写出实验报告的实战经历。现在面临 600GB+ 的数据集，一个人有点不知所措。。更有意思的是解压压缩包时没搞好只解压出一半（300 多 GB），现在想删除了重新解压，都半天删不掉

有点像，合并一些已有的方法，讲好一个故事，大概就是这样吧。目前我想的这个 idea 我觉得还行，没有很不堪，但也没啥吊的

删除用的是 perl -e 'for(<*>){((stat)[9]<(unlink))}'，说这个方法最快，删了半天也没删掉，还在跑

是不是因为小文件太多，hhd 随机 io 跟不上。可以 pickle/npz 重新保存成大文件

高级，我只会 rm -r。但我感觉瓶颈在磁盘 io，命令太复杂似乎不是什么好事

是，几千万张图片

现搜现用，还有个有意思的方法是用 rsync。结果我跑了 3 个小时还没没删完，就 Ctrl+C 了

rsync 用来删文件？？不是复制文件用的嘛。
我寻思即使有 --delete 选项也不能这么来用吧

顶！lz 加油！

https://unix.stackexchange.com/questions/37329/efficiently-delete-large-directory-containing-thousands-of-files

高级，这可能得了解 OS/文件系统的同学来评判了

我只会 sudo rm -rf /

话说有没有类似于 truncate 的删除命令。。。
感觉 rm 有点对标 delete 吧。

还真滴有

那我感觉用这个可以提升删除效率吧，我总觉得这个命令有点像：“宣布存储内容无效”

perl 用来写脚本挺实用的

https://stackoverflow.com/questions/27799548/fast-directory-clean-up-with-perl

rsync dst 和 src 写反是可以直接把本地文件删掉的，非常恐怖 😇