科研日记

炼丹狗，记录做实验写实验报告。科研零基础。这是一个科研日记贴。

我不认为自己在科研，说成炼丹有点太好听了，我觉得这只是想一些看上去 make sense 的 idea 然后做实验写实验报告。

是不是就是找点别人原创的方法解决自己领域的问题

没啥成果，没有真正写出实验报告的实战经历。现在面临 600GB+ 的数据集，一个人有点不知所措。。更有意思的是解压压缩包时没搞好只解压出一半（300 多 GB），现在想删除了重新解压，都半天删不掉

有点像，合并一些已有的方法，讲好一个故事，大概就是这样吧。目前我想的这个 idea 我觉得还行，没有很不堪，但也没啥吊的

删除用的是 perl -e 'for(<*>){((stat)[9]<(unlink))}'，说这个方法最快，删了半天也没删掉，还在跑

是不是因为小文件太多，hhd 随机 io 跟不上。可以 pickle/npz 重新保存成大文件

高级，我只会 rm -r。但我感觉瓶颈在磁盘 io，命令太复杂似乎不是什么好事

是，几千万张图片

现搜现用，还有个有意思的方法是用 rsync。结果我跑了 3 个小时还没没删完，就 Ctrl+C 了

rsync 用来删文件？？不是复制文件用的嘛。
我寻思即使有 --delete 选项也不能这么来用吧

顶！lz 加油！

https://unix.stackexchange.com/questions/37329/efficiently-delete-large-directory-containing-thousands-of-files

高级，这可能得了解 OS/文件系统的同学来评判了

我只会 sudo rm -rf /

话说有没有类似于 truncate 的删除命令。。。
感觉 rm 有点对标 delete 吧。

还真滴有

那我感觉用这个可以提升删除效率吧，我总觉得这个命令有点像：“宣布存储内容无效”

perl 用来写脚本挺实用的

https://stackoverflow.com/questions/27799548/fast-directory-clean-up-with-perl

rsync dst 和 src 写反是可以直接把本地文件删掉的，非常恐怖 😇

是的，但不妨碍它是我最常用的工具之一。也许可以写个脚本在这种情况下需要用户再次确认

今早起来上服务器一看终于删完了，用的是 perl -e 'for(<*>){((stat)[9]<(unlink))}'。很开心。

代码是抄别人的，方法是合别人的，原理是不清楚的，数据集是过大的，显卡是便宜的，网络是墙内的 🤡

我觉得我最擅长的事就是总结很多文章的 abstract 显得自己懂很多的样子 🤡

我什么都不会，但还好我有 gpt-4。

跑通一个代码，很开心。

我导人太好了我草啊啊啊啊真的是有求必应呜呜呜呜呜呜呜呜呜呜呜呜呜

想活不完全就是完全不想活

写不出代码，谁带我一下

他妈的，有个神秘人一直在高强度用我们为数不多的计算资源（全卡跑满），导致我只能在犄角旮旯的地方用 batch size = 10 来跑训练。。。

直接 kill 掉，看谁在群里叫 就是谁

不是 root 没法 kill 他人的进程，nvtop / nvidia-smi➕p s 看一下能看出来是谁的吧

我们的服务器登录名都是我们名字的缩写，然后我发现神秘人名字的缩写竟然对不上我们课题组任何一个人

可能是攻击者，在挖矿呢

我草，真的假的，

我明天白天问一下老师神秘人是谁吧，

现在炼丹都不用 train val test 三个集来做训练吗，一个 train 集就把训练做了，保存也看 train 集上的 acc 啥的。有大佬可以说说这种现象吗

越训练 acc 越低，不想活了

有点意思，这还能下降的，你是随机初始化权重的吗？

Who is the magic man?