Vivek (@itsreallyvivek)
2026-06-10
R
原文
---
title: "如何做好研究"
author: "Vivek (@itsreallyvivek)"
source_url: "https://x.com/itsreallyvivek/status/2064686372737454155"
published_at: "2026-06-10T12:29:25.000Z"
fetched_at: "2026-06-11T04:13:33Z"
updated_at: "2026-06-11T05:42:49Z"
language: "zh"
review_status: "reviewed"
---
# 如何做好研究
没人真正教你怎么做研究。你被分到一张桌子、一个别人选好的问题，以及一句含糊的指令：做出一点新东西。所以大多数人只能从看得见的东西里反推这份工作该怎么做：论文、社交媒体上的解读帖、发布公告。最后他们学会的，往往是怎样显得像个研究者，而不是真的怎样做研究。真正的能力是一层层小能力叠起来的，而且几乎每一种都可以有意识地训练。
### 选择你自己的问题
Richard Hamming 在贝尔实验室有个习惯，这让他在午餐桌上不太受欢迎。他会问坐在附近的人：你们领域里重要的问题是什么；然后再问：那你为什么不去做？后来人们开始换桌。这个问题刺痛人，是因为我们大多数人都没有好答案。我们并不是在选择问题，而是不知不觉把问题吸收过来：从导师那里，从某个大实验室上个季度宣布的方向里，从这周大家都在转发评论的那篇论文里。
这种被吸收来的问题，麻烦在于你拿到了结论，却没有拿到推理过程。你知道某个著名实验室在乎一个方向，但不知道为什么在乎，不知道他们预期会发现什么，也不知道什么结果会让他们放弃它。等他们转向时，你一年后才知道。而且在一个已经流行的问题上，你是在和上千个起步更早、算力更多的人赛跑。
John Schulman 的机器学习研究指南把工作分成两种模式。一种是阅读文献，寻找可以改进的地方。另一种是选择一个你真心希望它存在的结果，然后倒推需要做哪些实验。他支持第二种，背后那个不太明说的原因是：它自然会带出原创性。一个你真正关心的目标，会带你走到综述论文覆盖不到的地方。
与此同时，品味常常被说得像是一种天赋。但它更像一块肌肉。每次实验开始前，先预测结果。把一篇论文的结果部分盖住，只根据方法猜它的数字。记下这个月发布的成果里，哪些两年后仍然重要，然后之后检查自己的命中率。一次预测加一次修正，重复几百遍，就是每个好模型被训练出来的方式，包括你脑子里的那个模型。
### 升级你的输入
大家读同一批东西，最后想出来的也会是同一批东西。如果你的信息来源只有 arXiv 热门页，再加上群聊里转了一圈还能留下来的东西，那你几乎一定会和所有人在同一时间得出同样的结论，而这些结论的价值约等于零。
旧材料的价值被低估得近乎离谱。这个领域会延迟重演自己的过去：mixture of experts 可以追溯到 1991 年，LSTM 到 1997 年，backprop 在 1986 年成为主流。Rich Sutton 在 2019 年只用了大约一千个词写下 The Bitter Lesson，它对这个领域形态的预测，比长度十倍的综述还准确。Claude Shannon 在 1952 年做过一场关于创造性思维的演讲，他开场的动作是：把一个问题缩小到几乎微不足道，先解出那个小版本，再一块一块把难度加回去。单是这个技巧，就能带你穿过更多撞墙时刻，比任何现代生产力建议都管用。
广度和深度同样重要。interpretability 毫不客气地向神经科学借东西。eval 设计，本质上就是穿着实验服的机制设计。对 GPU 里数据到底怎么流动有实际感觉，会让你在 benchmark 出来之前，就看出哪些架构论文注定不行。而诚实的统计学，可能是机器学习里最稀缺的能力；很多已经发表出来的所谓严谨分析，本质上只是给感觉加了误差线。
还有一件事。读论文原文，不要只看社交媒体上别人写的解读帖。真正要紧的东西往往藏在附录里，limitations 部分通常是整篇论文里最诚实的一段。
### 把一切写下来
Paul Graham 指出，一个想法在你试图把它写成文字之前，会让人觉得它已经完全成形。写下来之后，漏洞就会露出来：那个你从未测试过的假设，那个其实推不下去的步骤，以及那两个暗中互相矛盾的主张。
Feynman 的规则是：你首先要避免欺骗的人是自己，因为你自己最容易被骗。写作是人类发明过的最便宜的防御手段。Darwin 走得更远，把它变成了一套流程。任何与他的理论相冲突的事实，都会被他当场写下来，因为他发现自己的记忆删掉不利证据的速度，比删掉有利证据快得多。你的记忆对失败的实验也会做同样的事。留一份日志：假设、设置、预期、结果、修正后的判断。重读上个月的记录，会带来一种任何审稿人都比不上的谦卑感。
然后把其中一部分公开出来。Olah 和 Carter 的 research debt 文章认为，一个领域会被没消化透的想法堵住，而清晰解释本身就是一种真正的贡献，不只是服务性工作。今天很多做 interpretability 的人，是通过可读的文章进入这个领域的，而不是通过会议论文。长期积累下来的公开写作，也会成为你能拥有的最强凭证，因为它是一份无法伪造的思维样本。
### 收紧循环
关于 Alec Radford 的故事，主角很少是某次天才灵光一闪。它们讲的是数量：每天跑更多次，每周丢掉更多错误想法，脑子里的现实模型比别人更新得更快。这才是真正的游戏。研究速度，大体上就是你发现自己错了的速度。
这也让工具建设成为研究中的头等工作。跑一次实验应该只需要一条命令，把结果画出来也应该再一条命令就够。每个实验都应该能靠它的 config 复现，比较两次运行应该花几秒，而不是花一个下午考古。Karpathy 的神经网络训练法里有一步，做了能成百倍回本：在大规模训练前，先让模型过拟合一个 batch。三十秒，半数 bug 就没了。把一切缩小到便宜的规模，先做对，再花算力。
也该放弃“工程只是研究的配角”这个想法了。在前沿位置，这两份工作已经融合。能搭建 harness、eval 和数据流水线的研究者，提出的假设才真的有机会被检验。其他人都在排队等。
### 盯着输出看
下降的 loss 曲线不是分析，只是安慰。你的实验甩出来的信息，远比你真正看过的多得多：输出文本、失败案例、分布中奇怪的尾部。大多数最后都没人读，死在日志文件夹里。
Karpathy 的训练法在写任何训练代码之前就开始：亲手花几个小时看原始数据。大多数机器学习 bug 都藏在数据里，而且它们会静默失败。什么都不会崩溃。你只是得到一个平庸的模型，以及一个关于原因的错误理论。
Andrew Ng 十多年来一直在教同一个不起眼的动作，因为没有什么比它更有效。抽出一百个失败案例，全部读一遍，把它们分堆，然后先处理最大那一类问题。这对模型有效，对 eval 也有效；如果你从未读过某个 benchmark 的对话记录，那你并不真正理解这个 benchmark。一条真正奇怪行为的记录，教给你的东西会比准确率多一个小数点有用得多。
### 有意识地游荡
你的第一个子领域只是时机造成的偶然，所以也要把它当成偶然来对待。在决定自己要长期待在哪个方向之前，真正花时间待在 interpretability、evals、RL、systems 里。这个领域的某个角落里，你身上那点独特的怪癖会变成一种不对称优势；而找到它的唯一办法，就是在几个地方都交过学费。没有人会免掉这笔学费。
每个想法都先做一个一次性小版本，让大多数想法早早死掉。把 baseline 调到让你难受为止，因为机器学习的坟场里，埋着太多一旦 baseline 调好就不见了的提升；这件事最不该等审稿人来教你。做 ablation，直到你知道到底哪个组件撑起了结果。通常只有一个，而且通常不是标题里的那个。
广度也是保险。子领域都会饱和，无一例外，而且通常就在它们登上 Twitter 热度顶峰之后。那些能在转场中继续产出的人，是早就熟悉相邻地带的人。
### 找到你的人
Hamming 注意到，那些最后做出重要工作的人有一个模式。办公室门关着的同事，在任何一年里都会完成更多事；而办公室门开着的同事，做的是更重要的工作，因为那些打断带来了关于世界真实需求的信息。你的那扇门大概就是收件箱。让它保持开放。
研究里的慷慨，最容易滚起雪球。复现一个结果，然后发布你的发现。把你为自己做的工具发布出来。用平实语言解释困难的东西。几个月后，回报会从意想不到的方向回来，变成合作、引用，或者一个你本来无法申请到的角色。也把你半成形的想法公开抛出来，因为在社交媒体上犯错，远比在论文里犯错便宜。而那个会在你把三个月砸进去之前告诉你一个想法很糟糕的合作者，比算力更有价值。这样的关系买不到，只能挣来。
### 长期游戏
Pasteur 说，运气偏爱有准备的头脑；Hamming 则在这句话之上建立了整套职业哲学：知识和生产力会像复利一样积累。日常优势单独看都微不足道：你读什么、记录什么、循环跑得多快、和谁争论。给它们几年时间，它们就会产出那种从外面看像是运气的职业轨迹。比你觉得有必要的时候更早开始积累。未来的你已经知道，现在开始的成本最低。