H.T. Kung 关于研究的有用建议
公众号关注 “ML_NLP”
设为 “星标”，重磅干货，第一时间送达！
https://www.eecs.harvard.edu/htk/phdadvice/
作者 H.T. Kung（EECS, Harvard）
1. 介绍
博士论文在一流大学非常受重视
期望很高
博士论文代表了一项内容充实的工作。老师们经常告诉其他人："我们有一个学生正在为博士论文研究这个领域"。令人惊讶的是，这通常足以让人们相信这个问题将以某种方式得到解决。
博士论文研究是一项任务，以确保学生以后能够承担独立、长期的研究任务。（如果一个博士生不打算成为一名研究人员，那么至少在 CMU，博士论文工作一般来说是不值得付出的）
通过博士论文过程，学生将转变为专业研究人员。
老师是通过他们博士生的论文来被评判的。
高标准的博士论文可能是促成美国一流大学研究生教育成功的最重要因素之一。
博士论文可能是获得博士学位的唯一真正挑战。
对于积极进取的学生来说，博士资格认证很少是一个问题。
2. 为什么博士论文对学生很难
这很可能是您的第一次主要研究经历
对大多数学生来说是一个巨大的挑战
没有简单的模式
不同的天赋
不同类型的论文
不同的方法
作品由论文委员会（主要是顾问）评判，这会产生焦虑
与您将进行的其他研究不同，论文研究的评估机制非常独特
没有明确的合同
没有明确的标准（我们只知道是高标准）
回想一下斯坦福谋杀案（之前的学生说，在他完成——他确实完成了某件事——他的刑期之后，他可能会在类似的情况下再次这样做）
3. 博士论文的类型
开启一个新领域
提供统一框架
解决长期存在的问题
彻底探索一个区域
与现有知识相矛盾
实验验证理论
开发一个有野心的系统
提供经验数据
推导出卓越的算法
开发新的方法论
开发新工具
产生负面结果
4. 明星的成长（学生到成熟研究者的转变）
全知阶段
学生：我读研之前已经设计了超级计算机
老师：无语
完全被击败阶段
学生：无语
老师：鼓励学生，终于可以交流了
自信建立阶段
学生想：毕竟我不傻
老师：噢，她开始想争辩了
掌握大局阶段
老师：我想要设计一个 n 处理器超级计算机
学生：你疯了， 因为...
5. 博士论文研究阶段
领域的选择
顾问的选择
成为该领域的研究人员
建立一般知识、经验和信心
了解该领域的重要问题
抓住研究机会
不要在没有先仔细考虑之前就放过任何想法或问题
保持警惕和勤奋
关注新技术
例子
VLSI、网络和新芯片，例如三年前的 Weitek 浮点芯片，这在某种意义上为 Warp 项目提供了最初的动力
一些有用的事情要做（来自麻省理工学院的 Dave Gifford）
阅读最近的顶会论文，并询问更多资深人士什么是顶级论文。试着弄清楚什么是伟大的论文（以及什么是伟大的研究）。
保留一个包含您的研究笔记的笔记本。把你所有的经验数据和最初的想法都放在笔记本上。在阅读论文时做笔记，并思考作者的假设和结果的重要性。
遵循从一篇论文到另一篇论文的参考文献，直到您非常了解某个领域。不要指望你的顾问从他的文件抽屉里把所有相关的文件交给你。他没有全部的文件！
论文提案
从建立基本概念的意义上说，这是最关键的阶段
要获得重要成果，您需要提出重要问题
这是您最需要顾问的时候
后期的问题通常源于一个薄弱的论文提案
目的
一个研究计划
认真尝试了解整个研究过程
不是真的合同
需要一些灵活性，因为研究总是有不确定性
组建委员会
变化很大
为您的论文委员会选择可以提供所需专业知识的人员。例如，在系统委员会中有一名相关的理论老师很有用，反之亦然。
但是，通常不需要对委员会成员的选择进行过多优化——顾问仍然是最重要的角色。
然而，委员会的选择可能非常重要，当
你有一个“有问题“的顾问，或者
你有一个跨学科的话题。
回顾
如果有任何严重的疑问，最好现在就提出来。
提案有时可以被视为，只是处理某些事情的强制过程。
论文提案中总是会问一些困难的问题：
你的方法是什么，有什么新的？
你的秘密武器是什么？（赫伯特·西蒙）
你如何衡量自己的进展？
成功或完成的标准是什么？
预期结果将如何改变最先进的技术？
论文提案的巨大挑战是提出一种方法或实验。
定位一般的问题很容易，但设置方法和设计实验可能很困难
需要想法
只需要一个好的想法，真的
不幸的是，这里没有魔法（但是请参阅下面的一些提示）。这是每个人（不仅仅是学生）的任何研究项目的难点。
需要独立思考
您应该有足够能力，可以开始与您的顾问就技术问题和研究品味进行争论。
需要详细说明重点、方法、实验和潜在影响
对于理论研究，您可能会提出一些新的计算模型
对于系统研究，您可以设计实验并论证其相关性
准备论文提案时需要了解的有用信息
说实话。没有必要夸大您的主张！如果你指出你方法的弱点，你就会解除批评者的武装。
选择一个易于管理的项目，这样你才能出色地完成工作——事情总是比看起来更难。在中等规模的项目中出色地完成工作，要比在大型项目中完成一般的工作要好得多。
在你的论文提案中包括一个暂定的论文大纲和每月的时间表。
这可能很难做到，但总比没有计划好。
这也将有助于衡量您承诺要做的工作的总规模
产生结果
有很多工作——否则还可能是什么？
系统——在项目中保持活跃，同时不要忽视论文
需要一个搞开发和一个提概念的人
你的工作取决于其他人的工作，反之亦然
有机会看到真正的问题
从团体中获得良好的支持，包括鼓励和要求
似乎这种安排确实适用于所有情况
动作快点，因为你不想被环境超越（这是要避免的陷阱之一，如下所述）
理论——是幸运的！
灵活
很难坚持要在睡觉前证明一个定理。
速度要快，因为理论结果是完全可移植的，所以竞争可能会很激烈。
让委员会了解情况（至少是那些“麻烦制造者”）
有时您可以获得真正的帮助。
委员会成员有义务与您交谈。
有时，在您的顾问之外找到一个合格的人来讨论您的工作可能很困难
论文后期不想出岔子
完成论文的方法
增量和自适应方法
一系列增量结果
大爆炸方法（一般不推荐这样做）
一个厉害的定力
一大块软件或硬件
写作
为什么有些学生发现博士论文写作非常困难
第一个主要文件
写作很耗时——0.9999 汗水的一部分 (Satya)
想想你一小时能写多少好句子
与字体、数字、参考文献等做斗争
请不要太挑剔
当结果不完全可靠时，即使对于有经验的作家来说，写作也会非常困难（现在你知道提案写作不容易的另一个原因）
不能说太多也不想说少
写关于不稳定的结果可能是一个真正的挑战。
在这种情况下，您应该首先改进结果。
写作与展示有关，而不是寻找新的结果。所以写作可能没有那么令人兴奋
然而，论文写作是有用的，因为它有助于揭示可能存在的问题领域并提供新的见解
帮助您全面了解您真正拥有的东西
帮助组织概念
完整性是强制的
你必须照顾你一直忽视的事情。
例如，您需要与其他结果进行比较
检查结果的正确性
你最好现在有证据证明你一直相信的任何看似合理的“定理”
关于事物真正运作方式的新见解
查看结果的新方法
建议
做一些练习——在学位论文之前写一些论文
与有丰富写作经验的人一起写一些联合论文
需要非常了解论文的主题
先提纲
先写结论（至少试试）
开始写更稳定的章节
最后写介绍
迭代过程
使写作尽可能准确，以便您确切地知道您在说什么。这将节省大量重写
准确的写作通常要求良好的英语
获得委员会的最终意见
不要太早或太晚
让一些委员会成员阅读可能是一个挑战。
他们是忙碌的人，你想给他们一个“最佳”版本来发表评论
征求意见的多少差别很大
现在应该不会有什么意外了
你最好知道你现在在做什么。
不过，如果有什么问题，最好现在就出现
答辩
多是形式和喜庆的场合（应该是这样）
你知道你的结果很好，你会很好地展示它们。
你应该知道这个问题的答案——“你论文中的三个主要思想是什么？”。你应该能轻松搞定，并将它们与以前的工作联系起来。
确定日期可能比您想象的要困难。
委员会成员不一定会在 CMU 呆多久！
周末辩论并不是很理想。
可能很难获得观众。
不过答辩还是很重要的：
论文最终改进的机会
正式向社区展示
许多人从这个演讲中形成了他们对你 n 年工作的看法
演示材料可用于以后的演示
如果您尚未确定工作，则用于招聘演示
心理上重要
一生一次的场合——你会永远记住它。
答辩后
通常论文还有一些小工作要做（太糟糕了）
答辩可能因各种原因提前
来自答辩的新评论
没有时间或不想在答辩前润色论文
出版物
文章、书籍（或将论文交给父母）
将结果发表在期刊上非常重要
这是存档结果的唯一可靠方法。（经过所有这些努力，您不想失去他们，是吗？）
出版对学术生涯很重要。
可以将论文分成几篇文章。在适当的情况下，某些文章可能有联合作者，例如您的顾问。
在你开始下一件事之前马上做。
书籍也可以很好。
后续工作
继续挖掘论文——为什么不呢？
你终于自由了！
6.深入研究主题的“方法”（或如何想出好主意）
没有魔法，但我们仍然会尝试......
如何发展最初的想法
研究其他工作并进行比较
有哪些类似的问题和解决方案？
看例子
概括和抽象
提出假设，并形式化或非形式化地验证它——继续尝试
你至少会发现问题。
进行建模和抽象
获取精华
做点什么——保持活跃
实现——细节揭示问题
加入一个项目来做一些真正的工作！
处理较小的情况
实现一次性模拟器、语言、设计等
开始证明“定理”，即使它们被认为是困难的
快速了解问题的方法
与优秀、经验丰富的研究人员一起工作（不要忘记使用你的顾问！）
他们可能对类似的问题有深刻的见解
他们可以帮助校准问题的难度
您可以更快、更直接地从他们那里学习主题
你学习他们的技术
每个成功的研究人员都有自己的“工具包”：
计算、综合、分析、持久化
如果他们也偶尔陷入困境，您就知道您毕竟还不错
如何进一步发展现有的想法
探索问题和解决方案空间
单独枚举参数（并进行快速修剪）
查看您当前的想法在空间中的位置
关联结果
将想法和结果推广到空间中的其他点
产生现象并解释它们（赫伯·西蒙）
与他人集思广益
在论文或/和研讨会上展示您的想法
想法将被仔细和系统地检查（见上面的论文写作）
可用于从简单结果（例如加速曲线）中获取某些深度的示例步骤
解释曲线
查看问题和解决方案空间
做一些比较
改变假设
结果有多稳定？
在不同的假设下，结果将如何变化或相关？
推导出一些一般原则
其他情况的类似曲线？
普通的评论
思考是关键
思考比阅读更重要
书籍并不总是正确的。
请注意，在系统领域，除了少数例外，构建系统的人没有时间也不需要写下他们的经验——这太糟糕了，但这是现实。
警惕各种机会
当你拥有它时，立即思考。
想法和兴趣消失的速度可能比你想象的要快
与人交谈
不要过度做（你仍然需要自己做这项工作）
7. 打破神话
“顾问是比你更强大的研究员。”
的确，顾问经验丰富、睿智、聪明（也许），而且知识渊博。顾问也看到了更大的图景，并在该领域有人脉。
但是，顾问并不总是正确的。
顾问不像您那样专注。
顾问没有比您更多的时间或精力。
顾问一般没有那么创新。
他们知道得太多了。
他们比较保守。
他们知道太多的恐怖故事。
年长无济于事。
顾问的知识可能已经过时（不要在他或她面前说这些！）
你必须相信在某些研究领域你可以比顾问做得更好
“系统论文比理论论文花费的时间更长。”
论文中最困难的部分是提出一些好的、新的想法。对于理论或系统研究来说，获得新想法的难度是一样的。
理论论文通常不是用于解决开放问题。
实际上，优秀的理论家总是在研究新问题、新模型和新方法，以便他们能够首先解决“可解决”的问题。
最大的贡献是开创性的，例如新模型。
新方法为旧问题提供了新见解。这是开放问题通常得到解决的方式（例如，四色问题）。
对于系统论文，重要的是论文中的主要思想独立于实现——目标是让这些思想也存在于其他系统中。一篇好的系统论文通常以新算法或新方法为核心。
真正提前完成的理论学生很少可能是那些有研究经验的学生。（回想一下，理论结果是高度可移植的！）
理论能力差的学生比做系统能力差的学生更引人注目。所以我们不会经常看到理论专业的学生拖了很长时间。
但在系统和理论研究上存在一些差异，但对论文研究时间不应有太大影响。
系统需要实现，而理论需要更多的背景研究。
理论研究是自给自足的，系统实现可能依赖于其他人的工作（你不应该陷入你无法控制的情况）
“博士 论文研究遵循一些标准指导方针。”
是的，博士学位必须代表非常高标准的实质性结果。
但是有很多方法可以在研究领域留下印记。只要您提出了一些好的想法并推动了知识的前沿，有时您会惊讶于您的委员会在研究方法、可接受的结果和论文陈述方面的灵活性。
博士论文以不同寻常的方式完成的比例很小。如果您属于这个类别，请不要过早放弃。试试吧，否则你永远不会知道。
8.要避免的陷阱（先列出容易避免的陷阱）
目标太大，无法实现。
理论
证明 P /= NP
证明 P = NP 甚至更糟（这篇论文可能永远不会完成！）
决定 P = 或 /= NP 是三者中最好的，即灵活
系统
最初的努力是如此之大，以至于真正的问题永远没有机会被看到。
重要的是根据过去的经验确定项目规模并仔细评估总工作量。
没有与商业产品竞争的实施，想法就无法立足。
国际象棋机实现是可以的，因为没有商业竞争对手。
从这个意义上说，Warp 硬件比软件更难。
需要高性能芯片实现来验证概念的浮点设计将是灾难性的。
永远不需要实现另一个向量处理器！
论文领域被技术和环境超越
技术进步解决了论文问题
使用不超过 128K 内存的巧妙的操作系统在今天并不是很有趣
顾问（有时或学生）改变了研究兴趣
其他新项目有更好的方法和机会
其他人发表了类似和/或更好的结果
顾问在其他地方有更好的工作，或者项目已经结束。
教训：你应该总是尽快完成你的论文。
完全孤立的工作
没有鼓励和支持——没有人关心你的论文
有时甚至找不到顾问
在远离 CMU 的地方做论文真的很困难
系统研究
独行侠的做法几乎是自杀
没有用于评估的软件、系统和应用程序支持
如果没有社区的反馈，很难做任何真实的事情
理论研究
至少需要了解全球的研究进展
不知道什么时候停止
论文不是您要做的最后一项研究。
您可以在获得博士学位后进行同样的研究（同时赚更多钱）。
学会做出合理的假设来限制问题
学生和顾问之间的不健康竞争
这在理论领域更有可能发生。
可能性永远存在（尤其是对于自负的聪明教授而言）。一般来说，如果双方都努力做到公平，事情总是可以解决的。
很多实验数据，但没有基本原理
系统研究不仅仅是实现
只有当论文研究可以用来验证某些理论时，论文研究的实施才有意义
这个问题应该尽早修复
事情一拖再拖——一开始的绝妙一般想法从未发展成连贯的方法（即，走向黑洞——没有输出）
学生（可能还有顾问）在能力和兴趣方面的错误领域
噩梦案例——对任何人都没有好处
9. 其他的一般性建议
远离您的前辈已经彻底开采过的区域
让自己处于研究领域的最前沿，这样你就有更好的机会接触到一些大的或至少是新的工作
毕竟在研究中，重要的是推动我们进入新领域的工作
利用其他领域的新进展
不要逃避思考
思考很难，但没有替代品
为这种独特的攻读博士学位的经历做好心理准备
让自己相信你正在解决世界上最重要的问题
记住以前对你有用的东西
如果你在与他人竞争时工作得最好，那就制造一些对抗
必须对问题和机会保持高度警惕
论文过程有点人为（在某种程度上几乎是一种折磨）
论文由委员会（主要是您的顾问）评判
比考试更主观
对于这个年龄段的人来说，这可能是最丢脸的经历之一（顾问都应该记住这一点并体贴）
这个过程不是典型的研究风格——即使你在获得学位后会做研究，你也不会再做类似的事情
论文过程可能是漫长而危险的（为此做好准备）
你不想抑郁
有很多非常有能力的人只是不想经历这个
很好地使用强制过程来加速论文过程
和别人竞争
家庭压力
资金压力
有工作在等待
顾问离开或项目结束
设备正在退役
永远不要扔掉顾问的评论
考克斯丹宁案
与你的导师保持良好的关系（即使在你毕业后）
好事——几乎无一例外
关系是独一无二的
在您生命中这个非常重要的阶段，顾问通常会对您产生很大影响。顾问也很欣赏您对他所做的出色研究，并且总体上对您的良好研究生活感兴趣
顾问可能是您整个职业生涯的导师
10. 所有的努力都是值得的（信不信由你）
博士论文研究的经验是独一无二的。你已经学会了如何进行研究。未来的研究会更有趣，因为你会知道如何去做，所以你会有更多的自由和乐趣。
几乎所有研究领域的领导者都有这种经历。您将对自己的研究能力充满信心。你会以与没有经历过这个过程的人不同的方式看待事物。很明显，博士论文研究仍然是我们所知道的培养强大研究人员的最佳方式。
总而言之，这是成为成功研究人员的最佳投资。