ILYA推荐神级论文清单(上）｜30篇论文，就能掌握当今科技90%的AI知识！
点击
上方蓝字关注我们
“
Ilya Sutskever向John Carmack推荐了一份精选的阅读清单，内含约30篇尖端的研究论文。这份清单不仅仅是学术文献的简单罗列，它被赋予了更高的使命——Sutskever相信，如果Carmack能够深入理解并吸收这些论文的精髓，他将掌握当今科技界最为关键的90%的知识。
在当代科技领域的浩瀚星空中，两位巨匠以他们卓越的智慧与不懈的探索精神，照亮了人工智能与数字娱乐的未来之路。John Carmack，这位电子游戏史上的传奇程序员，通过他开创性的游戏引擎技术，不仅定义了第一人称射击游戏的标准，还持续推动着虚拟现实的边界。
与此同时，Ilya Sutskever，作为深度学习领域的领航者，不仅在学术界树立了里程碑，更通过在谷歌大脑、OpenAI及DeepMind的领导角色，引领着人工智能技术向更加智能、安全的方向迈进。当这两位巨擘的思想交汇，无疑为技术世界的进化书写下了浓墨重彩的一笔。
近期，一则引人注目的消息揭示了两位大师之间的知识交流：Ilya Sutskever向John Carmack推荐了一份精选的阅读清单，内含约30篇尖端的研究论文。这份清单不仅仅是学术文献的简单罗列，它被赋予了更高的使命——Sutskever相信，如果Carmack能够深入理解并吸收这些论文的精髓，他将掌握当今科技界最为关键的90%的知识。
上
带注释的Transformer
这篇文章是“Harvard NLP Annotated Transformer”（哈佛NLP团队注解的Transformer），它是一个深入解析和详细注释的Transformer模型实现。Transformer是Ashish Vaswani等人于2017年提出的一种深度学习架构，主要用于自然语言处理任务，特别是在机器翻译领域取得了显著的成功。该模型彻底改变了序列到序列的学习方式，通过自我注意力机制替代了传统的循环神经网络（RNNs）和长短期记忆网络（LSTMs）。
文章以可读性和教育性为核心目标，为原始Transformer论文中的每个部分提供了丰富的代码注释和图形说明。它基于The Annotated Transformer项目，该项目使用PyTorch框架实现了Transformer模型，并一步步引导读者理解Transformer的内部工作原理，包括编码器、解码器、注意力机制、位置编码、多头注意力以及残差连接等关键组件。
通过阅读这篇文章，无论是初学者还是有经验的研究者都能获得对Transformer模型深刻而直观的理解。对于想要亲手实现或进一步研究Transformer及其变体的读者来说，这是一个不可或缺的资源。此外，文中还包含了实施细节、优化技巧以及如何在实际任务中应用Transformer的讨论，使读者能够将这一强大的技术应用到自己的自然语言处理项目中。
论文地址：https://nlp.seas.harvard.edu/annotated-transformer/
复动力学第一定律：探索复杂性的增长与减少
本文探讨了物理系统随时间增加而复杂性先增后减的现象，与熵的单增性质形成对比。作者尝试利用柯尔莫哥洛夫复杂性理论为这一现象提供一个可能的解释，并提出了“复杂性”的计算方法，旨在更深入地理解系统在不同时间点的“有趣性”。
论文地址：https://scottaaronson.blog/?p=762
循环神经网络的神奇力量
这篇文章由Andrej Karpathy撰写，发布在其个人博客上。文章主要探讨了循环神经网络（Recurrent Neural Networks, RNNs）这一深度学习模型在处理序列数据任务上的强大能力与广泛应用潜力。
Karpathy通过一系列实验和示例，生动展示了RNN如何能够理解和生成文本、代码、音乐甚至手写字迹。他首先介绍了RNN的基本概念，这是一种具有循环结构的神经网络，特别适合于处理和预测序列数据，因为它可以在每个时间步骤中保留并更新之前的信息。
文章还探讨了RNN在不同数据集上的应用，包括文学作品、编程代码等，并讨论了RNN的工作原理和未来研究方向。
论文地址：https://karpathy.github.io/2015/05/21/rnn-effectiveness/
理解长短期记忆网络（LSTM）
这篇文章发布在Colah的个人博客上，作者是Christopher Olah。LSTM，全称长短时记忆网络（Long Short-Term Memory networks），是一种特殊的循环神经网络（Recurrent Neural Network, RNN），设计用于解决传统RNN在处理长期依赖问题上的局限性。文章以深入浅出的方式，详细解析了LSTM的工作原理及其内部机制。
内容方面，文章首先简要介绍了RNN的基本概念和在处理序列数据时面临的挑战，特别是梯度消失和梯度爆炸问题，这些问题阻碍了RNN捕获长期依赖关系。接着，文章重点转向LSTM，通过一系列生动的图解和实例，逐步拆解LSTM的结构，包括其核心组成部分：输入门、遗忘门、单元状态、输出门以及它们是如何协作以控制信息流的。
作者通过形象的比喻和色彩鲜明的图示，让复杂的LSTM内部运算过程变得直观易懂，比如将单元状态比作是一个传送带，输入和遗忘门决定什么信息被加入或移出这个传送带，而输出门则控制最终的输出。此外，文章还探讨了LSTM的一些变种和应用实例，如双向LSTM、堆叠LSTM等，并简述了它们在自然语言处理、语音识别、时间序列预测等领域的成功应用。
总之，《理解LSTMs》是一篇面向广泛读者群体的科普文章，旨在降低理解LSTM这一复杂深度学习模型的门槛，无论你是初学者还是有一定基础的研究人员，都能从中获益，加深对LSTM及其背后原理的认识。
论文地址：https://colah.github.io/posts/2015-08-Understanding-LSTMs/
循环神经网络的正则化
这篇论文名为《循环神经网络的正则化》，发表于2015年的学习表征国际会议（ICLR）审稿阶段，作者包括Wojciech Zaremba、Ilya Sutskever和Oriolov。论文关注于如何在具有长短期记忆（LSTM）单元的循环神经网络中正确应用正则化技术，尤其是dropout策略，以减少过拟合现象。
通常情况下，dropout是神经网络中最成功的正则化手段，但不适用于RNNs和LSTMs。研究者们展示了如何修正这一方法并证明了在语言建模、语音识别、图像字幕生成和机器翻译等多个任务中，改进后的dropout策略显著降低了过拟合。
论文中，作者首先讨论了标准dropout为何不适用于RNNs的原因，然后介绍他们的方法：在非循环连接上应用dropout而保留循环连接不变，使LSTM保持存储信息的能力不受影响。他们通过实验比较了正则化前后的模型在不同任务上的性能，显示了正则化模型在测试困惑度和BLEU分数上均有提升，尤其是在图像字幕生成任务中效果明显。
论文地址：https://arxiv.org/pdf/1409.2329
简化神经网络的权重信息最小化
这篇论文由Geoffrey E. Hinton与Drew van Camp共同撰写，发表于多伦多大学计算机科学系。研究的核心目标是探索通过最小化网络权重中的信息量来改善监督学习，确保网络泛化性能。论文指出，当网络权重携带的信息少于训练输出案例时，网络能较好泛化。
论文提出了一个关键概念：在学习过程中，通过惩罚权重所含有的信息量来保持权重简单。为了控制权重中的信息量，论文采用在权重上叠加高斯噪声，并在学习期间动态调整噪声水平，以平衡网络预期误差和权重信息量之间的折衷。当权重存在噪声时，网络学习倾向于推动权重独立，因为噪声下的成本函数会过估相关权重中的信息。
论文还讨论了在隐藏单元输出为线性情况下的特殊处理方法，常规反向传播算法要求输出必须平滑顺滑动。然而，带有噪声权重的网络中，即使隐藏单元可以使用一种线性阈值的反向传播算法。由于权重噪声确保了激活阈值对输入的平滑动性，因此优化整个权重分布比单个权重向量更为直接。
文章最后提到了最小化通信神经网络权重所需信息的思想引发了一系列有趣的编码权重方案。此研究不仅为理解深度学习模型的复杂性提供了新颖视角，也为实践应用和优化网络权重编码提出了实用策略。
论文地址：https://www.cs.toronto.edu/~hinton/absps/colt93.pdf
指针网络
这篇论文介绍了一种新的神经网络架构，称为 Pointer Networks（Ptr-Nets），用于解决具有变长输出字典的序列到序列问题。Ptr-Nets 使用一个最近提出的神经注意力机制来解决变长输出字典的问题。Ptr-Nets 可以用于学习解决三个挑战性几何问题的近似解决方案：计算平面凸包、计算德洛内三角剖分和计算平面旅行推销员问题。Ptr-Nets 不仅在序列到序列模型中使用输入注意力的基准上有所改进，而且还允许我们对变长输력字典进行泛化。
论文地址：https://arxiv.org/pdf/1506.03134
基于深度卷积神经网络的ImageNet图像分类
文章《ImageNet Classification with Deep Convolutional Neural Networks》介绍了一项研究，其中作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton（均来自多伦多大学）训练了一个大型深度卷积神经网络（CNN），用于对ImageNet LSVRC-2010竞赛中的120万张高分辨率图像进行分类，这些图像分属于1000个不同的类别。在测试数据上，该网络达到了顶尖的错误率——top-1错误率为37.5%，top-5错误率为17.0%，这一表现显著优于当时的最佳水平。
这个神经网络包含6000万个参数和65万个神经元，结构包括五个卷积层（某些后面跟着最大池化层）以及三个全连接层，最后是一个1000路的softmax层。为了加速训练过程，研究团队采用了不会饱和的神经元和一个针对GPU优化的高效卷积运算实现。为了减少全连接层中的过拟合问题，他们使用了一种名为“dropout”的正则化方法，该方法被证明非常有效。在ILSVRC-2012竞赛中，他们提交的一个模型变体赢得了冠军，其top-5测试错误率降到了15.3%，而第二名的成绩为26.2%。
尽管早期的图像数据集相对较小，仅包含数千张图片，但随着技术的发展，特别是大规模数据集如ImageNet的出现，以及高效GPU的支持，使得训练大型CNN成为可能。研究团队还公开分享了他们高度优化的GPU实现代码，这包括二维卷积和其他用于训练CNN的所有操作。他们的网络设计包含了一些新特性，既提高了性能也缩短了训练时间，并在论文的第三部分详细描述。研究指出，尽管拥有120万张标记训练样本，过拟合仍然是一个重大问题，因此他们在第四部分讨论了采用的多种防止过拟合技术。
研究强调，网络的深度对于取得优异成绩至关重要，移除任何一个卷积层都会导致性能下降。目前，网络规模主要受到现有GPU内存容量和可接受训练时间的限制，使用两个GTX 580 3GB GPU，整个网络训练需要五到六天。作者们认为，随着更快的GPU和更大数据集的到来，他们的成果还有进一步提升的空间。
论文地址：https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
顺序重要性：面向集合的序列到序列学习
文章《ORDER MATTERS: SEQUENCE TO SEQUENCE FOR SETS》由Oriol Vinyals、Samy Bengio和Manjunath Kudlur（来自Google Brain团队）共同撰写，并在ICLR 2016会议上发表。该文探讨了在监督学习中，序列因其能够利用循环神经网络（RNN）高效处理而成为重要对象。然而，许多任务涉及的输入或输出并非自然形成序列，例如对一组无序数字排序或建模随机变量的未知联合概率时，如何组织数据成为挑战。
研究首先通过多个实例展示了输入和/或输出数据的组织顺序对学习底层模型性能有显著影响。接着，作者提出了一种序列到序列框架的扩展，该框架不仅处理序列数据，还能以一种原则性方式处理输入集合。对于无序输出集合，他们设计了一种损失函数，在训练期间通过搜索所有可能的排列来应对输出集合缺乏结构的问题。实验验证了关于排序、图模型、语言建模和解析等任务中关于排序重要性的主张，以及对序列到序列框架修改的有效性。
文章还讨论了Read-Process-and-Write架构，用于处理无序输入数据，以及一个在训练和推断阶段都包含对可能顺序进行搜索的训练算法，以处理无序输出数据。研究工作得到了Ilya Sutskever、Navdeep Jaitly、Rafal Jozefowicz、Quoc Le、Lukasz Kaiser、Geoffrey Hinton、Jeff Dean、Shane Gu和Google Brain团队成员的有益讨论，以及匿名审稿人的帮助。文章参考了大量相关工作，包括序列到序列模型在机器翻译、语音识别、图像描述生成、语言理解和计算任务中的应用，以及神经图灵机、注意力机制等领域的研究。
论文地址：https://arxiv.org/pdf/1511.06391
GPipe: 利用微批次管道并行化大规模神经网络
论文《GPipe: 利用微批次管道并行化大规模神经网络》由Yanping Huang等人发表于ICLR 2018年，探讨了如何有效地规模化神经网络训练。该文指出，增加神经网络容量对于提高多种机器学习任务性能是一种有效手段，但在单一加速器内存限制之外扩大模型通常需要特殊算法或基础设施。为了解决模型并行化的效率和任务独立性需求，作者介绍了GPipe，这是一个允许任何可表达为层序列的网络进行管道并行化的库。通过在不同加速器上并行化网络子序列，GPipe提供了灵活性，能高效地将多种网络扩展到巨大规模，且引入了新颖的批次分割并行化算法，几乎达到线性加速比，当模型跨多加速器划分时。
论文通过两大任务展示了GPipe的优势：一是训练了包含5.57亿参数的AmoebaNet模型，在ImageNet-2012上取得84.4%的top-1精度；二是训练了一个60亿参数、128层的多语言神经机器翻译模型，处理超100种语言，性能超越双语种模型。文章表明，GPipe通过提供了一个灵活、高效并行化解决方案，促进深度网络在大规模任务上的训练和性能提升。
论文地址：https://arxiv.org/pdf/1811.06965
附录：𝕀²·ℙarad𝕚g𝕞智能平方范式研究
H𝕀：Humanity Intelligence [Sys1&2@BNN]
A𝕀：Artifical Intelligence [LLM@ANN]
𝕀²：H𝕀 𝕩 A𝕀 [bio- | silico-]
ℙarad𝕚g𝕞：认知范式或BNN认知大模型
A𝕀与H𝕀当前在玩一个语言游戏。A𝕀最大的问题是已知一点白
往期推荐
互为Prompt ｜ 大型语言模型的预训练·GPT智能到底意味着什么？
AI平方范式智库·数学系列E03S01 ｜ 神经网络背后的数学
AI平方范式智库·访谈系列E02S01 ｜ Ilya的AGI信念-Feel the AGI
AI平方范式智库·访谈系列E03S01 ｜ 从预训练模型到可靠可用AGI
扫码加群，
链接智库！
AI平方范式智库
那些prompt了我的，
是否也prompt了你...