【强化学习】数据科学，从计算到推理

作为专栏的第零篇，编外篇，我们也是考虑到在正式开始强化学习专栏内容介绍之前，给大家树立一些基础知识和学习框架。大部分关注专栏的同学都是具有数据处理、数据分析、数据挖掘、以及算法工程背景的同学。为了让大家能够统一基础认识，加深理论学习深度，我们在这里特此推出：数据科学——从计算到推理。

作者&编辑 | 行健

1 数据科学

数据科学的定义：数据科学是基于计算机科学，以数学为为主要手段，物理、生物、医疗、化学、材料、社会学科、商业等为应用目标，交叉产生的一门跨学科的综合型学科。其中数学与计算机交叉衍生出机器学习、数据分析。

数据科学的范畴：所有需要计算和验证的学科、领域都需要数据科学。数据科学为商业决策、智能分析等提供了基础工具和可应用的方法论。

数据科学中的数学理论包含：

微积分、统计学、集合论、概率论、贝叶斯概率论、经典概率论、随机过程、时间序列分析等统计概率理论，代数几何方向包含线性代数，矩阵论，群论，离散数学，微分几何，拓扑学、图论等数学分支学科。

图1.1 数据科学交叉领域

图1.2 数据科学在整个数据分析流程中的位置和作用

2 数据科学家的技能树

大数据时代，什么职业比较吃香?答案可以从今年的校招薪资列表上知道----算法工程师、人工智能研究员、数据分析等职位。那么作为一名数据科学家，应该具备的技能有哪些呢?接下来，让我们来看看数据科学家这个角色的技能树。

图2.1 数据科学家的角色

图2.2 数据科学家的技能树

数据科学家除了技术技能之外，还需要很好的非技术技能。包括好奇心，商业头脑，沟通能力以及团队合作。

3 计算到推理的桥梁

人类的智能来自于对大自然的不断探索和认知，计算和环境的融合也将是实现计算智能的必经之路。

目前主流的人工智能仍然存在许多基础问题。其中，如何让计算机理解‘常识’，成为突出问题。在我们日常的认知和判断过程中，我们与现实环境进行交互，通过个体脑海中的常识对环境做出判断，既而产生对应行动。目前AI基于“深度学习+海量数据” 训练模型的方式，并不能真正获得这种‘常识’，它更像是通过深度学习来编码一个领域的大量数据，其中神经网络的结构成为了优化计算的利器，而不是在认知这件事情本身上的努力。长久下去，机器智能将停留在暴力遍历的逻辑中不可自拔。对于唤醒机器去实现自主智能，还需要很多探索和尝试。其中，强化学习无疑是在这一领域将有突破的方向。

4 强化学习，另一种认知的角度

强化学习在机器学习中的角色

最近，Deepmind 团队发表论文《

Causal Reasoning from Meta-reinforcement Learning

》。论文认为发现和利用环境中的因果结构是智能体面临的一大关键挑战。围绕这一问题，Deepmind 团队探索了元强化学习来实现因果推理（cause reasoning）的可能。通过使用无模型强化学习训练一个循环网络来求解一系列包含因果结构的问题，训练后的智能体能够在全新的场景中执行因果推理，从而获得奖励。智能体可以选择信息干预、根据观察数据得出因果推论以及做出反事实的预测。尽管也存在已有的形式因果推理算法，论文结论表明这些推理也可以由无模型强化学习产生，并提出这里给出的更多端到端的基于学习的方法也许有助于在复杂环境中的因果推理。通过让智能体具备执行——解释——实验的能力，该研究也能为强化学习中的结构化探索提供新的策略。

从这个角度出发，强化学习为机器智能推理提供了一种可能。

5 数据科学入门必备

基础篇：《Data 8，foundations of data science》

第一本是课程《Data 8，foundations of data science》的教材。这门课程主要介绍了统计学、推理、计算机科学的一些基础理论与关键技术，以及如何提出数据问题。教材中包含了数据科学方向学生需要了解的基础知识，是以开源项目的形式进行维护的。

项目地址：

https://github.com/data-8/textbook

教材地址：

https://www.inferentialthinking.com/chapters/intro.html

作者：Ani Adhikari，John Denero

进阶篇：《Principles and Techniques of Data Science》

这门课在Data8之后，需要读者具备基本的table操作能力、概率概念、分布、分类等先修知识，还需要有Python编程基础。

项目地址：

https://github.com/DS-100/textbook

教材地址：

http://www.textbook.ds100.org/

作者：Sam Lau，Joey Gonzalez，Deb，Nolan

总结

计算到推理，需要我们系统的学习和了解我们目前科学体系获取知识的主要方法。其中统计学和实验方法论是科学家的两大利器。恰巧强化学习理论在这两方面都有涉猎。通过对目前数据科学和数据科学家角色的认识，我们更能看清数据如何在现实中发挥决策功能，提高社会生产效率和商业价值最大化。同样，也给我们新的角度和期盼去实现强化学习在这些领域的价值。

下期预告：强化学习基础概念 

有三AI-强化学习星球

强化学习知识星球创建了，免费加入，内容包括理论追新，前沿论文共读，一周一篇，强化学习工程实现，理论创新设计等，欢迎大家加入！

转载文章请后台联系

侵权必究

往期精选