科技大佬联名抵制强AI ChatGPT-4研发？
人类与AI的博弈拉开了序幕～
人工智能会失控吗？
著名安全机构生命未来研究所（Future of Life Institute，FLI）今天发布了一封公开信，呼吁全球机构暂停训练比GPT-4更强大的AI至少六个月，并利用这段时间制定AI安全协议。
截至目前，已有1125人在公开信上签名附议，其中包括特斯拉CEO伊隆·马斯克、图灵奖得主约书亚·本吉奥以及苹果联合创始人史蒂夫·沃兹尼亚克等。签名人数还在持续增加。
公开信语气强烈，称目前正在开发的高级人工智能对人类社会造成威胁，各大AI实验室之间的竞争已经失控，但包括AI的创造者在内，没有人能理解、预测或可靠地控制它们。
信中提出了一系列问题：“我们是否应该把所有工作都自动化，包括那些有成就感的工作？我们是否该开发机器大脑，让它们比人脑还多，比人脑还聪明，最终淘汰我们取代我们？我们是否应该冒文明失控的风险？”。
这些问题已经摆在我们面前，但我们没有做好准备。因此，公开信呼吁所有人立即暂停AI研究至少六个月，并加速制定安全协议。同时，AI研究和开发应该更注重准确性、安全性、可解释性、透明度、鲁棒性、可靠性和忠诚度。
公开信全文如下
（建议英文阅读，以明其意）
多位专家学者在公开信上签名附议
多位专家学者在一封公开信中签名附议，其中包括以下人士：
Yoshua Bengio，蒙特利尔大学教授，蒙特利尔学习算法研究所所长，因对深度学习的开发获得图灵奖。
Stuart Russell，伯克利计算机科学教授，智能系统中心主任，也是标准教科书《人工智能：现代方法》的合著者。
伊隆·马斯克（Elon Musk），SpaceX、Tesla和Twitter的首席执行官。
史蒂夫·沃兹尼亚克（Steve Wozniak），苹果联合创始人。
Yuval Noah Harari，作家和耶路撒冷希伯来大学教授。
Emad Mostaque，Stability AI首席执行官。
Connor Leahy，Conjecture首席执行官。
Jaan Tallinn，Skype联合创始人，生存风险研究中心和未来生命研究所的创办人。
Evan Sharp，Pinterest联合创始人。
Chris Larsen，Ripple联合创始人。
John J Hopfield，普林斯顿大学名誉教授，联想神经网络的发明者。
AI究竟何去何从
谁写的公开信？公开信有什么作用？
这封公开信是由生命未来研究所（FLI）于今天发布在官方网站上的。虽然这个名字听起来有点中二，但实际上这个组织早在2014年就已经成立，他们的目标是引导变革性技术远离极端、大规模的风险，转向造福生活。
FLI主要关注四大风险：人工智能、生物技术、核武器、气候变化。人工智能早已成为FLI的研究方向之一。马斯克甚至向该机构捐赠了1000万美元以支持他们调查人工智能的潜在缺陷。公开信则是生命未来研究所的一种呼吁性文件。
当涉及到新兴技术及其风险时，FLI认为科学家需要发出自己的声音。联合签署公开信是一个可以引起大家关注的方式，可以促进相关话题的对话和交流。
这个团队所做的事情不仅仅是发出呼吁。2017年，FLI组织了一次关于人工智能的会议，大家围绕着相关话题讨论并通过了阿西洛马人工智能原则（Asilomar AI Principles）。这份原则的23项条款涉及人工智能的发展问题、伦理和指导方针。
然而，这个组织也受到了不少批评。有媒体认为这种公开信缺乏对具体技术的讨论，只是搞了一个吓唬人的标题来博取关注，这甚至让大众产生了“AI恐慌”。
值得一提的是，提交公开信签名需要经过人工审核，但这次签署名单中短暂地出现了Open AI首席执行官山姆·阿尔特曼的名字，让人们感到费解。但目前该名字已从网页移除，山姆·阿尔特曼本人也没有对此事发表任何看法。
所有签名在展示前都需要经过人工审核，该文引用自futureoflife.org。这其中的问题是意外乌龙还是有意炒作，我们很难还原真相。
有人开玩笑说：“你永远无法把召唤出来的精灵再塞回瓶子里。”随着人工智能的不断发展，我们很难通过阻止来暂停其不断迭代的步伐，而伦理和政策的跟进又相对滞后，成为当前一个棘手的问题。
自2014年起，联合国就对致命自主武器系统（也称“杀手机器人”）的开发进行了国际辩论。2017年，马斯克等人联名发布公开信，呼吁顶级人工智能和机器人公司敦促联合国采取行动，禁止致命自主武器的发展。
如今，GPT一次又一次震惊世界，而对于它未来的应用，也充满了想象。
或许，“科技向善”终于不只是口号了～
参考文献：
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".
Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
https://www.cnet.com/tech/elon-musk-urges-top-ai-labs-to-pause-training-of-ai-beyond-gpt-4/
https://nypost.com/2023/03/29/musk-experts-urge-pause-on-ai-systems-citing-risks-to-society/