马斯克、图灵奖得主等千名专家发表联名公开信，呼吁暂停训练任何比GPT-4更强的人工智能。

我们呼吁所有人工智能实验室立即暂停训练任何强于GPT-4的人工智能，时间为至少六个月。

原文：Pause Giant AI Experiments: An Open Letter

全文中文翻译：

正如广泛的研究[1]所表明以及顶尖人工智能实验室所承认[2]的那样，等同或者强于人类智慧的人工智能可能给社会和人类文明带来巨大的风险。已被广泛认可的阿西洛马人工智能原则提出，先进的人工智能将给地球生命的发展历程带来深远的改变，而相应地，也应以足够的资源和社会关注度来对其进行规划和管理。但不幸的是，我们当下对人工智能的规划和管理远远达不到这种程度，而与此同时，各个人工智能实验室都被主动或被动地拖入一场失控的竞赛中，争相开发和部署越来越强大的人工智能，但包括它们的创造者在内的所有人，都无法完全理解、预测和控制这些数字大脑。

当下，人工智能系统已经慢慢可以在一般的任务处理中与人类相媲美[3]，我们必须要问自己：我们 要让机器使用各种宣传和虚假内容来主导我们的信息渠道吗？我们 要把我们所有的工作都交给机器来自动化处理吗，即便有些工作本可以赋予我们独特的成就感？我们 要创造一种最终可能在数量和能力上都超过我们的非人类的智慧，并让它们淘汰和取代我们吗？我们 要冒这种失去对我们自身文明控制的风险吗？这些问题的答案不应该由未经人民选举和承认的科技行业的控制人来代替我们回答。只有当我们确信它们带来的影响将是积极的，它们承载的风险将是可控的，我们才可以发展强大的人工智能系统。 而这份自信的来源必须有所依据，并且随着人工智能对人类社会影响的扩大而增强。OpenAI在最近关于通用人工智能的声明中说，“在某个时间之后，对先进人工智能的训练预先进行独立审查可能会变得很重要，同时，领域内的顶尖力量要达成一个约定，以限制用于新模型的计算资源的增长速度。” 我们同意这个观点，而那个时间就是现在。

因此，我们呼吁所有人工智能实验室立即暂停训练任何强于GPT-4的人工智能，时间为至少六个月。 这个暂停应该是公开的，可以经过核查确认的，并且要涵盖所有主要的人工智能开发组织和团体。如果此暂停不能在短期内得到实施和确认，政府应该介入并颁布暂停法令。

人工智能实验室和相关领域专家应利用这一暂停时间，共同制定和部署一套针对高等级人工智能设计和研发的共享安全协议，并由独立的专家进行严格的监督和审查。这份协议应该确保任何遵守该协议的人工智能在除合理的风险[4]之外是安全的。这并不 代表暂停人工智能的总体发展，只是在这个危险的竞赛中暂时退一小步，以避免它将我们带向越来越大、拥有突现能力且不可预测的人工智能模型黑箱。

人工智能的研究和开发应该重新聚焦于使当前最强大和先进的人工智能系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

与此同时，人工智能开发者应该与政策制定者一同，大幅加快开发稳健可靠的人工智能管理系统。该系统至少应当包括：新设立的专门针对人工智能的强有力的监管机构；对高等级人工智能系统以及可用于人工智能的大型计算池的监督和跟踪；来源和水印标记系统，以区分真实和生成内容，同时跟踪模型泄露；强有力的审查、认证和生态管理系统；关于人工智能所造成危害的责任制度；用于人工智能安全技术研究的公共资金；应对人工智能可能导致的对经济和政治（尤其是民主）的巨大破坏的机构和充足资源。

在人工智能的帮助下，人类将迎来一个繁荣的未来。在成功创造出强大的人工智能系统之后，我们步入了生机勃勃的人工智能之夏，我们收获成果，利用它们为所有人创造美好生活，同时给社会一个适应和喘息的机会。我们的社会曾经为一些可能带来灾害性影响的技术按下了暂停键[5]，现在，我们也可以这么做。让我们慢慢享受一个漫长而美好的人工智能之夏，而不是毫无准备地匆忙踏入危亡之秋。

注释和引用（未翻译）

[1]

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Bostrom, N. (2016). Superintelligence. Oxford University Press.

Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In _Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society_ (pp. 119-129).

Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.

Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.

Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. _AI Magazine_, _43_(3) (pp. 282-293).

Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.

Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.

Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.

Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.

Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.

[2]

Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.

Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.

[3]

Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.

OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.

[4]

Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".

[5]

Examples include human cloning, human germline modification, gain-of-function research, and eugenics.

微软必应的表现

• 表面繁华，杜撰严重，准确度差。
• 所谓的网络搜索，只是将必应搜索的前几条结果附送到模型中，网页内容只有摘要，并没有进入到网页中获取网页内部信息。
• 网页搜索结果摘要的可读性差，内容杂乱且不全。
• 成为ChatGPT的快捷入口，提供相似结果。
• 成本异常高昂，部署大规模免费服务难。
• 安全性差，可破解率高，社区防破解难度高。
• 伦理表现极差。
• 总结：对搜索引擎可用性低。

总体问题和思考

• 内容问题

  • 网络内容混乱，可用信息密度低，AI可读性差。

    • 调整搜索权重，优化信息整理和提取，布局格式化、语义化的权威数据平台。

  • 搜索结果只有摘要？

    • 一个网页的信息量巨大，每个字符都是成本，探索怎么样获取网页内容并低成本提取出最符合用户需求的信息，如使用低端模型，或者如上对数据进行预先格式化整理。需要整个互联网进行配合改革？

• 成本问题

  • 训练成本高，运行成本高。

    • 要订阅制收费？
    • 限制免费使用量或功能？
    • AI带货？
    • 广告收费式引用（挂链接）？
    • 软广（隐形推广）？合法性？
    • 各类平台的合作？（汽车、旅行、美食、购物…… 几乎所有）
    • 提升技术

• 安全问题

  • 必须使用ChatGPT模式，而不是必应的Prompts模式。
  • 必须对防破解进行加强训练。（破解指通过特殊语句绕过对规则、内容等的限制，非对计算机服务系统，法律未覆盖）
  • 必应的教训：发布前一定要大量测试！！！

其他

• 有些问题必须提升模型能力才能解决。
• ChatGPT等之于搜索引擎的可用性和必要性当前存疑，要给用户带来根本变化，仍需要大幅改进。
• 搜索引擎可以是ChatGPT式AI的重要入口。
• 是否需要转变AI之于搜索引擎的定位，从替代性变为辅助性，或者说更重视辅助，而不是替代。比如让AI建议搜索结果而不是直接给出答案。

时间和精力限制，文章为严肃向且尽量言简意赅。

年后，ChatGPT又再次掀起了新的热潮，这场热潮随着微软发布整合了ChatGPT的必应搜索愈演愈烈。谷歌紧张布局，各大公司纷纷表态，越来越多的人开始把“革命”放到嘴边。

最重要的原因，是ChatGPT将能够改变搜素引擎，并且正在改变。

将AI集成到搜索引擎，能够简化搜索体验，让AI为用户分析搜索结果，并给出用户最想要的答案。这也是它能够带来的最直接变化。

即便在移动互联网时代，搜索引擎的地位仍然是处于核心区域的。同时，搜索引擎是互联网的一个关键入口。所以，它无疑将引起连串反应。

注意：以下内容可能偏向积极，一些变化可能是缓慢或长期的，部分可能是不正确的。

AI搜索引擎

新的搜索权重体系

查看全文

微软的动作异常的迅速，自发布整合了 ChatGPT 的必应搜索，推出“等待列表”的机制之后，部分用户现在已经得到了访问“新必应”的机会。

ChatGPT 是基于 OpenAI 公司的 GPT-3 模型开发的，即便传言说新必应使用了它的下一代，也就是 GPT-4，但目前尚未证实。不过很多用户的确反映这个名为 "Bing Chat" 的人工智能，能力似乎略微比 ChatGPT 要强一些。

当然，最重要的是，当“ ChatGPT 联上网”，会是怎样的表现。

当让它总结当前世界热点新闻时，它列出了土耳其地震等五条内容：

查看全文