#人工智能 #智能 #人工 #超级 #高级研究 #实时 #底层

advancedresearch-asi_core0

人工智能(ASI)的候选架构核心

2 个不稳定版本

0.2.0 2020 年 12 月 3 日
0.1.0 2018 年 5 月 3 日

#352 in 机器学习

MIT/Apache

37KB
409

ASI-CORE-0

人工智能(ASI)的候选架构核心。

该库包含一组对编写代理有用的结构体和特质。它专为必须处理实时并发、延迟和故障的代理而设计。在此设计中,认知能力被视为传感器/执行器。

该库仅包含代理架构的核心抽象。它有意设计为底层,以构建 ASI 架构核心设计的经验。此项目不专注于 AGI(通用人工智能),而是如何安全地控制超人类水平的人工智能。基本思想是设计出试图有意打破/保护系统安全的代理。这些代理以后可以用来测试最终 ASI 设计的安全性。

例如,通过强制代理按顺序行事,可以向系统中添加一些安全属性。另一个例子是尝试分配尽可能多内存的代理。

长期目标是评估可靠中立判断的实际方面,因为这将解决以礼貌禅宗机器人形式出现的控制问题的弱版本。

注意!此代码仅用于研究目的,绝不应在系统关键应用中使用!

注意!在没有仔细监督的情况下,使用此设计在自改进 ASI 中可能极其危险!

动机

此库的目的是用于构建一个安全的人工智能(ASI)。它是一个核心候选,并不保证最终设计会被使用。

此设计的一些特性

  • 非常小,以至于所有部分都容易理解。
  • 模块化。
  • 接近代理的理论定义,使其更容易从实验中学习。
  • 默认期望并发和延迟,这是一个现实的假设。
  • 不把认知能力视为“特殊”,它们只是传感器和执行器。
  • 将决策降低为连接传感器和执行器的问题。
  • 时间步是确定的,以便自动测试确定的决策过程。
  • 安全且可预测的关闭程序。

本库将用于一个特定的研究领域,即与ASI核心的实用工程相关的安全性方面。这是关于各种架构及其特性的组成。为了从这一领域的经验中学习,必须与一个旨在在现实世界中运行的设计一起工作。

该核心将决策问题简化为一系列固定动作。原则上,这些动作对代理是相同的。《决策程序仅连接传感器和执行器,以及管理内存》。内存管理是低级别的,以便代理能够进行精确控制。

通过使用在现实世界中仍使系统实用的小集合动作,可以更容易地将结果从一只代理推广到另一只代理。

人们也认为这种设计使人们更容易关注ASI的核心问题:如何最好地利用可用的信息和动作,而不是将它们视为几乎零成本的产物。由于代理被限制在连接输入和输出,它必须以某种方式行事,以便自我扩展是其可以推理的传感器/执行器。希望这也能带来一些关于自我改进的见解。

简化决策过程还有助于检查代理运行时的行为。运行时可以定制以测试或调试代理。

由于这种简单的设计,也有可能将决策程序包装在另一个中,以强制其按顺序执行(有关更多信息,请参阅Sequential)。

决策者

代理的“大脑”被称为决策者。决策者决定如何使用传感器和执行器。

决策者对认知过程没有控制权。相反,必须设计传感器和执行器协同工作以执行认知操作。决策者必须计划和做出正确的选择,以确保这些认知过程能够正常运行。这种设计的一个好处是,如果某些传感器和执行器允许扩展传感器和执行器的范围,那么决策者可以在运行时扩展代理的认知过程。

对于每一步,决策者输出一个动作。这个动作可以终止运行时,等待几秒钟,将一些内存状态输出到执行器,从传感器输入一些内存状态,分配一个新的内存槽,释放一个内存槽或交换两个内存槽。

没有奖励信号

没有将显式的奖励信号传达给代理。决策者必须自己决定如何随着时间的推移进行学习。在强化学习中,奖励信号可以编码到决策者中。

关闭和从睡眠中唤醒

出于安全目的,终止是受外部控制的。可以给代理一个警告,在某个期望的时间间隔内关闭。它必须报告关闭所需的时间估计,并且必须立即开始准备关闭。可以通过重复调用关闭请求来测量达到安全终止状态的过程。

如果控制器不耐烦,可以要求终止运行时。这将立即停止代理的执行,即使代理尚未达到安全状态。(它不会从备份内存中复活,因此不会在道德上杀死代理)。

代理可能会选择通过等待几秒钟而不做任何事情来让自己进入睡眠状态。可以要求运行时唤醒代理,给它一项任务或引起它的注意。

局限性

当请求某些输入或发送某些输出时,动作不能被取消。即使决策者后悔,运行时也会强制执行该动作。决策者必须确信该动作是安全的,或者执行器可以通过发送并发内存状态来中断。

决策者不允许知道传感器的数量或执行器的类型。此类信息必须明确同意或通过某种协议进行沟通。决策者只能依赖于内存状态类型,即决策者从环境中获取的知识完全通过记忆。

许可证

许可协议为以下之一

贡献

除非您明确说明,否则您有意提交以供包含在作品中的任何贡献都应按上述方式双重许可,不附加任何额外条款或条件。

无运行时依赖