摘 要：三个领域：1）具有人类控制器的控制系统，2）具有人机控制器的控制体系，以及3）自主机器人系统。提出了有待进一步研究的问题。

1 引言 

      通过简要介绍该领域的进展，促进对与学习控制相关的几个领域的进一步讨论。这些领域包括：1）具有人类控制器的控制系统，2）具有人机控制器的控制体系，以及3）自主机器人系统。可以认为，这些领域都在学习控制的范围内。为了强调解决问题或高级决策能力，我们可以使用更通用的终端智能控制系统来覆盖所有这些感兴趣的领域。应该注意的是，这个术语并不意味着其他控制系统是不智能的。也许一个合适的解释是，智能控制系统领域描述了自动控制系统和人工智能交叉领域的活动。人工智能中的许多研究活动都与控制问题有关。另一方面，对自适应和学习控制研究感兴趣的控制工程师试图设计越来越多的类人控制器。这两个领域之间的兴趣重叠为控制工程师创造了一个新的兴趣领域。希望这篇论文能起到催化剂的作用，激发人们对这一领域的更多兴趣和研究。

2 具有人类控制器的控制系统

     学习和智能控制系统的一个很好的例子是具有人工控制器（或执行器）的控制系统。预计对人类控制器的自适应和学习行为的研究将为学习控制系统的综合提供一些线索。许多作者已经研究了手动控制系统中人类控制器的建模。

     对于固定类型的设备，力程序计算器通常执行直接优化（或搜索）过程，以调整预先指定的性能指标的控制参数。在一些提出的模型中，已经提出了模型参考方案。尽管如此，人类控制器使用的性能指标的确定仍然是本研究中的一个重要问题。

      已经预料到，人类控制器对于不同的控制任务使用不同的性能指标。如果除了系统参数的变化之外，系统的类型也发生了变化（例如，从一阶系统变成二阶系统），则模式识别器将识别这种变化。因此，将启动控制策略的变更。将根据新策略执行适当控制参数的搜索。

      具体而言，手臂和手的动力学由一阶或二阶系统近似。研究中同时使用了一阶和二阶系统。假设人类控制器为非线性模型。进行实时参数调整或参数跟踪，以跟踪执行器的动态。线性和分段线性判别函数用于模式分类，特征测量包括系统增益、误差和误差。分类（或决策）边界是通过一段时间的学习确定的。

      到目前为止，所提出的人类控制器模型仅适用于狭义的简单任务。尽管这些模型可以证明某种类型的适应性和学习行为，但它们的“智力”水平可以认为非常低。所引入的模式识别模型虽然对非常简单的情况很满意，但相当原始。只有非常有限的研究致力于人类控制器的决策和学习过程模型，特别是在需要执行各种不同控制任务的情况下。反馈信号通常直接从系统输出而不是从环境中测量。如果遇到更复杂和未知的环境，这肯定是不够的。

3 具有人机控制器的控制系统

      最近开始了一项关于控制系统的研究，其中采用了人机组合作为控制器。除了人机交互问题外，与我们感兴趣的一个问题是这种控制系统的自适应和学习行为。据推测，相对简单的控制任务总是只能由机器（计算机）控制器执行。在更复杂的控制任务中，作为老师和控制器的人的监督是必要的。通过一段时间的学习，机器控制器将逐渐参与机械手的控制，因此，操作员将主要充当动作的发起者和制动者。另一方面，在某些情况下（例如，对于远程操作任务），需要机器（计算机）来帮助人类控制器规划和执行任务。由于远程机械手控制系统中涉及的时间延迟，有人建议，人类控制器不应在连续闭环中进行控制，而应作为机器控制（计算机控制）回路的监督者或间歇监视器和子目标设定者。

      这种由人监督的计算机控制的远程操作系统，远程回路通过远程站点的计算机闭合，代表远程设备充当具有短程目标的机器控制器。通过人类控制器闭合的监督回路代表了他间歇性设定目标和监督远程设备学习的功能，如果必要，甚至可以直接指导效应器。本地环路独立于远程设备，意味着人类控制器使用他的计算机作为对远程系统建模的辅助，以便他可以预测其行为，从而改进他的监督。

      已经提出了远程操作问题的状态空间公式。机械手和任务地点，即环境，被视为要控制的系统（系统环境）。定义了状态向量，不仅包含描述操纵设备的变量，还包含环境的重要参数（特征），可能包括相关物体和障碍物的位置。该矢量经过适当量化，跨越了一个离散状态空间，该空间包含许多不同的工厂环境控制情况。操纵任务被定义为人机控制器希望系统环境占据的新状态。状态转换是通过操纵器的辅助运动命令来完成的。控制器的目标是，对于每个状态转换的给定成本，确定从当前状态到期望状态的最优（最小成本）路径。该路径表示用于完成给定任务的最优控制策略。采用了一种类似于动态规划的方法来确定最优控制策略。

4 自主机器人系统      

       如果我们自然而然地将我们的目标扩展到自动控制系统的设计上，使其表现得越来越智能，那么学习控制系统的研究只是迈向更通用的智能控制系统概念的初步步骤。在使用人机组合作为控制器的情况下，需要更高智能的决策可以由人类控制器执行；例如，对复杂环境情况的识别，为机器（计算机）控制器设置子目标，纠正机器控制器做出的不当决策等。另一方面，需要相对较低智能的活动，如数据收集、日常决策和在线计算，通常可以由机器控制器执行。

      在设计智能控制系统时，我们的目的是尽可能地将设计者和操作员与指定任务相关的智能转移到机器控制器。除了对人类控制器和人机控制器（或监督控制器）的研究外，一项更直接、更雄心勃勃的研究是为智能控制系统设计非监督机器控制器。

      智能控制系统研究的一个课题是自主机器人，旨在遥远的环境中进行机动和操纵。下面是斯坦福研究所(SRI)机器人系统的简要描述。如图3所示，如果将机器人系统看作是一个处于复杂环境中的计算机控制系统，那么控制器至少要完成以下三个主要功能:1)问题解决，2)建模，3)感知。图3中的“反射性反应”模块类似于传统控制器，该控制器针对简单且或多或少可预测的环境情况执行预编程解决方案。机器人车辆由两个步进电机驱动，独立驱动车辆两侧的车轮。它在一个可移动的云台上搭载了一台摄像机和光学测距仪。车辆上的控制逻辑将来自控制器（计算机）的命令路由到车辆上的适当行动地点。车辆和控制器之间的通信由两个特殊的无线电链路提供，一个用于窄带双向遥测，另一个用于将电视视频从车辆传输到控制器中的感官分析仪。系统执行的典型任务要求车辆重新排列（通过推动）其环境中的简单物体。

      该系统通过执行一系列基本动作来完成指定的任务，例如车轮运动和摄像头读数。为了提高效率，应该首先将任务分析为一系列行动，这些行动被计算为具有期望的效果。这个过程通常被称为问题解决和规划，因为它是在机器人开始行动之前完成的。显然，为了进行计划，机器人系统必须“知道”（估计）其动作的影响。关于行动影响的知识构成了一种环境模型。解决问题的过程利用存储在模型中的信息来计算将导致受控过程（系统环境）处于所需状态的动作序列。

      随着环境的变化，无论是由于机器人自己的动作还是其他原因，都必须更新模型以记录这些变化。应该将有关环境的新信息添加到模型中。关于模型的信息的添加和更新是一个学习过程，并且类似于在许多学习控制系统中引入的过程。为了给机器人系统提供有关其环境的信息，传感器是必要的。使用视觉感觉系统是因为它允许直接感知环境的重要部分。需要场景分析和物体识别来为机器人提供其环境的描述。

       对于简单且定义相对明确的任务和环境，可以使环境建模变得非常简单。例如，有时环境可以用少量量化的工厂环境情况（状态）来表示。在这些情况下，建议使用动态规划方法来确定达到所需状态所需的动作序列（最优控制策略）。复杂环境的分析必须使用复杂的模式识别技术。目前，对于能够在复杂环境中完成各种任务的机器人系统，还没有用于最优决策的算法。提出了启发式问题解决过程来确定“最佳”行动序列（或控制策略）。由于所使用的启发式程序，因此所确定的控制策略可能不是最优的。然而，通过引入适当的学习过程，可以提高解决问题过程的性能。最近尝试了启发式问题解决过程的形式主义。毫无疑问，智能控制系统的研究将与一般人工智能研究的进展密切相关。

5总结

      如果注意到，已经对环境可以被有意义地量化以表示不同的系统环境（控制）情况或状态的情况进行了成功的尝试。本质上，感官分析或模式识别的功能要么被大大简化，要么由操作员（或设计者）执行。对于复杂的环境，量化的环境状况的数量可能会变得非常多，这使得环境状况的识别变得困难，并且由此产生的计算方案不可行。此外，如果环境是未知的或仅部分先验已知的，则很难获得用于各种任务的预先指定的有意义的量化。在线模式识别对于识别（分类）各种重要和有意义的植物环境状况是必要的。如果可能的话，将根据分类的工厂环境情况（状态）来确定给定任务的最优控制策略。然而，为了执行不同的任务，必须实现与任务相关的在线决策过程。对于复杂环境中的各种控制任务，将在线（最优）决策过程与模式识别相结合进行研究应该是很有意思的。

      经典的设计技术试图设计对干扰和环境变化不敏感的控制系统。受控系统和扰动通常可以用优雅的数学方程和函数来描述，并且给定的控制任务通常是明确定义的。然而，对于已经讨论的这类问题，控制系统似乎被设计成对环境的变化敏感，并且能够执行各种任务（通常，在数学术语中没有精确定义）。

      到目前为止，使用优雅的数学方程和函数描述复杂环境并不是很成功。另一方面，很少有控制系统设计技术被开发用于在复杂和不明确的环境中进行在线决策。我们是否应该尝试为不精确的环境和任务开发设计技术？或者，我们是否应该尝试研究通过数学方程和函数对复杂环境进行建模和识别的新技术，这些方程和函数适用于应用已知的优化和近似方法？这两种方法似乎都值得研究，也许更重要的是，应该以密切协调的方式同时进行研究。