论文部分内容阅读
研究具备自我提升能力软件的尝试最早始于20世纪60年代，而经常被称之为“机器学习”的技术仍然基本停留在学术研究阶段，只有极少部分进入商用市场的边缘，例如语音识别、信用卡诈骗侦测等领域。如今，专家认为随着更好的算法、更强性能的计算机和更智能的应用策略的相继问世，机器学习和自我训练软件技术将开始进入主流应用。
赢得200万大奖的机器学习
随着此类技术的进步和推广，市场需求也将逐渐看涨。“在过去，程序员可以针对一个问题编写代码，再进行测试和运行，并在以后人工调试和改进，如此反复进行循环测试，”美国斯坦福大学人工智能实验室主管Sebastian Thrun教授说，“这样的问题在于，软件将变得越来庞大，越来越难以管理。由此产生了一种趋势，即让软件具备自动调节和适应能力，这将是未来计算领域发生的一项重大革命。”
在美国国防部高级研究计划署(Defense Advanced Research Projects Agency)最近主持展开的一项竞赛中，Thrun教授通过采用几种新的机器学习技术的软件，来驱动一辆汽车在沙漠中自动驾驶了132英里的路程，从而为斯坦福大学赢得了200万美元的奖金。在新技术的帮助下，这辆汽车能识别并记忆它所行驶过的路面特征。机器学习技术还使Thrun教授的研究团队极大地提高了工作效率，据说他在过去需要花半个月来完成的人工编程工作，现在只需要一天时间就能让软件自动完成。
让软件训练软件
卡耐基.梅隆大学的自动学习和探测中心主管Tom Mitchell说，对人类而言很容易完成的一些任务(例如语音和图像识别)，要交给计算机来处理往往有较大的难度，因为很难用软件规则来将这些任务解释和交代清楚，但机器学习技术的运用可以明显改善这种情况。在机器学习技术的应用案例中，经由人工编写和标记的测试平台来“训练”软件，并分析和记录软件运行结果的对或错，不断对其进行校正，最终将成熟的软件派发出去解决现实中的问题。
为了试验这种概念，Mitchell用两种学习算法来相互进行基本训练，以让二者共同工作的效果好于单独使用其中一种。例如，一种搜索引擎算法通过分析网页上的词语来对其进行分类，而另一种算法则分析指向该页面的超链接中的词语，这两种算法共享对同一个页面的分析线索，并汇集出更准确的分析报告。试验结果表明，这种联合训练方案能明显降低错误率。它所取得的突破是：软件的训练平台不是由人工编写的，而是由另一种软件完成的。
填补人工编程的盲区
加州大学伯克利分校的Stuart Russell教授正在试验一些编程语言，程序员们经常用它们来为某些任务编写代码，这些任务很容易理解和编码，但也容易产生许多无法处理的盲区和缝隙。为了填补这些缝隙，该试验引进了诸如人工神经网络的机器学习技术。
Russell已经将其“局部编程”概念运用在一种称之为Alisp(Lisp语言的扩展)的语言中。“举例来说其原理：如果我想告诉你如何到达机场，但我手上没有地图，哪该怎么办呢？”Russell说，“我将编写一个程序，告诉计算机来如何到达目的地：‘沿着这条街持续走下去，穿过所有的路口，直到在一个斜坡处进入高速公路。在高速公路上一直走到有机场出口的路牌处，下了高速再驶入普通街道，直到机场。’在这个流程的编码过程中，将会产生大量无法处理的缝隙，但它仍然将是个非常有用的导航软件。”在每个缝隙处，程序员都会指定相应的学习算法，但Russell的研究目标是有朝一日让系统在每个缝隙处自动选择最佳的算法。
已经商用的机器学习技术
计算技术对机器学习自然化的提升，激发了纽约州立大学Yann LeCun教授的灵感，他发明了一种称之为“回旋网络”的人工神经网络系统，据称它与传统的神经网络相比，能用更少的资源和工作量来更好地完成图像识别等任务。通过大量的神经网络，软件必须接受数量庞大的不同情况下的训练，以让其适应多种不同情况——目标的不同位置和不同大小、不同的视角和背景等等，而这是项艰巨的挑战。
LeCun发明的技术如今已被用于银行门禁中的模式识别阅读器和机场的监视系统，它将监测目标的每个图像分解成小块区域(例如鼻子、眼睛等)，然后再拼接起来，生成高水平的特征信息，这种系统更加灵活，并且减少了训练的次数。
软件也可“物竞天择”
与此同时，研究还推进了机器学习的一个分支——基因编码学(Genetic Programming，GP)的发展，这种技术让软件的发展遵循像达尔文的生物进化论一样的规律。事实上，对同一种问题的解决，往往会有多个不同版本的程序，甚至会同时出现成百上千个版本，而这很容易让人们混淆。其中的绝大多数是比较弱的，但进化程序将从其中选择两个最优的出来，并将二者组合成更优秀的新一代程序。在没有人工参预的情况下，这种进化过程将持续进行数百代，并且每次都使程序得到优化和提升。
斯坦福大学的电子工程学教授John Koza是GP研究的先驱，他用这种概念来设计电路、控制器、光学系统和天线等设备，结果与那些取得专利的传统设计方法等效或优于后者。他完全用GP创建的一个控制器设计最近还获得了一项专利。
不过，有点像生物进化过程一样，GP的研究进展非常缓慢。即使到了计算机速度超前发展的当前，GP在解决复杂问题的过程中所用得上的计算资源仍然是杯水车薪。在那项专利设计工作中，Koza教授在他的笔记本电脑上所做的工作量只有几个小时，而完成控制器设计的GP进程则在由1000个Pentium处理器节点组成的集群环境下持续了1个月之久。
“我们从20世纪80年代后期开始了GP研究，现在我们所获得的计算能力将比那时强100万倍”，Koza说，“预计再过10年左右，我们的研究成果将在实际的工程设计领域发挥作用。”
赢得200万大奖的机器学习
随着此类技术的进步和推广，市场需求也将逐渐看涨。“在过去，程序员可以针对一个问题编写代码，再进行测试和运行，并在以后人工调试和改进，如此反复进行循环测试，”美国斯坦福大学人工智能实验室主管Sebastian Thrun教授说，“这样的问题在于，软件将变得越来庞大，越来越难以管理。由此产生了一种趋势，即让软件具备自动调节和适应能力，这将是未来计算领域发生的一项重大革命。”
在美国国防部高级研究计划署(Defense Advanced Research Projects Agency)最近主持展开的一项竞赛中，Thrun教授通过采用几种新的机器学习技术的软件，来驱动一辆汽车在沙漠中自动驾驶了132英里的路程，从而为斯坦福大学赢得了200万美元的奖金。在新技术的帮助下，这辆汽车能识别并记忆它所行驶过的路面特征。机器学习技术还使Thrun教授的研究团队极大地提高了工作效率，据说他在过去需要花半个月来完成的人工编程工作，现在只需要一天时间就能让软件自动完成。
让软件训练软件
卡耐基.梅隆大学的自动学习和探测中心主管Tom Mitchell说，对人类而言很容易完成的一些任务(例如语音和图像识别)，要交给计算机来处理往往有较大的难度，因为很难用软件规则来将这些任务解释和交代清楚，但机器学习技术的运用可以明显改善这种情况。在机器学习技术的应用案例中，经由人工编写和标记的测试平台来“训练”软件，并分析和记录软件运行结果的对或错，不断对其进行校正，最终将成熟的软件派发出去解决现实中的问题。
为了试验这种概念，Mitchell用两种学习算法来相互进行基本训练，以让二者共同工作的效果好于单独使用其中一种。例如，一种搜索引擎算法通过分析网页上的词语来对其进行分类，而另一种算法则分析指向该页面的超链接中的词语，这两种算法共享对同一个页面的分析线索，并汇集出更准确的分析报告。试验结果表明，这种联合训练方案能明显降低错误率。它所取得的突破是：软件的训练平台不是由人工编写的，而是由另一种软件完成的。
填补人工编程的盲区
加州大学伯克利分校的Stuart Russell教授正在试验一些编程语言，程序员们经常用它们来为某些任务编写代码，这些任务很容易理解和编码，但也容易产生许多无法处理的盲区和缝隙。为了填补这些缝隙，该试验引进了诸如人工神经网络的机器学习技术。
Russell已经将其“局部编程”概念运用在一种称之为Alisp(Lisp语言的扩展)的语言中。“举例来说其原理：如果我想告诉你如何到达机场，但我手上没有地图，哪该怎么办呢？”Russell说，“我将编写一个程序，告诉计算机来如何到达目的地：‘沿着这条街持续走下去，穿过所有的路口，直到在一个斜坡处进入高速公路。在高速公路上一直走到有机场出口的路牌处，下了高速再驶入普通街道，直到机场。’在这个流程的编码过程中，将会产生大量无法处理的缝隙，但它仍然将是个非常有用的导航软件。”在每个缝隙处，程序员都会指定相应的学习算法，但Russell的研究目标是有朝一日让系统在每个缝隙处自动选择最佳的算法。
已经商用的机器学习技术
计算技术对机器学习自然化的提升，激发了纽约州立大学Yann LeCun教授的灵感，他发明了一种称之为“回旋网络”的人工神经网络系统，据称它与传统的神经网络相比，能用更少的资源和工作量来更好地完成图像识别等任务。通过大量的神经网络，软件必须接受数量庞大的不同情况下的训练，以让其适应多种不同情况——目标的不同位置和不同大小、不同的视角和背景等等，而这是项艰巨的挑战。
LeCun发明的技术如今已被用于银行门禁中的模式识别阅读器和机场的监视系统，它将监测目标的每个图像分解成小块区域(例如鼻子、眼睛等)，然后再拼接起来，生成高水平的特征信息，这种系统更加灵活，并且减少了训练的次数。
软件也可“物竞天择”
与此同时，研究还推进了机器学习的一个分支——基因编码学(Genetic Programming，GP)的发展，这种技术让软件的发展遵循像达尔文的生物进化论一样的规律。事实上，对同一种问题的解决，往往会有多个不同版本的程序，甚至会同时出现成百上千个版本，而这很容易让人们混淆。其中的绝大多数是比较弱的，但进化程序将从其中选择两个最优的出来，并将二者组合成更优秀的新一代程序。在没有人工参预的情况下，这种进化过程将持续进行数百代，并且每次都使程序得到优化和提升。
斯坦福大学的电子工程学教授John Koza是GP研究的先驱，他用这种概念来设计电路、控制器、光学系统和天线等设备，结果与那些取得专利的传统设计方法等效或优于后者。他完全用GP创建的一个控制器设计最近还获得了一项专利。
不过，有点像生物进化过程一样，GP的研究进展非常缓慢。即使到了计算机速度超前发展的当前，GP在解决复杂问题的过程中所用得上的计算资源仍然是杯水车薪。在那项专利设计工作中，Koza教授在他的笔记本电脑上所做的工作量只有几个小时，而完成控制器设计的GP进程则在由1000个Pentium处理器节点组成的集群环境下持续了1个月之久。
“我们从20世纪80年代后期开始了GP研究，现在我们所获得的计算能力将比那时强100万倍”，Koza说，“预计再过10年左右，我们的研究成果将在实际的工程设计领域发挥作用。”