超深度学习SDL的技术问答（一）

1、模型整体上更像是一组基于高斯分布的特征概率抽取模型，但特征到底有多少组依赖人工知识对样本数据进行预处理。对图像有较为丰富的先验知识，去做图像的预处理和特征的抽取比较方便，而如果不是图像，没有太多先验知识，这种模型是否就不适用了呢？一个专用模型会限制其价值。

回答：这次在介绍SDL模型时，由于时间关系，只偏重介绍了一种普通图像识别的方法，可能会给人一个错觉，会感到SDL在图像识别时对信息抽出部分比较苛刻。其实在模式识别上从常识上一定要注意做好两个环节：一是信息抽出的质量要高，二是分类算法水平高，这是缺一不可的。而在自动驾驶控制系统上，来自现场的数据只需要用概率尺度自组织的机器学习滤除噪声就可，通过SDL模型把人的知识传授给机器，使机器产生智慧，实现传统算法所做不到的应用效果，这也是当今AI的发展方向。

目前利用SDL模型不仅可以作为图像识别，声音识别，还可以用于控制和决策。上一个AI高潮是用规则搭建的知识库，可以把人的知识用规则库的形式承载，最具有代表性的应用就是日本的自动驾

驶列车的成功，这一次AI高潮最典型的成果，应该是在自动驾驶汽车上的成功，是用SDL模型的机器学习，把极其复杂的人的驾驶经验用大量的高斯分布的来承载，高斯分布，高斯过程理论在新一代人工智能的发展上将起到任何一个数学理论所代替不了的作用，一个高斯分布可以等于无限个规则，这说明了新一代人工智能对上一代AI高潮产生了颠覆性的进步。

难怪2017年初美国有一个AI创业团宣布掌握了一个小数据学习的类似高斯分布模型，很快就被军方以及其高的金额收购，从此这个团队消声觅迹。

2、模型最后的多特征匹配过程，更像是一个多分类器的集成学习方法，即将多个弱分类器组合成一个强分类器。不过，模型并未使用人工神经网络等学习模型，而是直接计算存储特征与计算值的距离。如果一些特征距离近，一些特征距离远，如何去评价相似性？

回答：这次在天津所介绍的SDL模型，只能很粗狂的范范介绍，其实，更加精准的实现高精度的模式识别的结果，不仅仅只是找出概率空间距离最近的一组特征向量所对应的识别结果，还要进行对抗学习，还要考虑特征向量中各个特征值之间相互作用的程度，还要考虑模糊事件的概率测度等等，这些结果一定是在微观的对抗学习之下，将微观的还看不出有多大作用的模糊信息，概率信息经过处理使其在宏观上得到稳定的，并且是确定性的结果。应该说导入SDL模型是一个最佳化的识别模型，可以定量的给出识别系统的精度，而不是通过实际测试才可得出识别精度的评价。

3、人工神经网络可以通过训练和学习，去生成逻辑与或非类的逻辑操作，从而能够达到组合分类的效果，概率模型好像没有这种效果，那么对复杂的非线性分类需求，这个模型将如何应对呢？如果不能产生逻辑运算，那么有是如何支持无人驾驶等决策的呢？

回答：我对于李教授所谈到的逻辑与或非的逻辑操作与分类之间的关系，还没搞清楚，在我们的理解中，逻辑关系是决策问题，与分类很难具有连带关系，这很可能是我们学习还不够。DL模型是在图像分类上取得了突出的成果，因而被世界关注的。分类也是DL模型由于是函数映射的模型，所以必须解决非线性分类的问题，因为两种不同的识别对象的数据集往往有一部分重合，需要严格的进行非线性的分类，而DL模型本身是线性的模型，为此在节点之间加入了很多非线性的激发函数，这在工程应用上是很难理解的，往往都是希望把非线性的目标函数变成线性的，而使系统稳定，在DL模型中加入大量的非线性函数，整个系统是很可怕的，相信这只是理论上的罗曼，现实中一定对这些非线性函数进行了限制。

在分类问题上也许SDL模型具有得天独厚的优越性，DL模型的分类是建立在人工标注的结果上，而SDL模型可以自动的对不特定的目标函数进行分类，站在高斯分布的理论上，所以要进行非线性分类，是出现了两个以上高斯分布的交织，这是传统分类方法往往解决不了的，但是，导入模糊事件概率测度，既可以充分利用概率空间距离信息，又可以考虑每一个被分类的数据所处在位置上概率，在此基础上导入强对抗学习的迭代，超越这样的分类方法很难获得，而且如此直

观简单也是很难得的，但是，简单往往被认为不可信，贝叶斯定理只是条件概率的一个倒置，况且就是条件概率在工程上也看不出有什么特殊作用，但是AlphaGo导入贝叶斯网络以后产生突破性的成果。概率尺度自组织这么简单，但是它却颠覆了统计学的两个重要的参数，它超越了公式化的计算结果，与大家所认为的聚类算法是无监督机器学习相比，概率尺度自组织机器学习是不可怀疑的。

4、另外，深度学习模型确实存在黑箱，但本模型也并没有解释多特征的组合问题。一个全局的概率分布，和几个特征的局部的概率分布，并没有什么机制计算或学习相关性，其对样本的多尺度识别如何体现呢？

回答：在SDL模型中不存在超过40个要素以上的组合问题，因此不存在黑箱问题，是一个非常透明的，可分析的，可以放心的用于工业控制，是自动驾驶的汽车的控制决策的目前唯一的机器学习模型。一个全局的GAN概率分布的获得，远不如每一个特征值所获得的概率分布所起的作用，这是模式识别领域的常识。

在我们进行自动驾驶汽车的SDL模型的应用中，已经初显SDL模型的强大性，在3D识别上，可以在很小的硬件开销上实现无训练自动识别，则令世界最大的3D识别车载产品的制造公司目瞪口呆，一个导入AI的3D识别产品可以在200-300元就可以实现，这对于DL模型来实现是很困难的。我们的自动驾驶可以实现接近人的意识的决策，可以完全同人的驾驶的判断一致，在自动驾驶的控制上所必须的多目的随机函数的控制，这是目前现代控制理论中的最水平的自

适应控制的辨识所不可能的，但是导入SDL模型可以轻而易举的彻底解决这一控制问题，为现代控制理论又可以增加一个更先进的新的控制理论。

当然，SDL模型才刚刚出世，一切还在初始阶段，需要承先启后由世界众多的科学工作者来完善。以上只是个人的粗浅体会希望李教授指点。最后衷心的感谢郭秘书长，李教授为推动SDL而付出的努力！

超深度学习SDL的技术问答（二）

1、SDL模型采用的数学模型仍然是传统的数学模型，并没有提出新的数学理论模型。
      回答：这个问题代表了我们人工智能（以下简称AI）行业的研究者的普遍的认知，这一次AI的高潮是历史上针对一项技术从来没有过的如此大的规模，如此广泛地使从事这个领域的有些研究人员过于冲动，脱离了现实。很多人放弃了现有数学基础理论的应用性研究，一味追求新的数学基础理论的探讨，这对作为AI的基础研究人员固然值得赞扬。但是，作为AI工程技术人员就不切合实际了。这次AI高潮最多持续10年，在这么短的时间里放下应用不去做，不借助现在的大好形势，努力做好我们AI工程人员的本职工作，可能会耽误了我们的前程。基础理论的研究常要耗费上百年时，要被社会认可还可能要几百年。贝叶斯定理就是在300年后的今天，其应用价值不是才被我们认识的吗？ 

我所熟悉的日本AI第一人、东京大学的S教授，为了解决机器学习的核心理论“概率空间距离”，尽管在这个领域很出名，但是也只是在别人提出的理论的基础上取得一点点的进步。他还搞不清什么是概率空间？为什么概率空间距离不能满足对称性？概率空间与欧几里得空间的关系？

2013年日本的科学家提出的“L^2距离”是一个非常错误的概率空间距离，由此可见寻求基础理论的创新不是一个轻而易举的事情。很多研究人员也把视野移向量子理论，可是量子理论也没离开概率理论。作为工程技术研究人员要善于在已有的理论的基础上创新，是一个事半功倍的策略！大家以为概率与数理统计理论过时了，其实不然，这是一个在AI应用上具有突破性的，并且她还是含苞待放的处女。AlphaGo的成功是组合理论的重要成果，科学的解释是贝叶斯网络导入的结果，这不就是概率理论所起到的作用吗？大家还以为高斯定理，高斯过程很陈旧了，没什么可以研究了，但是机器学习将人的经验通过高斯分布，高斯过程可以成为控制机器的可贵的先验知识，可以捕捉现场深层信息。这么好的数学理论却没引起我们的关注，难怪很多人抱怨自己搞不出成果。                                                  
     SDL模型在推动数学基础理论的进步上，是提出了通过“概率尺度自组织”的机器学习获得高斯分布，高斯过程的结果。这个结果颠覆了传统统计学的公式性算法，可以逼近在统计学上不可能获得的母体结果。就是后面提到的如何使噪声降到最低，SDL模型就是目前唯一的算法。

再有SDL模型提出了我们在分类，检索，对抗学习等等必须要用到的跨越欧氏空间连接概率空间的精准距离公式。我国的复杂系问题的数学家，哲学家以及未来学专家何博传教授，就是最早肯定SDL模型解决了不同空间距离，这个意义不可估量。用他的话讲：“距离问题是数学理论的核心问题”。SDL模型所创出的这一理论，决定了SDL模型一定是最强大的最简单的模型。虽然这些技术进步是微小的，但是在工程应用上会产生不可估量的成果。当今的大数据库会被大智慧库所取代，当今的由“与”“或”“非”所构成的计算机会被“由无数个机器学习所取代。这一技术的进步难道还不会引起我们重视吗？

我们是AI工程技术人员，新数学基础理论的研究和产生，不是我们作为目标要做的事情。我们应该在已有的数学基础理论指导下，通过我们发明的算法模型使一个已经出现的基础数学理论发扬光大，我们深信在今后几百年里概率理论一定会一直统治人工智能领域。

 2、我的专业就是地震波信号处理。降低信号里的噪音是非常困难的事情，完全消除噪音目前来说还没有找到这样的方法。在自动驾驶里，任何噪音干扰带来后果可能是人不能承受的。
      回答：正如上述所说的，概率尺度自组织可以剔除噪声，是目前最好的滤波器。处理随机性目标函数，一方面是用概率尺度自组织最大限度的降低噪声的扰动，另一方面通过SDL模型训练目标函数，产生高斯分布，把握了目标函数的随机性的规律，是解决噪声扰动的重要的措施。
   

3、分类也是逻辑关系的一种表示形式。
      回答：一般我们所接触的逻辑关系的算法主要解决决策问题，分类问题主要是依据某一尺度的线性与非线性的分类。
 

 4、自动驾驶的所有规则里，安全规则是第一位的。基于概率的逻辑过程是无法满足100%安全要求的。  
      回答：这种观念是有些片面，其实加入概率模型会更加使系统稳定。例如AlphaGo加入了概率模型就可以百战百胜，理解这个问题要结合场景，以及所针对的算法。在工程上解决不稳定，解决随机问题，依靠概率模型是行之有效的方法。模糊事件概率理论在工程上的贡献，就是可以把微观的模糊的信息，微小的随机信息通过积分处理，获得确定性的，稳定的信息。
      另外，无论什么理论，在理论上无论多么正确，实践是检验真理的标准。为此我们决意要在自动驾驶汽车应用上，验证SDL的强大性。由于目前深度学习DL模型还不能用于自动驾驶汽车，没有可比性。我们就选择深度学习DL模型在最适于的发挥的人脸识别上与深度学习DL对抗。为此，我们经研究，掌握了深度学习DL模型，在人脸识别应用上所以可以起到很好的应用效果的实质性根源。由此，不管在小数据的训练上，以及分散机器学习上超深度学习SDL都优于深度学习DL，而且在大的特性集的构建上也超过深度学习DL的规模。我们相信，新一代人工智能一定是一个非常强大的，非常容易实现的，除已应用的领域外，还将以其前所没有的性能优势，可以扩展到工业控制、智能终端等广泛应用领域的模型。

超深度学习SDL的技术问答（3）

问：举一个特殊、但是在现实中发生过的案例，在一条直行的路上，突然从路边跑出一个人穿过马路，这个时候驾驶车的人的反应来自本能，因为司机根本就不知道发生了什么事情，而是在避免了事故后才知道发生的事情，那么采用SDL模型自动驾驶时，如何处理这类事件。这个就是小概率事件。

回答：SDL模型应用在自动驾驶上，可以做到机器比人的驾驶更安全，比人的驾驶水平更高，我们在积极的寻找场景，力图让大家一看就很容易理解，希望大家协助积极提供好的Idea。但是，我们所说的由于导入SDL的机器学习，在安全与驾驶水平上机器可以超越人，并不等于机器完全可以应对各种偶然的事故，我们的定义是：人不能避免的小概率事件的发生的事故，机器也不能避免，人能避免的小概率事故，机器会比人做得更好。

问：SDL模型在避障上是否用了SLAM避障方式？

回答：我们的自动驾驶汽车在道路行驶时，遇到前方车没有采取SLAM模型来绕开前方车。因为SLAM模型只是解决在简单的环境下，机器人或专用小车如何绕开障碍物问题，自动驾驶汽车在路上行驶却要与周围各种车辆进行协调，而且周围的同行车是移动的，自动驾驶车与同行车之间的距离，位置是动态的，自动驾驶汽车向左变道，与向右变道的条件是不对称的等等，自动驾驶汽车在道路上行驶的决策也是复杂系问题，很多人用强化学习力图通过试错找到一个最佳的决策方案(https://github.com/Kyushik/Unity_ML_Agent)，遗憾的是自动驾驶的决策也是属于NP问题，不管这种试错的处理进行到多长时间，最佳决策方案是试不出来的。

SDL模型导入模糊数学，布尔代数，贝叶斯网络，马尔可夫链等数学理论，构造出一个机器决断模型，可以实现最佳的自动驾驶决策结果。

问：是否有不服从高斯分布的概率事件？

回答：没有，对所有的概率事件通过一定数量的统计都会呈现高斯分布，所以SDL模型适于所有的随机性的目标函数的应用。

问：如果用在自动驾驶上，就必须执行苛刻的安全规则，必须保证100%的安全，而100%的安全绝对不允许出现统计结果，因为绝对没有人愿意拿生命去赌那个概率很小的事故是否发生。事实上，在博弈过程里，有些事件发生在概率很小的区间。

回答：自动驾驶汽车的控制要求万无一失，因此由于导入DL模型会出现黑箱问题被业界否认，那么导入SDL概率模型的自动驾驶汽车，会不会有小概率事件的存在？如果存在小概率事件的问题固然也不能被采用。

SDL模型在自动驾驶汽车的控制上，主要解决了人的驾驶是在一定的意识的驱使下，在拐弯，走弧形的道路等时，所出现的非线性的行驶过程，很难用传统控制方法实现问题，这是目前现代控制理论中的一个难题。正如谷歌车路测距离已经可以绕地球一圈了，但是几个月前还发现连拐弯都要走不好。解决这个问题就是把人的驾驶的经验，通过高斯分布以及高斯过程变成先验知识进行处理，由于是采用高斯分布以及高斯过程，而不是概率信息，如果只是概率信息的利用必然会有小概率事件问题，而高斯分布以及高斯过程信息是从随机性的目标函数中抽出的一个稳定的信息，高斯分布的特征参数是不随着小概率事件的出现而发生变化的，高斯分布因此不存在小概率事件问题，因此以高斯分布为核心的SDL模型的作用就是把可能具有小概率事件的目标函数变成可靠的，以及把不确定性的目标函数变成确定性的应用结果，这才是算法的使命。

超深度学习SDL的技术问答（4）
   首先感谢业界同事们积极的对SDL模型在自动驾驶上应用给予关注，并且提出来非常关键问题。这对于提升SDL的应用广度，起到非常重要的作用。同时，对于活跃业界内的学术气氛也起到了重要的作用。下面我对二个问题回答如下：
         问：深度学习本质是什么？顾博士，你提到的Hinton教授提出的“是小数据的概率模型，是一个迭代的算法”。关于小概率事件，我想与你讨论这个问题，我又看了张拨院士提到的:“现在的深度学习本质是基于概率统计，什么叫做概率统计？没有那么玄，深度学习是寻找那些重复出现的模式，因此重复多了就被认为是规律（真理），因此谎言重复一千遍就被认为真理，所以为什么大数据有时会做出非常荒唐的结果，因为不管对不对，只要重复多了它就会按照这个规律走，就是谁说多了就是谁。”
         回答：深度学习（简称DL）的机理还是用图像识别为例来分析比较好理解。DL的模型属于函数映射，是通过选取网络间的所连接的参数，提高网络的传输效率，在输入与输出间建立评价函数，通过SGD概率梯度下降法确定最终的各个参数的选取结果。
        DL的训练过程理论上只有通过穷举的方法才能解决，这也属于组合理论研究者始终探索的P vs NP问题。根据研究人员的经验，40个要素以上的最佳组合解都属于NP问题。而我的理论如果组合要素间存在一定的关系，例如大规模集成电路在模块间有连接关系。AlphaGo所解决的围棋最佳解问题，也是通过程序把围棋规则做出来了，使围棋在不同位置上出子具有不同的结果，这也是一种特殊的连接关系，只要有连接关系就可以获得最佳化组合的解。DL的网络之间不存在连接关系，所以DL的训练一定要穷举，SGD获得的只是一个局域最佳解，DL的训练不能得到全局的最佳解，就一定存在黑箱问题，也就不能在实际上广泛应用，这是我们不能跟随DL模型走到底的重要根源。
      DL模型既然属于函数映射，在图像识别时，为了解决图像在不同的环境下，是一个含有很大的随机分量的目标函数，DL模型需要把几乎所有的因环境不同所拍照出的随机性的图像，映射到数据集上，这就要进行海量的训练。这好像就是张䥽院士所说的“深度学习是寻找那些重复出现的模式，因此重复多了就被认为是规律（真理）”。至于“因此谎言重复一千遍就被认为真理，所以为什么大数据有时会做出非常荒唐的结果。因为不管对不对，只要重复多了它就会按照这个规律走，就是谁说多了就是谁。）”这可能是指用坏的数据进行训练一定会出现坏的结果，这也是DL是函数映射模型的特质，DL模型不具备判定数据好坏的能力。这种结果其实与坏的数据的多少无关，与统计学模型不同，把一个苹果图像数据加入到大量的橘子的数据中，就很可能把苹果误识别为橘子，这很可能是张钹院士所指责的：“我常常讲我们现在还没有进入人工智能的核心问题，其实人工智能的核心是知识表示、不确定性推理这些，因为人类智慧的源泉在哪？在知识、经验、推理能力，这是人类理性的根本。现在形成的人工智能系统都非常脆弱容易受攻击或者欺骗，需要大量的数据，而且不可解释，存在非常严重的缺陷，这个缺陷是本质的，由其方法本身引起的。）”。
     应该明确的澄清DL模型的本质与概率与数理统计的理论毫无关系，这一点一定要搞清楚。

       问：在自动驾驶SDL方面研究问题之一，是小概率事件如何提取特性，成为大概率的一个重要部分得到权重，赖于认可。例如乘用车停车拍位，安全距离就会使到停不了车，靠不到位，这就是小概率事件在大概率中的权重，你提出的自动驾驶SDL问题，在数学上除了概率论远远不够，还有张院士提到的图像识别，特征提取，模糊数学等等，自动驾驶能否落地？还有很长路要走（我认为）。我非常好奇您选择的自动驾驶SDL作为人工智能入手课题，难度在于:1安全性要求高，2计算数据量小，3实时性强，是难度很高的课题，佩服您的勇气和胆量。
       回答：SDL模型用于自动驾驶汽车，首先在感知方面的3D物体识别上，运用概率模型可以在无训练的情况下，利用概率尺度自组织模型直接获得障碍物目标，可以在一个类似FPGA的芯片上制造出3D识别的产品，预计今年底可以投放市场。
        众所周知，视频识别面对复杂的环境，比如夜间的各种灯光的干扰，雨天，大雾天气等等不可能绝对的得到正确的结果。我们的做法是利用概率模型的机器学习特有的能力，把识别系统做到可以远远的超越传统手法的应用效果，同时利用GIS信息，毫米波雷达，特殊的TOF传感器等实现传感器之间的融合，互相弥补其弱点，遇到复杂天气自动驾驶汽车将进入非常状态，可以随时应对可能发生的事件。我们目前的水平是，只要是人眼能看出的图形，一定要让机器识别出，我们的宗旨是，人都不能防止的事故的出现，机器也不可能避免，对于人有可能避免的事故，机器一定可以更好的回避事故。
        自动驾驶汽车的决策与控制SDL模型不仅是概率模型发挥作用，模糊数学，布尔代数都被涵盖并发挥了特殊的作用，大家非常关注人的意识实现问题，在自动驾驶中如何再现人在一种意识的驱使下所实现的非线性的驾驶过程的控制。如何像具有意识的人那样判断各种路况等等都要解决，让机器具有某种意识的时代已经迫近。
          最后，我想谈一下对自动驾驶汽车的发展前途的一点看法，自动驾驶汽车目前就是因为没有适合控制决策的人工智能模型，所以一直停滞不前，但是人们已经意识到了自动驾驶汽车的创出的重要性，世界集中了巨大的资本投入这个领域，因此一定会在近一两年内，产生出一个全新的技术使真正的自动驾驶汽车横空出世！