AI基础知识介绍.docx

《AI基础知识介绍.docx》由会员分享，可在线阅读，更多相关《AI基础知识介绍.docx（5页珍藏版）》请在第一文库网上搜索。

1、A1基础知识介绍机器学习主要价值就是学习一个经验E,根据这个学习到的经验E去执行一个任务T,目标是优化执行任务T的表现P。比如：在银行，根据数据，A1学习客户表现和客户信用之间的关系，这个关系是经验E；然后为每个客户实时计算更准确的信用卡额度，这个是任务T；目标P是在一定风险承担范围内，增加银行信用卡收入。1机器学习的基础流程请大家明晰，这七步是在干什么，以什么逻辑和时间轴。后续的介绍将聚焦在其中一两个步骤。但我们经常混淆，比如混淆A1训练和A1执行任务。1选择算法。比如，刚才银行的例子，我们先要对客户进行分类找到黑名单，这是分类算法，也要通过客户行为预测他的额度水平，这是回归算法。前篇对于T

2、ransformer的讨论，就是一个最新的高级一些的算法。2.准备高质量的数据，并进行特征工程。通常这些要花费很多时间，特别是工业界，往往没有高质量的数据。这里数据质量有四个层面：一是绝对的数据量，这个好理解。二是样本数据，比如，在银行风控领域，如果只是交易数据，那不是样本，必须有真正的欺诈数据；比如，在设备管理领域，不但要有设备的运行数据，还要有设备的故障数据，这样机器才可以真正学习。三是数据的处理效率，对于A1真正有价值的往往是实时数据，这是发挥A1决策最大价值的关键。四是特征工程，只有数据是不够的，要进行处理，拿出机器可以理解而且有价值的特征才是根本。最简单的例子就是男、女要分别改成。或

3、Io特征工程是AI计算最重要的领域，整个深度学习的神经网络可以理解为就是在做数据的特征工程。3,对数据用算法进行训练。这个训练的过程才是让机器有能力执行任务的关键步骤，而且很多计算算法的逻辑也针对的这部分。我们讲算力是决定性因素，也往往指训练阶段的算力瓶颈。4 .训练结束一般还要做很多测试，确保这个经验是能够应对多种情况，从而真正形成经验Eo5 .经验E要用到生产系统，实时地执行任务T。比如，上面例子中，我们核心任务是对每个用户的信用额度动态调整。6 .评估执行表现。A1的表现相对于人工会提升多少，和计划是否有偏差等。7,持续优化。这里的优化是全方位的，既要更新算法，提高数据质量，又要有更拟合

4、的训练结果及更实时地执行任务等。经常听客户说，A1可能在我们这里落地效果不好。其实A1在哪里落地，刚开始时效果都不会好，真正让A1起作用，是需要持续优化。第四范式的很多A1驱动的客户，也把这一条当做自己重要的核心竞争力，即持续迭代的能力。2机器学习的理论基础我们先从这个经验E如何训练出来谈起。假设，这个经验E可以抽象成一个线性关系(当然现实世界不一定是简单的线性关系，这里只是简单化处理)，即设Y=f(x)=wx+b,X是银行数据(比如：还款逾期率)，Y是信用额度。我们要学习的经验E,就是学习这个f(),这个概念很重要，建议停下来稍加理解。要想得到f(),需要先拿一些样本(也就是我们事先知道一些

5、X数据，以及对应的y)进行训练。例如:信用额度还款逾期率IOOOOO0%200005%12000015%10000012.4%8000035%我们希望利用这些X到y的样本，反推出f()这个线性函数。在还款逾期率这个X和信用卡额度y这个空间里，我们有个很多样本，需要预测的是这条直线y=wxb长什么样。我们可以给机器设置一个规定的步长,穷举出很多y=wx+bo但应该选择哪个呢？这里要引入：成本函数J。J=隗g-W)2成本函数的简单定义：我们预测的直线到“每个样本的距离之和”的平均值。假设我们选定了一条直线或者说一个f(),那么在X给定情况下，y是样本对应的数值，f()得出的数值。M为样本个数。这个

6、函数就是这条我们预测的直线到每个样本的距离之和的平均值。即我们应该找到一条直线，它距离每个样本的平均距离最短。也就是对应成本函数最低的那个。我们梳理一下：这里有几个概念：真实世界发生的事件，被数据记录下来，被记录下来并拿来做样本的，这三个层次是不是逐渐缩小了？再往后，我们训练产生一个y=wx+b,其目标是利用样本数据训练一个规律，从而可以预测真实世界。简言之，第一件事是训练出很多.wx+b,第二件是比较哪个.wx+b更好，第三件是选出那个最好的。在实际操作中，计算机会算出各种可能的f(),并算出相对应的成本函数，这个成本函数的取值是一个曲折的球面，机器利用规则在寻找那个山谷的最低点，也就是成本

7、函数取值最小那个点，这个点所对应的f(),就是我们要找到的那个。这种方法就是梯度下降。因此，计算机学习经验E的过程，就是给定一部分X,y数据(样本)，预测总体上f()长什么样。利用的方法就是通过梯度下降的方法，找到成本函数最低的那个f()。所谓梯度下降，其原理就是提前设置一个学习率。学习率是告诉计算机该以什么变动频率产生多个f()用来比较。如果这个f()是个线性方程，其中一个学习率就是这个斜率的变化。比如，机器预测这个方程式y=3x,如果学习率是0.1,那么下一个预测的就是y=3.1x.机器学习，就是这样每得出一个方程，就计算一个相应的成本函数，然后通过梯度逐步下降原则，找到成本函数最小的方程

8、。通过梯度下降计算后，选出最优f(),计算机就能够完成任务T。在例子中就是，如果有新的还款逾期率数据，机器可以根据f()预测相对应的信用卡额度，从而给出更合理的银行客户信用额度，因此提升了银行服务客户效率，带来了信用卡对应收入的提高。3机器学习的数学基础一向量刚才那个例子，X是还款逾期率，也就是说只有一个变量。但现实生活中，影响信用额度的不只是一个变量。还会有性别、年龄、地区、年薪、存款额、信用卡交易额、违约次数等诸多特征，如下表。身份2性别年总所在地区年薪存款额年信用卡交易额连约次数00001134001400000无20000300002257002900000800005000000表格

9、中是两个样本，每个样本都是一组数据，是银行客户的基本画像以及交易行为。银行客户的信用卡额度应该是这些信息综合决定。这里每一行数据，称为一个向量；可以表示为：1也性胤年舱区,年存款交易通的I1w*1*h*每个向量里都包含了各种特征数据。向量是高维空间的某个点，在这个例子中这个高维空间就是由这8个特征类别组成的高维空间。相比较y=f(x)在二维，y=f()我们需要在这个高维空间去计算。这个从y=f()到y=f()的转换非常重要，是一定要理解的概念，整个A1的数学基础都建立在最小的计算单元一一向量上。为什么要升到这个高维度来看数据？这里有个背景，就是我们希望数学公式尽量是线性方程，而不是多元方程；只

10、有当数据被放到一个非常大的维度中，数据才可以更容易呈现线性关系。4机器学习的进阶一神经网络另外，在开始之前，有必要再介绍一下神经网络基础概念，我们定义样本数据：Xa)XX(4)x*每个样本数据都是一个个向量形式，一共i个样本，比如，即每个样本有8个特征，即每个X(I)的向量特征值参与计算，最后通过梯度下降的方法优化成本函数，得到f()。那么神经网络，就是在这个计算基础中间，加入了几个隐藏层，比如加入三层隐藏层的神经网络。神经网络的作用主要是进一步提取新的特征，特别是那些隐藏的以及非线性的特征。我们举个例子，还是信用额度计算问题，加入我们设计一层隐藏层，这个隐藏层对应的四个节点，分别是挣钱能力、

11、还钱能力、对银行忠诚度、信用习惯，这四个特征是先前数据样本里没有提供的字段。这些节点要分别跟我们熟悉的八个特征逐一进行计算，找出其相关性，从而得到一个更精准的信用额度。其中挣钱能力、还钱能力、对银行的忠诚度、信用习惯是我们为了便于理解而人为设置的，现实中机器可以自动计算出相应的可能隐藏层。在很多神经网络里，这个隐藏层数可以达到几十层。某种意义上神经网络就是对数据原有特征的进一步补充，找出那些隐藏在数据里非线性的相关性，作为新的特征加以计算，提升模型能力，可谓之深度学习。深度学习是机器学习里面的一个分支，但目前在各行各业得到了广泛的应用。5简要总结讲到这里，我们把机器学习的最基本概念做一个简要总

12、结：机器学习基础流程中我们要搞清楚什么是训练什么是执行，另外持续优化是重中之重；第四范式在这个层面上不断掉坑不断爬出来，有多年积累。未来企业的治理结构里很可能会设置核心竞争力北极星指标，并通过智能化加以实现；但真正的壁垒就是这个“持续优化幺机器学习的”训练部分就是找到f(),即成本函数按照梯度下降的方法找到最优的f()。大家理解了找f(),才能进入各种算法讨论。强调向量的概念。这里数学上的背景是，我们不希望总是处理多元方程或者叫非线性问题，往往把数据放到一个高维空间，总是可以找到线性关系，当然这增加了非常大的计算压力。这个高维空间的新世界，是我们一定要有概念的，虽然这有些反直觉，而且也没有物理上映射。神经网络是在给定样本，给定向量特征情况下，对数据特征进一步的补充和强化。神经网络或者深度学习是未来的发展方向，不需要不明觉厉，但可能会越来越多地听到。当然只从特征强化的角度，解释神经网络还是远远不够的，但至少是个不错的开始。