第99章 这是数学！（5k）
第99章 这是数学！（5k） (第3/3页)
这意味着在大规模工程实践中，计算效率将获得质的飞跃！
「那过拟合呢？」一位M1T的教授追问，「120万张图，8层网络，6000万个参数，参数比的样本还多——我是说，这麽大的模型，你怎麽保证它不是把训练集背下来了？」
这个问题问到了点子上，全场再次安静。
「确实会有这种的担忧，所以为了防止它在测试集上出现这种情况，我们引入了一种全新的正则化技术。」
「也就是Dropout随机失活。」
「它的原理是，在每一次前向传播中，以50%的概率随机将部分神经元的输出置为零，这些被选中的神经元在这一轮训练中，既不参与前向传播，也不参与反向传播。」
「这相当於每次训练，都在训练一个不同的网络，最後做预测时，等於把无数个网络的意见集合起来，一个神经元摸了鱼，其他神经元就不敢太依赖它，逼着整个网络学到更健壮的特徵。」
「最後一个问题。」
MIT的领队现在已经从质疑变成了纯粹的好奇：「如此庞大的训练，常规的CPU集群跑下来，没有几个月根本不可能，你们是用了什麽超算？哪个国家实验室赞助的？」
所有人都以为，漆昊背後一定站着某个庞大的机构。
漆昊直接回答：「其实没有用超算。」
「当时我只是想测试我的想法是否可行，所以就用了两块GTX580。」
「两块GTX580？」MIT教授不敢相信自己听到的信息，「打游戏的那种？」
台下顿时响起了一片倒吸凉气的声音。
用显卡？
用打游戏娱乐的显卡，去跑世界上规模最大的图像识别挑战赛？
「我花了一点时间，用CUDA重写了卷积和池化的计算核，并且设计了一套双卡并行架构。」
「因为3GB显存依然装不下整张网络，我们将QInet的神经元分别寄存在两张显卡上，它们只在特定的层，比如第三层卷积和全连接层进行数据通信，而在其他层，两张显卡各自独立计算，互不干扰。」
佩罗宁原本以为对方是靠着什麽漏洞或者运气，但现在，漆昊一步步讲解，一切又觉得十分合理。
佩罗宁主导设计的费舍尔向量算法，在图像分类领域几乎打遍天下无敌手，是全行业公认的最优解。
为了更好训练整个模型，他们甚至为此向总部申请了数十万欧元的预算，租用了欧洲最顶级的超算集群，夜以继日地进行着复杂的矩阵计算。
结果现在漆昊的方案，告诉他，他们连研究方向都选错了！
真是难以置信！
作为老牌CV学者的尊严让他不得不最後挣紮一下。
「漆昊先生！不可否认，你们的架构设计非常惊艳，但是，神经网络本身致命的缺陷之一就是平移不变性极差，ImageNet中的目标物可能出现在图片的任何角落，尺寸也千差万别。」
「QInet：是如何在如此庞大的参数量下，保证不会因为目标物的位移，旋转或者光照变化，而出现分类崩塌的？」
漆昊解释了：「这其实我们在=训练中改进的。」
「QInet在数据预处理阶段进行了数据增强。」
「面对位移和尺寸变化，我们没有去试图修改网络本身，而是对数据源动手。」
「在训练阶段，我们把原本256256像素的图片，随机裁剪出224224的图块，并且进行水平翻转。」
「不仅如此，在测试阶段，我们对於一张待测图片，会同时裁剪出其四个角，中心区域以及它们的水平翻转共10张图块，让QIet分别进行预测，最後将这10个预测结果进行平均，作为最终的输出。」
「不是，这还是计算机学吗？」
「这是数学。」
「举个例子，现在我将裁剪图片出四个角和中心，加上水平翻转，得到10个不同视角的图块1，2，.·，10。」
「在这10个图块里，猫的相对位置全都不一样，左上角那张，猫跑到了右下，右下角那张，猫又跑到了左上。」
漆昊让人把白板擡上来，然後在上面写了起来。
「最终预测=（1/10）·ΣP（yl）」
「我把这10个视角的预测，求平均。」
「n个近似独立的预测求平均，方差变为原来的1/n。」
「因为物体位置扰动带来的预测方差，被压低到了原来的十分之一，当然这个值可以更加精确——」
漆昊在上面滔滔不绝讲着，底下的数学人很高兴。
因为刚才讲计算机的东西，他们听不懂。
现在漆昊上起数学课，他们反而听懂了。
「搞了半天，隔壁计算机系天天神神秘秘，吹得天花乱坠的深度学习，本质上就是把我们测度论里的哈尔测度拿去给图片做离散采样啊！」
「就是，这玩意也不难啊！」另一个数学系博士生也兴奋了起来，压抑了半个多小时的优越感在这一刻蹦出来了。
「你看，我都跟你说了吧，万物皆可数学。」
「这是不是蒙特卡洛？你们要说这个，我可就不困了！」
他们在那高兴着，根本不懂一旁的计算机人有多郁闷。
>