像素原本的取值范围是0~255。
二值化就是将大于阈值(通常设为中间值127)的数值看做1,否则看做0,这样图片数据就转换成了由0或者1组成的阵列。
归一化也比较简单,只需要将每个像素的取值除以最大值255,那么每个像素的取值空间,就变成了介于0和1之间的浮点数。
两种手段各有利弊,江寒决定每种都试一下,看看在实践中,哪个表现更好一些。
由于江寒使用的是全连接网络,而不是卷积神经网络,所以还要将2维的图片,转换成1维的向量。
这个步骤非常简单,将二维的图片像素信息,一行接一行按顺序存入一维数组就行。
事实上,在解析数据文件的时候,已经顺便完成了这一步,所以并不需要额外的操作。
20万张图片,就是20万行数据。
将这些数据按顺序放入一个200000×784的二维数组里,就得到了Feature。
Lable的处理比较简单,定义一个具有20万个元素的一维整形数组,按顺序读入即可。
江寒根据这次的任务需求,将20万条训练数据划分成了2类。
随机挑选了18万个数据,作为训练集,剩余2万个数据,则作为验证集validate。
这样一来,就可以先用训练集训练神经网络,学习算法,然后再用未学习过的验证集进行测试。
根据F网络在陌生数据上的表现,就能大体推断出提交给主办方后,在真正的测试集上的表现。
写完数据文件解析函数,接下来,就可以构建“带隐藏层的全连接人工神经网络”F了。
类似的程序,江寒当初为了写论文,编写过许多次。
可这一次有所不同。
这是真正的实战,必须将理论上的性能优势,转化为实实在在、有说服力的成绩。
因此必须认真一些。
打造一个神经网络,首先需要确定模型的拓扑结构。
输入层有多少个神经元?
输出层有多少个神经元?
设置多少个隐藏层?
每个隐藏层容纳多少个神经元?
这都是在初始设计阶段,就要确定的问题。
放在MNIST数据集上,输入层毫无疑问,应该与每张图片的大小相同。
也就是说,一共有784个输入神经元,每个神经元负责读取一个像素的取值。
输出层的神经元个数,一般应该与输出结果的分类数相同。
数字手写识别,是一个10分类任务,共有10种不同的输出,因此,输出层就应该拥有10个神经元。
当输出层的某个神经元被激活时,就代表图片被识别为其所代表的数字。
这里一般用softmax函数实现多分类。
先把来自上一层的输入,映射为0~1之间的实数,进行归一化处理,保证多分类的概率之和刚好为1。
然后用softmax分别计算10个数字的概率,选择其中最大的一个,激活对应的神经元,完成整个网络的输出。
至于隐藏层的数量,以及其中包含的神经元数目,并没有什么一定的规范,完全可以随意设置。
隐藏层越多,模型的学习能力和表现力就越强,但也更加容易产生过拟合。
所以需要权衡利弊,选取一个最优的方案。
起步阶段,暂时先设定一个隐藏层,其中包含100个神经元,然后在实践中,根据反馈效果慢慢调整……
确定了网络的拓扑结构后,接下来就可以编写代码并调试了。
调试通过,就加载数据集,进行训练,最后用训练好的网络,进行预测。
就是这么一个过程。
江寒先写了一个标准的F模板,让其能利用训练数据集,进行基本的训练。
理论上来说,可以将18万条数据,整体放进网络中进行训练。
但这种做法有很多缺点。
一来消耗内存太多,二来运算压力很大,训练起来速度极慢。
更严重的是,容易发生严重的过拟合。
要想避免这些问题,就要采取随机批次训练法。