谁是徐布丁？(1/2)
“把前一时间步的输出和当前时间步的状态同时合并作为当前输入么？好像这样确实可以保留时间信息……但会不会‘笨’了一点？”
周粥站在徐毅身后，看着桌子上老师画的草图，抿了抿嘴说道：
“这样的话我们必须储存之前每一步的状态，对于计算速度和内存都是不小的麻烦……”
“而且这个循环结构中单个词组对后文的影响似乎是随距离而衰减的，我感觉在处理长难句的时候会有不小的误差吧？”
听到学生的分析，徐毅满意地点了点头，他给二人讲的是最基础的循环神经网络（RNN），这个网络其中一个最严重的问题就是无法解决长期依赖问题。
例如一句“徐毅，帅气十足的老师，正在搬桌子”，在经过RNN后就会被理解成“徐毅帅气十足”和“老师正在搬桌子”，与原意谬之千里。
他仅仅是在纸上画出了这个网络结构的草图，还没有进行任何实验，周粥就能凭感觉一语道出其中的缺陷，这不禁让徐毅对这位爱徒更加喜爱。
于是便把笔放到一旁，起身考校起女孩：“很好的想法！那你觉得该怎么改进比较好？”
周粥皱眉思考了一下，犹豫道：“或许我们可以增加一个判断步骤，来决定是否将本时间步的输出传递给下一时间……”
想了想，干脆抓起笔，在徐毅之前的草图上写写画画起来：
“例如这样，我们在下面再增加一个通道，用1和0分别代表是否将信息传入下一时间步，这样只需要将上下两个通道相乘即可……”
“不，不行，0和1是离散数据，不能通过梯度下降学习……那我们干脆就用0到1之间的连续函数，刚好可以表示传入下一时间的百分比……”
“tanh函数变形，就可以完美的把全部实数映射到0到1之间！”
“……不，甚至可以用tanh函数本身！负值的存在或许更可以截断不相关的相邻信息！”
她不断地提出想法又一个个否定并改进，徐毅原本的手稿早已被改得面目全非，随着想法逐渐完善，周粥的眼睛也越来越亮。
终于，女孩把一团乱麻的草图丢到一边，在新的白纸上完整地画出了自己改进后的神经网络，兴奋地展示给一旁的老师：
“徐老师，你看我画的这个结构怎么样！”
怎么样？棒极了！
眼前的网络模型，已经有了蓝星上长短时记忆网络（LSTM）的雏形，只要稍加打磨必然能取得远超RNN的效果，对这一点徐毅毫不怀疑。
但是姑娘，您有这智商，学数学去不好吗？
干嘛要来计算机行业碾压我们凡人？
可恶！苍天何其不公！既生毅，何生粥！
徐毅直勾勾地盯着周粥思绪万千，全没注意面前的少女被看红了脸。
“老师……老师！”耳旁传入学生含羞的嗔声，将他的思绪拉回了现实。
他方才惊觉，自己刚刚谈话中走神的行为好像相当不礼貌。
连忙掩饰起来：“咳咳……嗯，这个想法其实挺好的，不过还可以再完善一下，例如我们可以把信息的传递通过输入门、遗忘门和输出门三个通道……”
“我建议你先把自己的想法直接实现一下，然后可以参考我提出的思路改进——当然，如果你有自己的思路也完全没问题，加油！”
这就是大佬间的惺惺相惜吗？
师徒二人激烈讨论的一旁，王浩中像一个透明人左看右看，在心底发出了积沉已久的呐喊：
“可恶！……真的好羡慕！”
似乎听到了小胖子的心声，徐毅终于注意到了似乎学会隐身术的小徒弟：“王浩中，我们刚才讨论的内容你能跟上么？”
“嗯……差不多吧老师，不过可能需要回去再仔细理解一下……”
王浩中努力摆出“哦哦原来如此我完全懂了”的架势，殊不知迷茫的眼神早把他出卖的一干二净。
一看就知道这小胖子完全没懂……徐毅在心底微不可及的叹了口气，旋即猛然惊醒。
自己什么时候习惯了周粥的速度，产生了“学生一教就会很正常”这种错误认知的？
明明王浩中这种情况才是常态！他甚至还是华东学生里面最优秀的之一！
默默检讨自己的错误心态，徐毅重新铺开纸笔，准备给前爱徒仔细讲解一下刚刚的一些重点内容，却不防手机突然响起。
“喂，我是徐毅……吴院长么？好……好的，我马上过去。”
挂断电话，徐毅无奈地叹了一声，然后说道：“吴院长叫我过去一趟，时长不确定，周粥你来给王浩中讲一下吧，我得先走了。”
看到徐老师雷厉风行的披上外套走出门外，周粥叉起腰，一脸坏笑的看着发小：
“王小胖，我感觉好像不太用给你讲呀，毕竟你连英文措辞都会改，还有‘差不多吧老师’~”
不就改了你一个单词嘛？至于这么久还记仇么？
本章未完，请点击下一页继续阅读