想降低运算的复杂度，但是没有调试完成……

……这里局部特征的提取使用深度卷积就可以了。键值对通过线性层直接提取到低维，优化的方向没错，但是q和k投影的方式有问题……”

白泽一张嘴，唐鲸就听出来她没有吹牛，是真的有点东西，至于东西多不多，要等代码改完看实验结果如何。

在她的指导下，唐鲸编码完成了核心创新部分的代码。

“这个注意力机制是不是应该取个新名字，叫tangjing怎么样？”唐鲸开玩笑道。

“你足够不要脸的话，当然可以，不过白泽的建议是叫ultraefficient，简称uea。”

“……挺好的。”

“结构改完，参数也需要调整。初始学习率设为0.025，weight-decay减半，为防止过拟合，num-heads降为4就够了……”

唐鲸通通照做。

……

实验室另一边，张莎莎表面上在看手机，实则在用余光关注‘自言自语’的唐鲸。

“该不会是实验做不出来，疯了吧。”她想到这个可能性，看向唐鲸的目光不禁多了些怜悯。

张莎莎和唐鲸之间的过节其实很儿戏，起因是很久之前一个学妹喜欢后者。

当时唐鲸对那个学妹没有任何发展的想法，不知道怎么拒绝合适，随口谎称自己是弯的，想让对方不要来打扰自己。

妹子被拒绝后还想和唐鲸成为好朋友，后来知道了真相，差点抑郁了。

张莎莎是东南大学的少年班，和妹子同岁，恰好两人是室友，知道此事后，自然对唐鲸没什么好脸色。

张莎莎不愿意指导唐鲸，还有另一个原因。

唐鲸觉得张莎莎做的研究太偏工程，属于实验报告，没有学术意义，而张莎莎觉得唐鲸眼高手低，对自己的水平没有逼数。

因此，唐鲸毅然决定靠自己一个人搞研究，从此和张莎莎交流极少。

二者之间的芥蒂终归是小打小闹，张莎莎联想到唐鲸最近经常独自去天台，心中浮现出一些不好的念头。

刚好见吊儿郎当的韩启明回到实验室，张莎莎将其唤了过来。

……

唐鲸正在修改代码，忽然从后面伸出一只手，轻轻拍了拍他的肩膀。

“生活不止眼前的研究，还有诗和远方，没必要一叶障目。”这是韩启明的声音，玩世不恭的语调很有辨识度，“冀……哥们，吃不吃雪糕。”

一支雪糕递到眼前，唐鲸接过，开口道谢：“谢了。”

他扭过头瞄了眼韩启明，不知道对方为何反常地找上自己。

有韩启明在身旁，唐鲸暂时停止了和白泽的交流。

此时的他并不关心韩启明的目的，他只想速速改完代码，早点看到结果。

韩启明将一旁的椅子拉过来，大大咧咧坐上去，翘起二郎腿，道：“现在有的雪糕真他妈贵，怎么好意思卖那个价钱，老子直接放回去，不惯着他们。”

“确实，深有同感。”唐鲸笑道。

二人的关系并不熟络，唐鲸只偶尔在几次组会上见过对方，不知道他私下里是这种说话风格。

虽然不知道对方为什么凑过来，但是听到对方这番话，唐鲸多了分亲切感。

韩启明三两下把自己手中的雪糕吃完，说道：“除了张学姐，我和研究室其他人交流不太多。所以想过来问问你最近的研究怎么样，顺利吗？”

“还不错，不说毫无进展，起码称得上蒸蒸日上吧。”

“……”

听到唐鲸的回答，韩启明盯着张莎莎的后背看了几眼，满脑子疑惑。

你不是说这家伙研究做不出来，可能会有轻生的念头吗？咋我感觉这小子没心没肺的，一点也不像有什么问题的样子。

八成是张莎莎想多了吧，韩启明暗自腹诽。

“顺利就好。”看不出唐鲸的精神有什么问题，韩启明随口问道，“我之前在组会上听说过，你用的是一个叫transformer的神经网络。这玩意连合适的中文译名都没有，真他妈难读。”

“简称vit就好。怎么，你有兴趣？”此时唐鲸并不知道韩启明的真实来意，还以为对方是想问些研究方面的问题。

“那倒没有。卷积神经网络我看得都头