2023年5月25日上午，20700app大阳城（通识教育学院）、语言脑科学中心和川外学坛联合举办的“语言智能大讲堂”在博文楼401报告厅成功举行。此次学术报告的主题为“机器学习：从线性到非线性”，由重庆大学大数据与软件学院陈静博士主讲。原20700app大阳城全体教师、硕博士研究生参加了此次活动。

在讲座第一部分，陈博士首先短暂地回顾了卷积神经网络（Convolutional Neural Network,CNN）、循环神经网络（Recurrent Neural Network, RNN）、长短期记忆神经网络（LongShort-TeamMemory，LSTM）的基础知识。在此基础上，他介绍了双向循环神经网络（BiRNN）及其应用。BiRNN结合了两个循环神经网络，一个网络从前往后处理输入序列，另一个从后往前处理输入序列，这种结构可以捕捉输入序列中前后两个方向的信息，从而提高模型的性能。BiRNN可用于构建语言模型、生成LINUX内核代码以及作词/诗机等。随后陈博士对循环神经网络作了一个简单总结，RNN的优点在于引入记忆和图灵完备，缺点是长程问题和并行能力等方面。另外，陈老师还简单介绍了基于注意力机制的Transformer机器翻译模型。

在讲座第二部分中，陈博士将话题转向自注意力机制与外部记忆。陈博士首先引入注意力机制这个概念，即过对每一特征层进行全局池化，再到全连接层中找出特征之间的联系，最后得到权重划分。接着，陈博士重点讲解了软性注意力机制（soft attention mechanism）模型，该模型通过计算注意力分布α，再根据α来计算输入信息的加权平均。其中，打分函数的计算可使用加性模型、点积模型、缩放点积模型和双线性模型。最后，陈博士补充介绍了注意力机制的变体：硬性注意力(hard attention)和键值对注意力（key-value pair attention）。

陈静博士的机器学习与深度学习讲座生动形象，他灵活的将理论与实际应用相结合，为老师同学们更好理解并运用这些技术提供了新思路。在后续讲座中，陈博士将继续讲授注意力机制与外部记忆相关的算法和模型。