炼丹侠必知的11大神经网络结构汇总

在深度学习这个“炼丹”的世界里，掌握核心网络结构是每位炼丹侠的必修基本功。无论是计算机视觉、自然语言处理还是多模态任务，底层基石都离不开这11大经典神经网络结构。本文为你系统梳理，助你夯实炼丹根基。

1. 感知机（Perceptron）
最早的神经网络模型，单层线性分类器，是理解权重、偏置和激活函数概念的起点。虽然无法解决异或问题，但它是所有深层网络的“祖师爷”。

2. 多层感知机（MLP）
由输入层、隐藏层和输出层堆叠而成，配合非线性激活函数（ReLU、Sigmoid等），具备拟合任意连续函数的能力。全连接结构擅长处理表格数据和特征向量，也是深度网络的通用组件。

3. 卷积神经网络（CNN）
视觉领域的绝对主力。通过卷积核的局部连接与权值共享，高效提取空间特征。经典结构包括LeNet、AlexNet、VGG、ResNet等，广泛用于图像分类、目标检测和语义分割。

4. 循环神经网络（RNN）
专为序列数据设计，依靠隐藏状态的循环传递捕捉时间依赖关系。标准RNN存在梯度消失问题，后续演进出的LSTM和GRU通过门控机制大幅提升了长序列建模能力。

5. 长短期记忆网络（LSTM）
RNN的改进版，引入输入门、遗忘门和输出门，能有效学习长距离依赖关系，在机器翻译、语音识别、时间序列预测中表现卓越。

6. 门控循环单元（GRU）
LSTM的轻量级变体，将门控简化为更新门和重置门，参数更少、训练更快，在许多任务上与LSTM效果相当。

7. Transformer
彻底改变了序列建模的范式。完全基于自注意力机制，抛弃循环结构，支持并行计算。代表模型BERT、GPT系列在NLP领域一统江湖，同时被引入视觉（ViT）和多模态任务。

8. 自编码器（Autoencoder）
无监督学习的重要结构，由编码器和解码器组成，目标是最小化重构误差，常用于降维、去噪、异常检测和特征提取。

9. 生成对抗网络（GAN）
由生成器和判别器组成的对抗博弈框架，生成器伪造数据，判别器辨别真伪，交替训练让生成器产出以假乱真的样本，广泛应用于图像生成、风格迁移和数据增强。

10. 图神经网络（GNN）
面向图结构数据的网络体系，通过消息传递机制聚合邻居节点信息，代表性变体有GCN、GAT、GraphSAGE，用于社交网络分析、推荐系统和分子属性预测。

11. 胶囊网络（Capsule Network）
由Hinton提出，用向量胶囊替代标量神经元，通过动态路由协议编码部分与整体的空间层次关系，在低数据量下具有一定优势，虽未大规模工业化，但代表了重要的探索方向。

维哒网络提示：这11大结构并非孤立的，实际应用中往往混合使用，例如CNN与Transformer结合解决视觉任务，RNN与GNN交叉出图序列模型。作为炼丹侠，不仅要熟悉每种结构的适用边界，更要在调参、正则和混合设计上有自己的心得。收藏这篇汇总，在炼丹路上武装自己，避免陷入只会Stack而不知为何的境地。