1. 课程目标

本项目是为电子信息、计算机和人工智能专业的学生或相关从业人员快速进入人工智能和大模型技术应用领域准备的，课程的目标是教会大家从0构建出大模型，并详细讲解大模型相关的技术和原理。课程附有详细的代码讲解，内容理论和实践并重。

本课程的学习需要有Python编程的基础，并具备少量的机器学习和深度学习的知识。

课程技术架构：

​ |—> 逻辑回归———— |

线性回归 —| —> 感知器（神经元）—|—> MLP—> LeNet—> AlexNet—> VGGNet—> ResNet —| |—> BERT

​ |—>softmax回归 ——— | 注意力机制——> | —Transformer— |—> GPT2—> ChatGPT

​ 位置编码——>| |—> Vision Transformer

​ 编码器-解码器——>|

2. 课程讲解的核心技术

（1）线性回归：线性回归算法、MSE、SGD

（2）逻辑回归：Sigmoid函数、BCE

（3）softmax回归：softmax函数、CE

（4）感知器和MLP：阶跃函数、全连接神经网络、torchvision基础功能、DataLoader

（5）LeNet：卷积层、池化层、Adam优化器

（6）AlexNet：ReLU、Dropout、数据增强

（7）VGGNet：3X3卷积核、模型参数初始化、超参数调节、批量规范化、数据集划分

（8）ResNet：残差结构、1x1卷积核、模型的保存与加载、模型微调、模型剪枝、模型量化、模型格式转换、模型的部署

（9）注意力机制：缩放点积注意力、自注意力和多头注意力

（10）Transformer：基于正余弦函数的位置编码、编码器-解码器结构、层规范化

（11）BERT：Transformer-Encoder、分词、词嵌入、双向编码器

(12) GPT2：Transformer-Decoder、Top-k、temperature

3. 课程特点

（1）本课程没有太多复杂的数学公式，核心技术讲解详尽；

（2）所有代码都有详细的讲解和注释，易于读者理解；

（3）对于PyTorch的核心功能和用法，都做了详细的讲解，为读者打下坚实的PyTorch框架基础；

（4) 从0开始一步步构建出大模型，为理解大模型的原理和开发准备了必需的核心知识；

（5）本课程的所有代码在带有NVIDIA GTX 1060显卡的个人电脑上就可以运行，无需太多的AI 算力。

课程数据集

链接：https://pan.baidu.com/s/1Zn_w5zJExdwYZMBoz39rPw 提取码：2024

​

​