Update 大模型（LLMs）微调面.md

大模型（LLMs）微调面.md

@@ -1,6 +1,6 @@
 # 大模型（LLMs）微调面
 
-💡 **1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？**
+1. 💡 **如果想要在某个模型基础上做全参数微调，究竟需要多少显存？**
 
     <aside>
        
@@ -15,7 +15,7 @@
 
     </aside>
 
-💡 **2. 为什么SFT之后感觉LLM傻了?**
+2. 💡 **为什么SFT之后感觉LLM傻了?**
 
     <aside>
        
@@ -38,7 +38,7 @@
 
     </aside>
 
-💡 **3. SFT 指令微调数据 如何构建?**
+3. 💡 **SFT 指令微调数据 如何构建?**
 
     <aside>
         
@@ -56,7 +56,7 @@
 
     </aside>
 
-💡 **4. 领域模型Continue PreTrain 数据选取？**
+4. 💡 **领域模型Continue PreTrain 数据选取？**
 
     <aside>
 
@@ -73,7 +73,7 @@
 
     </aside>
 
-💡 **5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？**
+5. 💡 **领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？**
 
     <aside>
 
@@ -90,7 +90,7 @@
 
     </aside>
 
-💡 **6. 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？**
+6. 💡 **领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？**
 
     <aside>
 
@@ -106,7 +106,7 @@
 
     </aside>
 
-💡 **7. 进行SFT操作的时候，基座模型选用Chat还是Base?**
+7. 💡 **进行SFT操作的时候，基座模型选用Chat还是Base?**
 
     <aside>
 
@@ -120,7 +120,7 @@
 
     </aside>
 
-💡 **8. 领域模型微调 指令&数据输入格式 要求？**
+8. 💡 **领域模型微调 指令&数据输入格式 要求？**
 
     <aside>
 
@@ -149,7 +149,7 @@
 
     </aside>
 
-💡 **9. 领域模型微调 领域评测集 构建？**
+9. 💡 **领域模型微调 领域评测集 构建？**
 
     <aside>
 
@@ -168,7 +168,7 @@
 
     </aside>
 
-💡 **10. 领域模型词表扩增是不是有必要的？**
+10. 💡 **领域模型词表扩增是不是有必要的？**
 
     <aside>
 
@@ -182,7 +182,7 @@
 
     </aside>
 
-💡 **11. 如何训练自己的大模型？**
+11. 💡 **如何训练自己的大模型？**
 
     <aside>
 
@@ -200,7 +200,7 @@
 
     </aside>
 
-💡 **12. 训练中文大模型有啥经验？**
+12. 💡 **训练中文大模型有啥经验？**
 
     <aside>
 
@@ -218,7 +218,7 @@
 
     </aside>
 
-💡 **13. 指令微调的好处？**
+13. 💡 **指令微调的好处？**
 
     <aside>
 
@@ -234,7 +234,7 @@
 
     </aside>
 
-💡 **14. 预训练和微调哪个阶段注入知识的？**
+14. 💡 **预训练和微调哪个阶段注入知识的？**
 
     <aside>
 
@@ -252,7 +252,7 @@
 
     </aside>
 
-💡 **15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？**
+15. 💡 **想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？**
 
     <aside>
 
@@ -268,7 +268,7 @@
 
     </aside>
 
-💡 **16. 多轮对话任务如何微调模型？**
+16. 💡 **多轮对话任务如何微调模型？**
 
     <aside>
 
@@ -288,7 +288,7 @@
 
     </aside>
 
-💡 **17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？**
+17. 💡 **微调后的模型出现能力劣化，灾难性遗忘是怎么回事？**
 
     <aside>
 
@@ -310,7 +310,7 @@
 
     </aside>
 
-💡 **18. 微调模型需要多大显存？**
+18. 💡 **微调模型需要多大显存？**
 
     <aside>
 
@@ -326,7 +326,7 @@
 
     </aside>
 
-💡 **19. 大模型LLM进行SFT操作的时候在学习什么？**
+19. 💡 **大模型LLM进行SFT操作的时候在学习什么？**
 
     <aside>
 
@@ -341,7 +341,7 @@
 
     </aside>
 
-💡 **20. 预训练和SFT操作有什么不同**
+20. 💡 **预训练和SFT操作有什么不同**
 
     <aside>
 
@@ -364,7 +364,7 @@
 
     </aside>
 
-💡 **21. 样本量规模增大，训练出现OOM错**
+21. 💡 **样本量规模增大，训练出现OOM错**
 
     <aside>
 
@@ -381,7 +381,7 @@
 
     </aside>
 
-💡 **22. 大模型LLM进行SFT 如何对样本进行优化？**
+22. 💡 **大模型LLM进行SFT 如何对样本进行优化？**
 
     <aside>
 
@@ -399,7 +399,7 @@
 
     </aside>
 
-💡 **23. 模型参数迭代实验**
+23. 💡 **模型参数迭代实验**
 
     <aside>