[init][深度学习基础知识init]

main.py

@@ -0,0 +1,16 @@
+# This is a sample Python script.
+
+# Press Shift+F10 to execute it or replace it with your code.
+# Press Double Shift to search everywhere for classes, files, tool windows, actions, and settings.
+
+
+def print_hi(name):
+    # Use a breakpoint in the code line below to debug your script.
+    print(f'Hi, {name}')  # Press Ctrl+F8 to toggle the breakpoint.
+
+
+# Press the green button in the gutter to run the script.
+if __name__ == '__main__':
+    print_hi('PyCharm')
+
+# See PyCharm help at https://www.jetbrains.com/help/pycharm/

基础知识/深度学习基础知识.md

@@ -0,0 +1,138 @@
+# 深度学习基础
+
+
+
+## 参考资料
+
+[Dive Into Deep Learning电子书](https://zh-v2.d2l.ai/chapter_recurrent-neural-networks/sequence.html)
+
+[课程链接-循环神经网络-注意力机制](http://courses.d2l.ai/zh-v2/)
+
+
+
+
+
+## 视频教程——注意力机制
+
+
+
+### 注意力机制
+
+
+
+### Transformer
+
+​		transformer中文翻译为变形金刚，是一种基于编码器和解码器的框架。
+
+​		
+
+![image-20221209162534674](.\img\transformer框架.png)
+
+
+
+代码都是讲Transformer是怎么写出来的.....
+
+
+
+
+
+
+
+### BERT
+
+​		BERT是芝麻街中的一个人物的名字....
+
+![image-20221209165645507](.\img\bert.png)
+
+
+
+
+
+​		迁移学习：基于pre-train后的模型，通过小数据集进行fine-tune来针对特定领域产生比较好的效果。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+