视频选集 1-1 课程内容介绍 1-2 课程大纲 1-3 课程计划 1-4 自然语言处理基础--基础与应用 1-5 自然语言处理基础--词表示与语言模型 1-6 大模型基础--大模型之旅 1-7 大模型基础--大模型背后的范式 1-8 大模型基础--实例 1-9 编程环境和GPU服务器介绍 2-1 课程内容介绍 2-2 神经网络基础--大纲介绍 2-3 神经网络的基本组成元素 2-4 如何训练神经网络 2-5 词向量：Word2vec 2-6 循环神经网络（RNN） 2-7 门控循环单元（GRU） 2-8 长短期记忆网络（LSTM） 2-9 双向RNN 2-10 卷积神经网络（CNN） 2-11 演示：使用PyTorch训练模型 3-1 课程内容介绍 3-2 注意力机制--原理介绍 3-3 注意力机制--注意力机制的各种变式 3-4 注意力机制--注意力机制的特点 3-5 Transformer结构--概述 3-6 Transformer结构--输入编码（BPE,PE） 3-7 Transformer结构--Encoder Block 3-8 Transformer结构--Decoder Block 3-9 Transformer结构--优化Tricks 3-10 Transformer结构--试验结果以及可视化 3-11 Transformer结构--Transformer优缺点 3-12 预训练语言模型--语言建模概述 3-13 预训练语言模型--PLM介绍 3-14 预训练语言模型--MLM任务的应用 3-15 预训练语言模型--前沿大模型介绍 3-16 Transformers教程--Introduction 3-17 Transformers教程--使用Transformers的Pipeline 3-18 Transformers教程--Tokenization 3-19 Transformers教程--常用API介绍 3-20 Transformers教程--Demo讲解 4-1 课程内容介绍 4-2 Prompt-Learning和Delta-Tuning--背景和概览 4-3 Prompt-Learning--基本组成与流程介绍 4-4 Prompt-Learning--PTM选取 4-5 Prompt-Learning--Template构造 4-6 Prompt-Learning--Verbalizer构造 4-7 Prompt-Learning--训练新范式 4-8 Prompt-Learning--应用 4-9 Prompt-Learning--总结 4-10 Delta-Tuning--背景与介绍 4-11 Delta-Tuning--增量式tuning 4-12 Delta-Tuning--指定式tuning 4-13 Delta-Tuning--重参数化tuning 4-14 Delta-Tuning--统一tuning框架及理论联系 4-15 Delta-Tuning--总结 4-16 OpenPrompt--介绍与用法 4-17 OpenDelta--介绍与用法 5-1 课程内容介绍 5-2 BMTrain--背景介绍 5-3 BMTrain--Data Parallel (数据并行) 5-4 BMTrain--Model Parallel（模型并行） 5-5 BMTrain--ZeRO 5-6 BMTrain--Pipeline Parallel (流水线并行) 5-7 BMTrain--混合精度训练 5-8 BMTrain--Offloading 5-9 BMTrain--Overlapping 5-10 BMTrain--Checkpointing 5-11 BMTrain--使用介绍 5-12 BMCook--背景介绍 5-13 BMCook--知识蒸馏 5-14 BMCook--模型剪枝 5-15 BMCook--模型量化 5-16 其它模型压缩方法--Weight Sharing 5-17 其它模型压缩方法--Low-rank Approximation 5-18 其它模型压缩方法--Architecture Search (结构搜索) 5-19 BMCook--使用介绍 5-20 BMInf--背景介绍 5-21 BMInf--深入理解Transformer 5-22 BMInf--Quantization (量化) 5-23 BMInf--Memory Scheduling 5-24 BMInf--BMInf使用介绍 6-1 基于大模型文本理解和生成介绍 6-2 信息检索--背景 6-3 信息检索--定义和评测 6-4 信息检索--传统方法 6-5 信息检索--神经网络方法（大模型） 6-6 信息检索--前沿热点 6-7 机器问答--QA介绍 6-8 机器问答--阅读理解 6-9 机器问答--开放域QA 6-10 文本生成--介绍 6-11 文本生成--文本生成任务 6-12 文本生成--神经网络文本生成 6-13 文本生成--受控文本生成 6-14 文本生成--文本生成测评 6-15 文本生成--挑战 7-1 课程内容介绍安排 7-2 生物医学自然语言处理介绍 7-3 生物医学文本挖掘的任务 7-4 生物医学文本挖掘的PLMs 7-5 生物医学文本挖掘的知识构建 7-6 生物医学文本挖掘的应用 7-7 生物医学辅助诊疗--介绍 7-8 生物医学辅助诊疗--文本分类 7-9 生物医学辅助诊疗--对话 7-10 生物医学辅助诊疗总结 7-11 生物医学特定物质表征过程 7-12 生物医学特定物质表征--DNA 7-13 生物医学特定物质表征--Protein 7-14 生物医学特定物质表征--Chemicals 7-15 Project 7-16 生物医学NLP--未来方向 8-1 大模型与法律应用Outline 8-2 背景介绍 8-3 法律智能应用 8-4 两条研究路线 8-5 数据驱动方法 8-6 法律预训练语言模型 8-7 知识指导方法 8-8 法理量化分析 8-9 法律智能未来方向 8-10 法律智能未来挑战 9-1 脑科学及大模型--主题介绍 9-2 人脑与大模型--背景介绍 9-3 人脑与大模型--人脑如何构建知识 9-4 人脑与大模型--语言处理原则 9-5 人脑与大模型--揭示语言的魔力 9-6 大模型中的神经元--背景介绍 9-7 大模型中的神经元--激活情况分析 9-8 大模型中的神经元--转换模型架构MOE 9-9 大模型神经元的应用--学到的特定功能 9-10 大模型神经元的应用--作为迁移指标 9-11 大模型神经元的应用--表示情感 9-12 大模型认知能力--介绍 9-13 大模型认知能力--下游任务实例 9-14 大模型认知能力--挑战与限制 9-15 课程总结
