数据科学导论(大学版)
课程概述
适用对象:大学一、二年级学生
课时安排:64 课时(理论 32 + 实践 32)
先修要求:Python 编程基础、高等数学基础
课程目标
完成本课程后,学生将能够:
- 理解数据科学的核心概念和工作流程
- 掌握数据收集、清洗、分析和可视化的完整技能
- 运用统计方法进行数据分析和假设检验
- 使用机器学习算法解决实际问题
- 独立完成数据科学项目并撰写报告
课程大纲
第一模块:数据科学基础(8 课时)
第 1-2 课时:数据科学概论
- 数据科学的定义与发展历程
- 数据科学家的工作内容与技能要求
- 数据科学应用领域:医疗、金融、电商、社交网络
- 数据伦理与隐私保护
第 3-4 课时:Python 数据科学生态
- Jupyter Notebook 使用技巧
- NumPy 数组操作与向量化计算
- Pandas 数据结构:Series 与 DataFrame
- 数据读取:CSV、Excel、JSON、SQL
第 5-6 课时:数据探索性分析(EDA)
- 数据质量评估:缺失值、异常值、重复值
- 描述性统计分析
- 数据分布可视化
- 相关性分析
第 7-8 课时:数据清洗与预处理
- 缺失值处理策略
- 异常值检测与处理
- 数据变换:标准化、归一化、对数变换
- 特征编码:独热编码、标签编码
第二模块:统计学基础(12 课时)
第 9-10 课时:概率论基础
- 随机变量与概率分布
- 常见分布:正态分布、二项分布、泊松分布
- 大数定律与中心极限定理
- 贝叶斯定理
第 11-12 课时:描述统计
- 集中趋势:均值、中位数、众数
- 离散程度:方差、标准差、极差
- 分布形态:偏度、峰度
- 箱线图与五数概括
第 13-14 课时:推断统计
- 抽样分布与标准误
- 置信区间估计
- 假设检验基本原理
- p 值与显著性水平
第 15-16 课时:统计检验方法
- t 检验:单样本、双样本、配对样本
- 方差分析(ANOVA)
- 卡方检验
- 非参数检验简介
第 17-18 课时:相关与回归
- 皮尔逊相关系数
- 斯皮尔曼秩相关
- 简单线性回归
- 多元线性回归基础
第 19-20 课时:实验设计
- A/B 测试原理
- 随机对照实验设计
- 样本量计算
- 实验结果分析
第三模块:数据可视化(8 课时)
第 21-22 课时:可视化原理
- 可视化设计原则
- 图表类型选择指南
- 颜色理论与可访问性
- 数据故事讲述
第 23-24 课时:Matplotlib 进阶
- 图形对象与坐标轴
- 子图布局
- 自定义样式与主题
- 交互式图表
第 25-26 课时:Seaborn 统计可视化
- 分布图:直方图、密度图、联合图
- 分类图:条形图、箱线图、小提琴图
- 关系图:散点图、回归图
- 热力图与聚类图
第 27-28 课时:交互式可视化
- Plotly 基础
- Bokeh 交互图表
- Dash 数据应用开发
- 可视化最佳实践
第四模块:机器学习基础(16 课时)
第 29-30 课时:机器学习概论
- 监督学习与无监督学习
- 模型评估:训练集、验证集、测试集
- 过拟合与欠拟合
- 交叉验证
第 31-32 课时:线性模型
- 线性回归进阶
- 逻辑回归
- 正则化:L1(Lasso)、L2(Ridge)
- 模型解释性
第 33-34 课时:树模型
- 决策树算法
- 随机森林
- 梯度提升树(GBDT)
- XGBoost 与 LightGBM
第 35-36 课时:支持向量机
- 最大间隔分类器
- 核技巧
- 软间隔与正则化
- SVM 回归
第 37-38 课时:聚类分析
- K-Means 算法
- 层次聚类
- DBSCAN 密度聚类
- 聚类评估指标
第 39-40 课时:降维技术
- 主成分分析(PCA)
- t-SNE 可视化
- UMAP 降维
- 特征选择方法
第 41-42 课时:模型集成
- Bagging 与 Boosting
- Stacking 与 Blending
- 模型融合策略
- 集成学习实践
第 43-44 课时:深度学习入门
- 神经网络基础
- 前馈神经网络
- 反向传播算法
- PyTorch/TensorFlow 简介
第五模块:专题应用(12 课时)
第 45-46 课时:自然语言处理(NLP)
- 文本预处理:分词、去停用词
- 词袋模型与 TF-IDF
- 词向量:Word2Vec、GloVe
- 文本分类应用
第 47-48 课时:计算机视觉基础
- 图像数据处理
- 卷积神经网络(CNN)概念
- 图像分类任务
- 预训练模型迁移学习
第 49-50 课时:时间序列分析
- 时间序列特征
- 移动平均与指数平滑
- ARIMA 模型
- Prophet 预测库
第 51-52 课时:推荐系统
- 协同过滤
- 内容推荐
- 矩阵分解
- 深度学习推荐
第 53-54 课时:大数据技术
- Hadoop 与 Spark 概念
- 分布式计算原理
- 云服务平台:AWS、Azure、阿里云
- 数据工程基础
第 55-56 课时:数据科学项目管理
- CRISP-DM 方法论
- 项目生命周期管理
- 团队协作工具
- 项目文档撰写
第六模块:综合实践(8 课时)
第 57-64 课时:期末项目
- 项目选题与数据收集
- 数据探索与清洗
- 特征工程与建模
- 模型评估与优化
- 结果可视化与报告撰写
- 项目展示与答辩
实践项目库
入门项目
- 泰坦尼克号生存预测:Kaggle 经典入门题
- 房价预测:回归分析实践
- 鸢尾花分类:分类算法入门
进阶项目
- 电影推荐系统:协同过滤实现
- 情感分析:影评情感分类
- 股票价格预测:时间序列分析
高级项目
- 图像识别应用:CNN 图像分类
- 聊天机器人:NLP 对话系统
- 异常检测系统:金融欺诈检测
评估方式
平时成绩(40%)
- 课堂练习:10%
- 作业完成:15%
- 实验报告:15%
项目成绩(30%)
- 项目选题与创新:10%
- 代码质量与文档:10%
- 项目展示:10%
期末考试(30%)
- 理论知识:15%
- 编程实践:15%
推荐资源
在线课程
参考书籍
- 《Python 数据科学手册》Jake VanderPlas
- 《统计学习方法》李航
- 《机器学习》周志华
- 《深度学习》Ian Goodfellow
实践平台
- Kaggle - 数据科学竞赛
- 天池 - 阿里云数据竞赛
- DrivenData - 社会影响数据竞赛
开源工具
- Scikit-learn - 机器学习库
- PyTorch - 深度学习框架
- TensorFlow - 深度学习框架
本课程综合参考 MIT、Stanford 数据科学课程体系,结合国内高校教学实际,提供系统化的数据科学学习路径。