数据科学导论(大学版)

课程概述

适用对象:大学一、二年级学生

课时安排:64 课时(理论 32 + 实践 32)

先修要求:Python 编程基础、高等数学基础

课程目标

完成本课程后,学生将能够:

  • 理解数据科学的核心概念和工作流程
  • 掌握数据收集、清洗、分析和可视化的完整技能
  • 运用统计方法进行数据分析和假设检验
  • 使用机器学习算法解决实际问题
  • 独立完成数据科学项目并撰写报告

课程大纲

第一模块:数据科学基础(8 课时)

第 1-2 课时:数据科学概论

  • 数据科学的定义与发展历程
  • 数据科学家的工作内容与技能要求
  • 数据科学应用领域:医疗、金融、电商、社交网络
  • 数据伦理与隐私保护

第 3-4 课时:Python 数据科学生态

  • Jupyter Notebook 使用技巧
  • NumPy 数组操作与向量化计算
  • Pandas 数据结构:Series 与 DataFrame
  • 数据读取:CSV、Excel、JSON、SQL

第 5-6 课时:数据探索性分析(EDA)

  • 数据质量评估:缺失值、异常值、重复值
  • 描述性统计分析
  • 数据分布可视化
  • 相关性分析

第 7-8 课时:数据清洗与预处理

  • 缺失值处理策略
  • 异常值检测与处理
  • 数据变换:标准化、归一化、对数变换
  • 特征编码:独热编码、标签编码

第二模块:统计学基础(12 课时)

第 9-10 课时:概率论基础

  • 随机变量与概率分布
  • 常见分布:正态分布、二项分布、泊松分布
  • 大数定律与中心极限定理
  • 贝叶斯定理

第 11-12 课时:描述统计

  • 集中趋势:均值、中位数、众数
  • 离散程度:方差、标准差、极差
  • 分布形态:偏度、峰度
  • 箱线图与五数概括

第 13-14 课时:推断统计

  • 抽样分布与标准误
  • 置信区间估计
  • 假设检验基本原理
  • p 值与显著性水平

第 15-16 课时:统计检验方法

  • t 检验:单样本、双样本、配对样本
  • 方差分析(ANOVA)
  • 卡方检验
  • 非参数检验简介

第 17-18 课时:相关与回归

  • 皮尔逊相关系数
  • 斯皮尔曼秩相关
  • 简单线性回归
  • 多元线性回归基础

第 19-20 课时:实验设计

  • A/B 测试原理
  • 随机对照实验设计
  • 样本量计算
  • 实验结果分析

第三模块:数据可视化(8 课时)

第 21-22 课时:可视化原理

  • 可视化设计原则
  • 图表类型选择指南
  • 颜色理论与可访问性
  • 数据故事讲述

第 23-24 课时:Matplotlib 进阶

  • 图形对象与坐标轴
  • 子图布局
  • 自定义样式与主题
  • 交互式图表

第 25-26 课时:Seaborn 统计可视化

  • 分布图:直方图、密度图、联合图
  • 分类图:条形图、箱线图、小提琴图
  • 关系图:散点图、回归图
  • 热力图与聚类图

第 27-28 课时:交互式可视化

  • Plotly 基础
  • Bokeh 交互图表
  • Dash 数据应用开发
  • 可视化最佳实践

第四模块:机器学习基础(16 课时)

第 29-30 课时:机器学习概论

  • 监督学习与无监督学习
  • 模型评估:训练集、验证集、测试集
  • 过拟合与欠拟合
  • 交叉验证

第 31-32 课时:线性模型

  • 线性回归进阶
  • 逻辑回归
  • 正则化:L1(Lasso)、L2(Ridge)
  • 模型解释性

第 33-34 课时:树模型

  • 决策树算法
  • 随机森林
  • 梯度提升树(GBDT)
  • XGBoost 与 LightGBM

第 35-36 课时:支持向量机

  • 最大间隔分类器
  • 核技巧
  • 软间隔与正则化
  • SVM 回归

第 37-38 课时:聚类分析

  • K-Means 算法
  • 层次聚类
  • DBSCAN 密度聚类
  • 聚类评估指标

第 39-40 课时:降维技术

  • 主成分分析(PCA)
  • t-SNE 可视化
  • UMAP 降维
  • 特征选择方法

第 41-42 课时:模型集成

  • Bagging 与 Boosting
  • Stacking 与 Blending
  • 模型融合策略
  • 集成学习实践

第 43-44 课时:深度学习入门

  • 神经网络基础
  • 前馈神经网络
  • 反向传播算法
  • PyTorch/TensorFlow 简介

第五模块:专题应用(12 课时)

第 45-46 课时:自然语言处理(NLP)

  • 文本预处理:分词、去停用词
  • 词袋模型与 TF-IDF
  • 词向量:Word2Vec、GloVe
  • 文本分类应用

第 47-48 课时:计算机视觉基础

  • 图像数据处理
  • 卷积神经网络(CNN)概念
  • 图像分类任务
  • 预训练模型迁移学习

第 49-50 课时:时间序列分析

  • 时间序列特征
  • 移动平均与指数平滑
  • ARIMA 模型
  • Prophet 预测库

第 51-52 课时:推荐系统

  • 协同过滤
  • 内容推荐
  • 矩阵分解
  • 深度学习推荐

第 53-54 课时:大数据技术

  • Hadoop 与 Spark 概念
  • 分布式计算原理
  • 云服务平台:AWS、Azure、阿里云
  • 数据工程基础

第 55-56 课时:数据科学项目管理

  • CRISP-DM 方法论
  • 项目生命周期管理
  • 团队协作工具
  • 项目文档撰写

第六模块:综合实践(8 课时)

第 57-64 课时:期末项目

  • 项目选题与数据收集
  • 数据探索与清洗
  • 特征工程与建模
  • 模型评估与优化
  • 结果可视化与报告撰写
  • 项目展示与答辩

实践项目库

入门项目

  • 泰坦尼克号生存预测:Kaggle 经典入门题
  • 房价预测:回归分析实践
  • 鸢尾花分类:分类算法入门

进阶项目

  • 电影推荐系统:协同过滤实现
  • 情感分析:影评情感分类
  • 股票价格预测:时间序列分析

高级项目

  • 图像识别应用:CNN 图像分类
  • 聊天机器人:NLP 对话系统
  • 异常检测系统:金融欺诈检测

评估方式

平时成绩(40%)

  • 课堂练习:10%
  • 作业完成:15%
  • 实验报告:15%

项目成绩(30%)

  • 项目选题与创新:10%
  • 代码质量与文档:10%
  • 项目展示:10%

期末考试(30%)

  • 理论知识:15%
  • 编程实践:15%

推荐资源

在线课程

参考书籍

  • 《Python 数据科学手册》Jake VanderPlas
  • 《统计学习方法》李航
  • 《机器学习》周志华
  • 《深度学习》Ian Goodfellow

实践平台

开源工具


本课程综合参考 MIT、Stanford 数据科学课程体系,结合国内高校教学实际,提供系统化的数据科学学习路径。