49 lines
1.5 KiB
Markdown
49 lines
1.5 KiB
Markdown
|
# 垃圾短信分类项目实现计划
|
|||
|
|
|
|||
|
|
## 1. 项目结构搭建
|
|||
|
|
- 创建项目目录结构，包括 `src`、`data`、`models` 等目录
|
|||
|
|
- 初始化项目依赖，使用 uv 进行管理
|
|||
|
|
- 创建配置文件和环境变量管理
|
|||
|
|
|
|||
|
|
## 2. 数据处理
|
|||
|
|
- 使用 Polars 加载和清洗 spam.csv 数据集
|
|||
|
|
- 将英文短信翻译成中文，使用 DeepSeek API
|
|||
|
|
- 使用 Pandera 定义数据 Schema 进行验证
|
|||
|
|
- 数据预处理和特征工程
|
|||
|
|
|
|||
|
|
## 3. 机器学习模型
|
|||
|
|
- 实现至少两个模型：Logistic Regression 作为基线，LightGBM 作为强模型
|
|||
|
|
- 模型训练、验证和评估
|
|||
|
|
- 模型保存与加载
|
|||
|
|
- 达到 F1 ≥ 0.70 或 ROC-AUC ≥ 0.75 的性能指标
|
|||
|
|
|
|||
|
|
## 4. LLM 集成
|
|||
|
|
- 使用 DeepSeek API 进行短信内容解释和归因
|
|||
|
|
- 生成结构化的行动建议
|
|||
|
|
- 确保输出可追溯、可复现
|
|||
|
|
|
|||
|
|
## 5. Agent 框架
|
|||
|
|
- 使用 pydantic-ai 构建结构化输出的 Agent
|
|||
|
|
- 实现至少两个工具：ML 预测工具和评估工具
|
|||
|
|
- 构建完整的工具调用流程
|
|||
|
|
|
|||
|
|
## 6. 项目测试和部署
|
|||
|
|
- 编写单元测试和集成测试
|
|||
|
|
- 确保项目可在教师机上运行
|
|||
|
|
- 准备项目展示材料
|
|||
|
|
|
|||
|
|
## 技术栈
|
|||
|
|
- Python 3.12
|
|||
|
|
- uv 进行项目管理
|
|||
|
|
- Polars + Pandas 进行数据处理
|
|||
|
|
- Pandera 进行数据验证
|
|||
|
|
- Scikit-learn + LightGBM 进行机器学习
|
|||
|
|
- pydantic-ai 作为 Agent 框架
|
|||
|
|
- DeepSeek API 作为 LLM 提供方
|
|||
|
|
|
|||
|
|
## 预期成果
|
|||
|
|
- 一个完整的垃圾短信分类系统
|
|||
|
|
- 中文翻译后的数据集
|
|||
|
|
- 可复现的机器学习模型
|
|||
|
|
- 基于 LLM 的智能建议生成
|
|||
|
|
- 结构化、可追溯的输出
|