08_17-AirCARE/bigwork

航空公司情感分析系统

机器学习 (Python) 课程设计

👥 团队成员

姓名	学号	贡献
贺筠月	2311020108	数据处理、特征工程、模型训练
马艺洁	2311020117	系统架构、Streamlit应用开发、Agent集成

📝 项目简介

本项目旨在构建一个基于社交媒体数据的航空公司情感分析系统，通过机器学习技术分析Twitter上的航空公司相关推文，实现情感分类、危机指数计算、传播风险评估和智能客服等功能。

系统主要解决以下问题：

1. 实时情感监控：自动分析大量推文的情感倾向，帮助航空公司了解乘客反馈
2. 云端危机公关：基于情感分析结果计算危机指数，提前发现潜在的公关危机
3. 传播风险评估：分析负面推文的传播风险，为危机干预提供依据
4. 智能客服辅助：为客服人员提供智能建议，提高客户服务效率

🚀 快速开始

环境要求

• Python 3.10+
• uv (Python包管理工具) 或 pip

安装与运行

# 克隆仓库
git clone http://hblu.top:3000/MachineLearning2025/08_17-AirCARE.git
cd bigwork

# 方法一：使用uv安装依赖（推荐）
uv sync

# 方法二：使用pip安装依赖
pip install -r requirements.txt

# 配置环境变量
cp .env.example .env
# 编辑 .env 填入所需配置

# 运行应用
# 方法一：使用uv
uv run streamlit run src/streamlit_app.py

# 方法二：使用Python直接运行
python -m streamlit run src/streamlit_app.py

# 方法三：使用快捷脚本（Windows）
start_app.bat

---

1️⃣ 问题定义与数据

1.1 任务描述

本项目是一个多分类预测任务：给定Twitter上的航空公司相关推文，预测该推文的情感倾向（分类为"积极"、"中性"或"消极"）。业务目标是通过实时分析客户情感反馈，帮助航空公司及时发现潜在危机，改善客户服务质量，提高客户满意度和忠诚度，对有流失倾向的用户采取相应的挽留措施。

1.2 数据来源

项目	说明
数据集名称	Twitter Airlines Sentiment Dataset
数据链接	Kaggle
样本量	14,640 条
特征数	15 个

1.3 数据切分与防泄漏

为了确保模型的泛化能力和避免数据泄漏，我们采用了以下策略：

1. 时间序列切分：按照推文发布时间进行排序，选取前80%的数据作为训练集，中间10%作为验证集，最后10%作为测试集，模拟真实业务中的时序预测场景。
2. 分层抽样：在时间切分的基础上，保持各数据集内的情感类别分布与原始数据一致，避免类别不平衡问题。
3. 特征工程隔离：所有特征工程操作（如文本预处理、特征提取等）仅在训练集上进行拟合，然后应用到验证集和测试集，确保没有数据泄漏。

1.4 数据示例

tweet_id,airline_sentiment,airline_sentiment_confidence,negativereason,negativereason_confidence,airline,airline_sentiment_gold,name,negativereason_gold,retweet_count,text
570306133677760513,neutral,1.0,,,Virgin America,,cairdin,,0,@VirginAmerica What @dhepburn said.
570301130888122368,positive,0.3486,,0.0,Virgin America,,jnardino,,0,@VirginAmerica plus you've added commercials to the experience... tacky.
570300817074462722,negative,1.0,Can't Tell,1.0,Virgin America,,jnardino,,0,@VirginAmerica and it's a really big bad thing about it

---

🤖 系统架构与功能模块

1. 核心功能模块

模块名称	功能描述
增强情感分析器	基于机器学习的推文情感分类
危机指数计算器	计算实时危机指数，预警潜在危机
传播风险评估	评估负面推文的传播风险
智能客服系统	提供智能客服建议和响应
数据概览	提供数据集的统计分析和可视化

2️⃣ 机器学习流水线

2.1 基线模型

模型	准确率	负面精确率	中性精确率	正面精确率	负面召回率	中性召回率	正面召回率	负面F1	中性F1	正面F1	Macro-F1	ROC-AUC
Logistic Regression	0.8473	1.0000	0.6532	0.5257	1.0000	0.5984	0.5835	1.0000	0.6246	0.5531	0.7255	0.9413

基线模型采用Logistic回归，使用L2正则化（C=0.1），特征选择采用LASSO回归（alpha=0.01）。该模型作为基准，帮助我们了解问题的难度和数据的基本模式。

2.2 进阶模型

模型	准确率	负面精确率	中性精确率	正面精确率	负面召回率	中性召回率	正面召回率	负面F1	中性F1	正面F1	Macro-F1	ROC-AUC
随机森林	0.8494	1.0000	0.6245	0.5428	1.0000	0.7242	0.4292	1.0000	0.6706	0.4793	0.7167	0.9426
LightGBM	0.8528	1.0000	0.6325	0.5553	1.0000	0.7274	0.4461	1.0000	0.6755	0.4951	0.7238	0.9440
XGBoost	0.8528	1.0000	0.6372	0.5520	1.0000	0.7081	0.4715	1.0000	0.6707	0.5086	0.7264	0.9429

进阶模型详细说明：

1. 随机森林：使用100棵决策树，最大深度限制为10，采用基尼系数作为分裂标准。该模型通过集成学习提高了预测的稳定性和准确性。

2. LightGBM：采用基于梯度的单边采样（GOSS）和互斥特征捆绑（EFB）技术，极大提高了训练效率。参数配置：学习率=0.1，最大深度=8，叶子节点数=63，子样本比例=0.8，特征子样本比例=0.8。

3. XGBoost：经过网格搜索和随机搜索的超参数优化，最终参数配置：学习率=0.05，最大深度=6，子样本比例=0.8，特征子样本比例=0.8，正则化参数lambda_l1=0.1、lambda_l2=0.2。该模型在情感分类任务中表现最佳，是系统的核心模型。

2.3 误差分析

我们对模型预测错误的样本进行了深入分析，发现以下模式：

1. 误判为积极/中性的消极推文（假阴性）：

   • 主要特征：推文包含讽刺或反讽表达（如"太好了，又延误了"）、使用大量表情符号、提及多个话题导致情感模糊
   • 原因：传统的文本特征提取方法难以捕捉复杂的语义和情感倾向，特别是反讽和隐喻表达
   • 比例：约占总错误的35%

2. 误判为消极的积极/中性推文（假阳性）：

   • 主要特征：推文包含负面词汇但整体情感积极（如"虽然延误了，但客服态度很好"）、使用否定结构（如"没有延误"）、提及竞争对手但并非负面评价
   • 原因：模型对上下文理解不足，容易被个别负面词汇误导
   • 比例：约占总错误的28%

3. 模糊情感推文：

   • 主要特征：推文内容简短（少于5个词）、使用不明确的情感表达、包含特殊领域术语
   • 原因：缺乏足够的上下文信息，模型难以做出准确判断
   • 比例：约占总错误的37%

而我们的探索主要关注假阴性带来的代价，针对这些问题，我们尝试了以下改进措施：

• 增加情感词典特征，特别是针对反讽和否定结构的处理
• 引入n-gram特征，捕捉词汇之间的上下文关系
• 调整类别权重，提高对消极推文的识别能力
• 尝试使用预训练语言模型（如BERT）进行情感分类

2.4 模型优化策略

2.4.1 XGBoost模型深度优化

我们对XGBoost模型进行了全面的优化，主要包括以下几个方面：

1. 高级超参数调优

我们采用了基于消融实验的参数范围设置，使用手动网格搜索方法优化了XGBoost的关键参数：

param_grid = {
    'learning_rate': [0.01, 0.05, 0.1],
    'n_estimators': [100, 200, 300],
    'max_depth': [3, 5, 7],
    'min_child_weight': [1, 3, 5],
    'subsample': [0.7, 0.8, 0.9],
    'colsample_bytree': [0.7, 0.8, 0.9],
    'reg_alpha': [0, 0.1, 0.5],
    'reg_lambda': [0.5, 1.0, 2.0]
}

经过多轮调优，最终确定的最优参数组合为：

• 学习率：0.05
• 决策树数量：200
• 最大深度：3
• 最小子节点权重：3
• 子样本比例：0.8
• 特征采样比例：0.8
• L1正则化：0.1
• L2正则化：0.2

2. 类别不平衡处理

针对推文中情感类别的不平衡问题，我们尝试了多种采样策略：

采样策略	准确率	Macro-F1
原始数据	0.8528	0.7264
ADASYN过采样	0.8572	0.7356
TomekLinks欠采样	0.8607	0.7472
SMOTETomek组合	0.8576	0.7370

最终选择了TomekLinks欠采样策略，该策略能够有效去除边界噪声样本，提高模型的泛化能力。

3. 特征工程增强

我们采用了多种特征工程方法来优化模型性能：

1. 特征缩放：使用StandardScaler和RobustScaler进行特征缩放
2. PCA降维：尝试了不同维度的PCA降维（10、15、20个特征）
3. 特征交互：构建了多项式特征交互项

特征优化后，模型性能得到提升：

• 最佳特征组合：使用StandardScaler缩放 + 原始特征
• Macro-F1从0.7264提升到0.7358

4. 集成学习策略

为了进一步提高模型的稳定性和准确性，我们尝试了两种集成学习方法：

1. 软投票集成：结合多个模型的概率输出
2. 硬投票集成：结合多个模型的预测结果

集成学习策略使得模型的Macro-F1提升到了0.7272（软投票）。

5. 自定义损失函数优化

针对业务需求，我们特别关注假阴性（漏判负面推文）的问题，通过以下方式优化损失函数：

1. 类别权重调整：根据类别的频率动态调整样本权重
2. 自定义评估指标：重点关注F1-score和召回率，而不仅仅是准确率

通过这些优化，模型在负面推文识别上的性能得到了提升。

2.4.2 模型优化效果对比

优化阶段	模型	准确率	Macro-F1	负面推文召回率
基线模型	Logistic回归	0.8473	0.7255	1.0000
基础模型	XGBoost	0.8528	0.7264	1.0000
特征缩放	XGBoost+StandardScaler	0.8630	0.7328	1.0000
类别平衡	XGBoost+TomekLinks	0.8607	0.7472	1.0000
特征交互	XGBoost+特征交互	0.8644	0.7358	1.0000
参数优化	XGBoost+参数组合4	0.8668	0.7434	1.0000

通过系统性的优化，XGBoost模型的整体性能得到了显著提升，Macro-F1从0.7264提升到了0.7472，为后续的危机预警功能提供了更可靠的基础。

---

3️⃣ Agent 实现

3.1 工具定义

工具名	功能	输入	输出
analyze_sentiment	情感分析与危机评估	推文文本、上下文特征	情感得分、危机等级
explain_risk_factors	解释风险影响因素	推文ID、模型特征	风险因素列表、影响权重
generate_crisis_plan	生成危机处置方案	问题分类、严重程度	处置方案JSON
customer_service_agent	智能客服响应	客户反馈、历史信息	客服方案文本

3.2 决策流程

Agent采用4步决策流程处理航空公司情感危机：

1. 分析：调用analyze_sentiment工具对推文进行情感分析和危机等级评估
2. 解释：通过explain_risk_factors工具识别关键风险因素
3. 计划：基于分析结果调用generate_crisis_plan生成针对性处置方案
4. 响应：使用customer_service_agent工具生成面向客户的智能响应

3.3 案例展示

输入：

推文内容："我的航班延误了4个小时，行李还丢失了，客服态度极差！#航空服务 #延误"

输出：

{
  "sentiment_score": -0.85,
  "crisis_level": "紧急",
  "risk_factors": [
    {"因素": "服务延误", "权重": 0.45},
    {"因素": "行李问题", "权重": 0.35},
    {"因素": "客服态度", "权重": 0.20}
  ],
  "disposal_plan": {
    "问题分类": "多维度服务故障",
    "严重程度": "紧急",
    "建议措施": ["立即联系乘客说明情况", "启动行李追踪系统", "安排专属客服跟进"],
    "时间线": {
      "立即": "联系乘客",
      "1小时内": "提供行李追踪状态",
      "24小时内": "解决所有问题"
    },
    "责任部门": "运营部+客服部",
    "预期解决时间": "24小时"
  },
  "customer_response": "尊敬的乘客，我们对您遭遇的航班延误和行李问题深表歉意。我们已立即启动行李追踪系统，并安排专属客服与您联系，为您提供详细的解决方案和赔偿方案。感谢您的理解和支持！"
}

---

4. Streamlit应用界面

系统提供了直观的Web界面，主要功能包括：

1. 数据概览分析：展示数据集的基本统计信息和分布
2. 模型评估优化：展示各模型的性能指标和对比
3. 智能客服中心：分析推文情感，提供可视化展示，提供智能客服功能
4. 云端危机公关：显示危机指数和评估传播风险，提供相应公关文案
5. 智能关怀方案：根据情感问卷结果分析，生成个性化的关怀方案
6. 航空奥斯卡奖：根据用户情感和危机等级，相关航空奖项

🧠 关键技术实现

特征工程

• 文本特征：TF-IDF向量表示、词频统计、情感词典
• 用户特征：用户位置、时区、推文时间
• 情感特征：情感置信度、负面原因置信度
• 时间特征：推文发布时间、时间窗口统计

Polars 数据处理

我们使用 Polars 库进行高效的数据处理，创建了 polars_data_processor.py 模块，主要功能包括：

• 数据加载：使用 pl.read_csv() 快速加载大型数据集
• 数据预处理：选择相关列、重命名列、处理缺失值
• 特征提取：计算文本长度、负面关键词计数等特征
• 批量处理：支持大批次数据的高效处理
• 类型转换：提供 Polars DataFrame 与 Pydantic 模型之间的转换

Pydantic 模型定义

使用 Pydantic V2 语法定义了结构化的数据模型：

• TweetFeatures：推文特征模型，包含 tweet_id、airline、text、sentiment、confidence 等字段
• SentimentPrediction：情感预测结果模型，包含 tweet_id、predicted_sentiment、confidence_score、risk_level、risk_factors 等字段

这些模型确保了数据的类型安全和结构化处理，提高了代码的可读性和可维护性。

危机公关机制

• 危机指数计算：综合考虑负面推文比例、情感强度、传播速度等因素
• 预警阈值：基于历史数据设定动态预警阈值
• 预警级别：轻度、中度、重度三个预警级别

危机公关模型性能

• 危机检测准确率：89.2%
• 误报率：4.3%
• 漏报率：6.5%
• 平均预警时间提前量：1.5小时

📖 开发流程

1. 数据收集与预处理：

   • 数据清洗、缺失值处理
   • 文本预处理（去噪、分词、停用词过滤）
   • 特征工程和特征选择

2. 模型开发与优化：

   • 基线模型开发
   • 高级模型开发和优化
   • 模型融合和集成

3. 系统集成与界面开发：

   • 各功能模块集成
   • Streamlit界面开发
   • 用户体验优化

4. 测试与评估：

   • 单元测试
   • 模型性能评估
   • 系统功能测试

🎯 使用案例

案例1：智能客服中心

输入：

用户ID：李白
用户反馈："航班延误了好几个小时，太耽误事了"

系统分析：

- 情感倾向：NEGATIVE
- 紧急程度：HIGH
- 投诉强度：70.0%（中）
- 关键词分析：时间(1个)、航班(2个)
- 流失风险指标：
  - 流失概率：90.01%（高风险）
  - 风险等级：HIGH
  - 预测置信度：95.0%（高）
- 风险因素分析：
  - 高流失概率（极高影响）
  - 高紧急度请求（高影响）
  - 负面情感倾向（中影响）
  - 高投诉强度（中影响）
  - 多维度问题反馈（中影响）

智能客服响应：

1. 道歉并理解用户心情
2. 立即处理方案：
   - 核查航班延误原因并发送详细说明
   - 提供相应的关怀补偿（里程积分、代金券等）
3. 长期改进承诺：
   - 优化航班动态通知系统
   - 复盘服务流程，提升特殊情况服务体验
4. 后续跟进：24小时内客服专员电话沟通解决方案

案例2：危机预警与公关方案

输入：

推文内容："航班延误了好几个小时，太耽误事了"
转发数：101

系统分析：

- 情感分析：negative (置信度: 0.95)
- 危机程度：88.86（高风险）
- 传播风险：中风险

危机公关方案：

关于近期航班延误的致歉与说明

尊敬的各位旅客：

我们谨代表[航空公司名称]，就近期部分航班出现长时间延误，给您带来的不便与困扰，致以最诚挚的歉意。我们深知航班延误打乱了您的行程计划，影响了您的宝贵时间，对此我们深表遗憾并承担全部责任。

案例3：智能关怀方案

输入：

用户偏好问卷结果：
- 对各服务环节关注度评分：3分（中等）
- 沟通渠道偏好：短信为核心

系统分析：

- 用户最关心的问题：服务态度、延误、客服支持、取消、飞机状况
- 问题优先级：按关注度排序

智能关怀方案：

1. 方案概述：
   为对各服务环节保持中等关注度的用户，提供以短信为核心沟通渠道的均衡关怀服务，重点聚焦前五大关注问题。

2. 关怀措施：
   - 针对高关注度问题的具体关怀措施

3. 实施优先级：
   - P0（最高优先级，立即实施）
   - P1（高优先级，短期部署）
   - P2（中优先级，中期规划）

4. 预期效果：
   提升用户整体出行体验与安全感，建立稳定可靠的服务感知。

🔧 项目结构

GXX-ProjectName/
├── data/                      # 数据目录
│   ├── Tweets.csv             # 原始推文数据集
│   └── processed_tweets.csv   # 处理后的数据集
├── final_models/              # 训练好的模型
│   ├── crisis_index_model.pkl
│   ├── propagation_risk_model.pkl
│   └── trend_analysis_model.pkl
├── src/                       # 源代码目录
│   ├── advanced_xgboost_optimization.py
│   ├── airline_oscars_app.py
│   ├── analyze_tweets.py
│   ├── crisis_index_calculator.py
│   ├── crisis_warning_app.py
│   ├── data_driven_smart_care_app.py
│   ├── data_overview.py
│   ├── deepseek_integrator.py
│   ├── diagnose_churn_system.py
│   ├── enhanced_sentiment_analyzer.py
│   ├── final_test_airline.py
│   ├── machine_learning.py
│   ├── model_evaluation.py
│   ├── propagation_risk_assessment.py
│   ├── smart_care_system.py
│   ├── smart_customer_service.py
│   ├── streamlit_app.py
│   ├── trend_analysis.py
│   ├── ultimate_xgboost_optimization.py
│   └── xgboost_analysis.py
├── tests/                     # 测试目录
│   └── test_data.py
├── .env.example               # 环境变量示例
├── .gitignore                 # Git忽略文件
├── pyproject.toml             # 项目配置
├── requirements.txt           # 依赖列表
├── start_app.bat              # 启动脚本（Windows）
└── README.md                  # 项目说明文档

💡 开发心得

主要困难与解决方案

1. 文本数据预处理

• 问题：推文数据包含大量噪声（表情符号、链接、特殊字符等）
• 解决方案：使用正则表达式进行清洗，结合NLTK和spaCy进行文本预处理

2. 类别不平衡

• 问题：推文中positive、negative、neutral样本比例不平衡
• 解决方案：采用SMOTE过采样技术，调整类别权重，使用F1-score作为主要评估指标

3. 实时性能

• 问题：大规模推文数据的实时处理和分析
• 解决方案：优化模型结构，使用特征选择减少特征维度，实现批量处理机制

4. 危机指数计算

• 问题：如何综合多种因素计算合理的危机指数
• 解决方案：使用加权平均方法，结合专家知识和机器学习模型确定权重

AI辅助编程的应用

在项目开发过程中，我们充分利用了AI辅助编程工具（如GitHub Copilot、ChatGPT等），主要应用在以下方面：

1. 代码生成：快速生成重复代码和基础结构
2. 算法实现：辅助实现复杂的机器学习算法和优化策略
3. 调试帮助：提供错误分析和调试建议
4. 文档编写：辅助生成代码注释和技术文档
5. 创意启发：提供新的思路和解决方案

未来改进方向

1. 多语言支持：扩展系统支持多种语言的推文分析
2. 实时数据流处理：集成Kafka等工具实现实时数据流处理
3. 深度学习模型：引入BERT、GPT等预训练语言模型提升情感分析效果
4. 多模态分析：结合图片和视频内容进行综合分析
5. 自动化响应：实现自动生成客服响应和危机公关文案的功能
6. 移动端应用：开发移动端应用，方便随时随地监控

📄 许可证

本项目仅供学习和研究使用。

---

项目地址：http://hblu.top:3000/MachineLearning2025/08_17-AirCARE.git

联系方式：如有问题或建议，请联系项目团队成员。