工作经历
# 2024.01
## 基于 Python 数据可视化的网易云音乐歌单分析系统
- **项目描述**:
1. 利用requests+BeautifulSoup爬取网易云音乐欧美歌单的索引页与详情页数据,包括歌单标题、播放量、收藏量、评论数、歌曲信息等;
2. 使用pandas、numpy对数据进行去重、缺失值处理、格式转换等清洗操作,保证数据质量;
3. 基于清洗后的数据做统计分析,并通过matplotlib、squarify实现可视化,包括TOP排行柱状图、分布直方图、标签树状图等;
4. 最终完成一个可交互的分析系统,能够自动获取数据、生成图表,直观展示歌单热度、受众偏好与分布特征。
---
# 2024.12
## 基于 Hadoop 的外卖订单数据分析系统
- **项目描述**:搭建Hadoop集群,用MapReduce处理外卖订单数据,实现店铺类型统计、评分排名、城市订单量、配送时长、时段订单、营收分析等,结合SpringBoot与前端完成可视化展示。
---
# 2025.06
## 基于 Spark 淘宝数据分析项目
- **项目描述**:
1. 利用Spark SQL与Scala对淘宝用户行为数据集进行分布式加载与预处理,完成时间戳转换、数据筛选、格式规整等操作;
2. 使用Spark算子与DataFrame API对数据进行去重、异常值处理、字段类型转换等清洗工作,保障海量数据的分析质量;
3. 基于清洗后的数据完成核心统计分析,包括用户行为统计、商品销量Top10、高价值用户分析、每日销量趋势分析等;
4. 通过Flask搭建Web服务,结合ECharts将分析结果以柱状图、折线图、分布图表等形式可视化展示,实现数据结果的直观呈现。