某智能交通系统希望通过车辆的行驶数据,利用人工智能技术进行交通流量预测和拥堵预警。你作为人工智能训练师,需要设计一套全面的业务数据采集、处理和审核流程,确保数据在进入交通流量分析系统之前经过严格的采集、清洗、审核和预处理。
提供一个车辆行驶数据集(vehicle_traffic_data.csv),包含以下字段:
VehicleID: 车辆ID DriverName: 驾驶员姓名 Age: 年龄
Gender: 性别(Male/Female) Speed: 车速(km/h)
TravelDistance: 行驶距离(km) TravelTime: 行驶时间(min)
TrafficEvent: 交通事件(Normal, Accident, Traffic Jam, Breakdown)
(1)数据采集:从本地文件 vehicle_traffic_data.csv 中读取数据,加载到 DataFrame 中,显示前5行数据。截图保存为 1.1.5-1.jpg。
(2)数据清洗与预处理:处理缺失值(删除);数据类型转换(Age→int, Speed→float, TravelDistance→float, TravelTime→float);处理异常值(年龄18-70, 车速0-200, 距离1-1000, 时间1-1440);保存为 cleaned_vehicle_traffic_data.csv。
(3)数据合理性审核:审核年龄(18-70岁)、车速(0-200 km/h)、行驶距离(1-1000 km)、行驶时间(1-1440分钟)的合理性,标记不合理数据。截图保存为 1.1.5-2.jpg。
(4)数据统计:统计每种交通事件的发生次数;统计不同性别的平均车速、行驶距离和行驶时间;统计不同年龄段的驾驶员数(18-25、26-35、36-45、46-55、56-65、65+)。截图分别保存为 1.1.5-3、1.1.5-4、1.1.5-5。