1. 实现一个Python脚本,能够自动完成以下任务:
- 对测试样本数据文件(如Excel)进行重复数据清洗和去重。
- 执行文件分类操作,将不同类型的文件分门别类存入指定目录中。
- 完成数据库备份功能,生成备份文件并删除原数据。
- 设置定时任务,定期执行上述操作。
2. 使用必要的库(如shutil、PIL、psutil)实现文件操作和进程管理。
3. 对异常进行捕获,并在日志中记录错误信息。
对本地磁盘的`cp_data.xlsx`的文件进行数据分析清洗去重并存档,并做数据库备份且做定时任务管理,定期执行上述操作。
#### **(a) 数据获取与预处理**
```python
import os
from pathlib import Path
import pandas as pd
from datetime import datetime
import logging
#### **(b) 数据清洗与去重**
```python
from collections import defaultdict
# 调用函数
clean_data(data)
#### **(c) 文件分类**
```python
import shutil
from pathlib import Path
# 调用函数
classify_files()
```
---
#### **(d) 数据库备份**
```python
import sqlite3
import os
from pathlib import Path
# 调用函数
backup_database()
```
---
#### **(e) 定时任务**
```python
import os
from datetime import timedelta
import time
# 调用函数
scheduler_jobs()
```
---
### **4. 执行脚本**
```bash
python scripts/file分类.py
```