编程语言:Python, Java
数据采集:熟悉网络爬虫技术,能够高效地从网页、API等多渠道获取数据
数据处理:具备良好的数据清洗、预处理及分析能力,熟练使用Pandas、NumPy等库
数据可视化:熟悉Matplotlib、Seaborn、Echarts等工具,可以制作交互式图表,清晰展示数据特征
工具与框架:Scrapy, BeautifulSoup, Spring Boot, Django
数据库:MySQL, MongoDB,Redis
其他:熟练使用Git版本控制,了解Docker容器化技术
独立开发了一套自动化数据采集系统,采用Python编写爬虫,并部署至云端服务器
- 针对收集到的大量文本数据进行了预处理和情感分析,为市场研究提供了重要参考
- 通过Echarts制作动态图表,增强了用户体验,项目上线后用户反馈良好
爬虫项目如京东,淘宝大型电商网站数据抓取,大麦,12306抢票, 美团数据采集,直播间弹幕数据采集等等