ID:132371 复制

︶⌒︶メ╭∩╮

python研发工程师 · 2年经验 · 烽火通信

城市远程全区日薪500元/8h 时间下班后周六周日

累计接单

用户评价

被收藏

技术能力项目经验案例展示

技术能力

AI 技能提取 | Python Selenium MySQL Redis MongoDB JavaScript HTML CSS Ajax RESTful

python爬虫开发，能熟练使用python网络库、scrapy框架以及selenium库爬取数据。了解web前端技术，包括HTML、XML、CSS、JavaSCript、AJAX等，熟悉正则表达式、XPATH和beatifulsoap4能够从结构化和非结构化的数据中获取信息。对于反盗链，反封 IP，反爬虫的页面有一定应对能力。能使用多线程，多进程，协程加快爬取速度。使用过从数据库包括MySQL、Redis、mongodb等。熟悉restful接口的开发，能够通过抓包分析开发APP爬虫。会使用python的numpy、pandas、Matplotlib进行数据分析。

项目经验

爬虫开发
1.分别利用python requests以及scrapy爬取58同城，安居客，房天下的青岛二手房数据，爬取58同城数据时候，由于PC网页端数据不完整，而单爬安卓手机浏览器数据也不完整，但是通过组合爬取可以获得较完整数据，故同时爬取pc端以及手机端链接，封禁ip的解决方法是限制爬取速率，scrapy版本采用了middleware添加代理的方法绕过封禁ip问题。
2.利用re，xpath，bs4进行数据挖掘，并隔月增量爬取利用哈希算法进行数据去重，利用ps批处理功能去图片水印等数据清洗工作
3.利用百度地图开发者api根据爬下来的地名区块名获得经纬度，使数据更加精确

展开全部项目经验