猿急送>

洛阳Python兼职程序员

ID：275003

大头娃娃

python工程师

公司信息：
洛阳建企大数据服务有限公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
洛阳
全区

技术能力

熟练使用python进行开发,熟练使用Scrappy,django框架,熟练使用MySQL,MongoDB,Redis.: 熟练掌握Web开发的MVC/MVT模式.熟练HTML/CSS熟悉Javascript,jQuery,Vue前端技术.熟练Request,Scrapy,Selenium各种数据抓取方式,Xpath,BeautifulSoup,Re,Json等数据提取/清理方式,具有一定反爬应对能力。

项目经验

工程眼项目 Python爬虫工程师 2019.12-至今
内容:
工程眼项目主要服务于建筑企业以及建筑承包商,它完全依托于数据。项目中所有呈现出来内容都需要通过爬虫来获取。我在本项目中的角色是数据总管,负责本项目所有数据产出。主要负责的内容有 1.标讯板块招标中标数据的抓取,全国各个地市级以及省级,还有全国平台,公共资源交易网个政府采购网爬虫编写,2000网站左右。
2.工商信息板块,所有建筑公司工商信息的抓取。以及建筑公司资质人员信息的抓取。
3.前期项目,也就是拟建项目的抓取。
4.机械设备(出租出售),建材数据的抓取。 5.中标业绩的解析。主要利用正则从不规则的中标公告原文中解析出需要的数据。例如中标金额,和中标公司。

创收物业项目爬虫工程师 2021.01-至今
内容:
该项目主要服务于物业公司,实现智能化物业管理,例如线上缴费,线上查询。我在该项目中主要负责该项目中公共数据的抓
取。主要负责的内容有
1.惠民公告板块数据抓取,主要从微信公众号抓取。
2.商城数据抓取,由于合作商不提供数据接口,需要从合作商app中抓取商品数据。
3.后期数据业务方面需求不大时候,做专业测试三个月。主要测试创收物业三端以及接口。

政务通测试 2020.02-至今
内容:
主要为党政单位提供通讯录功能,政府业务红头文件办理。

业绩:
洛阳市百分之七十以上单位在使用。我在本项目中主要担任专职测试。目前从事的就是测试岗位工作。

案例展示

爬取微信公众号

这个爬虫可以满足微信公众号所有数据的抓取，例如，标题、内容，内容图片、浏览量、点赞量、评论量、评论内容、评论点赞，并且可以做到每日自动抓取入库。数据库自动生成。
工商信息的采集

主要针对钉钉和企查查抓取，绕过vip验证，绕过ip检测账号检测，能够解决目前所出现的反爬现象，批量获取需要数据。