1、抓取某互联网信息
根据业务需求,需要爬取某网站的文本信息,分析该网站具有一定的反爬虫策略,破解反爬虫策略,获取信息,具有一定的并发性,写入MongoDB,使用kettle,清洗数据。NLP
2、网络爬虫开发
某大型网站的用户评论数据,20G数据,使用构建ipproxy,使用redis存储ip。使用Thread提高并发行
3、基于行业的某品牌全网数据监测
编写weibo关键字搜索结果爬虫,编写某网站论坛爬虫,编写某网站自媒体文章爬虫。 编写某另一网站论坛爬虫,编写某另一网站自媒体文章爬虫。 写入MongoDB数据库,etl 至mysql,对数据进行作图分析,分析每日热点,时间段热点。 生成ppt,
4、基于LTE的智能抄表系统。
使用ARM处理器作为中控采集楼宇内电表的数据,利用网站进行电表数据的读取和电表的管理。用户可以在网站完成电费的收缴。
5、基于ZigBee的智能大棚控制系统。
使用ZigBee组成传感器网络,采集大棚内环境参数,通过GPRS网关上传数据至服务器,开发相应的Android客户端进行数据展示和设备控制。
6、基于树莓派的家居物联网
使用树莓派作为小型服务器,利用网页完成对家居电子设备的控制。