【北京奇虎360 科技有限公司】
职位名称:
数据挖掘/NLP工程师
工作内容:
1.给图片类型数据添加索引:
介绍:通过对日志的数据的挖掘,获取query 信息,统计webpv,imgpv,img_ratio 等信息,去掉黑名
单,人工运营数据,通过最低条件进行过滤,通过提前设计好的规则进行rank 分类,然后添加索
引保存在数据库中。索引包括,类型,权重,是否点击反馈,Url 等信息。
2.其他任务:
刷数据:对第三方的XML 数据进行解析,提取有用信息。
Hadoop 脚本处理日志:用Hadoop Streaming 对日志脚本信息处理,如将数据出现次数进行统
计排序。
关键组件:Hadoop Streaming,XML,Shell,Python
【北京金山云技术有限公司】
职位名称:
Python 数据开发工程师
工作内容:
1. 小米枪战控制台监控服务
介绍:该服务为小米枪战游戏提供可靠服务,主要功能实现了游戏服务器集群管理,用户信息
查询,网络心跳检测,网络状况主动检测等。
关键组件:Python,Tornado,Elasticsearch,Kafka,MySQL
2. 多国语言翻译服务
介绍:该服务实现功能有,实现不同语言,项目下的语言转换。
关键组件:Python, Tornado,MySQL,SQLAlchemy