舆情观察系统:
内容:
● 使用技术:YII2,Swoole,协程,Redis,Elaticsearch,Crontab,Mysql
● 项目描述:为政府和企业,提供资讯大数据支持,分析舆情形势和敏感,情感信息
● 核心功能:高并发海量数据的采集,又要不影响前端的即时展示。采用swoole的协程的方案,高性能串行,协程切换。多方案
并发的采集数据提供方的数据。
落库数据写入redis队列,依次写入Elaticsearch。提高前端检索效率。
业绩:
在本项目中本人是高效的执行者角色。
参与讨论方案设计。后端高并发采集脚本和前端统计分析和查看接口 编写
虎嗅app微服务 golang工程师
● 项目背景:
虎嗅 App 原来服务端以 php 为主,且大多数接口都是 http 通信。在接口不多,系统与系统之间交互比较少的情况下,http 就显得更加方便。php 开发也更迅速。但是当虎嗅来到了第十年,业务越来越臃肿,原来的优势反而变成了劣势。访问瓶颈和维护问题厄待解决。
● 项目目的:
将原来单一架构改版成 微服务架构,降低业务复杂的冗余调用。将服务端改为 go ,规避了 php 的解释运行机制,提高运行效
率;同时将部分 http 请求,替换为 rpc 请求。不必每次通信都像 http 一样去建立一次连接,减少网络开销
● 我的职表:
1)负责改版前的需求讨论以及调研工作
2)部署本机开发环境,并形成文档
3)根据现有系统流程,梳理需求
4)开发进度把控,在不影响当前任务的同时,慢慢替换老接口
5)测试通过后的验收测试
6)项目上线后的性能压测
技术点:
golang,etcd,kratos ,微服务,rpc,proto,wire
虎嗅数据看板
● 项目背景:
虎嗅作为一个知名媒体,在 app ,公众号,三方平台 等都收集了很多数据,如用户行为数据,运营统计数据等。数据原始的 ods层比较零散,dm和 dw 层基础性的整合了部分,但是不方便非技术人员查找
● 项目目的:
需要给非技术人员,和对业务库了解不清楚的用户,提供更直观的体现文章热度,运营优化策略执行度等数据支持,并提供可视化图形。并根据数据,调用 gpt ,给出 ai 的数据分析
● 我的职责:
1.前期与产品和技术开会确认所需数据
2.和数仓负责人,一起整理所需数据。在 app 层建立业务表,并通过任务执行 sql 定时同步最新数据
3.开放服务端接口给前端调用。python的 Django 框架.
4.整理接口返回数据,编写 prompt ,调优;返回 gpt的 ai 分析
5.完成提测并交付
● 技术点:
python,hive,dolphinscheduler,Django,gpt3.5,prompt
运营数据申请
● 项目背景:
虎嗅站内多个埋点,收集了包括用户信息,行为数据,会员数据,点赞播放等。数仓依次进行分层存储,每次需要对应的数据,导出 excel ,频率太高,且不直观
● 项目目的:
帆软是一个综合展示的数据平台,可以绑定自有数据,综合处理成数据集,并可视化展示。并且可以通过 dolphinscheduler 定时
任务更新库,达到定时周报,日报的效果。减少人工操作,提高运营人员查看效率
● 我的职责:
1.交接并接手整个数仓库(ods,dw,dm,app),hive,mysql,mongo等
2. 运营发起数据申请,审批后,沟通运营需求
3. 梳理业务,编写并测试,业务 sql 整合多表数据;加入 task 任务
4.编写 dolphinscheduler 定时任务,调用 task 任务的 sql ,同步数据到新 app表
5. 编写帆软仪表盘,关联数据。可视化编辑,交付运营
● 技术点:
mysql,hive,hue,dolphinscheduler ,帆软