1. 爬虫技术 选择合适的Python库:使用requests库发送HTTP请求获取网页内容,使用BeautifulSoup库解析HTML网页,提取所需数据。 设置请求头:为了模拟浏览器的请求,避免被服务器识别为爬虫,需要设置请求头,例如设置User-Agent和Referer。 处理动态网页:对于动态加载的网页,可以使用Selenium或Puppeteer等工具来模拟浏览器操作,获取动态内容。 2. 数据处理 数据清洗:对爬取到的数据进行清洗,去除无效或重复的数据,确保数据的准确性和完整性。 数据存储:将清洗后的数据存储到数据库中,如MySQL、MongoDB等,方便后续的查询和...
项目描述:工行实物贵金属下的积存贵金属、品牌贵金属项目,该项目旨在给积存金、品牌金重构旧有系统,迁移旧系统到新的分布式系统,提高系统的业务处理量,建立可复用的高可用与高并发的中间或底层服务 角色:Java开发设计工程师 使用技术栈:Spring Boot、Dubbo、Zookeeper、Redis、Kafka、Docker、mycat、seata、sentinl、apollo、quartz、junit 主要职责: 1.负责详细设计文档、测试文档、单元测试的编写 2.负责配置脚本、表脚本的编写 3.负责积存金、品牌金的积存与赎回模块、实物兑换模块、红包模块的设计与实现 4.负责表结...
项目描述: 跨境理财通是一种在线资产转移服务,它可以快速安全地通过分行系统将资产在香港和内地。结合两地证券投资和市场、保险和基金等业务,允许投资者在两地中转移、存储和使用资金。跨境理财通的主要优势在于它能够提供更低的成本、更高的安全性和更快捷的交易体验。 技术框架: 整体架构springmvc、springcloud、consul,gateway数据层mybatis、mysql,缓存层使用ecache、redis,分布式消息中间键RockerMQ等技术 个人职责: 担任活期组,客户组组长。负责服务模块的开发与移动端、后台的联调。 分析项目架构和理解业务,和同事进行服务拆分研究; ...