IT人力外包人才简历库

返回列表

数据采集开发工程师

驻场外包人员
工作年限:2年 意向城市:杭州 浏览:1次 发布时间:近期

技能标签

Java Spring Boot 微服务架构 Redis 消息队列 爬虫技术 正则表达式 XPath Jsoup Python OpenCV 多线程编程 分布式存储 数据清洗 容器化部署

专业技能

精通Java后端开发,熟悉Spring Boot、Spring Cloud微服务架构,掌握Redis缓存、RabbitMQ消息队列等中间件技术。具备容器化部署经验,熟练使用Docker/K8s进行服务编排。擅长数据采集领域,精通Python爬虫技术,熟练运用正则表达式、XPath、Jsoup等解析HTML结构,掌握OpenCV图像识别技术。熟悉分布式系统设计,具备多线程编程能力,熟悉MySQL数据库优化及数据清洗技术。

工作履历(脱敏处理)

专注于数据采集系统开发,主导舆情数据采集平台建设,采用多线程技术提升数据抓取效率,设计分布式数据存储方案。参与微服务架构改造,基于Spring Cloud实现服务拆分与注册中心管理,优化系统可扩展性。开发图像识别模块,利用OpenCV实现验证码破解与图片内容提取。构建数据清洗管道,通过正则表达式和XPath解析HTML结构,结合Jsoup完成数据标准化处理,提升数据可用性30%。

项目经验(脱敏处理)

1. 舆情数据采集系统开发:设计分布式爬虫架构,采用Python+Requests实现多源数据抓取,通过正则表达式和XPath解析HTML结构,结合Jsoup完成数据清洗,存储至分布式数据库。采用多线程技术提升抓取效率,实现日均百万级数据采集。2. 微服务数据中台建设:基于Spring Cloud搭建微服务架构,设计统一数据采集接口规范,实现模块化开发与接口版本管理。开发数据处理服务,利用Redis缓存中间结果,提升系统响应速度40%。3. 图像识别系统开发:基于OpenCV实现验证码识别与图片内容提取,集成到数据采集流程中,解决动态内容抓取难题,提升数据完整性。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

2年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接