IT人力外包人才简历库

返回列表

大数据开发工程师(资深)

驻场外包人员
工作年限:10年 意向城市:北京 浏览:3次 发布时间:近期

技能标签

Hadoop Spark Flink Kafka Hive HBase Linux Java Python ETL 数据仓库 数据治理 分布式计算 Lambda架构 Shell脚本 微服务架构 数据湖 数据中台

专业技能

精通大数据生态体系(Hadoop/Spark/Flink/Storm/Kafka),擅长分布式计算框架开发与调优;掌握Hive/HBase/Impala等数据仓库技术,熟悉数据湖架构设计;精通ETL工具链(Kettle/Flume),具备Lambda架构实战经验;熟练使用Linux系统运维及Shell/Python脚本开发;具备Java全栈开发能力,熟悉Spring Boot框架及微服务架构;掌握数据治理体系(元数据/主数据/数据质量),熟悉数据资产管理系统开发

工作履历(脱敏处理)

1. 主导企业级数据仓库建设,完成数仓分层架构设计(ODS/DWD/DWS/ADS),构建统一数据资产管理体系,实现业务域抽象与公用代码库开发,提升开发复用率40%;2. 设计并实施大数据基础平台,开发多源异构数据采集系统,支持离线(Flume)与实时(Kafka)数据接入,构建分布式数据清洗引擎,日均处理数据量达20TB;3. 开发数据治理平台,实现元数据管理、数据质量管理、数据标准制定等功能模块,建立数据资产目录体系,提升数据可用性至95%;4. 设计数据中台工程化方案,推动SQL化工具开发与标准化流程建设,使开发效率提升50%,系统稳定性提升至99.99%。

项目经验(脱敏处理)

1. 数字化数据仓库建设项目:主导企业级数据仓库分层架构设计,完成ODS/DWD/DWS/ADS多层数据模型构建,开发统一数据资产管理体系。通过业务域抽象与公用代码库开发,提升开发复用率40%。采用Flink+Spark混合架构实现实时与离线计算,构建数据血缘追踪系统,提升数据可追溯性。2. 多源异构数据采集平台开发:设计并实现支持日志、数据库、API等多源数据接入的采集系统,开发基于Flume的离线采集与Kafka实时采集方案。构建分布式数据清洗引擎,支持复杂ETL流程,日均处理数据量达20TB,系统可用性达99.99%。3. 数据治理平台研发:开发元数据管理系统,实现数据血缘追踪与数据资产目录管理;构建数据质量监控体系,开发数据标准制定工具,建立数据质量评分模型。平台支持模块化扩展,已成功应用于3个业务系统,数据资产利用率提升至85%。4. 数据中台工程化建设:设计并实施数据中台标准开发流程,开发SQL化工具链与标准化开发模板,推动开发效率提升50%。构建统一监控平台,实现计算资源、数据质量、任务状态的可视化监控,系统稳定性提升至99.99%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

10年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接