技能标签
专业技能
精通大数据生态体系(Hadoop/Spark/Flink/Storm/Kafka),擅长分布式计算框架开发与调优;掌握Hive/HBase/Impala等数据仓库技术,熟悉数据湖架构设计;精通ETL工具链(Kettle/Flume),具备Lambda架构实战经验;熟练使用Linux系统运维及Shell/Python脚本开发;具备Java全栈开发能力,熟悉Spring Boot框架及微服务架构;掌握数据治理体系(元数据/主数据/数据质量),熟悉数据资产管理系统开发
工作履历(脱敏处理)
1. 主导企业级数据仓库建设,完成数仓分层架构设计(ODS/DWD/DWS/ADS),构建统一数据资产管理体系,实现业务域抽象与公用代码库开发,提升开发复用率40%;2. 设计并实施大数据基础平台,开发多源异构数据采集系统,支持离线(Flume)与实时(Kafka)数据接入,构建分布式数据清洗引擎,日均处理数据量达20TB;3. 开发数据治理平台,实现元数据管理、数据质量管理、数据标准制定等功能模块,建立数据资产目录体系,提升数据可用性至95%;4. 设计数据中台工程化方案,推动SQL化工具开发与标准化流程建设,使开发效率提升50%,系统稳定性提升至99.99%。
项目经验(脱敏处理)
1. 数字化数据仓库建设项目:主导企业级数据仓库分层架构设计,完成ODS/DWD/DWS/ADS多层数据模型构建,开发统一数据资产管理体系。通过业务域抽象与公用代码库开发,提升开发复用率40%。采用Flink+Spark混合架构实现实时与离线计算,构建数据血缘追踪系统,提升数据可追溯性。2. 多源异构数据采集平台开发:设计并实现支持日志、数据库、API等多源数据接入的采集系统,开发基于Flume的离线采集与Kafka实时采集方案。构建分布式数据清洗引擎,支持复杂ETL流程,日均处理数据量达20TB,系统可用性达99.99%。3. 数据治理平台研发:开发元数据管理系统,实现数据血缘追踪与数据资产目录管理;构建数据质量监控体系,开发数据标准制定工具,建立数据质量评分模型。平台支持模块化扩展,已成功应用于3个业务系统,数据资产利用率提升至85%。4. 数据中台工程化建设:设计并实施数据中台标准开发流程,开发SQL化工具链与标准化开发模板,推动开发效率提升50%。构建统一监控平台,实现计算资源、数据质量、任务状态的可视化监控,系统稳定性提升至99.99%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
10年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接