技能标签
专业技能
精通维度建模与数据仓库架构设计,擅长实时计算引擎(Flink/Kafka/Doris/ClickHouse)与离线计算框架(MR/Tez/Spark)结合应用。熟练掌握Hive SQL与Python数据处理,精通MySQL、ClickHouse、HBase等多类型数据库。具备完整的数据中台建设经验,熟悉ETL开发流程与数据质量管控体系。
工作履历(脱敏处理)
2016-2020年担任某大型互联网公司数据负责人,主导人店数据中台建设,完成指标体系搭建与团队梯队培养。2020年至今在某科技集团从事数据安全领域指标体系开发,持续优化数据处理架构。期间主导实时数仓Lambda架构落地,实现多维度实时指标秒级更新,支撑多个业务系统实时决策需求。擅长通过分布式计算框架优化数据处理效率,推动跨团队技术规范建设与人才培养。
项目经验(脱敏处理)
2019.10-2020.6 某大型互联网公司实时数仓建设项目
项目定位:构建支持业务实时决策的流批一体数据处理平台
技术架构:采用Flink实时计算引擎+Kafka消息队列+HBase存储层+Doris查询引擎,结合Hive SQL处理离线数据
核心挑战:实现多源数据实时同步与复杂业务指标计算,解决数据延迟与计算资源瓶颈问题
解决方案:设计Lambda架构实现数据多路处理,通过动态分区与数据分桶优化存储效率,利用Flink状态管理保障计算准确性
项目成果:建成支持百万级并发的数据处理体系,实现核心业务指标秒级更新,支撑多个业务系统实时决策需求,培养2名实时数仓核心开发人员
技术亮点:创新性应用流批一体架构,通过数据分层设计提升系统可维护性,构建标准化数据处理规范体系
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
6年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接