技能标签
专业技能
精通Hadoop生态体系（HDFS/YARN/MapReduce/Flume/Sqoop），掌握实时计算引擎（Flink/Spark Streaming），熟悉分布式数据库（HBase/Kafka），擅长数据仓库架构设计（Hive/数仓模型），精通Java开发（Spark/Flink），熟练使用Shell/Python脚本，熟悉Doris/Redis/MySQL等数据存储方案，具备数据迁移与ETL开发能力
工作履历（脱敏处理）
主导工业设备监控平台重构，完成从Storm+MySQL架构向Kafka+Flink+Doris架构的迁移，实现数据处理效率提升300%。设计实时数据处理流水线，通过Flink窗口函数优化降低Redis依赖，构建Doris数据仓库实现结果表自动汇总。开发数据迁移工具完成MySQL到Doris的亿级数据迁移，设计并实施DolphinScheduler任务调度体系，提升运维效率。参与文旅大数据平台建设，搭建实时数据采集与分析体系，实现旅游行为数据的实时监控与可视化展示。
项目经验（脱敏处理）
工业设备监控平台：基于Kafka+Flink+HBase+Doris构建实时数据处理架构，替代原有Storm+MySQL方案。实现数据采集、实时计算、存储与可视化全链路优化，通过Flink窗口函数减少Redis依赖，利用Doris计算能力降低代码处理压力。开发数据迁移工具完成MySQL到Doris的亿级数据迁移，设计DolphinScheduler任务调度体系提升运维效率，系统整体性能提升300%。
文旅大数据平台：搭建实时数据采集与分析体系，实现旅游行为数据的实时监控与可视化展示。设计离线数仓架构完成区域旅游产品分析，开发舆情监控模块实现多源数据融合。通过Flink流处理引擎实现实时数据计算，构建Doris数据仓库支撑多维数据分析，支撑业务决策与模式创新。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接