技能标签
专业技能
精通Java/Scala全栈开发，具备大数据平台架构设计能力。熟练掌握Hadoop生态体系（HDFS/YARN/Zookeeper/Oozie/Flume），深入理解Spark全栈技术（Core/SQL/Streaming）及调优策略。熟悉Kafka分布式消息队列原理与流式计算集成。精通MySQL/Redis/HBase/Hive等多类型数据存储系统，具备SQL性能优化经验。熟悉Linux系统运维及Shell脚本开发，具备分布式系统日志分析与监控能力。
工作履历（脱敏处理）
主导大数据平台架构设计与开发，完成从数据采集、清洗、存储到分析的全链路系统建设。设计并实现基于Hadoop的数仓分层架构，优化ADS层查询性能提升30%。开发分布式日志分析系统，通过Kafka+Spark Streaming实现实时数据处理，支持百万级日志秒级分析。搭建ETL数据清洗框架，统一数据标准并提升数据质量，降低业务方查询耗时50%。持续优化Hive/Spark作业性能，通过参数调优和资源分配策略提升集群利用率。
项目经验（脱敏处理）
项目一：用户行为分析平台开发
构建基于Hadoop生态的数仓分层架构（ODS/DWD/DWS/ADS），实现日均10亿+行为日志的清洗与分析。设计分布式ETL流水线，采用MapReduce+Hive实现数据标准化处理，通过分区策略优化查询性能。开发ADS层动态报表系统，采用列式存储与缓存机制提升查询响应速度。建立数据质量监控体系，实现脏数据自动识别与告警功能。
项目二：新闻资讯分布式爬虫系统
基于Hadoop搭建分布式爬虫框架，采用Python实现多机并行的高并发采集。设计Kafka消息队列实现任务分发与结果聚合，通过Spark Streaming实时处理爬虫数据。优化采集策略提升页面下载效率，实现日均百万级新闻内容的存储与检索。开发数据分片算法提升系统横向扩展能力，支持业务量增长5倍的弹性扩容。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接