IT人力外包人才简历库

精通Hadoop生态体系（HDFS小文件合并策略、YARN资源调度优化、MR数据倾斜处理），掌握Spark全栈开发（SparkSQL/Streaming/DAG调度优化），擅长Flink流批一体架构（状态管理/Exactly-Once/窗口计算），熟悉Kafka高吞吐数据管道设计，精通实时数仓分层建模（ODS/DWD/DWS/ADS），熟练使用HBase/ClickHouse/Kudu等存储引擎，具备复杂SQL优化能力，精通Flume/Sqoop/DataX等数据采集工具，掌握Azkaban/Oozie/Airflow调度体系，熟悉Kubernetes容器化部署

主导某金融企业实时数仓建设项目，设计并实现覆盖开户统计、客户服务、APP运营等业务场景的实时数据处理架构，完成ODS层实时采集、DWD层数据清洗、DWS层指标汇总、ADS层业务报表开发，通过Flink CDC实现数据实时同步，采用HBase存储资金流水明细并设计高效查询方案，建立离线校验机制保障数据准确性，优化Spark作业调度策略提升计算效率30%以上。

某金融企业实时数仓建设项目（2021-至今）

技术架构：Flink CDC 1.12.2 + Kafka 2.11 + HBase 2.0.5 + ClickHouse

项目成果：

1. 构建实时数仓分层架构，实现零售业务实时指标统计，通过Flink SQL完成数据清洗、脱敏、宽表构建，支撑开户率、APP活跃度等核心指标实时分析

2. 设计基金投顾实时计算方案，采用MySQL存储关键指标，通过夜间离线校验保障数据准确性，实现开盘前数据快速交付

3. 开发资金流水实时查询系统，基于HBase设计复合型rowkey，实现秒级查询响应，通过定时任务调度优化资源利用率

4. 实现多业务线数据模型统一，完成数据采集、清洗、计算、存储全链路开发，建立数据质量监控体系

5. 优化Flink作业性能，通过Watermark机制处理事件时间窗口，采用状态管理保障Exactly-Once语义，提升系统吞吐量40%

技术挑战与解决方案：

- 大规模数据实时处理：采用Flink CDC+Kafka构建数据管道，通过分区策略优化数据吞吐

- 高并发查询场景：设计HBase二级索引，结合ClickHouse实现OLAP分析

- 数据一致性保障：建立离线校验机制，采用Delta Lake实现ACID事务

- 资源动态调度：基于YARN+Kubernetes实现弹性资源分配