技能标签
专业技能
Python语言开发(熟悉PEP8规范,具备良好的代码可维护性);网络爬虫开发(使用Scrapy、BeautifulSoup等工具,支持多协议解析);深度学习框架(TensorFlow/PyTorch,具备模型训练与调优经验);数据库管理(MySQL、MongoDB,具备索引优化与数据分片经验);数据处理工具(Pandas、NumPy,熟悉数据清洗与特征工程)
工作履历(脱敏处理)
担任数据工程师岗位,主导数据采集系统架构设计与开发,采用分布式爬虫框架实现多源数据抓取,解决反爬机制与动态渲染页面解析难题。搭建数据存储与处理平台,设计ETL流程实现数据清洗、标准化及质量校验,日均处理数据量达10万条。通过优化数据库索引与分片策略,提升数据查询效率30%。开发自动化监控系统,实现数据采集过程异常告警与自动恢复,保障系统稳定性。
项目经验(脱敏处理)
负责搭建数据采集系统,使用Scrapy框架实现多源数据抓取,处理反爬机制,采用分布式爬虫架构提升数据获取效率。数据存储采用MySQL与MongoDB混合方案,设计ETL流程实现数据清洗与标准化,日均处理数据量达10万条,保障数据质量与系统稳定性。开发自动化监控系统,实现数据采集过程异常告警与自动恢复,保障系统稳定性。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接