IT人力外包人才简历库

返回列表

Python爬虫工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Python Scrapy 分布式爬虫 反爬虫技术 数据清洗 MongoDB MySQL XPath 正则表达式 BS4 JS逆向 字体反爬 Requests 数据采集 网络请求 爬虫框架

专业技能

精通Python爬虫开发与数据采集技术,擅长处理动态网页反爬机制(字体反爬、JS逆向等),具备完整的数据采集流程设计能力。熟练掌握Scrapy框架及Scrapy-Redis分布式爬虫技术,精通Requests、XPath、CSS选择器、正则表达式(re)及BeautifulSoup(bs4)等解析工具。具备数据清洗、存储能力,可将采集数据存入MongoDB与MySQL数据库。熟悉分布式爬虫架构设计,具备高并发场景下的性能优化经验。

工作履历(脱敏处理)

专注于Python爬虫开发与数据采集领域,主要负责动态网页反爬策略制定及分布式爬虫架构设计。主导完成多个高并发网站的数据采集项目,包括但不限于文学网站、招聘平台、电商平台等。擅长通过分析网页结构制定采集方案,处理字体反爬、JS逆向等复杂反爬技术,优化爬虫性能以提升数据采集效率。具备完整的数据清洗与存储能力,能够将采集数据规范存储至MongoDB与MySQL数据库,确保数据质量与系统稳定性。

项目经验(脱敏处理)

1. 盗墓笔记项目:采用Scrapy-Redis分布式爬虫框架,通过分析网站结构设计三级爬取逻辑,利用XPath解析网页内容,实现小说章节文本的完整采集。2. 汽车之家字体反爬项目:通过逆向分析字体文件生成替换字典,解决乱码解析问题,成功突破字体反爬机制。3. 多平台数据采集项目:针对不同网站的反爬策略制定专项解决方案,包括动态渲染内容处理、验证码识别等,确保数据采集的稳定性与高效性。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接