技能标签
专业技能
精通Python爬虫开发，熟练掌握Scrapy框架及中间件开发，具备JS逆向分析能力（包含参数混淆、动态Token生成等加密逻辑破解）。熟悉数据解析技术（XPath/CSS选择器），擅长MySQL/MongoDB数据存储方案设计。掌握Chrome开发者工具调试技巧，能独立完成加密参数生成算法复现（如MD5加密、时间戳拼接）。熟悉分布式爬虫架构设计及反反爬策略实施。
工作履历（脱敏处理）
主导数据采集系统开发，完成JS加密网站的逆向分析与参数生成逻辑复现，实现爬虫效率提升30%以上。设计自动化翻页逻辑，通过解析Response分页参数实现动态分页处理。开发Scrapy中间件集成JS逆向逻辑，实现加密参数动态生成与请求头注入。优化数据解析流程，采用XPath/CSS选择器提升数据提取效率。设计数据存储方案，实现采集数据至MySQL/MongoDB的高效写入。制定反反爬策略，通过请求频率控制与IP轮换保障采集稳定性。
项目经验（脱敏处理）
1. 开发动态分页处理系统：通过逆向分析网站分页逻辑，设计自动化翻页算法，实现pageNum/totalPage参数解析与请求循环，解决动态加载分页问题，保障数据完整性。 2. 实现JS加密参数生成：完成动态Token生成逻辑逆向，开发Python算法复现MD5加密与时间戳拼接机制，集成Scrapy中间件实现加密参数动态注入，提升数据采集效率。 3. 构建分布式采集架构：设计请求频率控制策略，实施IP轮换机制，优化数据存储方案，实现百万级数据采集与存储，确保采集过程合规性与稳定性。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接