广州·白云区
职位详情
岗位职责
1.数据处理与存储对爬取的原始数据进行清洗、去重、格式标准化,使用MySQL完成数据结构化存储,保证数据
准确性、完整性。
2.后端服务开发基于Flask/Django搭建后端接口服务,实现资质质查询、数据管理、任务调度等功能,对接前端页
面。
3.数据可视化与展示配合完成可视化系统开发,使用Vue搭建前而端查询页面,使用PowerBI制作数据统计报
4.系统维护与优化持续监控各城市政务网站接口变更,快速修复爬虫失效问题;优化爬虫效率、数据入库速度,提
升系统稳定性。
5.对接维护已获取经营许可城市的数据上传以及监控数据上传情况。
6.政务网站数据爬取基于Python开发爬虫程序,接入全国各城i市政务服务网、交通运输局官方平台,自动化输入
司机身份证、姓名、车牌号,精准查询网约车驾驶员证、车辆运输证的办理状态、有效期、合规性等核心数据。
7.反爬对抗与逆向破解解决政务网站的验证码、IP封禁、Cookiee校验、接口加密、JS逆向、签名算法、设备指纹
等反爬机制,保障爬虫7x24小时稳定运行。
技能要求
1.精通Python编程语言,熟练掌握Requests、Scrapy、Playwright/Selenium等主流爬虫框架,具备分布式爬虫、
异步爬虫开发经验,能应对高并发、高频率爬取场景。
2.高阶反爬对抗能力:能独立破解各类复杂反爬机制,包括但不限于滑切/点选/图文/短信验证码、IP封禁、Cookie
池/会话池管理、请求头伪造、设备指纹(IMEI、MAC、UUID等)绕过、行为风控(鼠标轨迹、操作频率、设备环
境校验)破解。
3.算法破解核心能力(重点):精通国际主流加密算法(RS/A、AES、ECC、SHA1/SHA256、HMAC等)的原理
与逆向破解方法,能独立完成算法还原、参数加密解密、签名验证逻辑辑破解;具备极强的魔改算法破解能力,能快
速分析基于主流算法二次开发、自定义加密逻辑的魔改算法,还原加密流程与核心参数。
4.多平台算法破解:深入理解小红书、抖音平台的反爬算法逻辑,能虫立逆向分析两大平台的接口加密、Token生
成、签名算法、行为风控、流量限制等核心机制,编写适配脚本实现稳定爬取,应对平台算法迭代更新。
5.深度逆向能力:精通JS逆向(包括混淆、压缩、加密JS的还原)、安卓/iOSAPP逆向(smali代码分析、FridaH
ook、Xposed插件开发等),能独立完成前端代码、APP客户端的深度逆向,还原核心业务逻辑与加密流程。
6.精通MySQL数据库,熟练掌握数据表设计、复杂SQL编写与优化、数据清洗、数据备份与恢复,能应对大规模数
据存储与查询场景;了解Redis等缓存技术者优先。
7.精通Flask或Django任一Web框架,能独立开发高性能后端API接口,掌握接口加密、权限控制、并发处理,具备
后端服务优化经验。
8.熟练使用Vue.js开发可视化页面,能独立完成页面布局、交互逻辑开发,适配多终端展示;精通PowerBI,能制
作复杂多维度数据统计报表、可视化仪表盘,实现数据深度分析。
1.数据处理与存储对爬取的原始数据进行清洗、去重、格式标准化,使用MySQL完成数据结构化存储,保证数据
准确性、完整性。
2.后端服务开发基于Flask/Django搭建后端接口服务,实现资质质查询、数据管理、任务调度等功能,对接前端页
面。
3.数据可视化与展示配合完成可视化系统开发,使用Vue搭建前而端查询页面,使用PowerBI制作数据统计报
4.系统维护与优化持续监控各城市政务网站接口变更,快速修复爬虫失效问题;优化爬虫效率、数据入库速度,提
升系统稳定性。
5.对接维护已获取经营许可城市的数据上传以及监控数据上传情况。
6.政务网站数据爬取基于Python开发爬虫程序,接入全国各城i市政务服务网、交通运输局官方平台,自动化输入
司机身份证、姓名、车牌号,精准查询网约车驾驶员证、车辆运输证的办理状态、有效期、合规性等核心数据。
7.反爬对抗与逆向破解解决政务网站的验证码、IP封禁、Cookiee校验、接口加密、JS逆向、签名算法、设备指纹
等反爬机制,保障爬虫7x24小时稳定运行。
技能要求
1.精通Python编程语言,熟练掌握Requests、Scrapy、Playwright/Selenium等主流爬虫框架,具备分布式爬虫、
异步爬虫开发经验,能应对高并发、高频率爬取场景。
2.高阶反爬对抗能力:能独立破解各类复杂反爬机制,包括但不限于滑切/点选/图文/短信验证码、IP封禁、Cookie
池/会话池管理、请求头伪造、设备指纹(IMEI、MAC、UUID等)绕过、行为风控(鼠标轨迹、操作频率、设备环
境校验)破解。
3.算法破解核心能力(重点):精通国际主流加密算法(RS/A、AES、ECC、SHA1/SHA256、HMAC等)的原理
与逆向破解方法,能独立完成算法还原、参数加密解密、签名验证逻辑辑破解;具备极强的魔改算法破解能力,能快
速分析基于主流算法二次开发、自定义加密逻辑的魔改算法,还原加密流程与核心参数。
4.多平台算法破解:深入理解小红书、抖音平台的反爬算法逻辑,能虫立逆向分析两大平台的接口加密、Token生
成、签名算法、行为风控、流量限制等核心机制,编写适配脚本实现稳定爬取,应对平台算法迭代更新。
5.深度逆向能力:精通JS逆向(包括混淆、压缩、加密JS的还原)、安卓/iOSAPP逆向(smali代码分析、FridaH
ook、Xposed插件开发等),能独立完成前端代码、APP客户端的深度逆向,还原核心业务逻辑与加密流程。
6.精通MySQL数据库,熟练掌握数据表设计、复杂SQL编写与优化、数据清洗、数据备份与恢复,能应对大规模数
据存储与查询场景;了解Redis等缓存技术者优先。
7.精通Flask或Django任一Web框架,能独立开发高性能后端API接口,掌握接口加密、权限控制、并发处理,具备
后端服务优化经验。
8.熟练使用Vue.js开发可视化页面,能独立完成页面布局、交互逻辑开发,适配多终端展示;精通PowerBI,能制
作复杂多维度数据统计报表、可视化仪表盘,实现数据深度分析。
2026-05-25 14:56
IP属地：广东广州
职位福利
本科1-3年
湖南喜行网络科技有限公司
100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
Python初中级软件开发工程师
1-1.1万元/月
Python3-5年本科PyTorchDjangoMySQL机器学习经验RedisMongoDBOracleLinux开发/部署经验TensorFlow
广州 白云区
陈先生 · 蓝光软件5日内活跃
高级Python开发工程师
1.4-1.6万元/月
Python5-10年本科计算机视觉Hadoop深度学习实例代码实现NLPDjangoMySQL系统架构优化MongoDBSpark架构设计经验Flask
广州 白云区
张女士 · 中技数科5日内活跃
Python初中级软件开发工程师
1-1.3万元/月
Python3-5年本科PyTorchPostgreSQLDjango机器学习经验RedisLinux开发/部署经验FlaskTensorFlow
广州 白云区
黎先生 · 蓝光软件5日内活跃
python资深开发工程师
1.5-3万元/月
Python5-10年本科搜索引擎技术ScrapyDockerElasticsearch微服务经验运维开发经验云计算经验MongoDB架构设计经验FlaskKubernetes
广州 白云区
王先生 · 广州趣界科技有限公司5日内活跃
收藏职位
