杭州·余杭区
职位详情
职位描述
我们正在寻找一位资深的后端工程师，需要精通Spring Cloud微服务架构，负责核系心统的稳定与演进，深入数据采集领域，主导设计并实施高性能、高可用的分布式爬虫系统，为业务提供可靠的数据支撑。看清要求后再投简历哈！！！
主要职责
1. 微服务架构与开发：
a.负责核心业务微服务的设计、开发、部署与治理，保障系统的高可用与可扩展性。
b.基于Spring Cloud等生态构建并优化服务网格，解决分布式环境下的各类技术挑战。
2. 数据采集系统设计与实现：
a.主导设计并实现高性能、可扩展的分布式爬虫框架与系统，应对复杂的反爬策略。
b.研究目标网站结构，设计高效的抓取策略、解析规则与数据清洗流程。
c.构建和维护IP代理池、用户Agent池等反反爬基础设施。
d.设计并优化数据去重、增量抓取、任务调度与故障恢复机制。
3. 系统融合与数据管道：
a.将爬虫系统无缝集成至整体微服务架构，设计高效的数据流转与处理管道。
b.确保数据采集的实时性、准确性，并与业务系统（如搜索、推荐、分析）顺畅对接。
4. 技术引领与协作：
a.践行并推广Vibe Coding理念，提升团队在复杂系统开发中的效率与代码质量。
b.编写高质量技术文档，主导技术方案评审，推动团队技术能力成长。
硬性要求：
本科及以上学历，计算机相关专业，3年以上Java后端开发经验。
1.微服务核心能力：
a.精通Spring Cloud微服务架构及其核心组件，有大规模分布式系统设计和调优经验。
b.熟练掌握MySQL/PostgreSQL及数据库优化，精通Redis及应用场景。
c.熟悉消息队列（Kafka/RocketMQ）、Elasticsearch等技术。
2.爬虫核心能力：
a.精通网络爬虫原理及反爬机制应对策略，具备复杂网站爬取实战经验。
b.精通至少一种主流爬虫框架（如WebMagic、Crawler4j、或自研框架），并了解其核心原理。
c.熟练使用Jsoup、XPath、正则表达式等进行HTML解析；精通处理动态渲染页面（熟练掌握Selenium、Puppeteer或Playwright等工具）。
d.有丰富的代理IP管理、验证码识别（商业或自研方案）、浏览器指纹模拟等实战经验。
e.有分布式爬虫架构设计经验，理解任务调度、去重（布隆过滤器等）、并发控制与数据存储优化。
加分项：
有在云原生（K8s）环境下部署和管理爬虫集群的经验。
具备良好的法律与道德意识，理解并遵循Robots协议及相关数据合规要求。
有技术博客、开源爬虫项目贡献或相关技术社区影响力
我们正在寻找一位资深的后端工程师，需要精通Spring Cloud微服务架构，负责核系心统的稳定与演进，深入数据采集领域，主导设计并实施高性能、高可用的分布式爬虫系统，为业务提供可靠的数据支撑。看清要求后再投简历哈！！！
主要职责
1. 微服务架构与开发：
a.负责核心业务微服务的设计、开发、部署与治理，保障系统的高可用与可扩展性。
b.基于Spring Cloud等生态构建并优化服务网格，解决分布式环境下的各类技术挑战。
2. 数据采集系统设计与实现：
a.主导设计并实现高性能、可扩展的分布式爬虫框架与系统，应对复杂的反爬策略。
b.研究目标网站结构，设计高效的抓取策略、解析规则与数据清洗流程。
c.构建和维护IP代理池、用户Agent池等反反爬基础设施。
d.设计并优化数据去重、增量抓取、任务调度与故障恢复机制。
3. 系统融合与数据管道：
a.将爬虫系统无缝集成至整体微服务架构，设计高效的数据流转与处理管道。
b.确保数据采集的实时性、准确性，并与业务系统（如搜索、推荐、分析）顺畅对接。
4. 技术引领与协作：
a.践行并推广Vibe Coding理念，提升团队在复杂系统开发中的效率与代码质量。
b.编写高质量技术文档，主导技术方案评审，推动团队技术能力成长。
硬性要求：
本科及以上学历，计算机相关专业，3年以上Java后端开发经验。
1.微服务核心能力：
a.精通Spring Cloud微服务架构及其核心组件，有大规模分布式系统设计和调优经验。
b.熟练掌握MySQL/PostgreSQL及数据库优化，精通Redis及应用场景。
c.熟悉消息队列（Kafka/RocketMQ）、Elasticsearch等技术。
2.爬虫核心能力：
a.精通网络爬虫原理及反爬机制应对策略，具备复杂网站爬取实战经验。
b.精通至少一种主流爬虫框架（如WebMagic、Crawler4j、或自研框架），并了解其核心原理。
c.熟练使用Jsoup、XPath、正则表达式等进行HTML解析；精通处理动态渲染页面（熟练掌握Selenium、Puppeteer或Playwright等工具）。
d.有丰富的代理IP管理、验证码识别（商业或自研方案）、浏览器指纹模拟等实战经验。
e.有分布式爬虫架构设计经验，理解任务调度、去重（布隆过滤器等）、并发控制与数据存储优化。
加分项：
有在云原生（K8s）环境下部署和管理爬虫集群的经验。
具备良好的法律与道德意识，理解并遵循Robots协议及相关数据合规要求。
有技术博客、开源爬虫项目贡献或相关技术社区影响力
2026-02-10 13:35
IP属地：浙江
职位福利
本科及以上3-5年团队管理经验架构设计经验微服务经验物联网经验大数据经验搜索/推荐/广告经验JavaSpringSpringCloudKafkaElasticsearchMySQLPostgreSQL
杭州脉博文化科技有限公司
A轮 · 2人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
中高级Java开发-内部
2-4万元/月
Java3-5年本科及以上不接受居家办公团队管理经验架构设计经验分布式经验微服务经验有前端经验/技能SpringSpringCloudMyBatisMySQLRedisOracle
杭州 余杭区
张先生 · 聚人动力今日活跃
后端开发工程师
2.5-3.5万元/月
Java5-10年本科及以上不接受居家办公分布式经验Elasticsearch微服务经验MySQLRedisDubbo架构设计经验
杭州 余杭区
时女士 · 涟隐集团今日活跃
千问/夸克-JAVA高级开发-北上杭广
3-4.5万元/月
Java3-5年本科及以上不接受居家办公架构设计经验分布式经验接受无前端经验/技能SpringSpringCloudMyBatisMySQLRedisSQL Server
杭州 余杭区
Java高级开发工程师（推荐系统领域）
3.5-4.5万元/月
Java3-5年本科及以上大数据经验不接受居家办公MySQL搜索/推荐/广告经验Spring
杭州 余杭区
朱先生 · 深圳市来赞达软件科技今日活跃
Java开发工程师（核心业务方向）
8000-15000元/月
Java1-3年大专及以上不接受居家办公架构设计经验有前端经验/技能SpringMySQL
杭州 余杭区
收藏职位
