职位详情
岗位名称:搜索引擎资深爬虫工程师
工作职责:
-参与分布式采集系统的开发,负责系统在存储、传输、调度及监控模块的设计与实现
-设计并研发爬虫系统中的链接过滤机制与链接调度策略
-负责通用化文档解析模块的架构设计与开发
职位要求:
-本科及以上学历,计算机相关专业,具备5年以上数据采集领域工作经验
-具备大规模分布式抓取系统的架构设计及策略研发经验者优先
-熟悉主流分布式存储技术,能熟练运用分布式计算框架进行数据处理
-编码基础扎实,至少精通Python/Go/Java中的一种编程语言
-掌握Android/iOS平台安全对抗技术,熟悉静态分析、动态调试、协议抓包、HOOK等技术原理及相关工具应用,如IDA、Frida、Unidbg
-熟悉Linux操作系统,熟练使用Shell脚本完成日常任务
工作职责:
-参与分布式采集系统的开发,负责系统在存储、传输、调度及监控模块的设计与实现
-设计并研发爬虫系统中的链接过滤机制与链接调度策略
-负责通用化文档解析模块的架构设计与开发
职位要求:
-本科及以上学历,计算机相关专业,具备5年以上数据采集领域工作经验
-具备大规模分布式抓取系统的架构设计及策略研发经验者优先
-熟悉主流分布式存储技术,能熟练运用分布式计算框架进行数据处理
-编码基础扎实,至少精通Python/Go/Java中的一种编程语言
-掌握Android/iOS平台安全对抗技术,熟悉静态分析、动态调试、协议抓包、HOOK等技术原理及相关工具应用,如IDA、Frida、Unidbg
-熟悉Linux操作系统,熟练使用Shell脚本完成日常任务
2026-05-13 12:31
IP属地:北京
职位福利
本科5-10年spider内容理解网页价值调度策略

北京理想汽车有限公司
1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >






