成都·武侯区
职位详情
岗位职责
- 负责电商平台商品数据的采集系统设计与开发（含爬虫及接口对接）。
- 构建高效稳定的数据存储架构与ETL流程（数据抽取、清洗、转换与加载）。
- 配合算法团队，满足比价策略与推荐模型所需的数据支持。
- 建立完善的数据监控机制，确保数据的准确性、及时性与完整性。
- 探索并落地前沿数据采集与处理技术（如 Web RPA、LLM+Tool 调用），提升自动化与智能水平。
技能需求
- 熟练掌握 Python/Go 语言，具备主流爬虫框架使用经验（Scrapy、Playwright、Selenium 等）。
- 精通 SQL，了解 MySQL 性能调优及分布式数据库架构设计。
- 具备 APP 逆向、JS 逆向、验证码识别与图像处理相关技术能力。
- 深入理解常见反爬策略，并具备有效的应对方案与实践经验。
- 熟悉分布式计算框架（Spark、Flink）及常用数据仓库系统（Hive、ClickHouse）。
- 了解大模型基础原理，熟悉 Agent 任务调度与工具集成机制。
- 掌握消息中间件（Kafka/RabbitMQ）与缓存组件（Redis）的典型应用场景。
- 具备海量数据采集、清洗、存储与分析全流程实操经验。
- 有基于 LLM/AI Agent 实现自动化信息抓取、语义搜索或知识提取项目经验者优先。
经验需求
- 3 年以上数据工程相关工作经验，具备电商或互联网行业数据采集背景者优先。
- 有与算法团队或人工智能系统协作开发经历者优先。
- 有从零构建数据平台或主导大规模数据处理体系建设经验者优先。
- 负责电商平台商品数据的采集系统设计与开发（含爬虫及接口对接）。
- 构建高效稳定的数据存储架构与ETL流程（数据抽取、清洗、转换与加载）。
- 配合算法团队，满足比价策略与推荐模型所需的数据支持。
- 建立完善的数据监控机制，确保数据的准确性、及时性与完整性。
- 探索并落地前沿数据采集与处理技术（如 Web RPA、LLM+Tool 调用），提升自动化与智能水平。
技能需求
- 熟练掌握 Python/Go 语言，具备主流爬虫框架使用经验（Scrapy、Playwright、Selenium 等）。
- 精通 SQL，了解 MySQL 性能调优及分布式数据库架构设计。
- 具备 APP 逆向、JS 逆向、验证码识别与图像处理相关技术能力。
- 深入理解常见反爬策略，并具备有效的应对方案与实践经验。
- 熟悉分布式计算框架（Spark、Flink）及常用数据仓库系统（Hive、ClickHouse）。
- 了解大模型基础原理，熟悉 Agent 任务调度与工具集成机制。
- 掌握消息中间件（Kafka/RabbitMQ）与缓存组件（Redis）的典型应用场景。
- 具备海量数据采集、清洗、存储与分析全流程实操经验。
- 有基于 LLM/AI Agent 实现自动化信息抓取、语义搜索或知识提取项目经验者优先。
经验需求
- 3 年以上数据工程相关工作经验，具备电商或互联网行业数据采集背景者优先。
- 有与算法团队或人工智能系统协作开发经历者优先。
- 有从零构建数据平台或主导大规模数据处理体系建设经验者优先。
2026-07-01 12:55
IP属地：四川成都
职位福利
本科3-5年
成都吾利爱智科技有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
