职位详情
岗位职责:
1. 遵守robots协议,采集互联网公开可用的数据信息;
2. 开展网页数据抽取相关算法的技术研究与开发工作,持续优化数据采集的效率与准确性;
3. 参与分布式网络数据采集系统的设计与实现,独立解决开发中遇到的实际问题(如调度优化、并发控制、抓取覆盖率等),提升系统的整体性能与效果;
4. 负责数据采集后的解析、存储入库,以及系统运行异常的监控与告警处理。
任职要求:
1. 具备良好的编程基础、出色的设计思维与代码规范意识,工作认真负责,有较强的主动性;
2. 熟练掌握HTML、JavaScript、Python及Scrapy等技术,能够高效编写数据采集脚本;
3. 熟悉主流网页数据采集工具与框架,如Selenium、Puppeteer、PhantomJS、Scrapy等;
4. 对NLP基础技术有一定了解,有实际应用Fasttext、N-gram、Bert、GPT等模型和算法者优先考虑;
5. 掌握常见的服务器访问限制应对策略,具备真实场景下的数据获取实践经验。
1. 遵守robots协议,采集互联网公开可用的数据信息;
2. 开展网页数据抽取相关算法的技术研究与开发工作,持续优化数据采集的效率与准确性;
3. 参与分布式网络数据采集系统的设计与实现,独立解决开发中遇到的实际问题(如调度优化、并发控制、抓取覆盖率等),提升系统的整体性能与效果;
4. 负责数据采集后的解析、存储入库,以及系统运行异常的监控与告警处理。
任职要求:
1. 具备良好的编程基础、出色的设计思维与代码规范意识,工作认真负责,有较强的主动性;
2. 熟练掌握HTML、JavaScript、Python及Scrapy等技术,能够高效编写数据采集脚本;
3. 熟悉主流网页数据采集工具与框架,如Selenium、Puppeteer、PhantomJS、Scrapy等;
4. 对NLP基础技术有一定了解,有实际应用Fasttext、N-gram、Bert、GPT等模型和算法者优先考虑;
5. 掌握常见的服务器访问限制应对策略,具备真实场景下的数据获取实践经验。
2026-07-01 12:31
IP属地:四川成都
职位福利
本科10年以上

英壹(四川)商业管理有限公司
不需要融资 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >









