杭州·钱塘区
职位详情
岗位职责：
1、负责大数据平台（Hadoop、Spark、Flink、Kafka等）功能性和容错性测试方案的制定，确保ETL流程、数据清洗及存储逻辑的正确性；
2、具备使用Airflow等离线任务调度工具的实际操作经验；
3、针对海量数据场景，设计边界条件与异常情况下的测试用例；
4、制定端到端的埋点数据验证策略，覆盖客户端/服务端埋点触发机制、数据上报完整性及业务合规要求；
5、开发自动化校验工具，用于埋点数据字段（如event_id、params、timestamp）规范性与关联关系的验证；
6、跟踪埋点全链路流程（SDK采集→日志落盘→Kafka传输→数仓解析），执行跨环节数据一致性核对；
7、搭建从业务MySQL到数据仓库的完整CDC同步链路，模拟真实业务环境下的数据变更行为；
8、验证CDC核心流程（binlog解析、增量同步、Exactly-Once语义保障），并开发配套的数据全链路比对工具；
9、设计实时数据同步测试场景（如MySQL→Kafka→Flink→Hudi链路的故障恢复验证）；
10、构建大数据测试框架（PyTest/TestNG），编写自动化脚本实现埋点数据抽样检查与异常模式识别；
11、建立BI看板数据的抽样核查机制，从源头数据追溯结果处理的准确性；
12、将自动化测试集成至CI/CD体系（Jenkins/GitLab CI），实现CDC流程的自动触发与监控告警；
13、构建埋点数据质量评估模型，定义关键度量指标（如埋点触发率、字段缺失率、数据延迟）；
14、制定数据完整性校验规则，定位数据异常的根本原因（如SDK版本兼容问题、网络丢包等）。
任职要求：
1、全日制本科及以上学历，计算机、数据科学等相关专业背景；
2、3年以上大数据测试工作经验，熟悉数据采集、传输、处理全流程的验证方法；
3、精通埋点技术方案（全埋点/代码埋点）及相关工具链（神策/GrowingIO/ELK）；
4、掌握主流CDC技术方案（Debezium/Canal/Flink CDC），具备数据全链路一致性验证实践经历；
5、熟练运用Python/Java编写测试脚本，熟悉Hive/HBase/Kafka等大数据生态组件。
● 加分项
1、具备实时数据同步链路测试经验（如Flink CDC + Hudi应用场景）；
2、了解数据治理平台（Atlas/DataHub）及隐私合规规范（GDPR/CCPA）；
3、熟悉用户行为分析系统（Mixpanel/Amplitude）的测试方法论；
4、具备通过数据异常反推业务逻辑缺陷的深度分析能力；
5、擅长跨团队协作，能够清晰输出测试报告与技术方案文档。
1、负责大数据平台（Hadoop、Spark、Flink、Kafka等）功能性和容错性测试方案的制定，确保ETL流程、数据清洗及存储逻辑的正确性；
2、具备使用Airflow等离线任务调度工具的实际操作经验；
3、针对海量数据场景，设计边界条件与异常情况下的测试用例；
4、制定端到端的埋点数据验证策略，覆盖客户端/服务端埋点触发机制、数据上报完整性及业务合规要求；
5、开发自动化校验工具，用于埋点数据字段（如event_id、params、timestamp）规范性与关联关系的验证；
6、跟踪埋点全链路流程（SDK采集→日志落盘→Kafka传输→数仓解析），执行跨环节数据一致性核对；
7、搭建从业务MySQL到数据仓库的完整CDC同步链路，模拟真实业务环境下的数据变更行为；
8、验证CDC核心流程（binlog解析、增量同步、Exactly-Once语义保障），并开发配套的数据全链路比对工具；
9、设计实时数据同步测试场景（如MySQL→Kafka→Flink→Hudi链路的故障恢复验证）；
10、构建大数据测试框架（PyTest/TestNG），编写自动化脚本实现埋点数据抽样检查与异常模式识别；
11、建立BI看板数据的抽样核查机制，从源头数据追溯结果处理的准确性；
12、将自动化测试集成至CI/CD体系（Jenkins/GitLab CI），实现CDC流程的自动触发与监控告警；
13、构建埋点数据质量评估模型，定义关键度量指标（如埋点触发率、字段缺失率、数据延迟）；
14、制定数据完整性校验规则，定位数据异常的根本原因（如SDK版本兼容问题、网络丢包等）。
任职要求：
1、全日制本科及以上学历，计算机、数据科学等相关专业背景；
2、3年以上大数据测试工作经验，熟悉数据采集、传输、处理全流程的验证方法；
3、精通埋点技术方案（全埋点/代码埋点）及相关工具链（神策/GrowingIO/ELK）；
4、掌握主流CDC技术方案（Debezium/Canal/Flink CDC），具备数据全链路一致性验证实践经历；
5、熟练运用Python/Java编写测试脚本，熟悉Hive/HBase/Kafka等大数据生态组件。
● 加分项
1、具备实时数据同步链路测试经验（如Flink CDC + Hudi应用场景）；
2、了解数据治理平台（Atlas/DataHub）及隐私合规规范（GDPR/CCPA）；
3、熟悉用户行为分析系统（Mixpanel/Amplitude）的测试方法论；
4、具备通过数据异常反推业务逻辑缺陷的深度分析能力；
5、擅长跨团队协作，能够清晰输出测试报告与技术方案文档。
2026-05-14 12:27
IP属地：浙江杭州
职位福利
本科3-5年计算机相关专业
杭州柏鹿信息技术有限公司
不需要融资 · 500-999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
中高级测试工程师
1-1.5万元/月
测试工程师5-10年大专JavaPython功能测试性能测试自动化测试计算机相关专业测试工作经验自动化测试经验
杭州 钱塘区
中级测试工程师
1-1.2万元/月
测试工程师3-5年本科功能测试性能测试自动化测试计算机相关专业测试工作经验自动化测试经验
杭州 钱塘区
收藏职位
