1、负责大数据平台的搭建开发,优化数据处理流程及落地实现;能够根据业务主题,独立设计数据大数据建模相关的开发工作;
2、负责大数据平台技术框架的选型与技术难点攻关;研究跟进大数据架构领域新技术并分享;负责大数据项目或产品的需求分析设计;
3、负责大数据集群平台维护、集群节点调度和优化;
4、参与数据底座、大数据平台与数据产品的规划与建设;参与大数据平台体系架构设计,数据领域模型建设等,并推进技术进步和代码重构;
5、协助制定技术解决方案,负责方案的落地实现,协助项目责任人完成文档撰写工作。
1、本科及以上学历优先,计算机专业或相关专业;
2、对大数据基础架构和平台有深刻理解,有大数据平台开源的源码级开发经验和能力;
3、理解linux系统和大数据平台运维体系结构;掌握容量规划、架构设计、性能优化;
4、熟练掌握大数据处理技术,包括而不限于Hadoop生态、实时数据Flink流处理、数据处理ETL、大数据存储等大数据体系技术框架,具备大型数据产品的落地和优化经验;
5、熟练掌握Java、C++、python等语言,具备大数据服务设计和架构能力,支持海量数据分析和处理、检索等能力。有丰富的大数据平台开发或使用经验;具备性能调优的能力;有强烈的质量意识,对代码质量有高要求;
6、具备较强的学习能力和自我管理能力,性格积极乐观,工作积极主动,能够在压力环境下工作;有良好的沟通能力,分析判断能力。