1、负责hadoop平台上的数据存储,数据维护和优化;2、参与大规模数据快速查询系统的架构设计和开发;3、大规模数据挖掘和机器学习算法的实现和维护;4、在线和离线海量数据分析平台的开发。
1、2年以上hadoop的应用开发经验,至少一个企业级数据仓库项目开发经验或大数据处理项目经验;2、优秀的编程开发能力,精通Java,熟悉python、shell、perl中的一种;3、对数据结构、算法有深刻理解,有预测模型,行为分析模型,推荐模型具体实施经验者优先;4、熟悉hadoop生态圈中的hive、impala、kafka、flume等,对hive、impala开发有实际经验者优先;5、对新技术敏感,有一定独立分析,技术研究能力,乐于接受挑战,具有良好的团队合作精神。
上海市浦东新区