大数据架构师

岗位职责:1、负责大数据平台/推荐系统/等产品的架构、研发和持续优化 2、和业务团队深入合作，解决在业务发展中遇到的产品和平台架构问题；具备一定的前瞻性； 3、具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等；4、负责搭建效果监控平台，数据质量监控平台，数据中心建设，算法模型平台化建设； 5、基于Hadoop生态圈进行扩展研发，构建统一的Data Infrastructure，在开源的基础上研发统一支持Batch和Streaming的计算引擎，SQL、NoSQL、Queue和Cache等分布式存储系统，以及自动化运维平台管理超大规模集群。6、根据公司的搜索和推荐业务需求，基于上述Data Infrastructure，开发海量电商数据处理和机器学习流程，为搜索和推荐引擎输送实时数据更新，直接影响在线排序，提升成交转化。 任职资格:1、对Linux操作系统熟练掌握，熟悉shell脚本编程；2、深入理解 Hadoop/Hive等数据管理系统的原理、运维、性能调优方法；3、深刻理解hadoop相关技术的原理和开发方法，熟练hadoop平台的搭建部署、调优、故障诊断、运行维护的方法和工具； 4、精通storm及其开发 5.熟练掌握Map/Reduce、HBASE、HIVE、PIG、Mahout中两种以上开发技术，并有实际产品的上线应用；5、对集群有着深刻的了解，能深入的了解hadoop集群及其周边常用各个模块；6、搭建维护hadoop集群并进行必要的troubleshooting, 保障系统正常运行；7、能利用集群实现对数据的分析和处理