高级数据采集工程师

岗位职责:1、打造业界领先的高可用海量数据采集系统，为公司的人工智能业务提供坚实的数据基础。2、探索爬虫技术的新方向，建立数据采集系统的敏捷开发框架。3、寻找新数据源，探索挖掘数据在业务系统中新应用方向。任职要求:1、精通Python，掌握JavaScipt或Java或任意一门前后端语言。2、掌握计算机系统原理，对数据结构、算法、存储、网络、集群中的一项或多项有深入的理解和认识。3、掌握手机app爬虫或Puppeteer Headless Chrome相关技术优先考虑。4、掌握Hadoop大数据生态深入认识，熟悉Kafka、HDFS、HIVE优先考虑。5、掌握机器学习相关算法、框架，并了解其实现原理优先考虑。