以下是顶尖软件小编整理的关于"南京8年工作经验的数据工程师提供人才外包服务"的相关文章，我们专注于IT人才派遣，主要业务涵盖JAVA程序员、Web前端开发、.net程序员、UI设计师、测试工程师等软件人才外包。目前，我们的业务区域已经覆盖南京、上海、苏州、无锡、合肥、杭州、深圳、北京、武汉、厦门、西安、广州、成都、郑州等多个城市。。
具有八年行业经验的数据工程师，目前在南京地区提供外包服务。
技术专长
大数据：具备六年大数据相关经验，对大数据组件的架构、选型、部署、使用、调优以及源码开发均有实际操作经验。 ES：具备三年开发运维经验，能够迅速构建垂直搜索引擎。 ETL：擅长使用FileBeats、LogKit、LogStash等工具进行数据收集，熟练使用Spark、Flink对数据进行加工处理。 爬虫：拥有大型分布式爬虫系统设计开发经验，对于常规JS混淆逆向、安卓逆向、小程序逆向均有较多实践，对网络抓包、接口解析等均有深入研究。 全栈：熟练使用C#开发桌面应用程序，熟练使用Spring Boot配合前端全家桶构建网站应用。
项目实践
一、实时数仓项目 独立开发了DataCollecter数据采集工具，从多节点数据库中采集数据并写入到Kafka集群；使用Spark Streaming实时处理数据，并将处理过的数据存储到ES中（Stage层）；借助ES的聚合功能，配合定时任务，对Stage层数据进行清洗、标记、整合，并存储到ES中（ODS层）；将ODS层索引映射到Hive表中，构建DWD层所需的维度表和事实表；使用Kylin对DWD层数据进行建模，提供标准SQL能力供数据展示层使用。
二、全网音视频网站数据接口 解析全网音乐网站及VIP会员歌曲下载链接； 解析全网视频网站真实下载地址。
