更新時(shí)間：2024-07-22
崔先生
男| 29歲| 本科| 二年以上工作經(jīng)驗(yàn)
現(xiàn)居住：保密
形象好
氣質(zhì)佳
能出差
技術(shù)精悍
有親和力
求職意向
期望職位：計(jì)算機(jī)應(yīng)用,互聯(lián)網(wǎng)/網(wǎng)絡(luò),計(jì)算機(jī)軟硬件,IT管理,IT品質(zhì)/技術(shù)支持
期望行業(yè)：計(jì)算機(jī)軟件/硬件,計(jì)算機(jī)系統(tǒng)/維修,通信(設(shè)備/運(yùn)營(yíng)/服務(wù))
期望薪資：5K~10K/月|想在鄄城縣,魯西新區(qū),菏澤牡丹區(qū)工作
求職狀態(tài)：我目前已離職，可快速到崗
獲取聯(lián)系方式
自我描述
? 語(yǔ)言：Java、Scala、shell、Sql/noSql ? 計(jì)算框架：MapReduce、Spark(on Standaloneon Yarn) ? 資源調(diào)度：Yarn ? 數(shù)據(jù)采集工具：Flume、Sqoop、DataX(阿里)、Logstash ? 消息中間件：Kafka ? 數(shù)據(jù)存儲(chǔ)：HDFS、MongoDB、MySQL、Oracle、HBase、ElasticSearch、Redi
教育經(jīng)歷
2017-2 至 2021-7
[4年5個(gè)月]
本科|四川農(nóng)業(yè)大學(xué)|計(jì)算機(jī)科學(xué)與技術(shù)
工作經(jīng)歷(TA工作了2年2個(gè)月，共做了2份工作)
2018-2 至 2019-3
[1年1個(gè)月]
大數(shù)據(jù)研發(fā)工程師|北京修齊治平科技有限公司
工作職責(zé)：大數(shù)據(jù)開(kāi)發(fā)相關(guān)工作
2019-3 至 2020-4
[1年1個(gè)月]
大數(shù)據(jù)研發(fā)經(jīng)理|北京群智合信息科技股份有限公司
工作職責(zé)：對(duì)接項(xiàng)目客戶(hù)，完成大數(shù)據(jù)相關(guān)工作架構(gòu)設(shè)計(jì)
項(xiàng)目經(jīng)歷
2018-2 至 2019-3
[1年1個(gè)月]
可視化數(shù)據(jù)平臺(tái)(boss平臺(tái))設(shè)計(jì)搭建與數(shù)據(jù)支持|項(xiàng)目技術(shù)經(jīng)理
項(xiàng)目描述：開(kāi)發(fā)工具：IDEA + ZOC 工具架構(gòu)：Spark2.1.3+Hadoop2.6+hive1.2.0+mongoDB+Elasticsearch 項(xiàng)目背景： 隨著公司大數(shù)據(jù)平臺(tái)各種組件日漸成熟，數(shù)據(jù)量的日益增多，需要在數(shù)據(jù)的基礎(chǔ)上做清洗、加工、挖掘等，但公司決策和公司數(shù)據(jù)可視化的層面卻是個(gè)空缺，所以啟動(dòng)了可視化數(shù)據(jù)平臺(tái)項(xiàng)目。 負(fù)責(zé)模塊： 1) 數(shù)據(jù)倉(cāng)庫(kù)分層建模的設(shè)計(jì)； 2) 調(diào)研對(duì)接數(shù)據(jù)平臺(tái)后端的數(shù)據(jù)庫(kù)使用什么數(shù)據(jù)庫(kù)比較好； 3) 使用sparksql編寫(xiě)通用的工具包，用于執(zhí)行sql語(yǔ)句，遵循任務(wù)可定時(shí)、任務(wù)可配置，工具好遷移，功能可更新的原則； 4) 提供給數(shù)據(jù)分析組需要的DWS層的寬表數(shù)據(jù)； 5) 編寫(xiě)中間層接口，對(duì)接可視化數(shù)據(jù)平臺(tái)前端； 6) 維護(hù)數(shù)據(jù)倉(cāng)庫(kù)中所有數(shù)據(jù)的正常更新和正常存儲(chǔ)； 項(xiàng)目簡(jiǎn)述： 1) 由項(xiàng)目經(jīng)理和web開(kāi)發(fā)架構(gòu)師設(shè)計(jì)整體的平臺(tái)架構(gòu)，數(shù)據(jù)倉(cāng)庫(kù)組設(shè)計(jì)數(shù)倉(cāng)分層，分為ODS層（貼源層）、DWB層（基礎(chǔ)數(shù)據(jù)層）、DWD層（細(xì)節(jié)數(shù)據(jù)層）、DWS層（服務(wù)數(shù)據(jù)層）； 2) 前端、后端和中間層同時(shí)推進(jìn)編寫(xiě)代碼； 3) 編寫(xiě)dw_engine項(xiàng)目工具包，用于執(zhí)行sql語(yǔ)句，生成提供給接口的DWS層的寬表數(shù)據(jù)； 4) 根據(jù)各項(xiàng)業(yè)務(wù)邏輯，編寫(xiě)sql語(yǔ)句，并配置到dw_engine的配置表中，完成每日更新； 5) 更新維護(hù)數(shù)據(jù)平臺(tái)中所有數(shù)據(jù)。
2019-4 至 2020-3
[11個(gè)月]
分布式異構(gòu)數(shù)據(jù)源數(shù)據(jù)導(dǎo)入工具項(xiàng)目（SneakerX）|項(xiàng)目技術(shù)經(jīng)理
項(xiàng)目描述：開(kāi)發(fā)工具：IDEA + ZOC 工具架構(gòu)：Zookeeper3.4.10 + Curator4.0.1+ DataX3.0 項(xiàng)目背景： 應(yīng)業(yè)務(wù)和異構(gòu)數(shù)據(jù)源同步需求，經(jīng)項(xiàng)目組調(diào)研選定使用DataX3.0作為中間組件，對(duì)異構(gòu)數(shù)據(jù)源進(jìn)行分布式離線(xiàn)同步。 負(fù)責(zé)模塊： 1) 參與生產(chǎn)者消費(fèi)者架構(gòu)設(shè)計(jì)； 2) ZooKeeper技術(shù)調(diào)研以及Curator技術(shù)調(diào)研； 3) ZooKeeper內(nèi)部分布式節(jié)點(diǎn)設(shè)計(jì)； 4) 消費(fèi)者架構(gòu)設(shè)計(jì)以及代碼編寫(xiě)； 5) 修改DataX MongoDBReader源碼； 6) 定制的DataX MongoDBReader代碼編寫(xiě)。 項(xiàng)目簡(jiǎn)述： 1) 異構(gòu)數(shù)據(jù)源現(xiàn)階段指的是：MongoDB、ElasticSearch、Hive、HBase等。 2) SneakerX是一個(gè)處理定時(shí)任務(wù)以完成多個(gè)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)導(dǎo)入的項(xiàng)目； 3) 各個(gè)定時(shí)任務(wù)運(yùn)行的時(shí)間間隔不一致，有的幾分鐘運(yùn)行一次，有的一小時(shí)甚至一天運(yùn)行一次； 4) SneakerX的主要組件為：生產(chǎn)者-消費(fèi)者隊(duì)列和數(shù)據(jù)同步工具； 5) 生產(chǎn)者-消費(fèi)者隊(duì)列的實(shí)現(xiàn)依賴(lài)于ZooKeeper的節(jié)點(diǎn)事件監(jiān)聽(tīng)機(jī)制； 6) 數(shù)據(jù)同步工具為阿里開(kāi)源的框架DataX。