更新時(shí)間：2024-07-22
崔先生
男|
29歲|
本科|
二年以上工作經(jīng)驗(yàn)
現(xiàn)居?。罕Ｃ?/div>
形象好
氣質(zhì)佳
能出差
技術(shù)精悍
有親和力
求職意向
期望職位：計(jì)算機(jī)應(yīng)用,互聯(lián)網(wǎng)/網(wǎng)絡(luò),計(jì)算機(jī)軟硬件,IT管理,IT品質(zhì)/技術(shù)支持
期望行業(yè)：計(jì)算機(jī)軟件/硬件,計(jì)算機(jī)系統(tǒng)/維修,通信(設(shè)備/運(yùn)營/服務(wù))
期望薪資：5K~10K/月|想在鄄城縣,魯西新區(qū),菏澤牡丹區(qū)工作
求職狀態(tài)：我目前已離職，可快速到崗
期望行業(yè)：計(jì)算機(jī)軟件/硬件,計(jì)算機(jī)系統(tǒng)/維修,通信(設(shè)備/運(yùn)營/服務(wù))
期望薪資：5K~10K/月|想在鄄城縣,魯西新區(qū),菏澤牡丹區(qū)工作
求職狀態(tài)：我目前已離職，可快速到崗
獲取聯(lián)系方式
自我描述
? 語言：Java、Scala、shell、Sql/noSql
? 計(jì)算框架：MapReduce、Spark(on Standaloneon Yarn)
? 資源調(diào)度：Yarn
? 數(shù)據(jù)采集工具：Flume、Sqoop、DataX(阿里)、Logstash
? 消息中間件：Kafka
? 數(shù)據(jù)存儲：HDFS、MongoDB、MySQL、Oracle、HBase、ElasticSearch、Redi
教育經(jīng)歷
2017-2 至 2021-7
[4年5個(gè)月]
[4年5個(gè)月]
本科|四川農(nóng)業(yè)大學(xué)|計(jì)算機(jī)科學(xué)與技術(shù)
工作經(jīng)歷(TA工作了2年2個(gè)月，共做了2份工作)
2018-2 至 2019-3
[1年1個(gè)月]
[1年1個(gè)月]
大數(shù)據(jù)研發(fā)工程師|北京修齊治平科技有限公司
工作職責(zé)：大數(shù)據(jù)開發(fā)相關(guān)工作
2019-3 至 2020-4
[1年1個(gè)月]
[1年1個(gè)月]
大數(shù)據(jù)研發(fā)經(jīng)理|北京群智合信息科技股份有限公司
工作職責(zé)：對接項(xiàng)目客戶，完成大數(shù)據(jù)相關(guān)工作架構(gòu)設(shè)計(jì)
項(xiàng)目經(jīng)歷
2018-2 至 2019-3
[1年1個(gè)月]
[1年1個(gè)月]
可視化數(shù)據(jù)平臺(boss平臺)設(shè)計(jì)搭建與數(shù)據(jù)支持|項(xiàng)目技術(shù)經(jīng)理
項(xiàng)目描述：開發(fā)工具：IDEA + ZOC
工具架構(gòu)：Spark2.1.3+Hadoop2.6+hive1.2.0+mongoDB+Elasticsearch
項(xiàng)目背景：
隨著公司大數(shù)據(jù)平臺各種組件日漸成熟，數(shù)據(jù)量的日益增多，需要在數(shù)據(jù)的基礎(chǔ)上做清洗、加工、挖掘等，但公司決策和公司數(shù)據(jù)可視化的層面卻是個(gè)空缺，所以啟動(dòng)了可視化數(shù)據(jù)平臺項(xiàng)目。
負(fù)責(zé)模塊：
1) 數(shù)據(jù)倉庫分層建模的設(shè)計(jì)；
2) 調(diào)研對接數(shù)據(jù)平臺后端的數(shù)據(jù)庫使用什么數(shù)據(jù)庫比較好；
3) 使用sparksql編寫通用的工具包，用于執(zhí)行sql語句，遵循任務(wù)可定時(shí)、任務(wù)可配置，工具好遷移，功能可更新的原則；
4) 提供給數(shù)據(jù)分析組需要的DWS層的寬表數(shù)據(jù)；
5) 編寫中間層接口，對接可視化數(shù)據(jù)平臺前端；
6) 維護(hù)數(shù)據(jù)倉庫中所有數(shù)據(jù)的正常更新和正常存儲；
項(xiàng)目簡述：
1) 由項(xiàng)目經(jīng)理和web開發(fā)架構(gòu)師設(shè)計(jì)整體的平臺架構(gòu)，數(shù)據(jù)倉庫組設(shè)計(jì)數(shù)倉分層，分為ODS層（貼源層）、DWB層（基礎(chǔ)數(shù)據(jù)層）、DWD層（細(xì)節(jié)數(shù)據(jù)層）、DWS層（服務(wù)數(shù)據(jù)層）；
2) 前端、后端和中間層同時(shí)推進(jìn)編寫代碼；
3) 編寫dw_engine項(xiàng)目工具包，用于執(zhí)行sql語句，生成提供給接口的DWS層的寬表數(shù)據(jù)；
4) 根據(jù)各項(xiàng)業(yè)務(wù)邏輯，編寫sql語句，并配置到dw_engine的配置表中，完成每日更新；
5) 更新維護(hù)數(shù)據(jù)平臺中所有數(shù)據(jù)。
2019-4 至 2020-3
[11個(gè)月]
[11個(gè)月]
分布式異構(gòu)數(shù)據(jù)源數(shù)據(jù)導(dǎo)入工具項(xiàng)目（SneakerX）|項(xiàng)目技術(shù)經(jīng)理
項(xiàng)目描述：開發(fā)工具：IDEA + ZOC
工具架構(gòu)：Zookeeper3.4.10 + Curator4.0.1+ DataX3.0
項(xiàng)目背景：
應(yīng)業(yè)務(wù)和異構(gòu)數(shù)據(jù)源同步需求，經(jīng)項(xiàng)目組調(diào)研選定使用DataX3.0作為中間組件，對異構(gòu)數(shù)據(jù)源進(jìn)行分布式離線同步。
負(fù)責(zé)模塊：
1) 參與生產(chǎn)者消費(fèi)者架構(gòu)設(shè)計(jì)；
2) ZooKeeper技術(shù)調(diào)研以及Curator技術(shù)調(diào)研；
3) ZooKeeper內(nèi)部分布式節(jié)點(diǎn)設(shè)計(jì)；
4) 消費(fèi)者架構(gòu)設(shè)計(jì)以及代碼編寫；
5) 修改DataX MongoDBReader源碼；
6) 定制的DataX MongoDBReader代碼編寫。
項(xiàng)目簡述：
1) 異構(gòu)數(shù)據(jù)源現(xiàn)階段指的是：MongoDB、ElasticSearch、Hive、HBase等。
2) SneakerX是一個(gè)處理定時(shí)任務(wù)以完成多個(gè)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)導(dǎo)入的項(xiàng)目；
3) 各個(gè)定時(shí)任務(wù)運(yùn)行的時(shí)間間隔不一致，有的幾分鐘運(yùn)行一次，有的一小時(shí)甚至一天運(yùn)行一次；
4) SneakerX的主要組件為：生產(chǎn)者-消費(fèi)者隊(duì)列和數(shù)據(jù)同步工具；
5) 生產(chǎn)者-消費(fèi)者隊(duì)列的實(shí)現(xiàn)依賴于ZooKeeper的節(jié)點(diǎn)事件監(jiān)聽機(jī)制；
6) 數(shù)據(jù)同步工具為阿里開源的框架DataX。
