學(xué)習(xí)珠璣：菜鳥(niǎo)的經(jīng)典hadoop成長(zhǎng)路線(xiàn)!

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應(yīng)屆畢業(yè)生專(zhuān)屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個(gè)全額獎(jiǎng)學(xué)金名額~ !

立即領(lǐng)取

感謝您參與論壇問(wèn)題回答

經(jīng)管之家送您兩個(gè)論壇幣！

+2 論壇幣

Hadoop啟蒙

還在實(shí)驗(yàn)室時(shí)，老師就建議看google關(guān)于大數(shù)據(jù)的三篇論文，啃了好長(zhǎng)時(shí)間還是沒(méi)完全理解。也動(dòng)手搭建了Hadoop集群，運(yùn)行了wordcount，帶著“Hadoop會(huì)火“的指示離開(kāi)了實(shí)驗(yàn)室。

Hadoop入門(mén)

2011年初我加入了一個(gè)互聯(lián)網(wǎng)流量分析運(yùn)營(yíng)項(xiàng)目，開(kāi)始真正實(shí)戰(zhàn)Hadoop,編寫(xiě)mapreduce程序。項(xiàng)目主要是對(duì)用戶(hù)瀏覽的url進(jìn)行分析，挖掘用戶(hù)的上網(wǎng)行為偏好，進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)。整個(gè)項(xiàng)目應(yīng)用到hadoop的地方只有兩個(gè)，就是對(duì)url進(jìn)行去重和排序。這個(gè)項(xiàng)目持續(xù)了一年多，大部分的時(shí)間我還是在實(shí)現(xiàn)業(yè)務(wù)邏輯。

此時(shí)“大數(shù)據(jù)的概念”在國(guó)內(nèi)慢慢熱起來(lái)了，使我更堅(jiān)信了”hadoop值得依賴(lài)”。

1.我把當(dāng)時(shí)中文論壇關(guān)于Hadoop相關(guān)的技術(shù)貼都過(guò)了一遍。
2.精讀了Pro Hadoop 一書(shū)。
3.蹲點(diǎn)百度知道好一陣子，專(zhuān)挑Hadoop帖子回答，賺了不少積分。
4.在計(jì)算機(jī)科學(xué)雜志上發(fā)表了一篇關(guān)于mr優(yōu)化的文章。

這一年多的積累讓我真正在Hadoop這個(gè)領(lǐng)域入門(mén)了。

Hadoop平臺(tái)初建

2012年國(guó)內(nèi)大規(guī)模使用Hadoop的公司還不算多，我知道自己此時(shí)最需要的是一個(gè)平臺(tái)，更專(zhuān)注的去做一些事情。并不是每個(gè)人都那么幸運(yùn)，而我很幸運(yùn)的在那時(shí)加入現(xiàn)在的公司，很幸運(yùn)的跟到了一個(gè)好leader。又碰巧公司在這個(gè)時(shí)候需要重新規(guī)劃一個(gè)更大且開(kāi)放Hadoop集群(150節(jié)點(diǎn))，很幸運(yùn)的這個(gè)事情是交由我來(lái)負(fù)責(zé)。

7月-8月：調(diào)研安全開(kāi)放的Hadoop集群方案
9月：制定開(kāi)放流程、用戶(hù)手冊(cè)，使用規(guī)范，集群機(jī)房遷移
10月份：集群正式對(duì)外開(kāi)放運(yùn)營(yíng)

在Hadoop開(kāi)放的頭一個(gè)月里,我開(kāi)始接觸平臺(tái)用戶(hù)，和大伙慢慢熟悉起來(lái)，大伙遇到Hadoop的問(wèn)題都會(huì)先來(lái)問(wèn)我，把我當(dāng)成了”Hadoop專(zhuān)家”。其實(shí)在那之前，積累的個(gè)人實(shí)戰(zhàn)經(jīng)驗(yàn)還是比較匱乏的。懂得就回答，不懂的我就查閱資料，跟蹤源碼，也許就是這種”羅森塔爾效應(yīng)”，讓我的Hadoop 技術(shù)得到快速的成長(zhǎng)。

Hadoop平臺(tái)運(yùn)營(yíng)

在2013年的Hadoop平臺(tái)運(yùn)營(yíng)過(guò)程中：

懂得了用戶(hù)是需要引導(dǎo)，培訓(xùn)的；
懂得了流程規(guī)范有時(shí)候可以繞開(kāi)技術(shù)難題；
懂得了監(jiān)控報(bào)警多多益善；
懂得了技術(shù)也是需要運(yùn)營(yíng)；
學(xué)會(huì)了培養(yǎng)用戶(hù)信任感；
學(xué)會(huì)透過(guò)用戶(hù)的描述找到真正的需求；
學(xué)會(huì)了用計(jì)算投入產(chǎn)出比來(lái)做決策；
學(xué)會(huì)了對(duì)用戶(hù)只講困難不做拒絕；
了解了每個(gè)人做事的風(fēng)格特點(diǎn)。

方法論

2014年我們將Hadoop平臺(tái)的成功經(jīng)驗(yàn)借鑒到日志系統(tǒng)、Storm集群、kafka集群、Spark集群、統(tǒng)一監(jiān)控系統(tǒng)、Hbase集群。讓我體會(huì)到了很多道理都是相通的，確實(shí)是有方法可以總結(jié)的，我們需要進(jìn)行階段性的自我思考和總結(jié)，搭建維護(hù)一套屬于自己的方法論。

技術(shù)分享

技術(shù)分享一方面是為了分享經(jīng)驗(yàn)，另一方面也是促使自我思考，總結(jié)，加深理解。

2012年7月份我第一次參加easyhadoop講座,聽(tīng)大師們的分享，我內(nèi)心就自我暗示，需要跟他們交流，需要加入這個(gè)組織。

9月份我將兩個(gè)多月的研究成果總結(jié)成一個(gè)主題在easyhadoop另一次講座上給大家做了分享，這是我職業(yè)生涯的第一次對(duì)外分享。

之后一有新的研究成果我都會(huì)找機(jī)會(huì)參加講座進(jìn)行分享，結(jié)識(shí)業(yè)界的牛人并進(jìn)行交流。

這兩年大大小小的主題也分享了10余次，每次分享的主題基本都不一樣，沉淀了不少知識(shí)，也培養(yǎng)了我的結(jié)構(gòu)性思維。

鼓勵(lì)大家在自己的領(lǐng)域?qū)ふ乙粋�(gè)可以交流的組織，有機(jī)會(huì)就去分享，犯錯(cuò)是成長(zhǎng)最快的方式。

鳴謝

總結(jié)這幾年，運(yùn)氣一直很好，在恰當(dāng)?shù)臅r(shí)候做了對(duì)的事情，讓我成長(zhǎng)了技術(shù)，也積累了許多技術(shù)之外的寶貴經(jīng)驗(yàn)。

感謝tuboo這些年帶我升級(jí)打怪，感謝小伙伴們杰出的成果讓我在外面能有牛逼可以吹，感謝老婆對(duì)我經(jīng)常熬夜加班的諒解！這一路來(lái)要感恩的人和事太多了！

（來(lái)源：36大數(shù)據(jù)網(wǎng)站）

掃碼加我 拉你入群

請(qǐng)注明：姓名-公司-職位

以便審核進(jìn)群資格，未注明則拒絕

分享0 收藏2 回帖

關(guān)鍵詞：Hadoop Had easyhadoop MapReduce hadoop入門(mén) google 互聯(lián)網(wǎng) 實(shí)驗(yàn)室 經(jīng)典 程序

國(guó)內(nèi)有沒(méi)有hadoop運(yùn)用在金融交易里的經(jīng)驗(yàn)?zāi)兀?/div>

看看，學(xué)習(xí)。

學(xué)習(xí)一下

mark 看好hadoop

看好hadoop

高人，學(xué)習(xí)之，膜拜之。

很不錯(cuò)，學(xué)習(xí)了