《hadoop基礎(chǔ)教程》—有意思的開(kāi)始

第一次接觸大數(shù)據(jù)的書(shū)籍侍匙,起源是在找神經(jīng)生物學(xué)書(shū)籍的時(shí)候找到一本《教育的未來(lái)-與大數(shù)據(jù)同行》民珍,剛開(kāi)始看到時(shí)候感覺(jué)到這本書(shū)的作者很不專業(yè)仑扑,沒(méi)有從認(rèn)知生物學(xué)的角度來(lái)寫(xiě)這個(gè)問(wèn)題暴构。我可能有點(diǎn)過(guò)于多慮跪呈,或者是本身對(duì)于認(rèn)知生物學(xué)了解的不是很多段磨。把整本書(shū)看完以后,覺(jué)得作者的立意是非常好的耗绿。每個(gè)學(xué)生個(gè)體的發(fā)展其實(shí)都是獨(dú)特的苹支,需要借助數(shù)據(jù)分析的威力來(lái)發(fā)掘每個(gè)不同個(gè)體的學(xué)習(xí)方法和內(nèi)容。 考慮到這一點(diǎn)所以想看看大數(shù)據(jù)的相關(guān)問(wèn)題误阻。那么問(wèn)題就是:大數(shù)據(jù)到底是什么债蜜?大數(shù)據(jù)到底能給教育帶來(lái)什么樣的希望和結(jié)果?大數(shù)據(jù)能給未來(lái)的教育指一條光明大道嗎究反?

可以這么說(shuō)寻定,以前一直聽(tīng)說(shuō)大數(shù)據(jù)如何神奇,如何的威力無(wú)窮精耐,但是都不知道怎么來(lái)應(yīng)用狼速。看到這本書(shū)以后卦停,算是找到一個(gè)方向能夠把學(xué)習(xí)到的計(jì)算機(jī)技術(shù)和以前的專業(yè)有機(jī)結(jié)合起來(lái)了向胡。或許是一個(gè)契機(jī)沫浆,如果不是也不要緊捷枯,計(jì)算機(jī)技術(shù)發(fā)展太快滚秩,沒(méi)有那種技術(shù)是一出生就注定可以統(tǒng)治世界的专执。開(kāi)始大數(shù)據(jù)的漫長(zhǎng)之旅。
最近的編程學(xué)習(xí)中對(duì)于javascript的技術(shù)有了一定的認(rèn)識(shí)郁油,期待的是能夠依托javascript的大數(shù)據(jù)分析平臺(tái)本股,不用再學(xué)習(xí)其他語(yǔ)言。
任何軟件的發(fā)展都是依托于實(shí)際的應(yīng)用背景桐腌,或許從古代開(kāi)始拄显,教育學(xué)家都期待要因材施教,但是對(duì)于材的定義和認(rèn)識(shí)都不足案站。終于到現(xiàn)在可以借助計(jì)算機(jī)技術(shù)來(lái)實(shí)現(xiàn)這個(gè)過(guò)程躬审。

這是一個(gè)中點(diǎn),也是一個(gè)新的起點(diǎn).我的起點(diǎn)從這本《hadoop基礎(chǔ)教程》開(kāi)始蟆盐。

hadoop其實(shí)只是一種數(shù)據(jù)處理的框架承边,具體去處理什么問(wèn)題,不是平臺(tái)本身決定的石挂。hadoop的出現(xiàn)時(shí)源于現(xiàn)實(shí)中存儲(chǔ)和需要分析的數(shù)據(jù)的激增博助,最終要解決什么問(wèn)題是看使用者要解決什么問(wèn)題。

現(xiàn)在的計(jì)算機(jī)技術(shù)都是以數(shù)據(jù)為核心痹愚。作為一個(gè)認(rèn)知生物學(xué)的業(yè)余愛(ài)好者富岳,渴望能夠發(fā)現(xiàn)學(xué)習(xí)的奧秘蛔糯,這其中包括國(guó)家背景,城市背景窖式,學(xué)校背景蚁飒,居住背景,家庭背景萝喘,個(gè)人遺傳背景飒箭,個(gè)人活動(dòng)背景。 作為一個(gè)社會(huì)人蜒灰,每個(gè)人的行為和發(fā)展都不是孤立的∠阴澹現(xiàn)在的教育環(huán)境下總是會(huì)出現(xiàn)只見(jiàn)小草,不見(jiàn)森林的誤區(qū)强窖,沒(méi)錯(cuò)凸椿,可以這么說(shuō),在很長(zhǎng)一段時(shí)間內(nèi)提出的德翅溺,智脑漫,體,美咙崎,勞的口號(hào)优幸,在目前的所謂的一對(duì)一教學(xué),各種奧數(shù)輔導(dǎo)班褪猛,補(bǔ)課中變得蒼白無(wú)力网杆。正在寫(xiě)這篇文章的時(shí)候,鄰桌的兩個(gè)年輕的女士在談?wù)撟约汉⒆拥膶W(xué)習(xí)問(wèn)題伊滋,討論的話題是:做道題的時(shí)候沒(méi)有看清楚題目要求碳却,丟了幾分,可惜笑旺。另一個(gè)話題是:某某老師口音不好昼浦,輔導(dǎo)學(xué)生不細(xì)致等等。的確這些因素是有一定影響的筒主,但是怎么影響學(xué)生的最終發(fā)展关噪。針對(duì)這個(gè)問(wèn)題,負(fù)責(zé)任的態(tài)度是只能給出分析乌妙,不能下結(jié)論使兔。 如果把學(xué)生的發(fā)展作為一個(gè)函數(shù),這個(gè)函數(shù)的參數(shù)和初始化條件太復(fù)雜了點(diǎn)冠胯。
說(shuō)的形象一點(diǎn)火诸,拿足球比賽來(lái)說(shuō),如果足球是一項(xiàng)系統(tǒng)性的運(yùn)動(dòng)荠察,那么現(xiàn)在的家長(zhǎng)只是處于看臺(tái)的觀眾置蜀,大多數(shù)人對(duì)于整個(gè)運(yùn)動(dòng)背后的國(guó)家策略奈搜,青年培訓(xùn)體系,整體賽事水平都缺乏了解盯荤。在這種情況下馋吗,做出的決策和判斷都是非常的片面的。稍微有點(diǎn)經(jīng)驗(yàn)的觀眾可以看出賽場(chǎng)上球隊(duì)的打法和配合秋秤。當(dāng)某個(gè)球員不在狀態(tài)的時(shí)候宏粤,非常熱愛(ài)這項(xiàng)運(yùn)動(dòng)的觀眾可以從八卦雜志網(wǎng)站上看到該球員離婚官司纏身的新聞。這樣看似不想關(guān)的因素聯(lián)系到了一起灼卢。數(shù)據(jù)之間是有一定聯(lián)系的.這個(gè)過(guò)程和人類的認(rèn)知過(guò)程是完全一樣的绍哎,當(dāng)你投入的時(shí)間越多,聯(lián)系到的因素越多就會(huì)發(fā)現(xiàn)更多因素的相互作用鞋真。

我的觀點(diǎn)對(duì)于教育是要有系統(tǒng)和長(zhǎng)遠(yuǎn)的眼光崇堰。這是認(rèn)識(shí)的態(tài)度。在認(rèn)識(shí)過(guò)程中要不斷的調(diào)整個(gè)人發(fā)展函數(shù)的參數(shù)和初始化條件涩咖。不要抱定一個(gè)老概念不放海诲。

好了基于以上看法終于回到hadoop的話題。

Hadoop的硬件構(gòu)架是為了解決龐大的數(shù)據(jù)分析和存儲(chǔ)問(wèn)題所開(kāi)發(fā)的一套靈活擴(kuò)展檩互,便于使用的框架特幔。框架本身結(jié)構(gòu)也比較大闸昨。我這里不多說(shuō)蚯斯。
站在我的角度,我想了解的是Hadoop框架是不是能滿足我的需求零院,所以先跳過(guò)硬件框架部分溉跃,直接跳到本書(shū)的第四章村刨,看看怎么進(jìn)行大數(shù)據(jù)分析告抄。

第四章--獲取UFO目擊時(shí)間的數(shù)據(jù)集。

這個(gè)話題也是我非常感興趣的嵌牺,上小學(xué)中學(xué)的時(shí)候打洼,有一本非常有意思的刊物《飛碟.探索》,講述各種飛碟目擊事件和地球上的神秘事件和古跡逆粹。暫不考慮這些內(nèi)容的真實(shí)性募疮,話題本身都非常有意思,滿足了讀者的探索未知領(lǐng)域的好奇心僻弹。

那么著急的人可能會(huì)馬上想知道這個(gè)UFO目擊事件大數(shù)據(jù)分析的意義和目的是什么阿浓? 很著急。我再重復(fù)一下大數(shù)據(jù)分析只提供分析手段蹋绽,不提供決策意見(jiàn)芭毙。分析手段和決策是兩個(gè)不同的過(guò)程筋蓖。當(dāng)完成大數(shù)據(jù)分析以后得出的結(jié)論可能和先前預(yù)想的結(jié)果大相徑庭⊥硕兀或許在這個(gè)過(guò)程中就會(huì)有分析人員有篡改數(shù)據(jù)的念頭粘咖。 所以最好的方法是盡可能多的分析數(shù)據(jù),但是不能干擾決策階段的實(shí)施侈百,不要被偶然因素所蒙蔽了瓮下。

在這里我舉一個(gè)我自己的例子。今年一年跑步量達(dá)到了2600公里钝域,對(duì)于我的改變是:體重減輕了10公斤讽坏,學(xué)習(xí)注意力提高,睡眠質(zhì)量提高例证,自信心增強(qiáng)震缭,整個(gè)健康的觀念都改變了,注意飲食战虏,注意熱量的攝入拣宰,甚至是不斷的想把自己這一套觀念強(qiáng)加于人。

如果你也經(jīng)過(guò)很長(zhǎng)時(shí)間的跑步烦感,你可能會(huì)同意我的觀點(diǎn)巡社。對(duì)嗎?

以上看法完全是錯(cuò)誤的手趣。一個(gè)個(gè)體的數(shù)據(jù)積累并不能說(shuō)明任何問(wèn)題晌该。

運(yùn)動(dòng)就一定會(huì)健康長(zhǎng)壽嗎? 我母親就總是拿這個(gè)反駁我绿渣。 我一提運(yùn)動(dòng)問(wèn)題朝群。我母親就會(huì)說(shuō):“你看,電視上那個(gè)教健美操的馬華中符。死了姜胖!”遇到這樣的問(wèn)題,你只能用統(tǒng)計(jì)數(shù)據(jù)來(lái)說(shuō)明問(wèn)題淀散。

跑步就一定會(huì)減肥嗎右莱?錯(cuò)誤。有跑步的經(jīng)歷的越跑越胖的人很多的档插。跑步和減肥沒(méi)有任何關(guān)系慢蜓。 用《跑步圣經(jīng)》里的話,健康只是跑步的副產(chǎn)品而已郭膛。那么急切的人總想知道那跑步和健康到底有沒(méi)有關(guān)系晨抡。這個(gè)問(wèn)題隨著你的了解程度加深,關(guān)系是不斷變化的,要想了解這種變化關(guān)系耘柱,需要分析相關(guān)的大量數(shù)據(jù)才行圆雁。結(jié)論呢?不得而知帆谍。

所以在剛開(kāi)始看這個(gè)里的時(shí)候伪朽,我總想知道到底分析了UFO目擊事件的數(shù)據(jù)以后得出了什么結(jié)論呢?
可以說(shuō)沒(méi)有汛蝙×忆蹋看完這一章沒(méi)找到這個(gè)結(jié)論。
可以說(shuō)是有窖剑〖崆ⅲ看完這一章知道怎么根據(jù)數(shù)據(jù)進(jìn)行不同方面的數(shù)據(jù)綜合分析。這就是這里實(shí)例的結(jié)論西土。
UFO目擊事件的大數(shù)據(jù)分析為你在《飛碟.探索》寫(xiě)一篇UF目擊事件和當(dāng)晚該地牛的數(shù)量的關(guān)系提供了一個(gè)依據(jù)讶舰。 開(kāi)個(gè)玩笑。

好吧需了!沒(méi)有更多內(nèi)容了跳昼。這個(gè)話題本身是很復(fù)雜的。這篇算是開(kāi)端肋乍。

因?yàn)閷W(xué)習(xí)了js->開(kāi)發(fā)rn-app->想開(kāi)發(fā)神經(jīng)生物學(xué)新聞app->翻出了以前看的一些神經(jīng)生物學(xué)書(shū)->拔出蘿卜帶出泥鹅颊,看了大數(shù)據(jù)與未來(lái)教育->開(kāi)始看Hadoop->UFO目擊事件分析。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末墓造,一起剝皮案震驚了整個(gè)濱河市堪伍,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌觅闽,老刑警劉巖帝雇,帶你破解...
    沈念sama閱讀 206,482評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異蛉拙,居然都是意外死亡尸闸,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)刘离,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)室叉,“玉大人,你說(shuō)我怎么就攤上這事硫惕。” “怎么了野来?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,762評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵恼除,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng)豁辉,這世上最難降的妖魔是什么令野? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,273評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮徽级,結(jié)果婚禮上气破,老公的妹妹穿的比我還像新娘。我一直安慰自己餐抢,他們只是感情好现使,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,289評(píng)論 5 373
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著旷痕,像睡著了一般碳锈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上欺抗,一...
    開(kāi)封第一講書(shū)人閱讀 49,046評(píng)論 1 285
  • 那天售碳,我揣著相機(jī)與錄音,去河邊找鬼绞呈。 笑死贸人,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的佃声。 我是一名探鬼主播灸姊,決...
    沈念sama閱讀 38,351評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼秉溉!你這毒婦竟也來(lái)了力惯?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 36,988評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤召嘶,失蹤者是張志新(化名)和其女友劉穎父晶,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體弄跌,經(jīng)...
    沈念sama閱讀 43,476評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡甲喝,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,948評(píng)論 2 324
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了铛只。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片埠胖。...
    茶點(diǎn)故事閱讀 38,064評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖淳玩,靈堂內(nèi)的尸體忽然破棺而出直撤,到底是詐尸還是另有隱情,我是刑警寧澤蜕着,帶...
    沈念sama閱讀 33,712評(píng)論 4 323
  • 正文 年R本政府宣布谋竖,位于F島的核電站红柱,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏蓖乘。R本人自食惡果不足惜锤悄,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,261評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望嘉抒。 院中可真熱鬧零聚,春花似錦、人聲如沸些侍。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,264評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)娩梨。三九已至沿腰,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間狈定,已是汗流浹背颂龙。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,486評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留纽什,地道東北人措嵌。 一個(gè)月前我還...
    沈念sama閱讀 45,511評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像芦缰,于是被迫代替她去往敵國(guó)和親企巢。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,802評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容