python 金融網(wǎng)貸數(shù)據(jù),pandas進(jìn)行數(shù)據(jù)分析并可視化系列 (明白需求)

終于盼來(lái)了不是前言部分的前言厌蔽,相當(dāng)于雜談牵辣,算得上閑扯,我覺(jué)得很多東西都是在閑扯中感悟的奴饮,比如需求這東西纬向,一個(gè)人只有跟自己溝通好了,總結(jié)出某些東西了戴卜,才能更好的和別人去聊逾条,去說(shuō)。

今天這篇寫(xiě)的是明白需求叉瘩,其實(shí)更多的是想和大家聊天膳帕,只有把這個(gè)聊開(kāi)了,后面的東西做起來(lái)才有意義,才有價(jià)值危彩,在聊天中攒磨,思考中發(fā)現(xiàn)價(jià)值(化身為話嘮了?)

有時(shí)候你自以為某些東西很重要汤徽,其實(shí)那只是站在自己的角度覺(jué)得很重要娩缰,更需要的是站在別人,站在市場(chǎng)的角度去思考這個(gè)問(wèn)題谒府,特么的到底重不重要拼坎。

需求我覺(jué)得可以分為兩類:自己主動(dòng)去做的和別人要求你去做的。別人要求你做的完疫,你完成的很快泰鸡,大部分人都是走走腎就能搞定。但是自己主動(dòng)去做的壳鹤,我覺(jué)得沒(méi)人會(huì)只走腎不走心的盛龄。 當(dāng)你真正主動(dòng)去做一件事的時(shí)候,那件事才能帶來(lái)價(jià)值芳誓,不然對(duì)你來(lái)說(shuō)無(wú)非就是浪費(fèi)時(shí)間浪費(fèi)生命浪費(fèi)撩妹的好時(shí)光余舶,可是人生不就是用來(lái)浪費(fèi)的嗎?(好矛盾)

感悟一:做數(shù)據(jù)相關(guān)的工作锹淌,如果只是一味被動(dòng)的去出一些數(shù)據(jù)報(bào)表匿值,完成一些沒(méi)有自己想法的數(shù)據(jù)報(bào)告,不帶有任何感情色彩去做赂摆,不把自己的想法和思維附在那一堆枯燥的數(shù)據(jù)上挟憔,那終究是一件浪費(fèi)時(shí)間浪費(fèi)生命浪費(fèi)撩妹的好時(shí)光的工作。如果給一家企業(yè)這么干活库正,永遠(yuǎn)只會(huì)是人手曲楚,不會(huì)成為人才,最終可能會(huì)發(fā)展成為奇葩褥符。

所以龙誊,對(duì)待需求,不能只走腎喷楣,不走心~ 去挖掘趟大,去發(fā)現(xiàn),去好奇铣焊,去探索逊朽,去嘗試著犯錯(cuò)。主動(dòng)給自己攬活干曲伊,把被動(dòng)變主動(dòng)叽讳,養(yǎng)成了主動(dòng)的習(xí)慣追他,不僅僅只對(duì)你手頭的工作有好處,對(duì)整個(gè)人的思維都是有幫助的岛蚤,這是一輩子的事邑狸。只有去不斷思考了,需求才會(huì)出來(lái)涤妒。

說(shuō)個(gè)真事兒单雾,年初的時(shí)候總監(jiān)讓我出報(bào)表,需求就是:一周起碼要產(chǎn)出5張新數(shù)據(jù)報(bào)表她紫。如果是你硅堆,你會(huì)怎么做呢?

我還真那么去做了贿讹,幾周下來(lái)渐逃,居然好神奇的出了幾十張數(shù)據(jù)報(bào)表,后來(lái)我發(fā)現(xiàn)不對(duì)勁围详,出了這么多數(shù)據(jù)報(bào)表朴乖,意義何在?除了走量助赞,好像然并卵啊。呵呵袁勺,我承認(rèn)我走腎了雹食。

感悟二:搞數(shù)據(jù),最重要的不是你使用什么工具期丰,而是你的數(shù)據(jù)思維群叶,讓手上的數(shù)據(jù)產(chǎn)生價(jià)值。武功再高钝荡,也怕菜刀街立。你用excel 計(jì)算 1+1 和 python 計(jì)算 1+1 ,都是等于2埠通。具體使用什么工具赎离,你得看自己手上的需求和數(shù)據(jù)規(guī)模,幾千上萬(wàn)的數(shù)據(jù)端辱,就別來(lái)問(wèn)用什么工具了梁剔,你玩得溜,用excel照樣切菜舞蔽。

舉個(gè)例子:現(xiàn)在手上有一客戶基本信息數(shù)據(jù)(user表)荣病,給他們按區(qū)域統(tǒng)計(jì)一下人數(shù)。

2W條的量:excel透視表一下渗柿,就行了个盆,你說(shuō)你要搞個(gè)hadoop來(lái)跑2W量的數(shù)據(jù),why not?

10W條的量:用excel就吃力了颊亮,用sql是ok的 (select area as '區(qū)域',count(area) as '人數(shù)' from user group by area

100W條的量:用python的pandas庫(kù)就好了 (user.area.value_counts()

1000W以上的量:pandas可以做鸡岗,但是分布式的做起來(lái)就更ok了。

所以编兄,別一上來(lái)就是哪個(gè)工具哪個(gè)工具轩性,這個(gè)不是最重要的,最重要的是你怎么讓那堆數(shù)據(jù)對(duì)業(yè)務(wù)產(chǎn)生價(jià)值狠鸳,這才是重中之重揣苏。當(dāng)然咯,并不是說(shuō)會(huì)一種就行了件舵,需要不斷地學(xué)習(xí)卸察。

感悟三:如果你的工作就是數(shù)據(jù)分析,但是領(lǐng)導(dǎo)沒(méi)數(shù)據(jù)這方面意識(shí)铅祸,要不改變他要不就放棄坑质,change or giveup,這和追妹子一個(gè)道理临梗,熱臉貼冷屁股涡扼,沒(méi)意思。

這次寫(xiě)這些文章盟庞,我先把自己需求弄懂了吃沪,決定從(獲取數(shù)據(jù)--讀取數(shù)據(jù)--清洗整理數(shù)據(jù)--統(tǒng)計(jì)分析數(shù)據(jù)--數(shù)據(jù)報(bào)告產(chǎn)出--總結(jié)) 這一條龍過(guò)程中用到的知識(shí)梳理一下,也算來(lái)個(gè)全套咯什猖,嘿嘿嘿票彪。

僅針對(duì)中小企業(yè)日常數(shù)據(jù)統(tǒng)計(jì)分析所涉及的工作內(nèi)容,半桶子水不狮,能力有限降铸,其他級(jí)別的的可以繞行了:

獲取數(shù)據(jù):打算從網(wǎng)上抓取XX金融網(wǎng)站的投資貸款數(shù)據(jù)用來(lái)作為數(shù)據(jù)源,基本上每個(gè)維度每個(gè)格式的數(shù)據(jù)都有摇零,便于后期的操作

讀取數(shù)據(jù):這里我會(huì)把獲取的數(shù)據(jù)分為xls推掸,csv,sql,還有pandas的DataFrame格式的數(shù)據(jù)遂黍,分別進(jìn)行操作终佛,以應(yīng)對(duì)各式的數(shù)據(jù)源格式

清洗整理數(shù)據(jù):excel,sql,python,javascript都會(huì)用到

統(tǒng)計(jì)分析數(shù)據(jù):主用python的pandas 和 sql。

數(shù)據(jù)報(bào)告產(chǎn)出:我會(huì)用到django的web開(kāi)發(fā)用來(lái)做可視化(html,css,javascript)雾家,以及手上現(xiàn)有的報(bào)表系統(tǒng),word,pdf,ppt都是可行的

總結(jié):將用到的方法和遇到的問(wèn)題進(jìn)行概括總結(jié)

明白需求铃彰,再去開(kāi)始你接下來(lái)的任務(wù),走腎是可恥的芯咧。不求贊同牙捉,只求理解竹揍,大家一起進(jìn)步,在工作過(guò)程中任何感觸和問(wèn)題邪铲,都可以一起分享一起討論交流芬位。歡迎大家加我QQ1749061919,一起交流與學(xué)習(xí)带到。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末昧碉,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子揽惹,更是在濱河造成了極大的恐慌被饿,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件搪搏,死亡現(xiàn)場(chǎng)離奇詭異狭握,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)疯溺,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)论颅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人囱嫩,你說(shuō)我怎么就攤上這事恃疯。” “怎么了挠说?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵澡谭,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我损俭,道長(zhǎng),這世上最難降的妖魔是什么潘酗? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任杆兵,我火速辦了婚禮,結(jié)果婚禮上仔夺,老公的妹妹穿的比我還像新娘琐脏。我一直安慰自己,他們只是感情好缸兔,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布日裙。 她就那樣靜靜地躺著,像睡著了一般惰蜜。 火紅的嫁衣襯著肌膚如雪昂拂。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,482評(píng)論 1 302
  • 那天抛猖,我揣著相機(jī)與錄音格侯,去河邊找鬼鼻听。 笑死,一個(gè)胖子當(dāng)著我的面吹牛联四,可吹牛的內(nèi)容都是我干的撑碴。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼朝墩,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼醉拓!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起收苏,我...
    開(kāi)封第一講書(shū)人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤亿卤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后倒戏,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體怠噪,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年杜跷,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了傍念。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡葛闷,死狀恐怖憋槐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情淑趾,我是刑警寧澤阳仔,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站扣泊,受9級(jí)特大地震影響近范,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜延蟹,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一评矩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧阱飘,春花似錦斥杜、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至高帖,卻和暖如春缰儿,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背棋恼。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工返弹, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留锈玉,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓义起,卻偏偏與公主長(zhǎng)得像拉背,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子默终,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容