課程信息
大數(shù)據(jù)導(dǎo)論
[美國加州大學(xué)圣地亞哥分校]
[Coursera]
這是coursera中的Data Engineer（數(shù)據(jù)工程）第一課脏款，介紹什么是大數(shù)據(jù)及其簡單應(yīng)用或听。
| 收費與否 | 可免費旁聽（無證書） |
|---|---|
| 教學(xué)語言 | 僅英語 |
| 有無課件 | 有 |
| 條件 | 零基礎(chǔ) |
第一周 WEEK 1
Part 1 Why big data
1. 什么產(chǎn)生了大數(shù)據(jù)技術(shù)拐格？
data torrent + cloud computing --> big data
有兩種主要因素：
第一绣檬，各種設(shè)備泥彤、軟件產(chǎn)生大量數(shù)據(jù)；
第二降瞳，云計算使得信息可以在何時何地儲存、處理、返回結(jié)果挣饥。（簡單說就是同步到服務(wù)器進行“云”計算和處理）
2. 怎么應(yīng)用大數(shù)據(jù)除师？
2.1 針對客戶的分析
（1）個體：提供個性化服務(wù)，提高利潤和客戶滿意度扔枫。
針對每個用戶不同的瀏覽記錄汛聚、購買記錄、社交網(wǎng)絡(luò)信息等等短荐，算法自動推薦不同商品和服務(wù)給客戶倚舀。提高了客戶購買的概率，從而獲得更高利潤忍宋。同時痕貌，客戶認為能更快速獲得合適的服務(wù)，提高了客戶滿意度和用戶粘性糠排。（一個閉環(huán)）
例如:
購物平臺會根據(jù)你以往的購買記錄舵稠，對你有針對性的投放廣告和推薦服務(wù)。視頻平臺會根據(jù)你的觀看記錄推薦符合你口味的視頻乳讥，獲得更高點擊量柱查。
（2） 總體：調(diào)整商品和服務(wù)結(jié)構(gòu)，降低成本云石，提高利潤唉工。
分析整體銷售情況，增加熱銷產(chǎn)品的庫存汹忠，下架冷門商品淋硝。
例如：
航空公司分析機票買賣情況，發(fā)現(xiàn)早班機票都會賣完宽菜。根據(jù)客戶瀏覽記錄和點擊記錄谣膳，航空公司發(fā)現(xiàn)很多客戶希望購買早班機票。后續(xù)铅乡，航空公司相應(yīng)地增加了早班機票的班次继谚，或者安排更大的航班，賣出更多機票以獲得更高的利潤阵幸。同時減少晚班機票花履，降低成本。
（3）分群體：提供分群體的針對性服務(wù)
簡單的例子就是：針對折扣款挚赊、中產(chǎn)诡壁、高端奢侈品等等，同一個控股公司會根據(jù)群體推出不同的品牌服務(wù)荠割。
2.2 改進商品
根據(jù)以上分析妹卿，購物網(wǎng)站上會有客戶評論和評分，自然語言（NLP）處理評價后分析商品有哪里需要改進，后續(xù)反饋給廠家進行修改夺克。達到平臺和廠家的雙贏合作箕宙。
2.3 推廣應(yīng)用到各行各業(yè)
例如智慧城市，實時監(jiān)控交通情況沒減少堵塞铺纽，等等扒吁。
3. 大數(shù)據(jù)應(yīng)用實例一： 監(jiān)控山火
這里兩個實例很好的地方是教授自己的項目。
山火監(jiān)控的難點：
森林占地太大室囊，無法預(yù)測，人工昂貴且監(jiān)控范圍小魁索。如何監(jiān)控山火融撞？
其實就是整合各處產(chǎn)生的信息，設(shè)計軟件和模型自動告警粗蔚，預(yù)測山火蔓延情況尝偎，達到更好的預(yù)測山火，減少人員傷亡和財政損失鹏控。信息來源
a. 傳感器：
溫度傳感器致扯、氣壓傳感器、衛(wèi)星圖片和區(qū)域監(jiān)控（需要圖片處理技術(shù)）
b. 個人：
社交網(wǎng)絡(luò)實時信息（文字当辐、圖片）抖僵，實時報警信息
c. 組織：
主要是過去記錄的電子信息，根據(jù)以往信息建模
4. 大數(shù)據(jù)應(yīng)用實例二：拯救人類生命
簡介:
提供個人化精準(zhǔn)用藥缘揪。為什么要對不同人提供不同的醫(yī)療服務(wù)耍群？
（1） 因為每個人對不同的藥物反應(yīng)不一樣.
例如: 對A有效的藥，可能對B無效找筝。同一種藥蹈垢，可能A要吃三片，但B只需要吃兩片就能獲得一樣的效果袖裕。
（2） 實時監(jiān)測病人對藥物的反應(yīng)曹抬，提供更準(zhǔn)確的救治。
例如： 有一些病人是第一次服用藥物A急鳄，雖然藥物A對大多數(shù)病人有效谤民，但病人可能不幸地對藥物A過敏。實時監(jiān)測能快速告警攒岛，并且通過準(zhǔn)確的數(shù)據(jù)找到過敏原施绎，挽救生命。
- 信息來源：
a. 組織：
得益于醫(yī)院對醫(yī)療信息電子化厨姚，現(xiàn)在有大量是醫(yī)療信息绰垂；
國家和國際的疾控中心資料；
人類基因組計劃，人類腦補計劃等等吵聪。
b. 傳感器：
過去醫(yī)院的各種監(jiān)控設(shè)備用完即丟凌那，不會保存。現(xiàn)在硬件儲存成本降低吟逝，能把數(shù)據(jù)存儲為電子信息帽蝶。
可穿戴設(shè)備與移動手機中的軟件，實時記錄健康情況（心跳块攒，血壓等等）
c. 個人：
社交網(wǎng)站中實時記錄感受励稳，各種心情分享軟件（例如人工智能做的聊天用“心理醫(yī)生”）
PS： 以上是個人總結(jié)和個人筆記，2018.1.7
