屹然1ran
·
回不回去過年在結(jié)婚第一年就要談好减江，不是臨了才決定的，他這么不顧你和二寶昌简，估計不是他一個人的問題吟逝，你們要好好交流交流帽蝶，找到問題所在，找到解決問題的方法块攒，不能聽之任之励稳，家庭是需要經(jīng)營的，出問題也不是哪一個人的問題局蚀，應該雙方都有責任麦锯！
IP屬地：上海
-
-
-
Hive SQL - 復制最后一個非空值 The Last non-NULL Puzzle
1. 啟發(fā) 在業(yè)務上，我們常常會碰到這樣的需求例如原始表如下： uidstatetimea10anull1anull2a33bnull4b25bnull6 需要變成如下： u...
-
機器學習[1.1] - Mann-Whitney U Test與ROC琅绅、AUC在了解U統(tǒng)計量與AUC之間的關系前，先復習一下Mann-Whitney U Test首先放上AUC在統(tǒng)計上的意義： 隨機選取一個正例和一個負例鹅巍，分類器給正例的打分大于分類器給...
-
機器學習[3] - 監(jiān)督模型之樹模型1. 基本概念 決策樹模型為非參數(shù)監(jiān)督模型千扶，該模型為根據(jù)一系列的if-else邏輯組合而成。樹可以看作是一個分段函數(shù)骆捧，并且樹的層數(shù)越深澎羞，就會更貼合數(shù)據(jù)(fitted)。 顯然...
-
機器學習[1] - 模型評估與選擇
評估方法 留出法 Hold-out“留出法”將兩個數(shù)據(jù)集拆分為兩個互斥的集敛苇，一般訓練集為70%妆绞，測試集為30%顺呕。這樣使用測試集得出的測試誤差(testing error)更具...
-
機器學習[2] - 監(jiān)督模型之線性模型關于機器學習整體的概念，例如監(jiān)督模型與無監(jiān)督模型的概念括饶，見筆者的之前的一篇文章機器學習入門[http://www.reibang.com/p/7bb45c460e6b] 線...
-
plydata包 - Python中的dplyr Pipe(管道)數(shù)據(jù)處理方式
Hassan Kibirige[https://github.com/has2k1]開發(fā)的plydata[https://github.com/has2k1/plydata]...
-
Python數(shù)據(jù)分析[4] - 數(shù)據(jù)整理 Data Wrangling多維Index Columns和Rows都可以創(chuàng)建多層Index 每層的index也可以擁有自己的名字 Index排序 根據(jù)Level聚合 表連接 表拼接 數(shù)據(jù)透視&逆透視 ...
-
Python數(shù)據(jù)分析[3] - Pandas包
Series Series是一個一維的向量株茶，每個值都會有對應標簽，該標簽我們稱之為Index 通過Index可以對Series進行查詢以及修改 Numpy函數(shù)图焰，以及其他類Nu...
-
Python數(shù)據(jù)分析[2] - Numpy包
ndarry: 多維度的向量 Numpy為Numerical Python的縮寫启盛，是數(shù)據(jù)分析最重要的包之一，很多數(shù)據(jù)分析相關的包會依賴Numpy中的向量類型技羔。 向量類的數(shù)據(jù)配...
-
Python數(shù)據(jù)分析[1] - python基礎
Python基礎 數(shù)據(jù)類型 tuple tuple是一個固定長度僵闯，不可修改的對象 tuple可以tuple中的一個元素 tuple可以將一個Sequence轉(zhuǎn)換為tuple ...
-
Learning Spark [9] - MLlib庫 - Tree-Based模型
基于樹模型(Tree-Based Models) 基于樹模型，比如決策樹藤滥，梯度提升樹鳖粟，隨機森林等，相對比回歸模型拙绊，是較為好解釋的(Interpret) 決策樹(Decisio...
-
Learning Spark [8] - MLlib庫 - 線性回歸
機器學習數(shù)據(jù)管道(Machine Learning Pipeline) Pipeline的概念牺弹，在很多機器學習的模型中都存在，是一個種整理以及操控數(shù)據(jù)的方法时呀。在MLlib中张漂，...
-
Learning Spark [7] - 機器學習入門在學習Spark的MLlib之前，我們簡略的回憶整理一下機器學習的概念谨娜。 Machine Learning(機器學習) 機器學習模型主要有以下幾種分類： Supervised...
-
數(shù)倉利器-Hive高頻函數(shù)合集前言 Hive是數(shù)倉建設使用頻率最高的一項技術航攒，基于各種業(yè)務需求，使用功能函數(shù)會為我們的開發(fā)提高了很多效率趴梢。本篇是基于筆者在日常開發(fā)中使用頻率較高的函數(shù)做一次總結(jié)(同時也會給...
-
Learning Spark [6] - Spark SQL高級函數(shù)collect, collect_list, collect_set collect常用的有兩個函數(shù)：collect_list(不去重)和collect_set(去重) co...
-
Learning Spark [5] - UDF(User-defined Function)
UDF 為了滿足用戶的不同的分析需求漠畜，Spark允許使用者自己定義函數(shù)，供用戶在Spark SQL中使用坞靶。例如數(shù)據(jù)科學家可以將一個機器學習模型封裝在一個函數(shù)內(nèi)憔狞，提供給數(shù)據(jù)分析...
-
Learning Spark [4] - Spark SQLSpark SQL為Spark提供了以下幾個特性： 提供高級結(jié)構(gòu)框架的API(見Learning Spark [3]) 允許讀取不同格式的數(shù)據(jù)(json, hive, tab...