Flink的Scala API擴(kuò)展

原文鏈接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/scala_api_extensions.html
為了保持Scala API和Java API之間相當(dāng)?shù)囊恢滦粤翰祝琒cala 的一些高階表達(dá)式被從標(biāo)準(zhǔn)的API中剔除檀何,包括批處理的和流處理的。
如果你想享受完整的Scala體驗(yàn)趁尼,你可以選擇通過隱式轉(zhuǎn)換來添加擴(kuò)展提升Scala的API埃碱。
為了使用所有的擴(kuò)展猖辫,你僅需要導(dǎo)入如下的包酥泞,在DataSet API中:

import org.apache.flink.api.scala.extensions._

或者在DataStream API中:

import org.apache.flink.streaming.api.scala.extensions._

或者你可以根據(jù)你自己的需要導(dǎo)入單獨(dú)的擴(kuò)展。
接受部分函數(shù)(Accept partial functions)
通常啃憎,DataSet API和DataStream API都不支持通過匿名模式匹配來構(gòu)建tuple芝囤、case class和集合,如下:

val data: DataSet[(Int, String, Double)] = // [...]
data.map {
  case (id, name, temperature) => // [...]
  // The previous line causes the following compilation error:
  // "The argument types of an anonymous function must be fully known. (SLS 8.5)"
}

這個(gè)擴(kuò)展為DataSet API和DataStream API引入了新的方法辛萍,這些方法與擴(kuò)展API有著一一對(duì)應(yīng)的關(guān)系悯姊,這些委派方法支持匿名模式匹配功能:
DataSet API
方法 原形 案例

mapWith map (DataSet)   data.mapWith {
  case (_, value) => value.toString
}
mapPartitionWith    mapPartition (DataSet)  data.mapPartitionWith {
  case head #:: _ => head
}
flatMapWith flatMap (DataSet)   data.flatMapWith {
  case (_, name, visitTimes) => visitTimes.map(name -> _)
}
filterWith  filter (DataSet)    data.filterWith {
  case Train(_, isOnTime) => isOnTime
}
reduceWith  reduce (DataSet, GroupedDataSet)    data.reduceWith {
  case ((_, amount1), (_, amount2)) => amount1 + amount2
}
reduceGroupWith reduceGroup (GroupedDataSet)    data.reduceGroupWith {
  case id #:: value #:: _ => id -> value
}
groupingBy  groupBy (DataSet)   data.groupingBy {
  case (id, _, _) => id
}
sortGroupWith   sortGroup (GroupedDataSet)  grouped.sortGroupWith(Order.ASCENDING) {
  case House(_, value) => value
}
combineGroupWith    combineGroup (GroupedDataSet)   grouped.combineGroupWith {
  case header #:: amounts => amounts.sum
}
projecting  apply (JoinDataSet, CrossDataSet)   data1.join(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case ((pk, tx), (products, fk)) => tx -> products
  }

data1.cross(data2).projecting {
  case ((a, _), (_, b) => a -> b
}
projecting  apply (CoGroupDataSet)  data1.coGroup(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case (head1 #:: _, head2 #:: _) => head1 -> head2
  }
}

DataStream API
方法 原形 案例

mapWith map (DataStream)    data.mapWith {
  case (_, value) => value.toString
}
mapPartitionWith    mapPartition (DataStream)   data.mapPartitionWith {
  case head #:: _ => head
}
flatMapWith flatMap (DataStream)    data.flatMapWith {
  case (_, name, visits) => visits.map(name -> _)
}
filterWith  filter (DataStream) data.filterWith {
  case Train(_, isOnTime) => isOnTime
}
keyingBy    keyBy (DataStream)  data.keyingBy {
  case (id, _, _) => id
}
mapWith map (ConnectedDataStream)   data.mapWith(
  map1 = case (_, value) => value.toString,
  map2 = case (_, _, value, _) => value + 1
)
flatMapWith flatMap (ConnectedDataStream)   data.flatMapWith(
  flatMap1 = case (_, json) => parse(json),
  flatMap2 = case (_, _, json, _) => parse(json)
)
keyingBy    keyBy (ConnectedDataStream) data.keyingBy(
  key1 = case (_, timestamp) => timestamp,
  key2 = case (id, _, _) => id
)
reduceWith  reduce (KeyedDataStream, WindowedDataStream)    data.reduceWith {
  case ((_, sum1), (_, sum2) => sum1 + sum2
}
foldWith    fold (KeyedDataStream, WindowedDataStream)  data.foldWith(User(bought = 0)) {
  case (User(b), (_, items)) => User(b + items.size)
}
applyWith   apply (WindowedDataStream)  data.applyWith(0)(
  foldFunction = case (sum, amount) => sum + amount
  windowFunction = case (k, w, sum) => // [...]
)
projecting  apply (JoinedDataStream)    data1.join(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case ((pk, tx), (products, fk)) => tx -> products
  }

想了解更多關(guān)于每個(gè)方法的語義信息,請(qǐng)參考DataSet和DataStream API文檔贩毕。
為了使用這些擴(kuò)展方法悯许,你需要引入如下類對(duì)于DataSet 來說:

import org.apache.flink.api.scala.extensions.acceptPartialFunctions

對(duì)于DataStream來說:

import org.apache.flink.streaming.api.scala.extensions.acceptPartialFunctions

下面的小例子中展示了如何組合使用這些擴(kuò)展的方法(使用DataSet API):

object Main {
  import org.apache.flink.api.scala.extensions._
  case class Point(x: Double, y: Double)
  def main(args: Array[String]): Unit = {
    val env = ExecutionEnvironment.getExecutionEnvironment
    val ds = env.fromElements(Point(1, 2), Point(3, 4), Point(5, 6))
    ds.filterWith {
      case Point(x, _) => x > 1
    }.reduceWith {
      case (Point(x1, y1), (Point(x2, y2))) => Point(x1 + y1, x2 + y2)
    }.mapWith {
      case Point(x, y) => (x, y)
    }.flatMapWith {
      case (x, y) => Seq("x" -> x, "y" -> y)
    }.groupingBy {
      case (id, value) => id
    }
  }
}
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市辉阶,隨后出現(xiàn)的幾起案子先壕,更是在濱河造成了極大的恐慌,老刑警劉巖谆甜,帶你破解...
    沈念sama閱讀 211,290評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件垃僚,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡规辱,警方通過查閱死者的電腦和手機(jī)谆棺,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來罕袋,“玉大人改淑,你說我怎么就攤上這事碍岔。” “怎么了溅固?”我有些...
    開封第一講書人閱讀 156,872評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵付秕,是天一觀的道長。 經(jīng)常有香客問我侍郭,道長询吴,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,415評(píng)論 1 283
  • 正文 為了忘掉前任亮元,我火速辦了婚禮猛计,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘爆捞。我一直安慰自己奉瘤,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評(píng)論 6 385
  • 文/花漫 我一把揭開白布煮甥。 她就那樣靜靜地躺著盗温,像睡著了一般。 火紅的嫁衣襯著肌膚如雪成肘。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,784評(píng)論 1 290
  • 那天双霍,我揣著相機(jī)與錄音砚偶,去河邊找鬼。 笑死洒闸,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,927評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼昼窗,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了肛搬?” 一聲冷哼從身側(cè)響起温赔,我...
    開封第一講書人閱讀 37,691評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體聊替,經(jīng)...
    沈念sama閱讀 44,137評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡惹悄,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評(píng)論 2 326
  • 正文 我和宋清朗相戀三年象缀,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了毙石。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片颓遏。...
    茶點(diǎn)故事閱讀 38,622評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡豫尽,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出渤滞,到底是詐尸還是另有隱情榴嗅,我是刑警寧澤趴腋,帶...
    沈念sama閱讀 34,289評(píng)論 4 329
  • 正文 年R本政府宣布养涮,位于F島的核電站,受9級(jí)特大地震影響爬舰,放射性物質(zhì)發(fā)生泄漏椅文。R本人自食惡果不足惜雾袱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評(píng)論 3 312
  • 文/蒙蒙 一恤筛、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧芹橡,春花似錦毒坛、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至腿箩,卻和暖如春豪直,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背珠移。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來泰國打工弓乙, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人钧惧。 一個(gè)月前我還...
    沈念sama閱讀 46,316評(píng)論 2 360
  • 正文 我出身青樓暇韧,卻偏偏與公主長得像,于是被迫代替她去往敵國和親浓瞪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子懈玻,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容