import org.apache.spark.SparkContext
import org.apache.spark.sql.{DataFrame, SparkSession}
object RemoteDebug {
//設(shè)置用戶名是防止用戶沒有權(quán)限訪問集群悴了，以及hdfs
System.setProperty("user.name", "hadoop")
System.setProperty("HADOOP_USER_NAME", "hive")
val spark: SparkSession = SparkSession.builder()
.appName("remote_test")
.master("spark://master_ip:master_port")
.config("spark.jars","F:\\IdeaProject\\project\\target\\package.jar")
.config("spark.driver.host", "192.168.*.*")
.config("spark.driver.port", "9089")
.enableHiveSupport().getOrCreate()
val sc: SparkContext = spark.sparkContext
sc.setLogLevel("ERROR")
val mysql_url = "jdbc:mysql://server_ip:server_port/instance?useSSL=false"
val mysql_user = "username"
val mysql_password = "password"
def read4mysql(table:String):DataFrame={
spark.read.format("jdbc")
.option("driver", "com.mysql.jdbc.Driver")
.option("url",mysql_url)
.option("user",mysql_user)
.option("password",mysql_password)
.option("dbtable",table)
.load()
}
def main(args: Array[String]) {
val order_df: DataFrame = read4mysql(
s"(select * from a ")
order_df.show(10)
spark.close()
}
}
本地idea遠(yuǎn)程提交Spark任務(wù)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來术羔，“玉大人赢赊，你說我怎么就攤上這事〖独” “怎么了释移？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長寥殖。 經(jīng)常有香客問我玩讳，道長，這世上最難降的妖魔是什么嚼贡？ 我笑而不...
- 正文 為了忘掉前任熏纯，我火速辦了婚禮，結(jié)果婚禮上粤策，老公的妹妹穿的比我還像新娘樟澜。我一直安慰自己，他們只是感情好叮盘，可當(dāng)我...
- 文/花漫 我一把揭開白布秩贰。 她就那樣靜靜地躺著，像睡著了一般熊户。 火紅的嫁衣襯著肌膚如雪萍膛。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼桩匪，長吁一口氣：“原來是場噩夢啊……” “哼打瘪！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起傻昙，我...
- 序言：老撾萬榮一對情侶失蹤闺骚，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后妆档，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體僻爽，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年贾惦，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了胸梆。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布，位于F島的核電站甜奄，受9級特大地震影響菠发，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜贺嫂，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望雁乡。 院中可真熱鬧第喳，春花似錦、人聲如沸踱稍。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽珠月。三九已至扩淀，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間啤挎，已是汗流浹背驻谆。 一陣腳步聲響...
- 正文 我出身青樓勺卢，卻偏偏與公主長得像，于是被迫代替她去往敵國和親象对。 傳聞我的和親對象是個(gè)殘疾皇子黑忱，可洞房花燭夜當(dāng)晚...
