(一)Sedona入門(GeoSpark)

Sedona是基于Spark分布式的地理信息計(jì)算引擎鸯匹,原為GeoSpark伦腐,后被Apache收錄孵化,更名為Sedona疼鸟,相比于傳統(tǒng)的ArcGIS后控、QGIS等分析工具,Sedona可以提供更好分布式空間分析空镜。

準(zhǔn)備工作

  1. Windows
  2. IDEA
  3. Sedona支持Java浩淘、Scala兩種。

具體安裝教程在GeoSpark入門中已經(jīng)講過了吴攒,可以參考http://www.reibang.com/p/8e6960791b98

Maven依賴

  1. 打開IDEA,創(chuàng)建Maven新工程,修改pom.xml文件

      <properties>
         <spark.version>2.4.0</spark.version>
         <sedona.spark.version>2.4_2.11</sedona.spark.version>
         <sedona.ersion>1.0.0-incubating</sedona.ersion>
     </properties>
    
     <dependencies>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-core-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-sql-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-viz-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
    
    
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-core_2.11</artifactId>
             <version>${spark.version}</version>
         </dependency>
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-sql_2.11</artifactId>
             <version>${spark.version}</version>
         </dependency>
    
    
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-main</artifactId>
             <version>24.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.geotools/gt-referencing -->
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-referencing</artifactId>
             <version>24.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.geotools/gt-epsg-hsql -->
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-epsg-hsql</artifactId>
             <version>24.0</version>
         </dependency>
         <dependency>
             <groupId>org.wololo</groupId>
             <artifactId>jts2geojson</artifactId>
             <version>0.14.3</version>
         </dependency>
         <dependency>
             <groupId>org.locationtech.jts</groupId>
             <artifactId>jts-core</artifactId>
             <version>1.18.0</version>
         </dependency>
     </dependencies>
    
     <repositories>
         <repository>
             <id>maven2-repository.dev.java.net</id>
             <name>Java.net repository</name>
             <url>https://download.java.net/maven/2</url>
         </repository>
         <repository>
             <id>osgeo</id>
             <name>OSGeo Release Repository</name>
             <url>https://repo.osgeo.org/repository/release/</url>
             <snapshots>
                 <enabled>false</enabled>
             </snapshots>
             <releases>
                 <enabled>true</enabled>
             </releases>
         </repository>
     </repositories>
    
    1. 需要說明的是张抄,在依賴中我們添加了JTS、GeoTools洼怔,這是因?yàn)镾edona的空間分析工具依賴JTS欣鳖、GeoTools等開發(fā)包,但是由于GPL或MIT協(xié)議關(guān)系茴厉,在Sedona
      中并未提供泽台,需要我們自己添加什荣。
    2. 如果IDEA不能運(yùn)行,可以嘗試添加Scala的相關(guān)依賴
      圖片.png

CSV文件讀取

  1. 我們從CSV中創(chuàng)建一個(gè)Spark的RDD怀酷,CSV內(nèi)容如下稻爬,將其保存在項(xiàng)目文件的Resources下,命名為checkin.csv:

    -88.331492,32.324142,hotel
    -88.175933,32.360763,gas
    -88.388954,32.357073,bar
    -88.221102,32.35078,restaurant
    

    然后我們初始化一個(gè)SparkContext蜕依,并調(diào)用GeoSpark的PointRDD桅锄,將我們的CSV導(dǎo)入。

    SparkConf conf = new SparkConf();
    conf.setAppName("Chapter01");
    conf.setMaster("local[*]");
    conf.set("spark.serializer", "org.apache.spark.serializer. KryoSerializer");
    conf.set("spark.kryo.registrator", "org.apache.sedona.coreserde.   SedonaKryoRegistrator");
    JavaSparkContext sc = new JavaSparkContext(conf);

    String pointRDDInputLocation = Chapter01.class.getResourc("checkin.    csv").toString();
    Integer pointRDDOffset = 0; // 地理位置(經(jīng)緯度)從第0列開始
    FileDataSplitter pointRDDSplitter = FileDataSplitter.CSV;
    Boolean carryOtherAttributes = true; // 第二列的屬性(酒店名)
    PointRDD rdd = new PointRDD(sc, pointRDDInputLocation, pointRDDOffset, pointRDDSplitter, carryOtherAttributes);

    rdd.analyze();
    System.out.println(rdd.approximateTotalCount);

可以看到代碼中調(diào)用了rdd.analyze()方法样眠,對(duì)于Sedona(GeoSpark)來說友瘤,當(dāng)我們得到Sedona的RDD時(shí),第一步要做的就是應(yīng)該調(diào)用analyze方法檐束,然后在去進(jìn)行分析操作辫秧,否則會(huì)有異常出現(xiàn),具體analyze里面做了什么操作被丧,我們后期會(huì)講盟戏。

坐標(biāo)系轉(zhuǎn)換

  1. Sedona采用EPGS標(biāo)準(zhǔn)坐標(biāo)系,其坐標(biāo)系也可參考EPSG官網(wǎng):[https://epsg.io/(https://epsg.io)
  2. // 坐標(biāo)系轉(zhuǎn)換
    String sourceCrsCode = "epsg:4326";
    String targetCrsCode = "epsg:4547";
    rdd.CRSTransform(sourceCrsCode, targetCrsCode, true);
    rdd.rawSpatialRDD.foreach((p)->{
          System.out.println(p);
      });
    
  3. 和GeoSpark不同的是甥桂,rdd.CRSTransform(sourceCrsCode, targetCrsCode, true);這里最后一個(gè)參數(shù)加了true柿究,這是因?yàn)閺?326(WGS84)坐標(biāo)系到4547(CGCS2000)坐標(biāo)系這里涉及到了橢球的轉(zhuǎn)換,GeoTools默認(rèn)是需要提供橢球轉(zhuǎn)換參數(shù)的黄选,但是我們沒有提供蝇摸,GeoTools會(huì)直接報(bào)錯(cuò)的,將最后一個(gè)參數(shù)改為true办陷,可以讓GeoTool強(qiáng)制忽略橢球轉(zhuǎn)換參數(shù)探入。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市懂诗,隨后出現(xiàn)的幾起案子蜂嗽,更是在濱河造成了極大的恐慌,老刑警劉巖殃恒,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件植旧,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡离唐,警方通過查閱死者的電腦和手機(jī)病附,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來亥鬓,“玉大人完沪,你說我怎么就攤上這事。” “怎么了覆积?”我有些...
    開封第一講書人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵听皿,是天一觀的道長。 經(jīng)常有香客問我宽档,道長尉姨,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任吗冤,我火速辦了婚禮又厉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘椎瘟。我一直安慰自己覆致,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開白布肺蔚。 她就那樣靜靜地躺著煌妈,像睡著了一般。 火紅的嫁衣襯著肌膚如雪婆排。 梳的紋絲不亂的頭發(fā)上声旺,一...
    開封第一講書人閱讀 51,688評(píng)論 1 305
  • 那天笔链,我揣著相機(jī)與錄音段只,去河邊找鬼。 笑死鉴扫,一個(gè)胖子當(dāng)著我的面吹牛赞枕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播坪创,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼炕婶,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了莱预?” 一聲冷哼從身側(cè)響起柠掂,我...
    開封第一講書人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎依沮,沒想到半個(gè)月后涯贞,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡危喉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年宋渔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片辜限。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡皇拣,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出薄嫡,到底是詐尸還是另有隱情氧急,我是刑警寧澤颗胡,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站态蒂,受9級(jí)特大地震影響杭措,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜钾恢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一手素、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瘩蚪,春花似錦泉懦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至言沐,卻和暖如春邓嘹,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背险胰。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來泰國打工汹押, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人起便。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓棚贾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親榆综。 傳聞我的和親對(duì)象是個(gè)殘疾皇子妙痹,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容