關于Neo4j的ETL

使用cypher語句的load csv的方式纬霞,將要導入的文本進行處理脓规。每一個字符串兩邊使用雙引號進行包裹,當中的數(shù)據(jù)中险领,對于雙引號和反斜線進行轉義侨舆。對于雙引號的默認轉義方式是兩個雙引號秒紧。所以對于每個出現(xiàn)的雙引號前要多加一個雙引號,每個反斜線轉換成兩個反斜線挨下。感覺load csvneo4j-admin import還有些不同熔恢,load csv里面對于雙引號的轉義,使用""臭笆,\"都可以叙淌,所以這就導致了一個問題,就是比如這樣一個字符串"hello\"愁铺,導入的時候鹰霍,最后一部分的\"會被當成一個轉義的雙引號,也就是說這個被轉義的雙引號是字符串本身的內(nèi)容茵乱,而不是外部用來包裹這個字符串的雙引號茂洒。所以neo4j會去向后邊繼續(xù)找用來包裹這個字符串的后邊的雙引號,這樣就可能會引發(fā)錯誤瓶竭。
there's a field starting with a quote and whereas it ends that quote there seems to be characters in that field after that ending quote. That isn't supported.
所以索性所有在字符串中出現(xiàn)的雙引號督勺,都用兩個雙引號""這樣的方式進行轉義,對于出現(xiàn)的反斜線斤贰,也都使用\\進行轉義智哀。
轉換的代碼如下,其中包括了用來包裹的雙引號:
java版:

    public static String dealQuote(String str) {
        StringBuilder sb = new StringBuilder();
        int i = 0, k = 0; // k means start cursor
        while(true) {
            if(str.charAt(i) == '\"') {
                sb.append(str.substring(k, i));
                sb.append("\"\"");
                i++;
                k = i;
            } else if(str.charAt(i) == '\\') {
                sb.append(str.substring(k, i));
                sb.append("\\\\");
                i++;
                k = i;
            } else {
                i++;
            }
            if(i==str.length()) {
                sb.append(str.substring(k, i));
                break;
            }
        }
        return "\"" + sb.toString() + "\"";
    }

在IDEA中荧恍,可以將java代碼直接復制到scala文件中瓷叫,可以做自動轉換,但是有的地方轉換的不是很好送巡,最好code review一下赞辩,其中scala中是沒有break的,所以需要手動修改一下授艰。

def dealQuote(str: String): String = {
  val sb = new StringBuilder
  var i = 0
  var k = 0 // k means start cursor
  var flag = true
  while ( flag ) {
    if (str.charAt(i) == '\"') {
      sb.append(str.substring(k, i))
      sb.append("\"\"")
      i += 1
      k = i
    } else if (str.charAt(i) == '\\') {
      sb.append(str.substring(k, i))
      sb.append("\\\\")
      i += 1
      k = i
    } else i += 1
    if (i == str.length) {
      sb.append(str.substring(k, i))
      flag = false
    }
  }
  return "\"" + sb.toString + "\""
}
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市世落,隨后出現(xiàn)的幾起案子淮腾,更是在濱河造成了極大的恐慌,老刑警劉巖屉佳,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件谷朝,死亡現(xiàn)場離奇詭異,居然都是意外死亡武花,警方通過查閱死者的電腦和手機圆凰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來体箕,“玉大人专钉,你說我怎么就攤上這事挑童。” “怎么了跃须?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵站叼,是天一觀的道長。 經(jīng)常有香客問我菇民,道長尽楔,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任第练,我火速辦了婚禮阔馋,結果婚禮上,老公的妹妹穿的比我還像新娘娇掏。我一直安慰自己呕寝,他們只是感情好,可當我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布驹碍。 她就那樣靜靜地躺著壁涎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪志秃。 梳的紋絲不亂的頭發(fā)上怔球,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天,我揣著相機與錄音浮还,去河邊找鬼竟坛。 笑死,一個胖子當著我的面吹牛钧舌,可吹牛的內(nèi)容都是我干的担汤。 我是一名探鬼主播,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼洼冻,長吁一口氣:“原來是場噩夢啊……” “哼崭歧!你這毒婦竟也來了?” 一聲冷哼從身側響起撞牢,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤率碾,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后屋彪,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體所宰,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年畜挥,在試婚紗的時候發(fā)現(xiàn)自己被綠了仔粥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖躯泰,靈堂內(nèi)的尸體忽然破棺而出谭羔,到底是詐尸還是另有隱情,我是刑警寧澤斟冕,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布口糕,位于F島的核電站,受9級特大地震影響磕蛇,放射性物質(zhì)發(fā)生泄漏景描。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一秀撇、第九天 我趴在偏房一處隱蔽的房頂上張望超棺。 院中可真熱鬧,春花似錦呵燕、人聲如沸棠绘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽氧苍。三九已至,卻和暖如春泛范,著一層夾襖步出監(jiān)牢的瞬間让虐,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工罢荡, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留赡突,地道東北人。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓区赵,卻偏偏與公主長得像惭缰,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子笼才,可洞房花燭夜當晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內(nèi)容