使用seeds.rb導(dǎo)入大量數(shù)據(jù)到數(shù)據(jù)庫

最近有個Rails項目,需要把大量的單詞導(dǎo)入到數(shù)據(jù)庫里,看我的艱辛歷程...

第一個想法

我第一想法是編寫seeds.rb锻狗,自然而然想到使用下面的方式

# 清空單詞數(shù)據(jù)表
Vocabulary.delete_all
# 讀取單詞祟同,文件中每行一個單詞,所以得到是所有單詞組成的一個數(shù)組
words = IO.readlines("./config/ext/wordlist.txt")
words.each do |w|
  # 新建一個Vocabulary對象
  v = Vocabulary.new
  # 將word字段賦值厢蒜,因為單詞后含有換行符霞势,所以使用chomp
  v.word = w.chomp
  # 將length字段賦值
  v.length = w.chomp.length
  # 保存
  v.save
end

我現(xiàn)在看到這樣的代碼都想笑,沒辦法斑鸦,我第一反應(yīng)就這樣愕贡。每個單詞新建一個對象,賦值巷屿,儲存固以。
單詞數(shù)量也沒很多,3000個攒庵。嗯嘴纺,我等了一分鐘都沒跑完,就提前終止掉了浓冒,這哪能忍...

改進(逃...

我查了一下Rails的文檔栽渴,發(fā)現(xiàn)了create方法,好像要效率高點稳懒。

words.each do |w|
  # 直接創(chuàng)建一個Vocabulary數(shù)據(jù)
  Vocabulary.create(word: w.chomp, length: w.chomp.length)
end

沒錯我還是想死闲擦,這次我等了大概一兩分鐘,跑完了场梆。問了一下隊友

導(dǎo)入三千個單詞要2分鐘你能忍嗎墅冷?
不能。

好的或油,我也不能...

原生SQL語句大法

于是我Google了一下rails insert mass rows 查到了這篇文章寞忿,作者用四種方式插入一萬條數(shù)據(jù)。前面介紹的和我一開始想的差不多顶岸,效率很低腔彰。
然后作者給出了原生SQL方式,并用Benchmark測試出效率是其他方法數(shù)十倍辖佣。
按照剛才的例子霹抛,代碼如下:

# 形成SQL語句需要的規(guī)范形式
# 像這樣 ('F**K', '2016-04-27 20:00:00', '2016-04-28 20:00:00', 4)
words.map!{|w| ("('#{w.chomp}', '2016-04-27 20:00:00', '2016-04-28 20:00:00' , #{w.chomp.length} )") }
# 構(gòu)造SQL語句用于執(zhí)行
sql = "INSERT INTO vocabularies (word, created_at, updated_at, length) VALUES #{words.join(", ")}"
# 執(zhí)行SQL語句
ActiveRecord::Base.connection.execute sql

原理是用了SQL中這樣的語法:

INSERT INTO MyTable ( Column1, Column2 ) VALUES ( Value1, Value2 ), ( Value1, Value2 ), ( Value1, Value2 )

整個過程不到一秒,不說了我去學(xué)SQL了卷谈。杯拐。。

如有疏漏,歡迎評論指出端逼,或者前往Github提出issue~謝謝

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末朗兵,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子顶滩,更是在濱河造成了極大的恐慌矛市,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件诲祸,死亡現(xiàn)場離奇詭異,居然都是意外死亡而昨,警方通過查閱死者的電腦和手機救氯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來歌憨,“玉大人着憨,你說我怎么就攤上這事∥竦眨” “怎么了甲抖?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長心铃。 經(jīng)常有香客問我准谚,道長,這世上最難降的妖魔是什么去扣? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任柱衔,我火速辦了婚禮,結(jié)果婚禮上愉棱,老公的妹妹穿的比我還像新娘唆铐。我一直安慰自己,他們只是感情好奔滑,可當(dāng)我...
    茶點故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布艾岂。 她就那樣靜靜地躺著,像睡著了一般朋其。 火紅的嫁衣襯著肌膚如雪王浴。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天令宿,我揣著相機與錄音叼耙,去河邊找鬼。 笑死粒没,一個胖子當(dāng)著我的面吹牛筛婉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼爽撒,長吁一口氣:“原來是場噩夢啊……” “哼入蛆!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起硕勿,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤哨毁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后源武,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扼褪,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年粱栖,在試婚紗的時候發(fā)現(xiàn)自己被綠了话浇。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡闹究,死狀恐怖幔崖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情渣淤,我是刑警寧澤赏寇,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站价认,受9級特大地震影響嗅定,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜刻伊,卻給世界環(huán)境...
    茶點故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一露戒、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧捶箱,春花似錦智什、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至晨川,卻和暖如春证九,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背共虑。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工愧怜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人妈拌。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓拥坛,卻偏偏與公主長得像蓬蝶,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子猜惋,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容