今天想來看看 AI 是怎樣作曲的跃惫。
本文會用 TensorFlow 來寫一個音樂生成器。
當你對一個機器人說：我想要一種能夠表達出希望和奇跡的歌曲時问畅，發(fā)生了什么呢娃属？
計算機會首先把你的語音轉(zhuǎn)化成文字，并且提取出關(guān)鍵字护姆，轉(zhuǎn)化成詞向量矾端。
然后會用一些打過標簽的音樂的數(shù)據(jù)，這些標簽就是人類的各種情感卵皂。接著通過在這些數(shù)據(jù)上面訓(xùn)練一個模型秩铆，模型訓(xùn)練好后就可以生成符合要求關(guān)鍵詞的音樂。
程序最終的輸出結(jié)果就是一些和弦灯变，他會選擇最貼近主人所要求的情感關(guān)鍵詞的一些和弦來輸出殴玛。
當然你不只是可以聽，也可以作為創(chuàng)作的參考添祸，這樣就可以很容易地創(chuàng)作音樂滚粟，即使你還沒有做到刻意練習(xí)1萬小時。
機器學(xué)習(xí)其實是為了擴展我們的大腦刃泌，擴展我們的能力凡壤。
DeepMind 發(fā)表了一篇論文署尤，叫做 WaveNet, 這篇論文介紹了音樂生成和文字轉(zhuǎn)語音的藝術(shù)。
通常來講亚侠，語音生成模型是串聯(lián)曹体。這意味著如果我們想從一些文字的樣本中來生成語音的話，是需要非常大量的語音片段的數(shù)據(jù)庫硝烂，通過截取它們的一部分箕别，并且再重新組裝到一起，來組成一個完整的句子滞谢。
生成音樂也是同樣的道理究孕，但是它有一個很大的難點：就是當你把一些靜止的組件組合到一起的時候，生成聲音需要很自然爹凹，并且還要有情感厨诸，這一點是非常難的。
一種理想的方式是禾酱，我們可以把所有生成音樂所需要的信息存到模型的參數(shù)里面微酬。也就是那篇論文里講的事情。
我們并不需要把輸出結(jié)果傳給信號處理算法來得到語音信號颤陶，而是直接處理語音信號的波颗管。
他們用的模型是 CNN。這個模型的每一個隱藏層中滓走，每個擴張因子垦江，可以互聯(lián)，并呈指數(shù)型的增長搅方。每一步生成的樣本比吭，都會被重新投入網(wǎng)絡(luò)中，并且用于產(chǎn)生下一步姨涡。
我們可以來看一下這個模型的圖衩藤。輸入的數(shù)據(jù)，是一個單獨的節(jié)點涛漂，它作為粗糙的音波赏表，首先需要進行一下預(yù)處理，以便于進行下面的操作匈仗。
接著我們對它進行編碼瓢剿，來產(chǎn)生一個 Tensor，這個 Tensor 有一些 sample 和 channel悠轩。
然后把它投入到 CNN 網(wǎng)絡(luò)的第一層中间狂。這一層會產(chǎn)生 channel 的數(shù)量，為了進行更簡單地處理哗蜈。
然后把所有輸出的結(jié)果組合在一起前标，并且增加它的維度。再把維度增加到原來的 channel 的數(shù)量距潘。
把這個結(jié)果投入到損失函數(shù)中炼列，來衡量我們的模型訓(xùn)練的如何。
最后音比，這個結(jié)果會被再次投入到網(wǎng)絡(luò)中俭尖，來生成下一個時間點所需要的音波數(shù)據(jù)。
重復(fù)這個過程就可以生成更多的語音洞翩。
這個網(wǎng)絡(luò)很大稽犁，在他們的 GPU 集群上需要花費九十分鐘，并且僅僅只能生成一秒的音頻骚亿。
接下來我們會用一個更簡單的模型在 TensorFlow 上來實現(xiàn)一個音頻生成器已亥。
1.引入packages:
數(shù)據(jù)科學(xué)包 Numpy ，數(shù)據(jù)分析包 Pandas来屠，tqdm 可以生成一個進度條虑椎，顯示訓(xùn)練時的進度。
import numpy as np
import pandas as pd
import msgpack
import glob
import tensorflow as tf
from tensorflow.python.ops import control_flow_ops
from tqdm import tqdm
import midi_manipulation
我們會用到一種神經(jīng)網(wǎng)絡(luò)的模型 RBM－Restricted Boltzmann Machine 作為生成模型俱笛。
它是一個兩層網(wǎng)絡(luò)：第一層是可見的捆姜，第二層是隱藏層。同一層的節(jié)點之間沒有聯(lián)系迎膜，不同層之間的節(jié)點相互連接泥技。每一個節(jié)點都要決定它是否需要將已經(jīng)接收到的數(shù)據(jù)發(fā)送到下一層，而這個決定是隨機的磕仅。
2.定義超參數(shù)：
先定義需要模型生成的 note 的 range
lowest_note = midi_manipulation.lowerBound #the index of the lowest note on the piano roll
highest_note = midi_manipulation.upperBound #the index of the highest note on the piano roll
note_range = highest_note-lowest_note #the note range
接著需要定義 timestep 珊豹，可見層和隱藏層的大小。
num_timesteps = 15 #This is the number of timesteps that we will create at a time
n_visible = 2*note_range*num_timesteps #This is the size of the visible layer.
n_hidden = 50 #This is the size of the hidden layer
訓(xùn)練次數(shù)榕订，批量處理的大小平夜，還有學(xué)習(xí)率。
num_epochs = 200 #The number of training epochs that we are going to run. For each epoch we go through the entire data set.
batch_size = 100 #The number of training examples that we are going to send through the RBM at a time.
lr = tf.constant(0.005, tf.float32) #The learning rate of our model
3.定義變量：
x 是投入網(wǎng)絡(luò)的數(shù)據(jù)
w 用來存儲權(quán)重矩陣卸亮，或者叫做兩層之間的關(guān)系
此外還需要兩種 bias忽妒，一個是隱藏層的 bh，一個是可見層的 bv
x = tf.placeholder(tf.float32, [None, n_visible], name="x") #The placeholder variable that holds our data
W = tf.Variable(tf.random_normal([n_visible, n_hidden], 0.01), name="W") #The weight matrix that stores the edge weights
bh = tf.Variable(tf.zeros([1, n_hidden], tf.float32, name="bh")) #The bias vector for the hidden layer
bv = tf.Variable(tf.zeros([1, n_visible], tf.float32, name="bv")) #The bias vector for the visible layer
接著兼贸，用輔助方法 gibbs_sample 從輸入數(shù)據(jù) x 中建立樣本段直，以及隱藏層的樣本：
gibbs_sample 是一種可以從多重概率分布中提取樣本的算法。
它可以生成一個統(tǒng)計模型溶诞，其中鸯檬，每一個狀態(tài)都依賴于前一個狀態(tài)，并且隨機地生成符合分布的樣本螺垢。
#The sample of x
x_sample = gibbs_sample(1)
#The sample of the hidden nodes, starting from the visible state of x
h = sample(tf.sigmoid(tf.matmul(x, W) + bh))
#The sample of the hidden nodes, starting from the visible state of x_sample
h_sample = sample(tf.sigmoid(tf.matmul(x_sample, W) + bh))
4.更新變量：
size_bt = tf.cast(tf.shape(x)[0], tf.float32)
W_adder = tf.mul(lr/size_bt, tf.sub(tf.matmul(tf.transpose(x), h), tf.matmul(tf.transpose(x_sample), h_sample)))
bv_adder = tf.mul(lr/size_bt, tf.reduce_sum(tf.sub(x, x_sample), 0, True))
bh_adder = tf.mul(lr/size_bt, tf.reduce_sum(tf.sub(h, h_sample), 0, True))
#When we do sess.run(updt), TensorFlow will run all 3 update steps
updt = [W.assign_add(W_adder), bv.assign_add(bv_adder), bh.assign_add(bh_adder)]
5.接下來喧务，運行 Graph 算法圖：
1.先初始化變量
with tf.Session() as sess:
#First, we train the model
#initialize the variables of the model
init = tf.initialize_all_variables()
sess.run(init)
首先需要 reshape 每首歌赖歌，以便于相應(yīng)的向量表示可以更好地被用于訓(xùn)練模型。
for epoch in tqdm(range(num_epochs)):
for song in songs:
#The songs are stored in a time x notes format. The size of each song is timesteps_in_song x 2*note_range
#Here we reshape the songs so that each training example is a vector with num_timesteps x 2*note_range elements
song = np.array(song)
song = song[:np.floor(song.shape[0]/num_timesteps)*num_timesteps]
song = np.reshape(song, [song.shape[0]/num_timesteps, song.shape[1]*num_timesteps])
2.接下來就來訓(xùn)練 RBM 模型功茴，一次訓(xùn)練一個樣本
for i in range(1, len(song), batch_size):
tr_x = song[i:i+batch_size]
sess.run(updt, feed_dict={x: tr_x})
模型完全訓(xùn)練好后庐冯，就可以用來生成 music 了。
3.需要訓(xùn)練 Gibbs chain
其中的 visible nodes 先初始化為0坎穿，來生成一些樣本展父。
然后把向量 reshape 成更好的格式來 playback。
sample = gibbs_sample(1).eval(session=sess, feed_dict={x: np.zeros((10, n_visible))})
for i in range(sample.shape[0]):
if not any(sample[i,:]):
continue
#Here we reshape the vector to be time x notes, and then save the vector as a midi file
S = np.reshape(sample[i,:], (num_timesteps, 2*note_range))
4.最后玲昧，打印出生成的和弦
midi_manipulation.noteStateMatrixToMidi(S, "generated_chord_{}".format(i))
綜上栖茉，就是用 CNN 來參數(shù)化地生成音波，
用 RBM 可以很容易地根據(jù)訓(xùn)練數(shù)據(jù)生成音頻樣本孵延，
Gibbs 算法可以基于概率分布幫我們得到訓(xùn)練樣本吕漂。
