企業(yè)想保護(hù)的是什么

機(jī)器學(xué)習(xí), 尤其是現(xiàn)今流行的深度學(xué)習(xí), 主要是深度神經(jīng)網(wǎng)絡(luò), 其中包含兩個部分:

• 網(wǎng)絡(luò)結(jié)構(gòu), 比如用了幾個隱含層, 每個隱含層的神經(jīng)元數(shù)量各自是多少, 激活函數(shù)用的是ReLU還是tanh還是其他, 卷積層是怎樣的, 有沒有層間直接的連接等等.
• 網(wǎng)絡(luò)參數(shù), 每個神經(jīng)元都只是做$Z=W A +B $, A是上一層傳來的?值, ?獨(dú)立參與計算的就是W和B.

如果知道了一個神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù), 這個網(wǎng)絡(luò)就可以被復(fù)制并且使用. 如果僅僅知道了?神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu), 還需要?自己去找大量的數(shù)據(jù)進(jìn)行訓(xùn)練, 也是可以找到參數(shù)的, 自己訓(xùn)練找到的參數(shù)集合和其他人訓(xùn)練得出的參數(shù)集合會有不同, 可能有細(xì)微的差異.

神經(jīng)網(wǎng)絡(luò)的使用和訓(xùn)練不是一會事:

• 使用, 只需要讓數(shù)據(jù)按照網(wǎng)絡(luò)的方向前向流動, 也就是不斷計算$Z=W A +B, A=F(Z) $, 這個速度可以比較快, 涉及到的運(yùn)算量相對較少. 比如一些經(jīng)過精巧優(yōu)化過的神經(jīng)網(wǎng)絡(luò)可以在手機(jī)達(dá)到實(shí)時(20-30fps)識別圖像的能力. ?
• 訓(xùn)練, 需要將神經(jīng)網(wǎng)絡(luò)?按照反向進(jìn)行求導(dǎo), 將誤差反向傳播到各個參數(shù)上, 然后逐漸迭代. 訓(xùn)練需要極大的計算能力, 比如多個高等級的GPU群組, 經(jīng)過數(shù)天乃至數(shù)周的運(yùn)算, 才能將神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成.

現(xiàn)有神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)雖然在迅速變化, 日新月異, 但總量有限, 而且目前這個領(lǐng)域還處于學(xué)術(shù)研究的早中期, 大量的網(wǎng)絡(luò)結(jié)構(gòu)是開源的, ?學(xué)術(shù)界更多在探索網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)上. 由于訓(xùn)練獲得理想的參數(shù)需要大量的數(shù)據(jù), 而數(shù)據(jù)又是企業(yè)的優(yōu)勢, 或者獲取數(shù)據(jù)昂貴, 所以企業(yè)更多是用已有的結(jié)構(gòu)稍作修改, 然后使用自有的數(shù)據(jù)進(jìn)行訓(xùn)練, 獲取參數(shù).

綜上, 企業(yè)在神經(jīng)網(wǎng)絡(luò)的參數(shù)上投入資本更多, 需要保護(hù)的是神經(jīng)網(wǎng)絡(luò)的參數(shù).

專利保護(hù)

申請專利顯然是保護(hù)知識產(chǎn)權(quán)最常規(guī)的做法, 那么在專利里面列出參數(shù)表進(jìn)行保護(hù)?

當(dāng)然有這樣的實(shí)例, 比如對于藥品\化學(xué)品的專利, 就可以對配方的配比進(jìn)行保護(hù), 按照這個比例或者用量做出來的藥物才有效. 但是對于深度神經(jīng)網(wǎng)絡(luò)來說, 有一些問題:

參數(shù)數(shù)量

參數(shù)多, 一個網(wǎng)絡(luò)?光是層數(shù)就可能有152層(比如深得離譜的ResNet), 每層又有很多個神經(jīng)元, 每個神經(jīng)元上其實(shí)是輸入*輸出數(shù)量的矩陣, 整個參數(shù)表是非常大的. 光是列出來這些參數(shù)數(shù)據(jù)恐怕就需要K或者M(jìn)這樣的數(shù)量級. 這在現(xiàn)階段的專利文本上是不現(xiàn)實(shí)的.

保護(hù)范圍

對于一個數(shù), 保護(hù)這個數(shù)的數(shù)值是沒有意義的, 比如寫個黑色火藥的專利, 保護(hù)"1硫2硝3木炭", 那么"1.003硫, 1.997硝, 3木炭"的爆炸效果應(yīng)該也不會差.

所以一定要保護(hù)一個范圍, 比如硫的比例在0.5~1.5, 但?要去對每一個參數(shù)一一進(jìn)行保護(hù)范圍的限定, 也是非常困難的:

• 首先都列出來是個難題.
• ?其次, 前面說過大量的應(yīng)用是建立在同一網(wǎng)絡(luò)結(jié)構(gòu)之上的, 不同的應(yīng)用可能只是部分參數(shù)的微小差別, 要組合多個網(wǎng)絡(luò)參數(shù)的差別才會變成另一個應(yīng)用. 如果把參數(shù)看作是座標(biāo)的話, 相當(dāng)于在極高的維度上進(jìn)行空間范圍的限定和劃分, 這恐怕已經(jīng)超出了法律所能夠進(jìn)行的能力.

侵權(quán)識別

專利權(quán)只有能夠?qū)η謾?quán)者施加懲罰才有意義, 其中的必要條件就是要能夠識別出侵權(quán)者, 由于網(wǎng)絡(luò)結(jié)構(gòu)可能一樣, 所以?從程序的行為上是否可以判定程序是否侵權(quán)呢? 前面說過一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)都一致就是同一個神經(jīng)網(wǎng)絡(luò), 那么在結(jié)構(gòu)不變或者已知的情況下, 就需要去判定參數(shù)了.

逆向工程獲取參數(shù), 也許有可能做到, 但這要求神經(jīng)網(wǎng)絡(luò)是在本地運(yùn)行的, 如果在云端, 則參數(shù)很難采集到. 采集不到參數(shù)就不足以證明對方的侵權(quán)行為.

綜上, 機(jī)器學(xué)習(xí)的專利?保護(hù)會有難撰寫, 難申請, 侵權(quán)難界定的問題.? 有可能專利保護(hù)并非機(jī)器學(xué)習(xí)?知識產(chǎn)權(quán)的有力工具.