回歸loss筆記

\color{#ea4335}{回歸loss更多用于圖像領(lǐng)域的够颠,分類(lèi)loss更多的應(yīng)用于分類(lèi)任務(wù),常用loss如下}
[圖片上傳失敗...(image-ee44b2-1619413842353)]
](https://upload-images.jianshu.io/upload_images/16949777-c3860d701efbec2e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

\color{#ea4335}{1. L 1 -loss(絕對(duì)值損失)}
\color{#ea4335}{2. L2 -loss (MSE寇窑、平方差損失戏锹、均方誤差)}
content_loss += torch.mean((f1 - f2) ** 2)

MSE

\color{#ea4335}{3. huberb- loss(smoothed-L1 loss)}
為了解決L1 loss在0點(diǎn)處不能求導(dǎo)以及L2 loss對(duì)離群點(diǎn)比較敏感的問(wèn)題宋下,提出了huber loss融合了L1政模、L2 loss的優(yōu)點(diǎn)

image.png

\color{#ea4335}{4. BCE -loss }
BCE loss是二元交叉熵?fù)p失笋熬,其實(shí)是二分類(lèi)交叉熵?fù)p失十偶,可以用在前背景分割菩鲜、語(yǔ)義分割的網(wǎng)絡(luò)訓(xùn)練當(dāng)中
loss_fn = nn.BCELoss()
\color{#ea4335}{5. perceptual -loss }
感知損失,就是把預(yù)訓(xùn)練好的特征提取器相當(dāng)于人的眼睛惦积,要求生成的圖像和真實(shí)圖像經(jīng)過(guò)預(yù)訓(xùn)練好的模型提取得到的特征盡可能相似接校。在圖像生成里面,感知損失可以讓圖片生成地更加逼真一些
\color{#ea4335}{6. GAN -Loss ->從自動(dòng)編碼器入手 }
什么是自編碼器狮崩,自編碼器及其應(yīng)用詳解 (biancheng.net)
關(guān)于自編碼器的核心點(diǎn)理解zhuhongde的博客-CSDN博客自編碼器
\color{#ea4335}{7. 計(jì)算詞向量的cos相似度 }

def cosine_similarities(vector_1, vectors_all):
    """Compute cosine similarities between one vector and a set of other vectors.

    Parameters
    ----------
    vector_1 : numpy.ndarray
        Vector from which similarities are to be computed, expected shape (dim,).
    vectors_all : numpy.ndarray
        For each row in vectors_all, distance from vector_1 is computed, expected shape (num_vectors, dim).

    Returns
    -------
    numpy.ndarray
        Contains cosine distance between `vector_1` and each row in `vectors_all`, shape (num_vectors,).

    """
    norm = np.linalg.norm(vector_1)
    all_norms = np.linalg.norm(vectors_all, axis=1)
    dot_products = dot(vectors_all, vector_1)
    similarities = dot_products / (norm * all_norms)
    return similarities
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蛛勉,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子睦柴,更是在濱河造成了極大的恐慌诽凌,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件坦敌,死亡現(xiàn)場(chǎng)離奇詭異侣诵,居然都是意外死亡痢法,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,347評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)杜顺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)财搁,“玉大人,你說(shuō)我怎么就攤上這事躬络〖獗迹” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,435評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵穷当,是天一觀的道長(zhǎng)提茁。 經(jīng)常有香客問(wèn)我,道長(zhǎng)膘滨,這世上最難降的妖魔是什么甘凭? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,509評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮火邓,結(jié)果婚禮上丹弱,老公的妹妹穿的比我還像新娘。我一直安慰自己铲咨,他們只是感情好躲胳,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,611評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著纤勒,像睡著了一般坯苹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上摇天,一...
    開(kāi)封第一講書(shū)人閱讀 49,837評(píng)論 1 290
  • 那天粹湃,我揣著相機(jī)與錄音,去河邊找鬼泉坐。 笑死为鳄,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的腕让。 我是一名探鬼主播孤钦,決...
    沈念sama閱讀 38,987評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼纯丸!你這毒婦竟也來(lái)了偏形?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,730評(píng)論 0 267
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤觉鼻,失蹤者是張志新(化名)和其女友劉穎俊扭,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體坠陈,經(jīng)...
    沈念sama閱讀 44,194評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡统扳,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,525評(píng)論 2 327
  • 正文 我和宋清朗相戀三年喘帚,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片咒钟。...
    茶點(diǎn)故事閱讀 38,664評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡吹由,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出朱嘴,到底是詐尸還是另有隱情倾鲫,我是刑警寧澤,帶...
    沈念sama閱讀 34,334評(píng)論 4 330
  • 正文 年R本政府宣布萍嬉,位于F島的核電站乌昔,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏壤追。R本人自食惡果不足惜磕道,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,944評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望行冰。 院中可真熱鬧溺蕉,春花似錦、人聲如沸悼做。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,764評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)肛走。三九已至漓雅,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間朽色,已是汗流浹背邻吞。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,997評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留葫男,地道東北人吃衅。 一個(gè)月前我還...
    沈念sama閱讀 46,389評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像腾誉,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子峻呕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,554評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容