自我介紹
面試官好 我叫黃偉琛 本科畢業(yè)于廈門大學(xué)經(jīng)濟(jì)學(xué)院 統(tǒng)計(jì)系 現(xiàn)在在人民大學(xué)信息學(xué)院讀計(jì)算機(jī)的碩士 24年畢業(yè) 研究方向是計(jì)算機(jī)視覺和深度學(xué)習(xí) 接觸過比較多種類型的深度學(xué)習(xí)項(xiàng)目 比如 語義分割 醫(yī)療圖像分割 命名實(shí)體識(shí)別 文本分類 知識(shí)圖譜實(shí)體預(yù)測和零樣本圖像分類 能使用 python c++等語言編程 熟悉 pytorch sklearn等工具 獨(dú)立實(shí)現(xiàn)了一個(gè)基于pytorch的支持單機(jī)多卡的圖像分割套件 熟悉linux環(huán)境 會(huì)簡單的shell腳本編程 具備較強(qiáng)的動(dòng)手實(shí)踐能力 能夠快速用程序把想法實(shí)現(xiàn) 具備良好的團(tuán)隊(duì)合作精神 善于溝通
論文介紹
醫(yī)療圖像分割指引這個(gè)文 原本是想做一個(gè)綜述的 比較了不同的數(shù)據(jù)增強(qiáng)方法捎泻、不同的模型和圖像上不同的注意力模塊在醫(yī)療圖像分割上的作用 做了對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn) 然后在實(shí)驗(yàn)的幾個(gè)數(shù)據(jù)集上找出了一個(gè)比較好的策略組合 但是實(shí)驗(yàn)就只涉及兩個(gè)數(shù)據(jù)集 不能說明這個(gè)組合的泛用性 然后就是把CapsNet Attn UNet進(jìn)行組合 搞了一個(gè)模型 效果一般（Capsnet：一個(gè)capsule是一個(gè)向量 用向量模的大小衡量某個(gè)實(shí)體出現(xiàn)的概率 模值越大 概率越大 膠囊之間的傳遞用的是一種動(dòng)態(tài)路由的方法 實(shí)現(xiàn)了可反向傳播 ）
關(guān)于零樣本學(xué)習(xí)的這個(gè)文是要做一個(gè)新問題 就是零樣本學(xué)習(xí)他本身定義是模仿人類通過語義描述或者說屬性的描述 來學(xué)習(xí)新類別的一個(gè)過程 但是在學(xué)習(xí)者聯(lián)網(wǎng)的狀態(tài)下 對(duì)未見類除了理解它的語義描述 也應(yīng)該對(duì)這些類別進(jìn)行網(wǎng)絡(luò)檢索 獲取有效的數(shù)據(jù) 這樣比較符合人類學(xué)習(xí)的過程 那我作為一臺(tái)機(jī)器通過網(wǎng)絡(luò)檢索 拿到了一些圖片 然后通過離群檢測 發(fā)現(xiàn)斑馬和獅子有蠻多和其他的動(dòng)物分布比較符合的圖片 閃電鳥沒有有效圖片或者只有一兩張有效圖片 這里的閃電鳥是胡謅的 就是代表一個(gè)檢索不到有效數(shù)據(jù)的類 那這個(gè)任務(wù)里的未見類其實(shí)是發(fā)生了變化的 可以通過網(wǎng)絡(luò)檢索出的數(shù)據(jù)擴(kuò)充現(xiàn)有數(shù)據(jù)集 這個(gè)才比較符合人類學(xué)習(xí)新類別的這個(gè)過程 但是我們必須還得用零樣本學(xué)習(xí)的模型和方法 因?yàn)樵跀U(kuò)充網(wǎng)絡(luò)數(shù)據(jù)以后 依然可能有閃電鳥這樣的未見類 大概就是這樣一個(gè)問題 工作主要是要做這個(gè)問題的數(shù)據(jù)集 還有就是做一個(gè)baseline跑一下實(shí)驗(yàn) 目前這邊 數(shù)據(jù)集做完了 做的baseline是生成式的模型 實(shí)驗(yàn)也基本跑完了
零樣本
訓(xùn)練過程
- 提取visual特征 visual特征->語義特征 D(G(語義特征+z)) 對(duì)抗訓(xùn)練
- 用 訓(xùn)練集+假未見類 訓(xùn)練分類器
augmentation
Mixup 將隨機(jī)的兩張樣本按比例混合，分割的結(jié)果按比例混合
Cutout 隨機(jī)的將樣本中的部分區(qū)域cut掉，并且填充0像素值堂鲤，分割的結(jié)果去掉目標(biāo)區(qū)域
CutMix 就是將一部分區(qū)域cut掉但不填充0像素而是隨機(jī)填充訓(xùn)練集中的其他數(shù)據(jù)的區(qū)域像素值
極坐標(biāo)變換 代碼有點(diǎn)問題
高斯濾波 cv2.GaussianBlur() 濾波過程就像卷積 只是權(quán)重是固定的
雙邊濾波 用于平滑圖像 同時(shí)保留邊緣 原理是在像素值的差值較大的區(qū)域 對(duì)應(yīng)值域權(quán)重接近于0 可以保持邊緣梯度
attention in cv
channel attention 如squeeze and excitation 對(duì)feature的各個(gè)channel的二維張量進(jìn)行一個(gè)全局平均池化 然后通過線性映射和sigmoid 得到一個(gè)各個(gè)channel的權(quán)重 更多地關(guān)注信息豐富的特征 抑制信息少的特征
spatial attention 在channel的維度上使用最大池化或平均池化得到一個(gè)channel數(shù)量為1的二維張量 然后在對(duì)這個(gè)矩陣進(jìn)行大核的卷積和歸一化 就得到空間注意力矩陣
self attention 如DANet 讓特征和自己的reshape進(jìn)行矩陣乘積和softmax 來關(guān)注每個(gè)position之間的注意力
醫(yī)療圖像分割的模型
DC-UNet 采用多個(gè)通路的3個(gè)3x3卷積層代替ResUNet殘差連接
UACANet 顯著圖 摳出 前景和背景 然后對(duì)前景和背景用進(jìn)行self attention模塊進(jìn)行處理
ResUNet++ 有殘差連接 基于ResUNet 加入channel attention和spatial attention 和ASPP（Atrous Spatial Pyramid Poolingb）
小樣本學(xué)習(xí)
因?yàn)獒t(yī)療圖像的小樣本分割 很難找到相似的場景 或者說匹配的先驗(yàn) 比如我做的兩個(gè)任務(wù)一個(gè)是眼底圖血管的分割 一個(gè)是超聲圖血管瘤的分割 遷移學(xué)習(xí)基本就不管用 所以當(dāng)時(shí)只嘗試了半監(jiān)督的方式和數(shù)據(jù)增強(qiáng)的方式
self-training 把測試集當(dāng)成無標(biāo)簽的數(shù)據(jù) 策略是把置信度大于閾值點(diǎn)做一個(gè)平均 然后排序 把平均置信度最高的幾個(gè)pred作為標(biāo)簽 加入訓(xùn)練集中
數(shù)據(jù)增強(qiáng) mixup cutout cutmix
為什么用UNet做醫(yī)療
首先是病灶或者說分割的目標(biāo)類邊界模糊 需要融合不同層次的特征 然后就是說輸入比較規(guī)范 特征的語義信息比較簡單 所以低級(jí)的特征融合進(jìn)來對(duì)分割也很有幫助 還有一點(diǎn)是因?yàn)獒t(yī)療圖像的樣本量不大 也就是說如果用大模型
模型能力相對(duì)來說就太強(qiáng) 容易過擬合
NER
輸入和輸出 詞向量（token embeddings）凹蜈、段向量(segment embeddings)遇骑、位置向量(position embeddings)
vectorized用的是sklearn的TextVectorization 最后BERT的輸出seq接一個(gè)crf
Bi-LSTM+CRF 將向量序列輸入兩個(gè)雙向的LSTM單元 將正向反向輸出拼接 CRF（條件隨機(jī)場）可以學(xué)習(xí)到句子的約束條件 可以加入一些約束來保證最終預(yù)測結(jié)果是有效的
MacBERT 用相似的單詞（大部分）和隨機(jī)的單詞進(jìn)行mask
RoBERTa-chinese 相對(duì)于BERT的靜態(tài) mask撵枢，換成動(dòng)態(tài)mask 即每次數(shù)據(jù)被 feed 進(jìn)模型時(shí)捧请，重新做一遍隨機(jī) mask 相當(dāng)于擴(kuò)大了訓(xùn)練數(shù)據(jù)的量級(jí)
self attention 將query和每個(gè)key進(jìn)行相似度計(jì)算得到權(quán)重（點(diǎn)積/sqrt(d)）用softmax函數(shù)對(duì)這些權(quán)重進(jìn)行歸一化 最后將權(quán)重和相應(yīng)的鍵值value進(jìn)行加權(quán)求和得到最后的attention
實(shí)體預(yù)測
transE embedding模型 embedding后從實(shí)體矩陣和關(guān)系矩陣中各自抽取一個(gè)向量 進(jìn)行L1或者L2運(yùn)算 得到的結(jié)果近似于實(shí)體矩陣中的另一個(gè)實(shí)體的向量（L1是模型各個(gè)參數(shù)的絕對(duì)值之和 L2是模型各個(gè)參數(shù)的平方和的開方值）
項(xiàng)目介紹
研一上學(xué)期老師給我制定的任務(wù)是分割 開學(xué)前那會(huì)在學(xué)深度學(xué)習(xí) 為了方便工作還有就是對(duì)鞏固一下學(xué)習(xí)的知識(shí) 就寫了一個(gè)基于pytorch的分割套件 就是針對(duì)自定義的數(shù)據(jù)集 可以選用套件里的優(yōu)化器 lr-scheduler 損失函數(shù) 數(shù)據(jù)增強(qiáng)方式 模型 進(jìn)行訓(xùn)練和測試 然后訓(xùn)練 驗(yàn)證的時(shí)候 可以調(diào)用套件里的評(píng)估指標(biāo) 然后因?yàn)閷W(xué)校那邊給的計(jì)算資源是單機(jī)多卡 所以套件也用了ddp模塊 除了這些以外套件里還有一些工具 比如ema 比如像grad-cam這種可視化的工具 大概是這樣一個(gè)東西
ddp
dp用的parameter server的結(jié)構(gòu) loss會(huì)reduce到server統(tǒng)一更新梯度 類似于client server結(jié)構(gòu) 效率不高 server顯存分配更多 容易o(hù)om 僅單機(jī)多卡
ddp用的all reduce比較像p2p模型 梯度更新用的一種環(huán)狀更新的方法 不需要server 顯存平均分配 效率高 支持多機(jī)
設(shè)置local_rank 本地進(jìn)程序號(hào)
init the DDP backend (GLOO)
torch.distributed.barrier() 對(duì)不同卡上的進(jìn)程進(jìn)行同步
dataloader里要用DistributedSampler作為sampler
要用SyncBatchNorm和ddp包裝模型 （torch.nn.parallel.DistributedDataParallel as DDP）
torch.distributed.reduce和broadcast進(jìn)行進(jìn)程通訊 reduce 里有op 例如sum就是把不同進(jìn)程上的tensor求和放到目的進(jìn)程
評(píng)估指標(biāo)
準(zhǔn)確率(accuracy) = 預(yù)測對(duì)的/所有 = (TP+TN)/(TP+FN+FP+TN)
查準(zhǔn)率(precision) = 真陽性/預(yù)測為陽性 = TP/(TP+FP)
召回率(recall) = 真陽性/gt為陽性 = TP/(TP+FN)
f1-score = 2*P*R / (P+R)
IoU intersection over union
Acc在樣本不均衡的時(shí)候不能很好的作為衡量指標(biāo) 比如在樣本集中 正樣本有90個(gè) 負(fù)樣本有10個(gè) 只需要將全部樣本預(yù)測為正樣本 就能得到90%的準(zhǔn)確率
P是查準(zhǔn) R是查全 此消彼長 所以用加權(quán)平均來衡量 這個(gè)就是F1
語義分割模型
PSPNet backbone是ResNet 有個(gè)SPP模塊 把feature池化到不同的大小 然后用1x1conv融合不同channel的信息 最后再把不同大小的feature進(jìn)行上采樣然后拼接 就有了不同的感受野信息
deeplabv3 類似ASPP模塊 用不同dilation rate的空洞卷積進(jìn)行特征提取 然后進(jìn)行上采樣拼接 然后用1x1conv去融合不同channel的信息 然后decode的過程像UNet的一樣 在上采樣完以后和低級(jí)特征拼接在一起 就是他可以獲取不同感受野 不同層級(jí)的信息
lr_scheduler
逐步衰減
余弦退火 T_max代表1/2個(gè)cos周期所對(duì)應(yīng)的epoch值 學(xué)習(xí)率下降到最小值時(shí)的epoch數(shù) 即當(dāng)epoch=T_max時(shí) 學(xué)習(xí)率下降到余弦函數(shù)最小值 當(dāng)epoch>T_max時(shí)锋喜，學(xué)習(xí)率將增大
遇到平臺(tái)期衰減 ReduceLROnPlateau
自定義 LambdaLR 自己實(shí)現(xiàn)的平臺(tái)期退火
loss
weighted_loss 對(duì)正樣本和負(fù)樣本賦予不同的權(quán)重
focal_loss 將像素分為難學(xué)習(xí)和容易學(xué)習(xí)這兩種樣本
dice_loss 2*pred交gt/(pred正樣本數(shù)量+gt正樣本數(shù)量) 也在一定程度上解決正負(fù)樣本不均
focalloss diceloss 兩者區(qū)別 focalloss 注重樣本數(shù)量上的不均 dice注重的是面積上的不均衡衡的問題
grad-cam
有點(diǎn)忘了 具體不太清楚 只知道是對(duì)每個(gè)目標(biāo)類的預(yù)測值進(jìn)行backforward 求出特征層的每個(gè)通道的每個(gè)像素的梯度u
過擬合和欠擬合
欠擬合 模型能力不足過于線性 不能很好地?cái)M合樣本的分布 和樣本和總體的偏差很大
解決方法 增加模型深度 增加激活層 減少正則 增加特征
過擬合 模型能力強(qiáng)但樣本量不足 在訓(xùn)練集上表現(xiàn)很好 但測試集上表現(xiàn)很差
解決方法 early stopping drop out augmentation regularazation 交叉驗(yàn)證 減少輸入特征 batchnorm
正則化
L1 在loss里對(duì)weight的絕對(duì)值之和進(jìn)行懲罰
L2 在loss里對(duì)weight的歐幾里得范數(shù)進(jìn)行懲罰
更新梯度的時(shí)候 L1相當(dāng)于對(duì)weight的絕對(duì)值做了一個(gè)減法 可以把部分weight直接降到0 L2相當(dāng)于對(duì)weight進(jìn)行decay不會(huì)降到零 L1可能會(huì)影響模型參數(shù)優(yōu)化的效率
BN
BN取的是不同樣本的同一個(gè)特征 而LN取的是同一個(gè)樣本的不同特征
在BN和LN都能使用的場景中 BN的效果一般優(yōu)于LN 原因是基于不同數(shù)據(jù) 同一特征得到的歸一化特征更不容易損失信息 但是有些場景是不能使用BN的 例如batchsize較小
- BN使得網(wǎng)絡(luò)中每層輸入數(shù)據(jù)的分布相對(duì)穩(wěn)定些己，加速模型學(xué)習(xí)速度
- BN的引入極大的降低了sigmoid和tanh這樣的激活函數(shù)梯度消失的風(fēng)險(xiǎn)
- 使用了Batch Normalization 初始化參數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的影響減小
- BN具有一定的正則化效果。
一般加在激活函數(shù)之前 測試的時(shí)候用的是測試集的均值和方差 running_mean running_var
linux
conda screen
一行查找包含字符串的文件 grep -rn "hello world" * （find也可以）
* : 表示當(dāng)前目錄所有文件嘿般，也可以是某個(gè)文件名
-r 是遞歸查找
-n 是顯示行號(hào)
-R 查找所有文件包含子目錄
-i 忽略大小寫
shell腳本 傳參 變量定義 反引號(hào)的使用 流程控制（for in do done/ if then fi） 輸入輸出流
推薦算法
協(xié)同過濾 有基于用戶的和基于物品的兩種 基于用戶的是說給用戶推薦與他愛好相似的用戶群的喜好 基于物品的是說推薦與喜歡的物品相似的物品
系統(tǒng)結(jié)構(gòu)
- 推薦池：一般會(huì)基于一些規(guī)則段标，從整體物料庫（可能會(huì)有幾十億甚至百億規(guī)模）中選擇一些item進(jìn)入推薦池，再通過汰換規(guī)則定期進(jìn)行更新炉奴。
- 召回：從推薦池中選取幾千上萬的item逼庞，送給后續(xù)的排序模塊。由于召回面對(duì)的候選集十分大瞻赶，且一般需要在線輸出赛糟，故召回模塊必須輕量快速低延遲。
- 粗排：獲取召回模塊結(jié)果砸逊，從中選擇上千item送給精排模塊璧南。粗排可以理解為精排前的一輪過濾機(jī)制，減輕精排模塊的壓力师逸。粗排介于召回和精排之間司倚，要同時(shí)兼顧精準(zhǔn)性和低延遲。一般模型也不能過于復(fù)雜篓像。
- 精排：獲取粗排模塊的結(jié)果动知，對(duì)候選集進(jìn)行打分和排序。精排需要在最大時(shí)延允許的情況下员辩，保證打分的精準(zhǔn)性拍柒，是整個(gè)系統(tǒng)中至關(guān)重要的一個(gè)模塊，也是最復(fù)雜屈暗，研究最多的一個(gè)模塊拆讯。精排系統(tǒng)構(gòu)建一般需要涉及樣本脂男、特征、模型三部分种呐。
- 重排：獲取精排的排序結(jié)果宰翅，基于運(yùn)營策略、多樣性爽室、context上下文等汁讼，重新進(jìn)行一個(gè)微調(diào)。
- 混排：多個(gè)業(yè)務(wù)線都想在Feeds流中獲取曝光阔墩，則需要對(duì)它們的結(jié)果進(jìn)行混排嘿架。比如推薦流中插入廣告、視頻流中插入圖文和banner等啸箫。
svm
是一個(gè)二分類器 他的目標(biāo)是找到和支持向量（離分類超平面最近的點(diǎn)）與超平面的距離之和最大的那個(gè)超平面
核函數(shù)：通過低維空間的一個(gè)復(fù)雜運(yùn)算代替高維空間中的普通內(nèi)積耸彪，實(shí)現(xiàn)等效升維，維度夠高都是線性可分的
BiLSTM
首先忘苛，BiLSTM-CRF的輸入是詞向量蝉娜，輸出是每個(gè)單詞的預(yù)測的序列標(biāo)注。
第一步：單詞輸入扎唾，單詞進(jìn)入look-up layer層召川，使用CBOW、Skip-gram或者glove模型映射為詞向量胸遇。
第二步：詞向量進(jìn)入BiLSTM層荧呐，通過學(xué)習(xí)上下文的信息，輸出每個(gè)單詞對(duì)應(yīng)于每個(gè)標(biāo)簽的得分概率纸镊。
例如倍阐，對(duì)于w0，BiLSTM節(jié)點(diǎn)的輸出得分是1.5 (B-Person), 0.9 (I-Person), 0.1 (B-Organization), 0.08 (I-Organization) 以及0.05 (O)薄腻，這些score作為CRF layer的輸入。
此處的標(biāo)簽的得分概率作為CRF模型中的未歸一化的發(fā)射概率届案。
第三步：所有的BiLSTM的輸出將作為CRF層的輸入庵楷，通過學(xué)習(xí)標(biāo)簽之間的順序依賴信息，得到最終的預(yù)測結(jié)果
目標(biāo)檢測
1-stage r-cnn 先用分割方法選出目標(biāo)區(qū)域 然后用一個(gè)算法合并一些目標(biāo)區(qū)域 最后通過分類和IoU閾值得出結(jié)果
2-stage yolo 將圖像劃分為SxS個(gè)patch 對(duì)每一個(gè)區(qū)域卷積網(wǎng)絡(luò)的一個(gè)head直接輸出指定數(shù)量個(gè)的bounding box（中心點(diǎn) h w prob） 另一個(gè)head直接輸出每個(gè)patch的logit 然后對(duì)于每一個(gè)類的所有bb根據(jù)prob從大到小進(jìn)行排序 所以第一個(gè)框是概率最大的框 開始掃描下一個(gè)框跟第一個(gè)框 看是否IOU大于0.5 大于0.5表示重復(fù) 可以刪去 然后重復(fù)這個(gè)過程 第二輪開始選中概率第二大的框和后面的其他框進(jìn)行同樣的IoU判別
anchor base 就是先生成候選框 anchor free就是網(wǎng)絡(luò)直接生成bb（yolo）
梯度下降的原理
y=x^2舉例 x>0 梯度為正 y上升 如果步幅合適往梯度相反的方向移動(dòng)x就可以到達(dá)極值點(diǎn)附近
finetune
一般在基礎(chǔ)特征提取網(wǎng)絡(luò)上進(jìn)行finetune訓(xùn)練時(shí) 建議q凍結(jié)除BatchNormalization layers的其他layer 因?yàn)锽N層凍結(jié)了會(huì)導(dǎo)致running average/variation 不更新
上采樣
逆卷積 二次線性插值 最近插值
分割邊緣模糊
帶有邊緣檢測的損失函數(shù)
重載和重寫的區(qū)別
重載是根據(jù)參數(shù)調(diào)用同名的不同方法 重寫是子類重寫父類的方法
