面向智能通信的深度強(qiáng)化學(xué)習(xí)方法

“… wireless personal digital assistants and the related networks are sufficiently computationally intelligent about radio resources and related computer to computer communications to detect user communications needs as a function of use context, and to provide radio resources and wireless services most appropriate to those needs”
“… 無(wú)線個(gè)人數(shù)字助理和相關(guān)網(wǎng)絡(luò)對(duì)無(wú)線電資源和相關(guān)的計(jì)算機(jī)到計(jì)算機(jī)通信具有足夠的計(jì)算智能柄延，以根據(jù)使用環(huán)境檢測(cè)用戶通信需求，并提供最適合這些需求的無(wú)線電資源和無(wú)線服務(wù)”
Mitola’s PhD thesis, 2000

J. Mitola在1999年提出
認(rèn)知無(wú)線電是一種智能無(wú)線通信系統(tǒng)
認(rèn)知無(wú)線電知道無(wú)線電頻率環(huán)境
認(rèn)知無(wú)線電選擇通信參數(shù)以優(yōu)化頻譜使用
認(rèn)知無(wú)線電會(huì)相應(yīng)地調(diào)整其發(fā)送和接收參數(shù)

Resources

• Radio Spectrum
• Energy
• Network Resources (RAT, …)
• Infrastructure

Needs

• EE/SE/CE
• QoS/QoE
  …

資源

• 無(wú)線頻譜
• 能量
• 網(wǎng)絡(luò)資源 (無(wú)線接入技術(shù)？Radio Access Technology, …)
• 基礎(chǔ)設(shè)施

需求

• EE/SE/CE
• 服務(wù)質(zhì)量 Quality of Service (QoS)
• 體驗(yàn)質(zhì)量 Quality of Experience (QoE)
  …

Cognition Cycle: 認(rèn)知無(wú)線電 1.0 動(dòng)態(tài)頻譜接入

• 動(dòng)態(tài)頻譜接入
• 解決頻譜短缺問(wèn)題
• 主要與次要使用者
• Dynamic Spectrum Access
• Solving Spectrum Shortage Issue
• Primary vs Secondary Users
• IEEE 802.22
• LTE-U/LAA

認(rèn)知無(wú)線電：brain-empowered 無(wú)線通信
Cognitive radio: brain-empowered wireless communications

認(rèn)知無(wú)線電 1.0

頻譜分配：常規(guī)方式
監(jiān)管機(jī)構(gòu)將無(wú)線電頻譜的不同部分分配給不同的服務(wù)。
無(wú)線電頻譜已在許多國(guó)家被完全分配窗慎！
比喻：
在高速公路上的車(chē)道

機(jī)會(huì)頻譜接入（OSA）

機(jī)會(huì)頻譜接入是關(guān)鍵解決方案
介紹分配頻譜的次要使用
主要用戶（PU）與次要用戶（SU）
次要用戶定期檢測(cè)主要用戶是否存在

• 如果是绸栅，則次要用戶不能使用該頻譜
• 否則，次要用戶可以利用該頻譜班眯。

比喻：
動(dòng)態(tài)改變高速公路上的車(chē)道

機(jī)會(huì)頻譜接入

次要用戶通過(guò)頻譜感知了解主要用戶的開(kāi)/關(guān)狀態(tài)
次要用戶捕獲時(shí)間/頻譜空洞以進(jìn)行傳輸

頻譜空洞
主要用戶不活動(dòng)的時(shí)隙/頻段/空間位置

• 時(shí)域頻譜空洞
• 頻域頻譜空洞
• 空間域頻譜空洞

電視空白
暫時(shí)未使用的電視頻譜
頻譜感知
次要用戶識(shí)別頻譜空洞的技術(shù)

帶內(nèi)感知
次要用戶感知次要用戶當(dāng)前正在操作的頻帶
帶外感知
當(dāng)發(fā)現(xiàn)帶內(nèi)被主要用戶占用時(shí)丈秩，次要用戶感知次要用戶當(dāng)前沒(méi)有正在操作的盯捌，但是可能要移動(dòng)到的頻帶

保護(hù)電視主要用戶：頻譜感知與地理位置數(shù)據(jù)庫(kù)
電視時(shí)間表、地理位置→數(shù)據(jù)庫(kù)→空間時(shí)間頻譜地圖
頻譜感知蘑秽、地理位置→數(shù)據(jù)庫(kù)→空間時(shí)間頻譜地圖

頻譜感知：兩個(gè)假設(shè)
目標(biāo)：基于x(n), n-0,1,…,N-1,來(lái)確定主要用戶是否處于活動(dòng)狀態(tài)筷狼。
樣本協(xié)方差矩陣
當(dāng)不存在信號(hào)時(shí)瓶籽，最大特征值與最小特征值之比=1
當(dāng)存在信號(hào)時(shí)匠童，最大特征值與最小特征值之比>1
我們可以將比值與閾值進(jìn)行比較埂材，以確定是否存在主信號(hào)

使用多個(gè)天線的頻譜感知：An Overview
Multi-antenna based spectrum sensing for cognitive radios: A GLRT approach

周期性帶內(nèi)感知的認(rèn)知MAC設(shè)計(jì)
兩個(gè)關(guān)鍵問(wèn)題：
應(yīng)該分配多少時(shí)間進(jìn)行感知？
應(yīng)該多久進(jìn)行一次感知汤求？
感知時(shí)間優(yōu)化
認(rèn)知無(wú)線電網(wǎng)絡(luò)的感知-吞吐量權(quán)衡
Sensing-Throughput Tradeoff for Cognitive Radio Networks
Sensing-Throughput Tradeoff for Cognitive Radio Networks
次要用戶的吞吐量最大化
主要用戶的充分保護(hù)

動(dòng)態(tài)頻譜訪問(wèn)的三種模型：

機(jī)會(huì)頻譜接入俏险，也稱(chēng)為交織模型
頻譜共享，也稱(chēng)為Underlay模型
混合共享模型

頻譜共享

主要用戶和次要用戶在相同的頻段和時(shí)間共存
干擾溫度
次要用戶的傳輸導(dǎo)致的主要用戶-Rx可以承受的最大干擾功率水平
性能損失容忍
次要用戶的傳輸導(dǎo)致的主要用戶-Rx可以承受的最大性能（例如capacity）損失

通過(guò)利用主要用戶CSI對(duì)衰落的認(rèn)知無(wú)線電信道進(jìn)行最優(yōu)功率控制
Optimal Power Control over Fading Cognitive Radio Channel by Exploiting Primary User CSI

混合共享模型

結(jié)合機(jī)會(huì)頻譜接入和頻譜共享模型的優(yōu)勢(shì)
工作原理：
當(dāng)主要用戶關(guān)閉時(shí)，次要用戶以其最大功率進(jìn)行傳輸
當(dāng)主要用戶開(kāi)啟時(shí)挤牛，次要用戶根據(jù)頻譜共享模型（例如莹痢，干擾功率約束）調(diào)節(jié)其發(fā)射功率

認(rèn)知無(wú)線電網(wǎng)絡(luò)中基于感知的頻譜共享
Sensing-Based Spectrum Sharing in Cognitive Radio Networks

有關(guān)認(rèn)知的更多信息

維基百科關(guān)于認(rèn)知的定義
認(rèn)知是不同學(xué)科以不同方式使用的概念，但通常被認(rèn)為是指認(rèn)知或思考的過(guò)程墓赴。
認(rèn)知級(jí)別
兒童級(jí)別：了解主要用戶的開(kāi)/關(guān)狀態(tài)→機(jī)會(huì)頻譜訪問(wèn)（OSA）（交織模型）
成人級(jí)別：了解對(duì)主要用戶的影響（干擾溫度竞膳，性能影響）→頻譜共享（underlay模型）
Genie級(jí)別：了解主要用戶的信息消息→頻譜共享（Overlay模型）

硬件/軟件可重新配置
需要硬件/軟件重新配置，以便基于認(rèn)知對(duì)環(huán)境做出靈活反應(yīng)
頻帶诫硕，可變帶寬坦辟，編碼/調(diào)制方案
認(rèn)知傳輸
意識(shí)到它對(duì)主要用戶的影響

5G網(wǎng)絡(luò)的全頻譜訪問(wèn)
頻譜聚合
許可專(zhuān)用頻譜
未經(jīng)許可的頻譜

• 電視空白
• 遺留蜂窩頻譜
• 5GHz非授權(quán)頻段

主要Cell（許可頻譜）與次要Cells（非許可頻譜）
Co-located
分開(kāi)的

蜂窩頻譜未得到充分利用！
在網(wǎng)絡(luò)過(guò)渡期間章办，遺留的蜂窩頻譜被嚴(yán)重利用不足

頻譜利用率不均

• 在不同的運(yùn)營(yíng)商之間
• 在不同的網(wǎng)絡(luò)之間
• 在頻分雙工網(wǎng)絡(luò)的上行和下行頻譜之間

GSM頻段上的LTE
GSM和LTE溢出到彼此的頻段：GSM和LTE功率分配問(wèn)題

WCDMA頻段上的LTE
整個(gè)WCDMA頻段上的LTE并發(fā)傳輸
WCDMA和LTE相互干擾：LTE功率分配問(wèn)題

CDMA接收SINR（完全加載與部分加載的系統(tǒng)）→
CDMA容許干擾幅度→
OFDMA操作的機(jī)會(huì)
BS天線共享使事情變得更加輕松锉走！

無(wú)許可頻段中的LTE
5GHz頻段包含超過(guò)500MHz的無(wú)線電資源
出色的補(bǔ)充無(wú)線電資源滨彻，可提高系統(tǒng)吞吐量
5GHz頻段的Wi-Fi作為主要網(wǎng)絡(luò)，LAA-LTE作為次要網(wǎng)絡(luò)

IEEE 802.22 WRAN
使用認(rèn)知無(wú)線電技術(shù)在VHF/UHF電視波段中操作

• 使用前感知
• 沒(méi)有固定頻譜可用

與主要用戶共存挪蹭，例如電視廣播和無(wú)線microphone

• 主要用戶在頻道使用方面具有更高的優(yōu)先級(jí)

由于使用了低頻段亭饵，覆蓋范圍可以達(dá)到100 km

IEEE802 標(biāo)準(zhǔn)

IEEE802.22無(wú)線區(qū)域網(wǎng)（WRAN）電視空白應(yīng)用
將未使用或未充分利用的電視頻段（54MHz – 862MHz）重新用于寬帶無(wú)線訪問(wèn)
與主要用戶（電視，microphones）共存

Cognition Cycle: 認(rèn)知無(wú)線電 2.0 利用人工智能

認(rèn)知無(wú)線電：使軟件無(wú)線電更個(gè)人化
Cognitive radio: making software radios more personal

認(rèn)知無(wú)線電 2.0

網(wǎng)絡(luò)中的智能 認(rèn)知網(wǎng)絡(luò)

D. D. Clark et al., “A Knowledge Plane for the Internet,”
Proc. SIGCOMM ’03, New York, NY, 2003, pp. 3–10.

The first to propose a new kind of network which is aware of itself and its surroundings, thus a self-aware network, able to learn, decide and act according to those decisions to reach high-level goals.
The network is controlled by the knowledge plane (KP), an entity that spans over layers and devices.
According to Clark et al., the KP ‘‘is a pervasive system within the network that builds and maintains high-level models of what the network is supposed to do, in order to provide services and advice to other elements of the network” while heavily relying on tools from artificial intelligence (AI) and cognitive systems.

第一個(gè)提出一種新型網(wǎng)絡(luò)梁厉，該網(wǎng)絡(luò)要了解自身及其周?chē)h(huán)境冬骚，因此是一個(gè)自我感知的網(wǎng)絡(luò)，能夠?qū)W習(xí)懂算，決策并根據(jù)這些決策采取行動(dòng)以達(dá)到高層次目標(biāo)只冻。
網(wǎng)絡(luò)由知識(shí)plane（KP）控制，知識(shí)plane是跨層和設(shè)備的實(shí)體计技。
根據(jù)Clark等人的說(shuō)法喜德，知識(shí)plane“是網(wǎng)絡(luò)中的一個(gè)普遍的系統(tǒng)，它建立并維護(hù)網(wǎng)絡(luò)應(yīng)該做什么的高級(jí)模型垮媒，以便為網(wǎng)絡(luò)的其他元素提供服務(wù)和建議” 嚴(yán)重依賴人工智能（AI）和認(rèn)知系統(tǒng)的工具舍悯。

TCCN

IEEE Transactions on Cognitive Communications and Networking (TCCN)
https://www.comsoc.org/publications/journals/ieee-tccn
https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6687307

• Y.-C. Liang, New Journal Proposal Presentation to IEEE
  TAB Periodicals Committee, 27 June 2013, San Diego, USA

IEEE認(rèn)知通信和網(wǎng)絡(luò)事務(wù)（TCCN）致力于及時(shí)出版高質(zhì)量的手稿，這些手稿已發(fā)展為認(rèn)知通信和網(wǎng)絡(luò)研究的最新技術(shù)睡雇。在這種情況下萌衬，認(rèn)知是指感知，學(xué)習(xí)它抱，推理秕豫，記憶和自適應(yīng)方法在通信系統(tǒng)設(shè)計(jì)中的應(yīng)用。
這些交易將考慮在認(rèn)知交流和網(wǎng)絡(luò)的廣泛領(lǐng)域中提交的內(nèi)容观蓄，重點(diǎn)是在復(fù)雜通信系統(tǒng)的設(shè)計(jì)上采取整體的混移，可能跨學(xué)科的方法。
涵蓋的核心主題包括（但不限于）：認(rèn)知網(wǎng)絡(luò)的體系結(jié)構(gòu)侮穿，協(xié)議歌径，跨層和認(rèn)知周期設(shè)計(jì)，認(rèn)知通信和網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)和人工智能亲茅，端到端和分布式智能超越了通信的所有層面回铛，軟件定義的網(wǎng)絡(luò)，認(rèn)知無(wú)線電克锣，頻譜共享茵肃，網(wǎng)絡(luò)的交易和相關(guān)的經(jīng)濟(jì)方面，認(rèn)知網(wǎng)絡(luò)中的安全性和隱私問(wèn)題娶耍，新穎的新興服務(wù)和由此類(lèi)概念實(shí)現(xiàn)的應(yīng)用免姿。

人工智能能做的事情

實(shí)現(xiàn)人類(lèi)可以做的事

• 簡(jiǎn)單但重復(fù)
• 耗時(shí)的
• 超越人類(lèi)

識(shí)別具有超高復(fù)雜度的模式

• 具有足夠大的歷史信息的預(yù)測(cè)
• 具有大量參數(shù)的決策

目標(biāo)：在沒(méi)有或很少人工干預(yù)的情況下，自動(dòng)完成復(fù)雜但不需要?jiǎng)?chuàng)造力的任務(wù)榕酒！

Key Enabler of AI – 學(xué)習(xí)

人們從老師胚膊、圖書(shū)故俐、新聞、…中學(xué)習(xí)知識(shí)
通過(guò)練習(xí)來(lái)積累紊婉、嘗試與出錯(cuò)药版、比較…
機(jī)器從數(shù)據(jù)（來(lái)自人類(lèi)的標(biāo)記數(shù)據(jù)、未標(biāo)記的數(shù)據(jù)喻犁、來(lái)自其他域的數(shù)據(jù)…）中學(xué)習(xí)
通過(guò)互動(dòng)積累槽片、嘗試與出錯(cuò)、適應(yīng)肢础、…

將數(shù)據(jù)轉(zhuǎn)化為知識(shí)
積累知識(shí)
通過(guò)不斷增長(zhǎng)的數(shù)據(jù)/知識(shí)和交互來(lái)提高給定任務(wù)的性能

常規(guī)收發(fā)器設(shè)計(jì)

常規(guī)發(fā)射機(jī)：導(dǎo)頻+數(shù)據(jù)
常規(guī)接收器：基于任務(wù)的符號(hào)檢測(cè)：
信道估算
根據(jù)估算的信道進(jìn)行決策还栓。

為了具有準(zhǔn)確的信道估計(jì)，所需的導(dǎo)頻數(shù)量可能非常高传轰，從而導(dǎo)致大量開(kāi)銷(xiāo)剩盒。
而且，檢測(cè)性能將受到信道估計(jì)誤差的限制慨蛙。

模型和任務(wù)驅(qū)動(dòng)→數(shù)據(jù)驅(qū)動(dòng)

機(jī)器學(xué)習(xí)
通信的內(nèi)在特征

從聚類(lèi)接收到的信號(hào)

接收到的信號(hào)自然會(huì)落入聚類(lèi)辽聊。
可以將符號(hào)檢測(cè)問(wèn)題轉(zhuǎn)換為聚類(lèi)問(wèn)題。

基于機(jī)器學(xué)習(xí)的收發(fā)器設(shè)計(jì)

提出了一種標(biāo)簽輔助傳輸框架期贫，用于收發(fā)器的重新設(shè)計(jì)跟匆。
特定于通信的學(xué)習(xí)用于對(duì)接收到的信號(hào)進(jìn)行聚類(lèi)
傳輸已知標(biāo)簽，以將聚類(lèi)映射到傳輸符號(hào)

短包通信的標(biāo)簽輔助傳輸：一種機(jī)器學(xué)習(xí)方法
Label-Assisted Transmission for Short Packet Communications: A Machine Learning Approach

反向散射通信的聚類(lèi)接收器

信號(hào)檢測(cè)→聚類(lèi)問(wèn)題

基于星座學(xué)習(xí)的環(huán)境反向散射通信系統(tǒng)信號(hào)檢測(cè)
Constellation Learning-Based Signal Detection for Ambient Backscatter Communication Systems

盲調(diào)制分類(lèi)

調(diào)制分類(lèi)→聚類(lèi)問(wèn)題

一種MIMO系統(tǒng)的盲調(diào)制分類(lèi)的機(jī)器學(xué)習(xí)方法
A Machine Learning Approach to Blind Modulation Classification for MIMO Systems

循環(huán)神經(jīng)網(wǎng)絡(luò)用于調(diào)制分類(lèi)

不確定噪聲條件下通砍，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的魯棒調(diào)制分類(lèi)
Robust Modulation Classification under Uncertain Noise Condition Using Recurrent Neural Network

深度強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)在通信和網(wǎng)絡(luò)中的應(yīng)用：一項(xiàng)調(diào)查
Applications of Deep Reinforcement Learning in Communications and Networking: A Survey

深度強(qiáng)化學(xué)習(xí) for AMC

在公共頻譜信道上玛臂，多個(gè)收發(fā)器與主要用戶共存
由于物理隔離/阻塞，ST無(wú)法正確檢測(cè)到主要用戶的傳輸并對(duì)BS造成有害干擾
問(wèn)題：BS上經(jīng)驗(yàn)豐富的SINR高于預(yù)期埠帕！
結(jié)果：在每幀開(kāi)始時(shí)選擇的MCS（常規(guī)方案）是sub-optimal垢揩！

主要思想：利用深度強(qiáng)化學(xué)習(xí)并讓BS（主要接收器）了解來(lái)自ST的干擾模式并自適應(yīng)選擇MCS

仿真結(jié)果：
BS處的平均主要用戶信號(hào)強(qiáng)度為20dB（通過(guò)噪聲功率標(biāo)準(zhǔn)化），平均干擾強(qiáng)度為5dB
MCS設(shè)置：BPSK敛瓷，QPSK，16QAM斑匪，64QAM呐籽，對(duì)應(yīng)的SER來(lái)自： Proakis, Digital communications, 5th edition text
DQN設(shè)置：一個(gè)輸入層包含4個(gè)神經(jīng)元，兩個(gè)隱藏層分別包含100個(gè)神經(jīng)元蚀瘸，一個(gè)輸出層包含4個(gè)神經(jīng)元

在準(zhǔn)靜態(tài)干擾環(huán)境中的性能

在準(zhǔn)靜態(tài)干擾環(huán)境中的性能：考慮兩個(gè)次要收發(fā)器狡蝶，每個(gè)ST的未檢測(cè)出的概率為1，衰落相關(guān)系數(shù)為0.99贮勃。

在動(dòng)態(tài)干擾環(huán)境中的性能

在動(dòng)態(tài)干擾環(huán)境中的性能：考慮三個(gè)次要收發(fā)器贪惹，未檢測(cè)出的概率分別為1、1寂嘉，和0.5奏瞬，衰落相關(guān)系數(shù)為0枫绅。

與傳統(tǒng)方法相比，基于深度強(qiáng)化學(xué)習(xí)的算法在準(zhǔn)靜態(tài)和高動(dòng)態(tài)干擾環(huán)境中均能夠?qū)⑵骄鶄鬏斅侍岣呒s100％硼端！

從認(rèn)知無(wú)線電到智能網(wǎng)絡(luò)

智能網(wǎng)絡(luò)

• 認(rèn)知無(wú)線電/軟件定義無(wú)線電/軟件定義網(wǎng)絡(luò)/網(wǎng)絡(luò)功能虛擬化/NS
• 人工智能/機(jī)器學(xué)習(xí)
• 無(wú)線大數(shù)據(jù)

高效資源利用
動(dòng)態(tài)網(wǎng)絡(luò)優(yōu)化
智能服務(wù)供應(yīng)

無(wú)線大數(shù)據(jù)：將異構(gòu)網(wǎng)絡(luò)轉(zhuǎn)變?yōu)橹悄芫W(wǎng)絡(luò)
Wireless big data: transforming heterogeneous networks to smart networks

基本挑戰(zhàn)

無(wú)線通信的學(xué)習(xí)算法

• 考慮無(wú)線通信性質(zhì)的專(zhuān)業(yè)算法
• 在高度動(dòng)態(tài)的環(huán)境中學(xué)習(xí)什么
• 可解釋的學(xué)習(xí)算法

分布式學(xué)習(xí)效率

• 用于通信的學(xué)習(xí)算法必須具有高效的通信能力
• 不同的層次結(jié)構(gòu)級(jí)別具有不同的數(shù)據(jù)和計(jì)算能力
• 有損編碼會(huì)權(quán)衡學(xué)習(xí)準(zhǔn)確性和傳輸開(kāi)銷(xiāo)

終身學(xué)習(xí)

• 需要知識(shí)轉(zhuǎn)移
• 積累學(xué)習(xí)成果以進(jìn)一步改進(jìn)