深度融合特征提取網(wǎng)絡(luò)及其在化工過程軟測量中的應(yīng)用

作者：周樂沈程凱吳超侯北平宋執(zhí)環(huán)來源：《化工學(xué)報》日期：2022-11-03人氣：878

近年來，隨著現(xiàn)代流程工業(yè)的飛速發(fā)展，生產(chǎn)規(guī)模越來越龐大。然而，受到技術(shù)或預(yù)算的限制，現(xiàn)代流程工業(yè)中往往存在部分難以通過在線傳感器直接進行檢測的關(guān)鍵變量，尤其是關(guān)鍵的質(zhì)量指標。因此，為了解決關(guān)鍵質(zhì)量指標的估計和控制問題，軟測量技術(shù)越發(fā)得到人們的重視。該技術(shù)建立易測的過程變量與難測的質(zhì)量變量之間的數(shù)學(xué)模型，具有成本低、配置靈活、實時性好和維護簡單等優(yōu)點[1-3]。

軟測量技術(shù)通常分為兩大類，分別為機理模型和數(shù)據(jù)驅(qū)動模型。由于流程工業(yè)過程日趨復(fù)雜，建立準確的機理模型也愈發(fā)困難。隨著傳感器技術(shù)的高速發(fā)展以及集散控制系統(tǒng)的廣泛應(yīng)用，通過分析海量的現(xiàn)場數(shù)據(jù)，基于數(shù)據(jù)驅(qū)動的軟測量技術(shù)得到了快速發(fā)展[4-5]。這項技術(shù)通過歷史數(shù)據(jù)建立預(yù)測模型，無須先驗知識和操作經(jīng)驗，在復(fù)雜流程工業(yè)監(jiān)測與軟測量領(lǐng)域得到了廣泛的應(yīng)用。目前，常見的數(shù)據(jù)驅(qū)動軟測量技術(shù)主要包括多元統(tǒng)計方法和機器學(xué)習(xí)方法。常用的模型有主成分回歸 (principal component regression, PCR)、偏最小二乘回歸 (partial least squares regression, PLSR)、支持向量機 (support vector machine, SVM)以及人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)等[6-9]。

目前常用的數(shù)據(jù)驅(qū)動軟測量技術(shù)絕大部分為靜態(tài)建模方法，而實際的復(fù)雜流程工業(yè)過程觀測數(shù)據(jù)往往包含很強的動態(tài)特性。為提取數(shù)據(jù)的動態(tài)特性或自相關(guān)特性，Ku等[10]首次提出動態(tài)主成分分析(dynamic principal component analysis, DPCA)模型并用于過程監(jiān)控，而動態(tài)偏最小二乘回歸模型(dynamic partial least squares regression, DPLSR)被提出以預(yù)測動態(tài)過程數(shù)據(jù)[11-12]。Ge等[13]提出了動態(tài)概率潛隱變量回歸(dynamic probabilistic latent variable model, DPLVM)模型，在線性動態(tài)系統(tǒng)[14-15]的框架之下有效地捕捉數(shù)據(jù)的自相關(guān)性的特征，并用于工業(yè)過程在線監(jiān)測以及關(guān)鍵質(zhì)量變量預(yù)測。Zhou等[16-17]提出了一種切換的自回歸動態(tài)潛隱變量模型，并給出了模態(tài)切換的后驗估計方法，用于解決多模態(tài)動態(tài)過程建模問題。然而，上述方法均屬于線性建模方法，無法準確提取觀測數(shù)據(jù)間的非線性相關(guān)關(guān)系。

針對非線性數(shù)據(jù)建模問題，常見的方法主要包括機器學(xué)習(xí)建模方法和神經(jīng)網(wǎng)絡(luò)模型。傳統(tǒng)的非線性機器學(xué)習(xí)建模方法有核主成分分析(kernel principal component analysis, KPCA)、核最小二乘法(kernel partial least squares, KPLS)等[18-19]。近年來，神經(jīng)網(wǎng)絡(luò)模型，尤其是深度學(xué)習(xí)建模方法得到了快速發(fā)展。但是與傳統(tǒng)的機器學(xué)習(xí)模型相比，基于深度學(xué)習(xí)的軟測量技術(shù)仍存在一定的缺陷。其主要問題在于深度學(xué)習(xí)方法屬于黑箱模型，無法準確描述模型的運作機制，可解釋性差，從而增大了模型優(yōu)化和超參數(shù)選擇的難度。Kingma等[20]提出了一種變分自編碼器模型(variational autoencoder, VAE)，將變分貝葉斯模型與自編碼器結(jié)構(gòu)結(jié)合，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)變分推導(dǎo)的參數(shù)，并且對編碼器添加約束，限制潛隱變量服從單位高斯分布，增強了模型的可解釋性。VAE模型能有效提取數(shù)據(jù)的深層非線性特征，已被廣泛應(yīng)用于流程工業(yè)過程建模與監(jiān)控領(lǐng)域[21-22]。

此外，基于機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，研究者初步研究了非線性動態(tài)建模問題。Odiowei等[23]提出了典型變量分析與核密度估計相結(jié)合的方法，在典型變量分析模型的基礎(chǔ)上，更新了相關(guān)變量的概率密度以及指標的估計方法，使其適用于非線性動態(tài)過程監(jiān)控。Yuan等[24]提出了基于有監(jiān)督長短記憶網(wǎng)絡(luò)建模的軟測量方法(supervised long short-term memory network, SLSTM)，同時利用過程變量和質(zhì)量變量來構(gòu)建LSTM網(wǎng)絡(luò)。此外，考慮到觀測數(shù)據(jù)同時存在互相關(guān)和自相關(guān)關(guān)系，Yuan等[25]進一步提出了基于時空注意力機制的長短記憶網(wǎng)絡(luò)模型(spatiotemporal attention-based long short-term memory, STA-LSTM)，通過給予每個變量不同的權(quán)重系數(shù)，可自適應(yīng)地計算潛隱信息與質(zhì)量變量的相關(guān)程度。Yao等[26]提出了增量式動態(tài)特征提取及傳遞模型(incremental dynamic features extracting and transferring model, IDFETM)，在提取到非線性動態(tài)特征的同時，采用增量學(xué)習(xí)方法，使模型獲得了快速吸收和優(yōu)化歷史信息的能力。另有一些學(xué)者基于現(xiàn)有的深度學(xué)習(xí)框架提出了一系列改進模型，有效提高了動態(tài)過程建模準確度和預(yù)測性能，并提高了模型魯棒性[27-30]。此外，Shen等[31]在VAE的基礎(chǔ)上提出了一種有監(jiān)督非線性動態(tài)系統(tǒng) (supervised nonlinear dynamic system, SNDS)。該模型基于時間窗提取數(shù)據(jù)的動態(tài)特性，并利用VAE模型，將傳統(tǒng)的動態(tài)潛隱變量模型擴展至非線性概率形式，兼具動態(tài)潛隱變量建模方法和深度學(xué)習(xí)技術(shù)的優(yōu)點，能有效提取非線性動態(tài)特征。在SNDS中，雖然每個潛隱變量都被用于和相應(yīng)的質(zhì)量變量擬合訓(xùn)練，但在進行在線質(zhì)量預(yù)報時，通常只使用最后一個潛隱變量進行質(zhì)量預(yù)測。當(dāng)針對強動態(tài)數(shù)據(jù)時，需設(shè)置較大的時間窗以提取完整的動態(tài)信息。雖然相鄰潛隱變量間可進行有效的信息交互，但是該模型存在歷史潛隱變量信息在傳遞過程中被稀釋的問題。為解決上述問題，本文提出一種新的深度融合特征提取網(wǎng)絡(luò)(deep fusion feature extraction network, DFFEN)。該方法在VAE框架下構(gòu)建非線性動態(tài)潛隱變量，同時，引入自注意力機制[32-33]融合時間窗內(nèi)的所有動態(tài)潛隱信息，優(yōu)化因時間窗過長而導(dǎo)致的動態(tài)潛隱特征被遺忘的問題。此外，在后端網(wǎng)絡(luò)構(gòu)建動態(tài)潛隱變量和關(guān)鍵質(zhì)量變量之間的回歸模型，以實現(xiàn)關(guān)鍵質(zhì)量變量的預(yù)報。

本文提出深度融合特征提取網(wǎng)絡(luò)及其相應(yīng)的化工過程軟測量方法，并通過實驗驗證本文提出方法的有效性。

1 有監(jiān)督非線性動態(tài)系統(tǒng)（SNDS）模型回顧

SNDS結(jié)合VAE的框架，將線性動態(tài)系統(tǒng)擴展至非線性形式[31]，其結(jié)構(gòu)可被表示為

$h (1) = μ (1) + σ (1) ε$ (1) $h (t) = P (t) h (t - 1) + W (t) μ (t) + σ (t) ε$ (2) $\overset{?}{X} (t) = F [h (t)] + v (t)$ (3) $\overset{?}{Y} (t) = G [h (t)] + w (t)$ (4)

式中， $h (t)$ 是動態(tài)潛隱變量；轉(zhuǎn)移矩陣 $P (t)$ 用于構(gòu)建 $h (t)$ 和 $h (t - 1)$ 之間的關(guān)系，以傳遞動態(tài)潛隱變量之間的自相關(guān)信息；轉(zhuǎn)移矩陣 $W (t)$ 用于計算第t個VAE生成的均值 $μ (t)$ 和當(dāng)前潛隱變量 $h (t)$ 之間的關(guān)系，以便通過重采樣方式生成潛隱變量 $h (t)$ ； $\overset{?}{Y} (t)$ 是重構(gòu)的輸出樣本；和VAE模型中的重構(gòu)公式類似， $F (*)$ 和 $G (*)$ 表示非線性變換過程， $F (*)$ 代表自編碼器的解碼過程，用于重構(gòu)輸入數(shù)據(jù)，而 $G (*)$ 用于將生成的潛隱變量 $h (t)$ 和輸出變量樣本數(shù)據(jù)擬合，從而構(gòu)建回歸模型，對關(guān)鍵質(zhì)量變量進行預(yù)測； $ε$ 、 $v (t)$ 和 $w (t)$ 代表高斯噪聲，其分布分別為 $ε ~ N (0, I)$ ， $v (t) ~ N (0, σ_{x}^{2} I)$ 和 $w (t) ~ N (0, σ_{y}^{2} I)$ 。

SNDS的模型結(jié)構(gòu)主要分為兩個部分，分別是特征提取部分以及回歸模型部分。首先通過多個相互連接的自編碼器提取動態(tài)潛隱變量，再進行有監(jiān)督訓(xùn)練，是一種可解釋性較強的深度學(xué)習(xí)模型。

2 深度融合特征提取網(wǎng)絡(luò)（DFFEN）模型及其軟測量方法

2.1 DFFEN模型結(jié)構(gòu)

雖然在處理非線性動態(tài)工業(yè)數(shù)據(jù)時，SNDS能通過提取非線性動態(tài)信息實現(xiàn)對關(guān)鍵質(zhì)量變量的預(yù)測，但仍存在一些不足之處。實際的化工過程數(shù)據(jù)往往具有較強的動態(tài)特性。針對強動態(tài)數(shù)據(jù)，需要構(gòu)建長時間窗來描述數(shù)據(jù)的強自相關(guān)性。而當(dāng)時間窗過長時，會導(dǎo)致較早時間的動態(tài)相關(guān)信息在傳遞時易被弱化，存在信息稀釋的問題。為解決上述問題，本文提出了一種新的深度融合特征提取網(wǎng)絡(luò)。該模型融合了自注意力機制[32-33]，通過計算時間窗內(nèi)的動態(tài)潛隱變量權(quán)重，有效提取非線性動態(tài)數(shù)據(jù)的相關(guān)關(guān)系。

DFFEN的模型結(jié)構(gòu)如圖1所示。該模型主要分為兩部分：前端網(wǎng)絡(luò)進行自監(jiān)督訓(xùn)練，用于獲取融合后的動態(tài)潛隱變量信息；后端網(wǎng)絡(luò)通過擬合潛隱變量與質(zhì)量變量樣本，完成有監(jiān)督訓(xùn)練。前端與后端網(wǎng)絡(luò)共同組成了一個完整的軟測量模型。

圖1

圖1 DFFEN模型結(jié)構(gòu)

Fig.1 Model structure of the DFFEN

作為一類動態(tài)特征提取網(wǎng)絡(luò)，首先需要對樣本進行預(yù)處理，采用滑動窗口策略對標準化后的時間序列樣本進行劃分。選擇合適的模型長度T后，可以將過程變量以及質(zhì)量變量樣本各自劃分為T組。

$\begin{array}{l} X (1) = {x (1), x (2), x (3), ?, x (M - T + 1)} Y (1) = {y (1), y (2), y (3), ?, y (M - T + 1)} \\ X (2) = {x (2), x (3), x (4), ?, x (M - T + 2)} Y (2) = {y (2), y (3), y (4), ?, y (M - T + 2)} \\ ? ? \\ X (T) = {x (T), x (T + 1), x (T + 2), ?, x (M)} Y (T) = {y (T), y (T + 1), y (T + 2), ?, y (M)} \end{array}$ (5)

式中， $x (t)$ 和 $y (t)$ 分別代表t時刻的過程變量樣本以及質(zhì)量變量樣本；M為總樣本大小。這種數(shù)據(jù)劃分策略既能保護輸入樣本的時序性，又便于后續(xù)的動態(tài)建模過程。

DFFEN的前端網(wǎng)絡(luò)由T個相互連接的VAE組成，每個自編碼器負責(zé)產(chǎn)生對應(yīng)的潛隱變量 $h (t)$ 。當(dāng)時間序列 $X (1)$ 至 $X (T)$ 作為訓(xùn)練集輸入到前端網(wǎng)絡(luò)訓(xùn)練完成后，得到相應(yīng)的動態(tài)潛隱變量信息 $h (t)$ ，其結(jié)構(gòu)如式（6）所示。

$\begin{array}{l} h (1) = μ (1) + σ (1) ε, ε ~ N (0, I) \\ h (t) = P (t) h (t - 1) + W (t) μ (t) + σ (t) ε \end{array}$ (6)

式中， $t \in [2, T]$ ； $μ (t)$ 、 $σ (t)$ 以及 $ε$ 分別代表第t個VAE的均值、方差以及高斯噪聲； $P (t)$ 為 $h (t)$ 和 $h (t - 1)$ 之間的轉(zhuǎn)移矩陣； $W (t)$ 是系數(shù)矩陣，用于計算潛隱變量 $h (t)$ 與均值 $μ (t)$ 的相關(guān)關(guān)系。

通過重采樣方式，第一個自編碼器訓(xùn)練得到的參數(shù) $μ (1)$ 、 $σ (1)$ 和 $ε$ 可被用于構(gòu)造潛隱變量 $h (1)$ 。同理可得到 $h (2)$ 至 $h (T)$ 。而引入高斯噪聲 $ε$ ，有效提高了網(wǎng)絡(luò)的魯棒性。其中，動態(tài)潛隱變量之間的連接方式類似于信息傳遞鏈，通過累加的方式，潛隱變量信息由前向后傳遞。構(gòu)建動態(tài)潛隱變量信息傳遞通道有利于提取完整的動態(tài)潛隱變量，為后續(xù)的有監(jiān)督擬合提供了更加可靠的關(guān)鍵信息。

T個相互連接的VAE可用于產(chǎn)生相對應(yīng)的潛隱變量 $h (t)$ ，且信息傳遞鏈的構(gòu)造使得潛隱變量包含了動態(tài)特性。然而，當(dāng)實際工業(yè)過程數(shù)據(jù)包含了強動態(tài)相關(guān)性時，模型長度T往往很大，從而導(dǎo)致各VAE提取到的動態(tài)潛隱變量信息隨著信息傳遞過程而逐漸損失，以至影響潛隱信息提取效果以及后端網(wǎng)絡(luò)預(yù)測精度。因此，網(wǎng)絡(luò)結(jié)構(gòu)[式(6)]在處理強動態(tài)相關(guān)工業(yè)數(shù)據(jù)時的建模效果會被削弱。

為改善上述問題，自注意力機制被用于融合時間窗內(nèi)的動態(tài)潛隱變量信息。其結(jié)構(gòu)如式(7)所示。

$\begin{matrix} Q (t) = h (t) W_{Q} (t) \\ K (t) = h (t) W_{K} (t) \\ V (t) = h (t) W_{V} (t) \\ z (t) = e x p [\frac{Q (t) K {(t)}^{\cdot}}{\sqrt[]{d_{k}}}] V (t) \\ V = \sum_{t = 1}^{T} z (t) α (t) \end{matrix}$ (7)

式中， $Q (t)$ 、 $K (t)$ 和 $V (t)$ 分別代表動態(tài)潛隱變量期望投影的向量空間，相應(yīng)地， $W_{Q} (t)$ 、 $W_{K} (t)$ 和 $W_{V} (t)$ 為各自的權(quán)重矩陣； $d_{k}$ 為距離參數(shù)； $z (t)$ 代表 $t$ 時刻潛隱變量變換后的輸出。最后利用訓(xùn)練完成的系數(shù) $α (t)$ 整合所有變換后的動態(tài)潛隱變量信息，得到特征融合后的非線性動態(tài)潛隱變量 $V$ 。之后，利用融合后的非線性動態(tài)潛隱變量進行解碼，完成前端網(wǎng)絡(luò)搭建。

在后端網(wǎng)絡(luò)中，將提取到的動態(tài)潛隱變量信息和關(guān)鍵質(zhì)量變量擬合，其結(jié)構(gòu)如式(8)、式(9)所示。

$\overset{?}{X} (t) = F (V) + w_{1}, w_{1} ~ N (0, I)$ (8) $\overset{?}{Y} (T) = G (V) + w_{2}, w_{2} ~ N (0, I)$ (9)

式中， $t \in [1, T]$ ； $F (*)$ 和 $G (*)$ 分別代表解碼層以及擬合層的非線性變換過程； $w_{1}$ 和 $w_{2}$ 為高斯噪聲。

2.2 DFFEN網(wǎng)絡(luò)損失函數(shù)

為估計DFFEN的模型參數(shù)，首先需要確定模型的損失函數(shù)。VAE的目的是生成服從原數(shù)據(jù)集分布的潛隱變量 $h (t)$ 。根據(jù)VAE的模型結(jié)構(gòu)，可得出其邊緣概率的對數(shù)似然函數(shù)方程。

$l n p (X | δ) = \int_{h}^{} q (h) l n p (X | δ) d h = \int_{h}^{} q (h | ω) l n \frac{p (X, h | δ)}{q (h | ω)} d h + D_{K L} [q (h | ω) | | p (h | δ)] = E L B O + D_{K L} [q (h | ω) | | p (h | δ)]$ (10)

式中， $X$ 代表輸入樣本； $h$ 代表潛隱變量； $q (h | ω)$ 及 $p (X, h | δ)$ 分別被定義為編碼層和解碼層的輸出的概率分布； $ω$ 和 $δ$ 分別為編碼層和解碼層的參數(shù)。通過推導(dǎo)可得VAE的似然函數(shù)分為證據(jù)下界（evidence lower bound，ELBO）以及KL散度(Kullback-Leibler divergence)兩部分。變分推斷的目標是尋求一個概率密度函數(shù) $q (h | ω)$ 來近似 $p (h | δ)$ 。以該優(yōu)化方案為目標，需要使KL散度最小，相當(dāng)于最大化ELBO。

針對DFFEN模型，其最大化聯(lián)合概率函數(shù)的問題可轉(zhuǎn)化為ELBO的最大化問題，該目標函數(shù)為

$m a x (E L B O) = m a x [\sum_{t = 1}^{T} E L B O (t)] = m a x \{\sum_{t = 1}^{T} E_{h (t)} 〔l n p [X (t) | h (t)]〕 - D_{K L} 〔q [h (1) | ω (1)] | | p [h (t) | δ (t)]〕 -$ $\sum_{t = 2}^{T} D_{K L} 〔q [h (t) | h (t - 1), ω (t)] | | p [h (t) | h (t - 1), δ (t)]〕\}$ (11)

其中，第一項為后驗分布期望值；第二、三項代表KL散度。初始先驗概率服從高斯分布為 $p [h (t) | δ (t)] =$ $N (0, I)$ 。隨后動態(tài)先驗分布滿足 $p [h (t) |$ $h (t - 1), δ (t)] = N [P (t) h (t - 1), I]$ 。 $q [h (1) | ω (1)]$ 及 $q [h (t) | h (t - 1), ω (t)]$ 作為后驗概率的估計值也服從高斯分布。由以上條件可得到DFFEN模型的損失函數(shù)如式(12)所示。

$\begin{array}{l} J_{D F F E N} (X) = - \sum_{t = 1}^{T} | | X (t) - \overset{?}{X} (t) | |^{2} + D_{K L} 〔q [h (1) | ω (1)] | | N (0, I)〕 + \\ \sum_{t = 2}^{T} D_{K L} 〔q [h (t) | h (t - 1), ω (t)] | | N [P (t) h (t - 1), I]〕 \end{array}$ (12)

2.3 DFFEN優(yōu)化器選擇

為更高效地優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，須選擇合適的優(yōu)化函數(shù)。Adam優(yōu)化器因其計算高效、收斂速度快等優(yōu)點，得到了廣泛使用。Adam優(yōu)化器的梯度更新規(guī)則如式（13）所示。

$\begin{array}{l} {\overset{?}{m}}_{t} = \frac{m_{t}}{1 - μ_{t}} {\overset{?}{v}}_{t} = \frac{v_{t}}{1 - v_{t}} \\ θ_{t} = θ_{t - 1} - \frac{η {\overset{?}{m}}_{t}}{\sqrt[]{{\overset{?}{v}}_{t}} + ε} \end{array}$ (13)

式中， $m_{t}$ 和 $v_{t}$ 分別是對梯度的一階矩估計和二階矩估計； ${\overset{?}{m}}_{t}$ 和 ${\overset{?}{v}}_{t}$ 分別是對 $m_{t}$ 和 $v_{t}$ 的校正； $η$ 代表學(xué)習(xí)率，而 $- \frac{{\overset{?}{m}}_{t}}{\sqrt[]{{\overset{?}{v}}_{t}} + ε}$ 可對學(xué)習(xí)率形成動態(tài)約束。Adam優(yōu)化器利用梯度的一階矩和二階矩估計動態(tài)調(diào)整各個參數(shù)的學(xué)習(xí)率，有效緩解了梯度振蕩與梯度稀釋問題。

2.4 基于有監(jiān)督DFFEN的軟測量

為預(yù)測最終的質(zhì)量變量，需構(gòu)建相應(yīng)的回歸模型。本文使用兩層全連接網(wǎng)絡(luò)進行有監(jiān)督訓(xùn)練，其損失函數(shù)采用最小平方誤差。

$J_{D F F E N} (Y) = - \sum_{t = 1}^{T} | | Y (T) - \overset{?}{Y} (T) | |^{2}$ (14)

前端網(wǎng)絡(luò)的損失函數(shù)用于重構(gòu)近似輸入樣本的同時，生成概率分布的近似值，以保證構(gòu)造的非線性動態(tài)潛隱變量服從設(shè)定的分布。后端網(wǎng)絡(luò)用于擬合潛隱變量信息和關(guān)鍵質(zhì)量變量樣本之間的輸入輸出關(guān)系?；贒FFEN的化工過程軟測量方法的具體步驟如下。

①收集化工過程的過程變量 $X$ 以及質(zhì)量變量 $Y$ 組成訓(xùn)練樣本。

②將建模樣本進行標準化處理后，利用滑動窗口策略，得到T組過程變量樣本和T組質(zhì)量變量樣本。

③固定優(yōu)化器為Adam優(yōu)化器，選擇合適的訓(xùn)練次數(shù)、批次大小以及隱層數(shù)目，并設(shè)置合適的模型長度T以及動態(tài)潛隱變量維度。

④初始化DFFEN的模型參數(shù)。

⑤進行前端網(wǎng)絡(luò)的訓(xùn)練。當(dāng)損失不再降低時，保留模型參數(shù)。

⑥提取融合后的動態(tài)潛隱變量 $V$ ，用于后端網(wǎng)絡(luò)的訓(xùn)練。

⑦輸入測試數(shù)據(jù)集，得到預(yù)測的質(zhì)量變量樣本 ${\overset{?}{Y}}_{t e s t} (T)$ 。

基于有監(jiān)督DFFEN的軟測量流程如圖2所示。

圖2

圖2 基于DFFEN的軟測量流程圖

Fig.2 Flow chart of DFFEN for soft sensing

為評估軟測量模型的性能，通常使用均方根誤差(RMSE)和擬合優(yōu)度 $R^{2}$ 兩個指標。RMSE和 $R^{2}$ 的計算公式如式(15)、式(16)所示。

$R M S E = \sqrt[]{\sum_{j = 1}^{N_{t}} (y_{j} - {\overset{?}{y}}_{j})^{2} / N_{t}}$ (15) $R^{2} = 1 - \sum_{j = 1}^{N_{t}} (y_{j} - {\overset{?}{y}}_{j})^{2} / \sum_{j = 1}^{N_{t}} (y_{j} - {\overset{ˉ}{y}}_{t})^{2}$ (16)

式中， $y_{j}$ 代表第j個質(zhì)量變量樣本的實際值； ${\overset{?}{y}}_{j}$ 代表第j個質(zhì)量變量樣本的預(yù)測值； $N_{t}$ 代表樣本數(shù)目； ${\overset{ˉ}{y}}_{t}$ 代表實際質(zhì)量變量樣本的均值。RMSE用來表示樣本實際值和預(yù)測值的平均平方差， $R^{2}$ 用于描述樣本預(yù)測值和實際值的匹配程度。模型性能越好，預(yù)測值越接近實際值，RMSE越小， $R^{2}$ 越高。

3 實驗案例

本節(jié)將通過一個數(shù)值案例和一個實際的合成氨生產(chǎn)過程驗證基于DFFEN的軟測量方法的有效性。

3.1 數(shù)值案例

本節(jié)首先構(gòu)建了一個非線性動態(tài)系統(tǒng)，其具體結(jié)構(gòu)如式（17）、式（18）所示。

$\begin{array}{l} h (t) = A h (t - 1) + B c o s [h (t - 2)] - C s i n [h (t - 3)] + w_{1} (t) \\ x (t) = D h (t) + w_{2} (t) \\ y (t) = E h (t) + w_{3} (t) \end{array}$ (17) $\begin{array}{l} A = [\begin{matrix} - 0.2042 & - 0.6732 \\ 0.5784 & 0.9147 \end{matrix}] B = [\begin{matrix} - 0.2930 & 1.1031 \\ - 0.2262 & 0.3766 \end{matrix}] \\ C = [\begin{matrix} 0.1834 & 0.8323 \\ 0.1109 & - 1.5659 \end{matrix}] E = [\begin{matrix} - 0.0715 & - 0.2001 \end{matrix}] \\ D^{\cdot} = [\begin{matrix} \begin{matrix} \begin{matrix} 1.8446 & 1.9036 \end{matrix} & - 0.1830 & \begin{matrix} \begin{matrix} - 1.0627 & - 1.1999 \end{matrix} & 0.6524 & 1.0077 & 0.5808 \end{matrix} \end{matrix} \\ \begin{matrix} - 0.8719 & - 0.9333 & 1.7151 & \begin{matrix} \begin{matrix} - 0.0733 & 0.3036 \end{matrix} & 2.0136 & 0.5088 & - 1.1795 \end{matrix} \end{matrix} \end{matrix}] \end{array}$ (18)

式中， $h (t)$ 代表動態(tài)潛隱變量； $x (t)$ 代表過程變量； $y (t)$ 代表質(zhì)量變量。此外，為描述實際工業(yè)過程中包含的測量噪聲，分別加入白噪聲 $w_{1} (t)$ 、 $w_{2} (t)$ 和 $w_{3} (t)$ ，其中 $w_{1} (t)$ 和 $w_{2} (t)$ 是均值為0、方差為0.7的高斯噪聲； $w_{3} (t)$ 是均值為0、方差為0.1的高斯噪聲。

利用上述非線性動態(tài)系統(tǒng)，本文共生成了1000個樣本。前500個數(shù)據(jù)作為訓(xùn)練集，用于訓(xùn)練模型參數(shù)。后500個數(shù)據(jù)作為測試集，用于評價模型預(yù)測性能。此外，本文還選擇了概率主成分回歸(probabilistic principal component regression, PPCR)模型、SNDS和有監(jiān)督堆棧自編碼器(supervised-stacked autoencoder, SSAE)作為對比模型。DFFEN模型的隱層維度設(shè)置為n=8，擬合層的神經(jīng)元數(shù)量設(shè)置為150個。同時，對比模型SNDS和SSAE的隱層神經(jīng)元個數(shù)也設(shè)置為n=8，擬合層神經(jīng)元個數(shù)設(shè)置為150個，其中SNDS的模型長度T=4，SSAE設(shè)置為三層特征提取層，PPCR的潛隱變量維度設(shè)置為n=2。

為獲取更有效的模型參數(shù)，本文測試了DFFEN在不同參數(shù)T設(shè)置下的預(yù)測性能。不同參數(shù)T下的多次實驗平均評價指數(shù)如圖3所示?？梢缘贸觯?dāng)T=4時，DFFEN模型達到最佳性能。各模型在本數(shù)值案例的實驗結(jié)果如表1所示。不同模型的軟測量結(jié)果和預(yù)測誤差如圖4和圖5所示。受到非線性數(shù)據(jù)結(jié)構(gòu)的影響，線性模型PPCR的預(yù)測效果最差。SSAE通過提取深層特征進行有監(jiān)督訓(xùn)練，SNDS利用自編碼器的架構(gòu)提取到了動態(tài)潛隱變量，其模型預(yù)測精度均優(yōu)于線性模型。而DFFEN能夠有效提取長時間尺度的非線性動態(tài)特征，模型預(yù)測效果最佳。

圖3

圖3 T與評價指標 $R^{2}$ 和RMSE的關(guān)系

Fig.3 The evaluation indices $R^{2}$ and RMSE versusT

表1 數(shù)值案例不同模型預(yù)測結(jié)果

Table 1 Prediction results for different models using numerical case

Models	$R^{2}$	RMSE
PPCR	0.8944	2.0062
SSAE	0.9187	1.7601
SNDS	0.9233	1.7098
DFFEN
T=2	0.9202	1.7472
T=3	0.9343	1.5838
T=4	0.9364	1.5573
T=5	0.9282	1.6561

新窗口打開| 下載CSV

圖4

圖4 數(shù)值案例中不同模型的軟測量結(jié)果

Fig.4 Soft sensing results for different models in the numerical case

圖5

圖5 各模型的預(yù)測誤差

Fig.5 Predition error for different models

3.2 合成氨生產(chǎn)過程

在合成氨生產(chǎn)過程中，氫氣是主要原料之一。通常以甲烷作為原料，經(jīng)過甲烷轉(zhuǎn)化裝置得到高純度氫氣。該裝置包括預(yù)轉(zhuǎn)化爐、一段轉(zhuǎn)化爐和二段轉(zhuǎn)化爐。其中一段轉(zhuǎn)化爐的裝置流程如圖6所示。根據(jù)反應(yīng)機理，塔中的反應(yīng)溫度是爐內(nèi)制氫的關(guān)鍵。只有充足的燃氣資源才能確保反應(yīng)順利進行。因此，準確地測量爐內(nèi)的氧含量對于降低生產(chǎn)成本同時保證氫氣的純度以及產(chǎn)量尤為重要。

圖6

圖6 一段轉(zhuǎn)化爐流程圖

Fig.6 The flowchart of primary reformer

本文選擇了一段轉(zhuǎn)化爐中的13個易測的輔助變量作為輸入，爐頂?shù)难鯘舛茸鳛楸活A(yù)測的關(guān)鍵質(zhì)量變量。各變量的具體描述如表2所示。本文共使用20500個樣本進行模型訓(xùn)練和測試。其中20000個樣本作為訓(xùn)練集，另外500個樣本作為測試集驗證模型的預(yù)測性能。此外，繼續(xù)選擇SNDS、PPCR和SSAE作為對比模型。

表2 一段轉(zhuǎn)化爐變量描述

Table 2 The description of the variables in primary reformer

編號	變量描述
FR03001	流入03B001的燃氣流量
FR03002	流入03B001的外置燃氣流量
PC03002	03E005出口處燃氣外置燃料壓力
PC03007	03B001爐膛出口煙氣壓力
TI03001	03E005出口處的燃料放氣溫度
TI03009	03B002E06出口燃氣的溫度
TR03012	03B001入口處的加工氣體溫度
TI03013	03B001左上角爐膛煙氣溫度
TI03014	03B001右上角爐膛煙氣溫度
TR03015	03B001爐頂混爐煙氣溫度
TR03016	03B001左出口的轉(zhuǎn)化氣體溫度
TR03017	03B001右出口的轉(zhuǎn)化氣體溫度
TR03020	03B001出口轉(zhuǎn)化氣體的溫度
AR03001	爐頂氧濃度

新窗口打開| 下載CSV

由于實際的生產(chǎn)過程具有較強的動態(tài)特性，DFFEN的模型長度T需要設(shè)置得較大，經(jīng)過性能測試，T的值設(shè)置為33，隱層維度為11，擬合層為2層，其中神經(jīng)元個數(shù)為150個。SNDS的模型長度設(shè)置T=33，同樣地，擬合層設(shè)置為2層，神經(jīng)元個數(shù)為150個。SSAE的特征提取層設(shè)置為3層，各層神經(jīng)元個數(shù)設(shè)置為n=11，擬合層和DFFEN及SNDS相同。PPCR的潛隱變量個數(shù)設(shè)置為n=11。不同模型在合成氨過程的預(yù)測結(jié)果如表3和圖7所示。可以看出，DFFEN的預(yù)測精度最高，特別是250~500樣本區(qū)間。SSAE雖然也有較好的預(yù)測能力，但只是大致反應(yīng)質(zhì)量變量的變化趨勢，無法對其進行精確預(yù)測。SNDS的預(yù)測值雖然能夠反映大致趨勢，但是波動極大，與實際值存在較大誤差。此外，由于PPCR為靜態(tài)線性模型，不適用于非線性動態(tài)建模，擬合效果過差。圖8展示了4種模型的預(yù)測誤差。如圖所示，DFFEN的預(yù)測誤差較另外3種模型更接近于0，誤差更小。而PPCR、SSAE和SNDS的預(yù)測誤差明顯偏高，尤其在1~100樣本區(qū)間內(nèi)最為明顯。因此，對比其余3種模型，DFFEN的預(yù)測值更接近實際值，性能最優(yōu)。

表3 各模型在合成氨過程的預(yù)測結(jié)果

Table 3 Prediction results for different models in the synthetic ammonia process

Models	$R^{2}$	RMSE
PPCR	-0.3291	1.1737
SSAE	0.5389	0.6913
SNDS	0.1121	0.8833
DFFEN	0.6946	0.5181

新窗口打開| 下載CSV

圖7

圖7 各模型在合成氨過程的預(yù)測結(jié)果

Fig.7 Prediction results for different models in the synthetic ammonia process

圖8

新窗口打開| 下載原圖ZIP| 生成PPT

圖8 各模型在合成氨過程中的預(yù)測誤差

Fig.8 Prediction error for different models in the synthetic ammonia process

4 結(jié)論

針對復(fù)雜化工過程的非線性和強動態(tài)特性，本文提出了一種新的深度融合特征提取網(wǎng)絡(luò)。該模型在變分自編碼器的框架下提取非線性潛隱變量，并通過構(gòu)造信息傳遞鏈捕獲動態(tài)特征。利用信息融合的方法，融合后的潛隱變量克服了動態(tài)相關(guān)信息在傳遞過程中被稀釋的缺陷，有效提高了模型的預(yù)測精度。通過數(shù)值案例以及實際的合成氨生產(chǎn)過程驗證了所提出方法的有效性。實驗結(jié)果表明，該模型能夠有效處理復(fù)雜化工過程的非線性強動態(tài)數(shù)據(jù)，模型預(yù)測效果較好，同時該模型具有較好的擴展性，具備良好的應(yīng)用前景。

關(guān)鍵字：優(yōu)秀論文

上一篇：精細搜索策略應(yīng)用于質(zhì)量交換網(wǎng)絡(luò)綜合
下一篇：區(qū)間二型模糊免疫PID在環(huán)己烷無催化氧化溫度控制系統(tǒng)中的應(yīng)用

欄目分類

熱門排行

推薦信息

期刊知識