基于时空关联特征的CNN-LSTM模型在基坑工程变形预测中的应用

洪宇超; 钱建固; 叶源新; 成龙

doi:10.11779/CJGE2021S2026

基于时空关联特征的CNN-LSTM模型在基坑工程变形预测中的应用 English Version

洪宇超^{1, 2,},
钱建固^{1, 2, ,},
叶源新³,
成龙⁴

1.
同济大学地下建筑与工程系,上海　200092
2.
同济大学岩土及地下工程教育部重点实验室,上海　200092
3.
上海城投水务（集团）有限公司,上海　200002
4.
上海勘察设计研究院（集团）有限公司,上海　200093

基金项目:

苏州河段深层排水调蓄管道系统工程试验段监测技术验证与分析模型研究项目

中央高校基本科研业务费专项资金项目 22120190220

国家自然科学基金项目 51578413

详细信息

作者简介:
洪宇超(1996— ),男,硕士研究生,主要从事岩土工程方面的研究。E-mail: hong_yuchao@163.com

通讯作者:
钱建固, E-mail: qianjiangu@tongji.edu.cn

中图分类号: TU43
计量
- 文章访问数: 437
- HTML全文浏览量: 34
- PDF下载量: 208
出版历程
- 收稿日期: 2021-08-12
- 网络出版日期: 2022-12-05
- 刊出日期: 2021-10-31

Application of CNN-LSTM model based on spatiotemporal correlation characteristics in deformation prediction of excavation engineering

HONG Yu-chao^{1, 2,},
QIAN Jian-gu^{1, 2, ,},
YE Yuan-xin³,
CHENG -Long⁴

1.
Department of Geotechnical Engineering, Tongji University, Shanghai 200092, China
2.
Key Laboratory of Geotechnical and Underground Engineering of Ministry of Education, Tongji University, Shanghai 200092, China
3.
Shanghai Chengtou Water Group Co., Ltd., Shanghai 200002, China
4.
SGIDI Engineering Consulting Group Co., Ltd., Shanghai 200093, China

摘要

摘要: 为了更准确地预测基坑工程领域的复杂时间序列,提出一种以多个监测点的监测数据构成的多维时间序列作为输入的CNN-LSTM的组合神经网络模型。首先采用卷积神经网络（CNN）对输入的监测数据进行空间特征提取,输出多个由空间特征构成的时间序列,利用长短期记忆神经网络（LSTM）对空间特征序列进行学习,预测未来的特征值,最后通过全连接层整合空间特征,输出预测的监测值。在此基础上,基于上海云岭竖井超深基坑的现场地表沉降监测数据进行工程案例验证,结果表明考虑时空关联性的组合模型精度高于仅考虑时间关联性的单一LSTM模型。
- 基坑 /
- 变形预测 /
- 时间序列建模 /
- CNN网络 /
- LSTM网络
Abstract: In order to predict the complex time series in excavation engineering field more accurately, a combined neural network model of CNN and LSTM is proposed, which takes the multi-dimensional time series composed of monitoring data from multiple monitoring points as the input. Firstly, the CNN is used to extract the spatial features of the input monitoring data, and the multiple time series composed of spatial features are the output. Secondly, the LSTM is used to learn the time series and predict the future state of the spatial features. Finally, the spatial features are integrated through the fully connected layer, and the predicted monitoring values are the output. This method is used to predict the ground settlement of the deep excavation of Yunling shaft in Shanghai. The results show that the accuracy of the combined model considering temporal and spatial correlation is higher than that of the single LSTM model considering temporal correlation only.
- excavation /
- deformation prediction /
- time series modeling /
- CNN network /
- LSTM network

HTML全文

0. 引言

随着城市化进程的推进,基坑工程向更深、更复杂的趋势发展,为了保证周边环境安全,基坑变形的现场监测和预报已成为基坑工程的重要内容。传统的理论分析、数值模拟等方法虽然理论上可以实现变形的预测,但是岩土工程的变形机理复杂,涉及的影响因素众多,这类方法无法全面考虑^[1]。

近年来,基于数据分析的时间序列建模方法被逐渐应用于岩土工程领域。其中灰色预测模型对样本数据量要求低,但对于非线性序列的预测效果较差^[2]；人工神经网络具有较强的非线性映射能力,但存在网络结构难以确定、容易陷入局部最优、样本数据量要求高等缺点^[3]；遗传算法、粒子群算法等优化算法与人工神经网络结合的组合模型改善了神经网络的性能,但仍然存在数据量要求高、泛化能力差的问题^[4]。现有方法在预测时都以单测点的监测数据作为输入变量,只关注数据在时间维度上的关联性,而忽略了邻近监测点之间空间维度上的关联性。实际工程会设置大量的监测点,如何充分利用多个监测点的监测数据以提高预测精度是值得进一步研究的问题。针对上述不足,本文提出运用卷积神经网络与长短期记忆神经网络（CNN-LSTM）结合的组合模型,考虑监测数据在时间维度和空间维度上的关联性,对基坑工程多维序列进行预测。该方法在上海云岭超深基坑工程的地表沉降实际监测数据预测中取得了令人满意的效果。

1. CNN-LSTM模型

1.1 卷积神经网络（CNN）

卷积神经网络（convolutional neural networks）是一类包含卷积运算的前馈神经网络。CNN通过对数据的卷积和池化操作,提取数据之间的相互关系,可以用少量参数表达数据的空间特征,具有优秀的高维特征提取能力,被广泛用于图像处理、计算机视觉等问题。CNN网络的核心结构如图1所示。卷积层通过设置卷积核,对输入数据按式（1）进行离散卷积运算,提取输入数据的空间特征。池化层通过对卷积核内的数据进行取最大值、取平均值等操作,实现数据的降采样,即去除杂余信息,保留关键特征。

$y_{i, j} = σ (W_{k} \otimes x_{i, j} + b_{k})$ ,

(1)

$W_{k} \otimes x_{i, j} = \sum_{m = 0}^{a - 1} \sum_{n = 0}^{b - 1} w_{m, n} \times x_{i + m, j + n}$ ,

(2)

图 1 CNN网络核心结构示意图

Figure 1. Structure of convolutional neural networks

下载: 全尺寸图片幻灯片

式中 x_ij为卷积层的输入数据；y_ij为卷积层的输出数据；为离散卷积运算；W_k和b_k分别为第k个卷积核的权重系数和偏置参数； $σ$ 为神经元的激活函数；a,b为卷积核的尺寸参数。

1.2 长短期记忆神经网络（LSTM）

LSTM神经网络（long short-term memory neural network）是循环神经网络RNN（recurrent neural network）的一种变体。LSTM神经网络通过设置特殊的“门”结构,可以有选择性地记忆长短期信息,解决了RNN结构的长时间依赖问题,在时序数据的预测问题上表现优异。LSTM单元结构如图2所示。

图 2 LSTM结构示意图

Figure 2. Structure of LSTM

下载: 全尺寸图片幻灯片

1.3 CNN-LSTM模型

卷积神经网络CNN与循环神经网络LSTM结合的CNN-LSTM神经网络结构如图3所示。CNN部分以多个监测点的标准化后的历史数据构成的多维时间序列X_t,n作为输入数据。X_t,n是一个二维矩阵,一行表示某一时刻n个监测点的监测值,一列表示某一监测点在时间步长t内的监测值。将该序列输入CNN部分后,进行卷积运算,提取空间特征,输出多个由空间特征组成一维序列。LSTM部分以CNN网络输出的一维序列作为输入数据。LSTM对序列进行回归预测,输出多个空间特征的预测值。最后通过全连接层整合空间特征预测值,输出监测数据的预测值。

图 3 CNN-LSTM模型结构示意图

Figure 3. Structure of CNN-LSTM model

下载: 全尺寸图片幻灯片

2. 工程实例验证

2.1 工程概况

云岭竖井基坑是上海苏州河深隧工程的一部分。竖井基坑为圆形,深度约60 m,支护结构为1500 mm地下连续墙。基坑位于上海软土地区,且基坑开挖深度范围内的深层土体力学特性尚不明确,给基坑周边地表沉降的计算带来了困难。为了实时地进行动态化施工反馈,在基坑周边布置了大量监测点。基坑周边对称布置DB-1、DB-2、DB-3和DB-4四条测线,其中DB-4的监测点在施工中被破坏,监测数据不完整。

本文选取其余三条测线的第一个测点（DB1-1、DB2-1、DB3-1）从2020年7月27日至2020年12月28日,共计155组数据,前135组数据用于训练模型,后20组数据用于验证模型的精度。

2.2 监测数据建模预测

现在以DB1-1测点的监测数据作为预测目标,详细描述如何利用CNN-LSTM模型进行时序预测。

（1）数据预处理

现场采集的数据受各种因素的干扰,包含大量噪声^[5]。为避免拟合噪声,在导入模型训练前,对原始数据进行降噪处理。降噪后数据如图4所示。此外,不同监测点的监测数据在绝对值上相差较大,为了避免模型训练时的梯度方向被某一监测点的数据控制,本文按式（3）标准化数据,标准化后的数据符合均值为0,方差为1的正态分布。

${x^{'}}_{t, i} = \frac{x_{t, i} - μ_{i}}{σ_{i}}$ ,

(3)

图 4 降噪后数据示意图

Figure 4. Curves of data after noise reduction

下载: 全尺寸图片幻灯片

式中,μ_i,σ_i为第i个测点全部监测数据的均值和方差。

（2）CNN-LSTM模型构建

本文基于Python的Keras库构建CNN-LSTM模型。第一层为卷积层,卷积核个数为80,即提取80个空间特征,卷积核尺寸为1×3；第二层为LSTM层,LSTM层的神经元个数对网络的性能影响最大,因此取初始值80,在训练过程中优化；第三层为Dense层。需要指出的是由于本文选取的数据集在空间维度上只有3个监测点,数据规模不大,不设置池化层可以取得更好的效果。

（3）训练样本构造与模型训练

本文采用“5+1”的样本构造模式,即以3个测点前5天的监测数据作为输入数据,输入数据为5×3的二维矩阵,第6天DB1-1测点的监测数据作为输出数据。训练集共135组监测数据构造130组训练样本。训练优化器选择Adam,迭代次数epoch取100次,损失函数为均方误差MSE,模型收敛。

（4）监测值预测

最后利用训练完毕的模型对最后20组数据进行滚动预测。考虑到前期数据的降噪预处理,本文同时对噪声采用统计学模型ARMA进行分析、预测后,与CNN-LSTM的输出结果合并,作为最终预测值。为了验证CNN-LSTM模型的预测效果,本文同时单独采用LSTM模型进行预测,两种方法的结果和预测相对误差对比如图5,6所示。对DB2-1、DB3-1测点采用同样方法的预测结果和误差如图7～10所示。

图 5 DB1-1测点监测值与预测值

Figure 5. Measured and predicted values of DB1-1

下载: 全尺寸图片幻灯片

图 6 DB1-1测点预测相对误差对比

Figure 6. Comparison of prediction relative errors of DB1-1

下载: 全尺寸图片幻灯片

图 7 DB2-1测点监测值与预测值

Figure 7. Measured and predicted values of DB2-1

下载: 全尺寸图片幻灯片

图 8 DB2-1测点预测相对误差对比

Figure 8. Comparison of prediction relative errors of DB2-1

下载: 全尺寸图片幻灯片

图 9 DB3-1测点监测值与预测值

Figure 9. Measured and predicted values of DB3-1

下载: 全尺寸图片幻灯片

图 10 DB3-1测点预测相对误差对比

Figure 10. Comparison of prediction relative errors of DB3-1

下载: 全尺寸图片幻灯片

图5和图6表明,CNN-LSTM组合模型的预测结果与单一LSTM模型相比,在所有观测时间点上都更接近实测值,但是两种模型预测结果的趋势仍然与实测值有明显不同,这是由于噪声的预测模型难以拟合本例的数据。采用CNN-LSTM模型时,预测结果的相对误差介于0.01%～3.44%之间,平均值为2.00%,而LSTM模型相对误差介于0.02%～4.36%,平均值为2.84%,说明前者预测精度更高,效果更为理想。

图7～10表明,DB2-1测点和DB3-1测点的预测结果与DB1-1测点基本一致,CNN-LSTM模型的预测结果更接近实测值。采用CNN-LSTM模型,DB2-1测点、DB3-1测点的预测平均相对误差分别为0.93%、1.35%,而采用LSTM模型的平均相对误差分别为1.84%和1.69%,综合来看,CNN-LSTM模型取得了更好的效果。

需要指出的是,CNN-LSTM的精度优化得益于测点之间的空间关联度,选择测点时可综合测点的几何分布和历史监测曲线两方面判断。本例测点对称分布于基坑周边,且历史监测曲线的趋势也具有一致性。

3. 结论

本文在已有岩土工程时间序列预测方法的基础上,提出可以考虑监测数据空间关联性的CNN-LSTM组合模型。通过基于上海云岭竖井超深基坑工程现场地表沉降监测数据的工程实例验证,得出以下结论：

（1）多个监测点的监测数据构成一个多维时间序列,不同监测点数据之间的空间关联特征可以用CNN网络中的卷积运算提取。

（2）CNN-LSTM模型采用CNN网络提取多维时间序列的空间特征,LSTM网络多空间特征序列进行回归预测。工程实例表明,该模型在预测精度上相较于基于单测点数据的LSTM模型具有更高的精度。

（3）本文预测的多维时间序列的均为地表沉降,即同一类监测数据。工程现场的不同监测项目之间,理论上也可采用CNN-LSTM模型建模预测,如何将该模型推广到任意监测项目组成的多维时间序列是值得深入研究的问题。

图 1 CNN网络核心结构示意图

Figure 1. Structure of convolutional neural networks

下载: 全尺寸图片幻灯片

图 2 LSTM结构示意图

Figure 2. Structure of LSTM

下载: 全尺寸图片幻灯片

图 3 CNN-LSTM模型结构示意图

Figure 3. Structure of CNN-LSTM model

下载: 全尺寸图片幻灯片

图 4 降噪后数据示意图

Figure 4. Curves of data after noise reduction

下载: 全尺寸图片幻灯片

图 5 DB1-1测点监测值与预测值

Figure 5. Measured and predicted values of DB1-1

下载: 全尺寸图片幻灯片

图 6 DB1-1测点预测相对误差对比

Figure 6. Comparison of prediction relative errors of DB1-1

下载: 全尺寸图片幻灯片

图 7 DB2-1测点监测值与预测值

Figure 7. Measured and predicted values of DB2-1

下载: 全尺寸图片幻灯片

图 8 DB2-1测点预测相对误差对比

Figure 8. Comparison of prediction relative errors of DB2-1

下载: 全尺寸图片幻灯片

图 9 DB3-1测点监测值与预测值

Figure 9. Measured and predicted values of DB3-1

下载: 全尺寸图片幻灯片

图 10 DB3-1测点预测相对误差对比

Figure 10. Comparison of prediction relative errors of DB3-1

下载: 全尺寸图片幻灯片

参考文献(5)

[1]	龚剑, 王旭军, 赵锡宏. 深大基坑首层盆式开挖对基坑变形影响分析[J]. 岩土力学, 2013, 34(2): 439-448. doi: 10.16285/j.rsm.2013.02.041 GONG Jian, WANG Xu-jun, ZHAO Xi-hong. Analysis of effect of first-level basin excavation on deformation of deep and large foundation pits[J]. Rock and Soil Mechanics, 2013, 34(2): 439-448. (in Chinese) doi: 10.16285/j.rsm.2013.02.041
[2]	于怀昌, 刘汉东, 丁仁伟. 深基坑降水过程中周围建筑物沉降的系统预测[J]. 岩石力学与工程学报, 2004, 23(22): 3905-3909. doi: 10.3321/j.issn:1000-6915.2004.22.031 YU Huai-chang, LIU Han-dong, DING Ren-wei. Forecasting building settlement around dewatering deep foundation pit by grey system theory[J]. Chinese Journal of Rock Mechanics and Engineering, 2004, 23(22): 3905-3909. (in Chinese) doi: 10.3321/j.issn:1000-6915.2004.22.031
[3]	XU S L, NIU R Q. Displacement prediction of Baijiabao landslide based on empirical mode decomposition and long short-term memory neural network in Three Gorges area, China[J]. Computers & Geosciences, 2018, 111: 87-96.
[4]	李彦杰, 薛亚东, 岳磊, 等. 基于遗传算法-BP神经网络的深基坑变形预测[J]. 地下空间与工程学报, 2015, 11(增刊2): 741-749. https://www.cnki.com.cn/Article/CJFDTOTAL-BASE2015S2062.htm LI Yan-jie, XUE Ya-dong, YUE Lei, et al. Displacement prediction of deep foundation pit based on genetic algorithms and BP neural network[J]. Chinese Journal of Underground Space and Engineering, 2015, 11(S2): 741-749. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-BASE2015S2062.htm
[5]	郭健, 查吕应, 庞有超, 等. 基于小波分析的深基坑地表沉降预测研究[J]. 岩土工程学报, 2014, 36(增刊2): 343-347. https://www.cnki.com.cn/Article/CJFDTOTAL-YTGC2014S2062.htm GUO Jian, ZHA Lü-ying, PANG You-chao, et al. Prediction for ground settlement of deep excavations based on wavelet analysis[J]. Chinese Journal of Geotechnical Engineering, 2014, 36(S2): 343-347. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-YTGC2014S2062.htm

施引文献(43)

期刊类型引用(20)

1.	汪明元，王振红，陈松庭. 基于LightGBM算法的海洋土压缩参数预测模型. 浙江工业大学学报. 2024(01): 17-24 . 百度学术
2.	肖衎，张世民，丁智，范晓真，张霄. 基于改进修正动员强度设计方法的软土基坑围护结构侧移预测. 浙江大学学报(工学版). 2024(02): 413-425 . 百度学术
3.	郭亚鹏，于磊，田海川，朱洪宇，张博，张纯，董玉雄，马林杰. 基于GWO-ELM模型的深基坑开挖变形预测研究. 山西建筑. 2024(03): 114-118 . 百度学术
4.	王景环，汪亚民，郑松岗，龙捷. 基于TCN与SVM组合模型的建筑沉降预测. 工程勘察. 2024(02): 64-67+72 . 百度学术
5.	贺炎九. 基于现场智慧监测的深基坑工程变形预测研究. 广东建材. 2024(04): 84-86 . 百度学术
6.	陈文华，万兵，刘际付，张玉山，刘国富. 珠海地区软土基坑支护桩变形异常分析. 山西建筑. 2024(08): 70-73 . 百度学术
7.	张伟，邓彬彬，仇建春，夏国春，姚兆仁，刘占午，朱新宇，王昱锦. 基于ESMD-FE-AJSO-LSTM算法的水闸深基坑变形预测. 南水北调与水利科技(中英文). 2024(02): 378-387+408 . 百度学术
8.	黄茂庭，徐金明. 使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络预测盾构隧道施工引起的地面沉降. 城市轨道交通研究. 2024(06): 166-171 . 百度学术
9.	高墨通，杨维芳，刘祖昱，曹小双，张瑞琪，侯宇豪. 结合卷积神经网络和注意力机制的LSTM采空区地表沉降预测方法. 测绘通报. 2024(06): 53-58+170 . 百度学术
10.	李涛，舒佳军，王彦龙，陈前. 基于模态分解方法的深基坑支护桩水平变形预测. 岩土力学. 2024(S1): 496-506 . 百度学术
11.	魏星，陈睿，程世涛，朱明，王子健. 成都膨胀土地区深基坑降雨稳定性分析与变形预测. 岩土力学. 2024(S1): 525-534 . 百度学术
12.	唐浩然，胡垚，雷华阳，路军富，刘婷，王凯. 基于深度学习的基坑开挖引起地表位移时序预测. 岩土工程学报. 2024(S2): 236-241 . 本站查看
13.	付新政，崔春雨，张乾青，王思瑞，薛有泉，高鹏. 基于遗传算法的基坑多指标变化量动态预测研究. 工业建筑. 2024(11): 33-40 . 百度学术
14.	郁万浩，刘陕南，肖晓春. 基于TimeGAN增强的CNN-LSTM模型在盾构掘进地表沉降中的预测研究. 隧道建设(中英文). 2024(11): 2223-2232 . 百度学术
15.	吕果，王博，李江. 基于灰色理论预测模型的商业综合体项目基坑形变监测研究. 甘肃科学学报. 2024(06): 25-29+71 . 百度学术
16.	詹涛，黄浩. 基于盾构施工进程与时空因素的临近建筑物沉降预测研究. 土木工程学报. 2024(S1): 117-121 . 百度学术
17.	胡圣祥，王世峻. 基坑施工引起周边管线沉降的一个深度学习模型. 华南地震. 2023(02): 165-173 . 百度学术
18.	刘丹，吕倩，胡少华，李墨潇. 大坝变形GA-LSTM组合预测模型研究. 安全与环境学报. 2023(07): 2246-2253 . 百度学术
19.	林川，桂星煜，朱律运，苏燕，林梦婧，唐燕芳，陈伟. 基于因子融合的混凝土面板堆石坝变形预测模型. 水力发电学报. 2023(10): 139-152 . 百度学术
20.	冯欣欣，卜磊，章晓余，史玉峰. 基于ICEEMDAN-LSTM的地铁盾构隧道管片形变数据分析预测. 计算机与现代化. 2023(11): 57-61 . 百度学术

其他类型引用(23)

资源附件(0)

图(10)

计量

文章访问数: 437
HTML全文浏览量: 34
PDF下载量: 208
被引次数: 43

0. 引言
1. CNN-LSTM模型
1.1 卷积神经网络（CNN）
1.2 长短期记忆神经网络（LSTM）
1.3 CNN-LSTM模型
2. 工程实例验证
2.1 工程概况
2.2 监测数据建模预测
3. 结论

基于时空关联特征的CNN-LSTM模型在基坑工程变形预测中的应用 English Version

作者简介: 洪宇超(1996— ),男,硕士研究生,主要从事岩土工程方面的研究。E-mail: hong_yuchao@163.com

通讯作者: 钱建固, E-mail: qianjiangu@tongji.edu.cn

计量

出版历程