LA专题 | 张洋葛梦婷董孟斌沈熙为 | 数字化背景下人机交互对景观感知的影响

Original 张洋葛梦婷等风景园林杂志

2024-09-02

全文刊登于《风景园林》2022年第9期 P48-54

张洋，葛梦婷，董孟斌，沈熙为.数字化背景下人机交互对景观感知的影响[J].风景园林，2022，29（9）：48-54.

数字化背景下人机交互对景观感知的影响

张洋

男 / 博士 / 上海交通大学设计学院讲师 / 研究方向为智慧园林、城市生物多样性

葛梦婷

女 / 美国弗吉尼亚理工大学建筑学院在读博士研究生 / 研究方向为设计可视化、设计交互、环境心理学

董孟斌

男 / 淄博市公用事业服务中心市政工程科副科长 / 研究方向为市政、园林工程建设管理

沈熙为

男 / 博士 / 美国内华达大学建筑学院助理教授 / 上海交通大学设计学院设计实践导师 / 研究方向为景观设计理论与应用

摘要：数字时代背景下，人机交互不断革新人们与环境之间的交互方式，让人们以前所未有的方式感知景观。为了系统性厘清人机交互如何作用于景观感知，首先，分析了人机交互对人的思维方式、行为方式和体验需求的影响。其次，基于人机交互的作用媒介和机制，从多源数据拓展空间信息范围（感知维度）、多通道交互增强感官体验（感知方式）、实时计算强化动态响应过程（感知过程），以及情感计算触发情感反馈（感知效果）4个层面，提出人机交互对景观感知的影响。最后，探讨未来在新信息技术、新交互方式、新智能反馈、新情感触发的背景下，人机交互可为景观感知创造更多的可能性，为风景园林研究方向拓展和设计创新提供参考。

关键词：风景园林；数字技术；人机交互；景观感知；景观体验；交互景观

1 研究背景

以互联网产业化和工业智能化为标志、以技术融合为主要特征的第 4 次工业革命正以一系列颠覆性技术深刻地影响和改变着我们的城市，城市正逐渐成为一个由各类即时大数据所建构的网络空间与实体的物理空间相互融合的复杂有机体。城市物理空间与由信息通信技术产生的信息流动空间连接组合，由以物理技术为主导转变为以信息技术为主导，形成“二元化城市”的新格局。数字化作为风景园林发展的重要推动因素，数字化应用已逐渐从城市场景向风景园林场景延伸，基于人机交互的各种智能机器正成为不同尺度景观的“参与者”，并使景观变成一种“反馈环境”，同时也在改变人们的景观感知，使景观感知更趋于个性化和人性化。

Zube 等在 1982 年最早提出“人—景观—结果”的景观感应模型，在数字技术快速发展的时代背景下，人机交互有望成为景观感知新的、重要的媒介和工具，可以更好地增强反馈、辅助优化描述景观，帮助人与景观环境之间建立更广泛和密切的联系（图 1）。因此，关于人机交互对景观感知的影响研究不应局限于感官感知的结果研究，更应该关注人机交互对景观感知影响的全过程性和人的参与性。本研究基于人机交互的作用媒介和机制，试图从多个维度厘清人机交互如何作用于景观之中，以及如何对人的景观感知产生影响，并基于景观感知的全过程，从 4 个层面提出人机交互对景观感知的影响，即多源数据拓展空间信息范围（感知维度）、多通道交互增强感官体验（感知方式）、实时计算强化动态响应过程（感知过程），以及情感计算触发情感反馈（感知效果）。

1 人机交互对景观感知影响的变化

2 人机交互对人的思维认知影响

人机交互不仅打破了原有“人—计算机”的单线程联系方式，还构建了人与智能机器相互联系和影响的新型模式。人机交互模式对人的思维方式、行为方式和体验需求 3 个层面均产生了重要影响（图 2）。

2 人机交互对人的思维认知影响

2.1 思维方式：机械思维转变为大数据思维

大数据分析为人们提供了解决问题的新思路，因为大数据中所包含的信息可以帮助人们消除不确定性，单一数据的误差也可以在海量数据面前被最小化。而且因果关系在某种程度上也可以被相关关系所取代，人们思考问题可以不再过分依赖精确的因果关系，而是关注数据间的相关关系，并通过研究数据间的内在逻辑得到一般性规律。

2.2 行为方式：物理空间行为转变为线上线下结合

随着人机交互的载体如手机、摄像机、传感器等设备的广泛使用，人—环境之间形成新的“人—机器—环境”智能增强生态链，依托物联网，人与环境突破物质空间和时间限制的强粘性关系，人的行为方式更具有即时性、远程性和虚实结合性。

2.3 体验需求：静观的空间逻辑转变为互动的体验逻辑

人机交互的过程可以收集大量的个人数据，在这一过程中，个体的意志和行为得到更多的关注，个体在习惯于这种体验的同时，会催生更多的个性化需求，这种需求也从生活体验扩展到景观体验中，对景观的功能需求从静观的空间逻辑转变为互动的体验逻辑，智能机器在景观体验中扮演着越来越重要的角色。

3 人机交互的作用机制及其对景观感知的影响

人机交互具有多源数据采集、多通道交互、实时移动计算、情感判断反馈 4 个方面的特征，这为景观感知体验带来了更多的可能性。总体来看，人机交互对景观感知的影响体现在 4 个方面，即多源数据拓展空间信息范围（感知维度）、多通道交互增强感官体验（感知方式）、实时计算强化动态响应过程（感知过程）、情感计算触发情感反馈（感知效果）。

3.1 感知维度：多源数据拓展空间信息范围

人机交互具有多源数据采集的特征，通过监测不同类型数据的传感器、识别人行为活动的摄像头、测量生理指标的测量仪、获取地理信息数据的无人机和地理信息系统（GIS）等数据采集媒介的广泛使用，可以多途径、多维度获取以往难以获得的数据信息。通过计算机算法处理，不仅可以帮助人们摆脱只能依靠身体感知的局限，拓展人对空间信息的感知方式和感知范围，还可以帮助人们更好地认知生物特征或者自然过程的复杂性，理解自然和环境的运转模式，并能直接进行互动（图 3，4）。

3 Hortum machina, B 交互装置

4 《光之螺旋》交互景观实景图

3.2 感知方式：多通道交互增强感官体验

多通道（multimodal）交互即利用人的多种动作通道和感觉通道（如表情、手势、语音、动作、视线等）输入信息，与计算机环境以非精确、并行的方式进行交互。在人机交互中，多通道交互实现了景观感知深度的增强，这包括了视觉、听觉、触觉的感知增强，以及多感官交融下的感知增强。

在输入方面，基于深度神经网络模型的单通道输入如人机对话、机器翻译、目标识别、语音识别、手势检测与跟踪、人体检测与跟踪等性能得到快速提升，如超大规模深度卷积神经网络（convolution neural network, CNN）在图像目标识别领域的辨识水平已经超过普通人类的水平。目前基于机器学习或者统计方法的多通道信息融合计算模型主要包括神经网络模型、Bayes决策模型和基于图模型的信息融合。在输出方面，多通道交互模式可根据人的需求综合使用多种输出通道，并进行多通道融合，形成多设备协同和跨设备场景迁移的新型人机交互模式和产品形态，有效提升人机交互过程中的感官体验与沉浸感（图 5）。

5 ARC实验室的沉浸式交互体验

3.3 感知过程：实时计算强化动态响应过程

正是数据的实时计算与高速网络信号传递的发展，使得当下从技术层面加快了人机交互速度，人对空间的体验与需求能够快速地通过交互技术与景观环境连接，而无须长时间等待或人工介入。人的行为可以获得实时的动态反馈，以往被动参与景观的过程转变为主动介入，静态观赏景观的过程转变为实时互动，从而激发出新的行为方式（图 6）。上海交通大学数字景观实验室研发的《 AI 机械花》交互景观是基于 AI 技术构建的一种实时响应的反馈式景观。自然界中影响花开合的主要因素是光照，而机械花则是通过人的行为控制机械花的开合，它通过距离传感器和摄像头捕捉人的距离和肢体动作，结合人物检测、动作捕捉等算法，设置 4 种人机交互模式来控制机械花叶片的开合幅度和方向变化，实现模拟自然植物的智能机器对人的行为的动态反馈，增强人的景观感知。同时，机械花与环境中的自然花境形成景观模糊和体验反差，重构“人—智能机器—自然”之间的互动关系，激发人们对自然的思考（图 7）。

6 GeoForAll 实验室的触控景观实验

7 《AI 机械花》3D 打印模型

7 人机交互场景

3.4 感知效果：情感计算触发情感反馈

人机情感交互是对人类情感的信息处理过程的模拟，重点是形成人和智能机器的双向情感交流，即情感从人流向智能机器，再从智能机器回流向人，实现人机“共情”或情感“交流”。

目前的情感识别方式通常以单模态为主，而相关研究发现多模态比单模态能够提供更多的信息，更容易对情绪进行准确判断，但现阶段多模态一般是基于面部表情、肢体动作、语音符号其中 2 种结合的双模态，暂时无法实现实质上的多模态，而且生理信号也很少能与以上几种模态相结合。对情绪的特征提取和分类主要通过机器学习算法和情绪判断模型，从而实现对人的情感判断，相比于早期使用支持向量机（support vector machine,SVM）进行分类，随着数据量增大，以循环神经网络（recurrent neural network, RNN）、 CNN、对抗神经网络（adversarial neural network, ANN）等为代表的深度神经网络学习显示出更精准的推测潜力，可以更准确地理解人的情绪（图 8）。

8 Smile情绪交互景观的灯光装置（左）和人机交互场景（右）

情感计算的最终目的是情感表达，即在情感感知的基础上，做出智能化反应（图 9）。由于机器学习在情感计算方面的应用主要集中在情感分类，很少应用于智能机器的情感表现。现有智能机器的情感表现力针对性不强，不能在与人的交互过程中对情感表达进行自动调节，因此在景观场景中较难与人形成情感交流，导致大部分案例还停留在实验室研究层面，能够应用于实践中的相对较少。

9 Media 实验室的海洋疗愈情感交互实验

4 结论与展望

人机交互不断革新人们和环境之间的交互方式，它将对人的行为和环境进行更全面的描述和反馈，让人们以前所未有的方式感知景观。未来在新信息技术、新交互方式、新智能反馈、新情感触发的背景下，人机交互可为景观感知创造更多的可能性。

1）新信息技术。随着 5G 甚至 6G 等新信息技术的普及，信息的传递速度将是 4G 技术的10 倍以上，机器与机器之间有望实现真正的“万物互联”，数据流和信息流将进一步扩大人的信息感知维度，甚至有机会引发更多颠覆性的体验变革。但是当下也面临着诸多挑战，首先是物联网的覆盖范围仍然有限，制约着信息获得的广度；其次是传感设备的灵敏度、准确性和稳定性，制约着信息获取的深度；同时传感设备的功能集成化和微型化也亟待提升。

2）新交互方式。人机交互的方式正逐渐打破传统的桌面计算模式，呈现出多元化、创新化的特征。随着 AI 技术和深度学习算法的不断进步，人机交互将变得更加自然和方便。同时，构建具有智能增长能力的多通道信息融合和理解模型、训练计算机的类人认知与学习能力，以及训练系统的多通道选择与管控能力，将是多通道信息融合需要重点突破的方向。

3）新智能反馈。以人为起点的人机交互方式，未来可能会转变为以智能机器为起点的“主动交互”，机器通过城市计算、社会计算、情感计算等方式，对人的行为数据和生理数据进行挖掘和分析，计算出人的需求并主动输出执行结果，做出个性化的智能反馈。但现阶段大多数 AI 算法其实是“离线”的，即上传至网络物理系统中的模型是一个已经调试过的模型（如深度学习中的神经网络），所以智能机器缺乏实质上的“持续学习”能力。

4）新情感触发。随着情感计算相关技术的提升，将赋予智能机器在视、听等方面更强的情感识别能力，同时智能机器对人的思维理解、情境理解能力将更加完善，情感交互能力也将更加智能。但是，情感是人类最复杂的、最不可预测的表达形式，情感计算仍存在诸多技术难题有待解决。

图表来源：

图1由作者根据参考文献[23]改绘；图2由作者绘制；图3引自参考文献[35]；图4由北京甲板智慧科技有限公司提供；图5引自参考文献[47]；图6引自参考文献[52]；图7由作者拍摄；图8引自参考文献[57]；图9引自参考文献[58]。

为了微信阅读体验，文中参考文献标注进行了删减，详见杂志。

参考文献

[1] LONG Y. (New) Urban Science: Studying “New” Cities with New Data, Methods, and Technologies[J]. Landscape Architecture Frontiers, 2019, 7(2): 8-21.

[2] 杨俊宴，郑屹.城市：可计算的复杂有机系统：评《创造未来城市》[J].国际城市规划，2021，36（1）：7.

[3] MITCHELL W J. E-topia[M]. Cambridge: MIT Press, 2000.

[4] 张恩嘉，龙瀛.空间干预、场所营造与数字创新：颠覆性技术作用下的设计转变[J].规划师，2020，36（21）：5-13.

[5] 王晶，甄峰.信息通信技术对城市碎片化的影响及规划策略研究[J].国际城市规划，2015，30（3）：66-71.

[6] BATTY M. Inventing Future Cities[M]. Cambridge: MIT Press, 2018.

[7] 清华大学建筑学院，腾讯研究院，腾讯云. WeSpace· 未来城市空间[R].北京：清华大学建筑学院，2020.

[8] 成实，张潇涵，成玉宁.数字景观技术在中国风景园林领域的运用前瞻[J].风景园林，2021，28（1）：46-52.

[9] 刘颂，张桐恺，李春晖.数字景观技术研究应用进展[J].西部人居环境学刊，2016，31（4）：1-7.

[10] 邓位.景观的感知：走向景观符号学[J].世界建筑，2006（7）：47-50.

[11] 颜丙金.文化旅游地特色文化景观的游客多维感知研究[M].南京：南京大学出版社，2019.

[12] 张超.互动式体验景观在园博园展园中的研究与运用[D].北京：北京林业大学，2016.

[13] 王芳.公共空间互动性景观设计研究[D].武汉：湖北工业大学，2015.

[14] 王红奕.园林建设中的互动性设计研究[D].杭州：浙江大学，2010.

[15] 张煜子.多感官体验式互动景观的研究[D].南京：南京工业大学，2012.

[16] 魏倩.城市公园体验式景观设计研究[D].杨凌：西北农林科技大学，2019.

[17] 杨盛.交互性声景观设计方法研究[J].现代园艺，2015（15）：110-112.

[18] 赵昱.景观设计的智能交互性应用研究[D]北京：北京林业大学，2019.

[19] ZHANG X F, YAN S, QUAN Q. Virtual Reality Design and Realization of Interactive Garden Landscape[J]. Complexity, 2021: 1-10.

[20] SCHILICKMAN E. Going Afield: Experimenting with Novel Tools and Technologies at the Periphery of Landscape Architecture[J]. Landscape Architecture Frontiers, 2019, 7(2): 84-91.

[21] 赵晓静.计算机增强现实(AR)技术在园林景观设计中的应用[J].电子技术与软件工程，2021（1）：146-147.

[22] FRICKER P. Virtual Reality for Immersive Data Interaction[J]. Landscape Architecture Frontiers, 2019, 7(2): 153-159.

[23] ZUBE E H, SELL J, TAYLOR J G. Landscape Perception: Research, Application and Theory[J]. Landscape Planning, 1982, 9(1): 1-33.

[24] 张洋，李长霖，吴菲.数字化技术驱动下的交互景观实践与未来趋势[J].风景园林，2021，28（4）：99-104.

[25] 吴军.智能时代[M].北京：中信出版社，2016.

[26] 段虹，徐苗苗.论大数据分析与认知模式的重构[J].哲学研究，2016（2）：105-109.

[27] JIANG B. Nine Questions Toward Influences of Emerging Science and Technology on Urban Environment Planning and Design[J]. Landscape Architecture Frontiers, 2019, 7(2): 66-75.

[28] 曹静，何汀滢，陈筝.基于智能交互的景观体验增强设计[J].景观设计学，2018，6（2）：30-41.

[29] 王建亮，蒙源，李芳芳.基于手势传感器的智能人机交互识别系统设计[J].数字技术与应用，2021，39（5）：112-114.

[30] 韩炜杰，王一岚，郭巍.无人机航测在风景园林中的应用研究[J].风景园林，2019，26（5）：35-40.

[31] 荆超凡.基于人机交互的地理属性数据采集系统研究[D].西安：西安科技大学，2020.

[32] 张诗阳.计算机科学与风景园林：弗吉尼亚大学风景园林系系主任耿百利教授专访[J]. 风景园林，2020，27（5）：105-109.

[33] 匡纬.“人机交互技术”支持下的“动态”景观设计未来[J].风景园林，2016，23（2）：14-19.

[34] CANTRELL B, ZHANG Z H. A Third Intelligence[J]. Landscape Architecture Frontiers, 2018, 6(2): 42-51.

[35] CAMILLERI W V, SAMPAIO D. ReEarth: Hortum Machina, B[EB/OL]. (2016-04-17)[2020-09-10].

http://www. interactivearchitecture.org/lab-projects/reearth/.

[36] 蔡凌豪.有关森林之心的一些记忆和问答[EB/OL].(2020-09-18)[2020-12-05].

https://mp.weixin.qq.com/s/lyVYSXcZlxVAqaTGxfpN2g.

[37] MILLER A. Are Smart Solar Flowers Worth the Recent Hype?[EB/OL]. (2022-05-06)[2022-05-30]. https://earth.org/smart-solar-flowers/.

[38] 蔡凌豪.风景园林规划设计的数字实践：以北京林业大学学研中心景观为例[J].中国园林，2015，31（7）：15-20.

[39] HAYNES P, HEHL-LANGE S, LANGE E. Mobile Augmented Reality for Flood Visualisation[J]. Environmental Modelling and Software, 2018, 109: 380-389.

[40] 董士海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学学报，2004，16（1）：1-13.

[41] YU D, DENG L, HE X D, et al. Large-Margin Minimum Classiﬁcation Error Training for Large-Scale Speech Recognition Tasks[C]//Institute of Electrical and Electronics Engineers. 2007 IEEE International Conference on Acoustics, Speech and Signal Processing. Honolulu: Institute of Electrical and Electronics Engineers, 2007: 1137-1140

[42] KAISER L, GOMEZ A N, SHAZEER N, et al. One Model to Learn Them All[EB/OL]. (2017-06-16)[2021-12-20].

https://arxiv.org/abs/1706.05137.

[43] 陶建华，王静.基于人工智能的多通道智能人机交互[J].信息技术与标准化，2017（11）：19-22.

[44] 李菲，杨雪.人机交互的载体变迁进展分析[J].大众标准化，2021（20）：52-54.

[45] 徐跃家，郝石盟，孙昊德.数字化媒体对城市公共空间的介入浅析[J].建筑创作，2018（5）：152-158.

[46] MIT Media Lab. With(in)[EB/OL]. (2019-07-27)[2022-05-01].

https://www.media.mit.edu/projects/with-in/overview/.

[47] Advanced Research Computing (ARC). Visualize This![EB/OL]. (2020-07-27)[2022-05-01]. https://arc.vt.edu/services/visualization/visualize-this.html.

[48] Teamlab. Universe of Water Particles on a Rock Hill Where People Gather[EB/OL]. (2019-02-27)[2022-05-01].https://art.team-lab.cn/w/iwa-waterparticles/.

[49] SHEPARD M. Sentient City: Ubiquitous Computing, Architecture, and the Future of Urban Space[M]. Cambridge: MIT Press, 2011.

[50] 姚雪艳，徐孟.城市公共空间环境设计创新途径与导向研究[J]. 景观设计学，2017，5（3）：18-31．

[51] MIT Media Lab. Tangible View Cube[EB/OL]. (2020-02-21)[2022-05-05]. https://www.media.mit.edu/projects/tangible-view-cube/overview/.

[52] PETRASOV A, HARMON B, PETRAS V, et al. Tangible Modeling with Open Source GIS[M]. Heidelberg: Springer International Publishing, 2018.

[53] JIANG Y Y, LI W, HOSSAIN M S, et al. A Snapshot Research and Implementation of Multimodal Information Fusion for Data-Driven Emotion Recognition[J]. Information Fusion, 2020, 53: 209-221.

[54] DALGLEISH T, POWER M. Handbook of Cognition and Emotion[M]. Sussex: John Wiley and Sons, 1999: 1-21.

[55] 刘婷婷，刘箴，柴艳杰，等.人机交互中的智能体情感计算研究[J].中国图象图形学报，2021，26（12）：2767-2777.

[56] CALVO R A, D’MELLO S. Affect Detection: An Interdisciplinary Review of Models, Methods, and Their Applications[J]. IEEE Transactions on Affective Computing, 2010, 1(1): 18-37.

[57] Varvara and Mar. Smile[EB/OL]. (2018-12-27)[2022-05-07].

http://dancewithlight.com.cn/view/225.

[58] AMORES J, FUSTE A, RICHER R. Deep Reality: Towards Increasing Relaxation in VR by Subtly Changing Light, Sound and Movement Based on HR, EDA, and EEG[C]//BREWSTER S, FITZPATRICK G. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery, 2019: 1-2.

[59] University of Washington. Performing with the Brain[EB/OL]. (2020-02-21)[2022-05-05]. https://dxarts.washington.edu/research/creative-work/performing-brain.

[60] 百度AI交互设计院.AI人机交互趋势研究[EB/OL].（2020-01-07）[2021-12-20].https://wenku.baidu.com/view/954f82c1350cba1aa8114431b90d6c85ec3a8802.html.

[61] 杨明浩，陶建华.多通道人机交互信息融合的智能方法[J].中国科学：信息科学，2018，48（4）：433-448.

[62] 张子豪，耿百利.育野：技术多样性与机器中的“野”[J].景观设计学，2021，9（1）：52-65.

版面预览

相关阅读：

《风景园林》2022-09刊首语 | 郑曦：风景园林的认知与感知

《风景园林》2022-09目录 | 数字技术与景观感知

新刊速览 | 《风景园林》2022-09 数字技术与景观感知

《风景园林》2022-09专题导读 | 数字技术与景观感知

LA专题 | 刘滨谊 | 走向景观感应——景观感知及视觉评价的传承发展

LA专题 | 周详刘子玥施佳颖 | 网络照片能否用于景观视觉感知评价？

LA作品 | 唤醒城市空间下的滨水记忆：成都麓湖穿水公园设计