发布时间:2023-11-17 16:02:15 来源: 河北科技大学 刘青
本项目结合项目组成员在数字孪生、VR\AR、机器人学领域相关的研究成果,将智能控制系统的专业知识,通过数字孪生技术与基于物理实体模型的控制产品、三维虚拟仿真模型、三维游戏等进行有机结合,从而形成寓教于乐的智能控制系统科普产品,推进智能控制系统知识的科普工作。
本科普产品是一套综合实验平台,其包括物理实体系统模型、虚拟仿真模型及其环境、传感器网络、信息处理中心等组成部分。使用者可以通过该系统获得与智能控制系统理论的概念知识、对智能控制系统的实际操作体验、数字孪生方法与技术的直观认识。
产品体现了先进制造领域的最前沿的技术思路和对未来产业升级的展望,将为广大使用者在智能控制领域知识的拓展提供有力的帮助。同时基于虚拟模型的特点,本系统不仅可以在本地进行连接,还可以通过网络的方式允许使用者在远程进行学习和体验,便于对更广泛的人群进行科普知识的普及教育。
一、项目的组织实施情况
本项目运用数字孪生技术构建一个虚实结合的智能控制系统,实现对智能控制系统多角度的了解与认知,如下图所示,在用户可以看到和感知到的物理模型上叠加虚拟仿真模型,并提供多种学习体验的视角:如展示台视角、VR视角、AR视角等。
项目概念设计
从软件开发方面来看,本系统软件部分是一个基于Unity3D+Vofuria+的软件综合应用程序;从硬件开发方面来看,基于串口485的电动推杆和树莓派和计算机的端口连接,并调用脚本即可对硬件进行即时监控。
(一)物理实体模型建设
物理实体模型由两部分组成,即作为载体的电子展示台和表现控制过程的模块化控制展教具组件。
电子展示台
电子展示台是一种利用数字技术、多媒体技术和网络技术等,将展示内容以动态、交互的方式呈现给观众。本项目设计了一个具有自主知识产权的电子展示平台,该平台由框架、触控屏、模块化展教具连接端口、集线器和网络设备、主机等部分组成,具有以下特点:
1、平台能够支持多种形式的展示内容,包括文字、图片、视频、音频等,以便满足不同展示需求。
2、平台具有交互性和动态性,提高观众的参与度。
3、平台能够根据客户需求进行定制化开发,以适应不同的展示场景和需求。
4、平台具备数据统计和分析功能,以便客户能够了解展示效果和及时反馈。
电子展示台操作
模块化控制展教具组件
模块化控制展教具组件是用户观察认识智能控制系统的物理实体模型,包括限高杆6组和机械臂一具。限高杆和机械臂分别与一种虚拟仿真模型连接,以实现基于数字孪生的虚实互动。
a限高杆物理实体模型制作
b机械臂实体模型制作
限高杆采用3D打印完成,并进行了模型的涂装、美化等操作。限高杆物理实体模型参照道路实际情况进行等比例缩放
机械臂物理实体模型的设计和实施根据设计目标,选择了三轴机械臂,以及相应的驱动方式和控制系统。根据机械结构的设计,完成了对控制系统包括控制器、传感器、执行器等的设计。控制系统需要与机械结构相匹配,实现精确的运动控制和位置反馈。
(二)虚拟仿真系统模型建设
智慧交通系统模型设计与建设
智慧交通模拟系统将所有数据信息映射到模拟系统中,通过搭建智慧交通管理三维数字模型,模拟实际城市某些路段交通流量和拥堵情况,实现了模拟道路交通状况的功能。智慧交通模拟系统主要由街景模型、车辆模型、车辆运动机理模型、交通规则模型和车辆数据五部分组成。
街景模型
街景模型是一种三维模型,用于呈现真实世界中的街道、建筑和周边环境等元素,本项目在街景数据采集过程中主要采用摄影和无人机采集的方式。也参考了部分开源街景图像。采集到的数据包括建筑物信息、道路信息以及各路口的信号灯间隔时间等。
数据采集场景
模型搭建:依据处理好的数据,利用Unity搭建出基本的街景模型,结合采集到的图片和现实中的元素对模型中建筑、道路、交通信号灯、周边环境等元素进行修改和校对。
优化渲染:根据采集到的街景图像,将图像投影到建立模型的表面,进行纹理贴图;为街景模型设置合适的光照效果并进行渲染。
街景模型展示图
车辆数据
车辆数据包括车辆的类型、品牌、颜色、尺寸等基本车辆数据以及车辆在某一时间段的通行数据。这些数据支撑了车辆模型构建和车辆通行模拟。该项目重点采集了七个路口在2023年4月一个月内不同时间内某个方向上的车辆通行数据,并将一个月的数据加权平均到一天各个时间段当中,保证了数据的可靠性。
车辆模型展示图
车辆运动机理模型是用于描述车辆运动规律的模型。该模型能够真实地反映车辆的运动特性,并满足行驶过程中的运动规则约束。其中包括车辆转向、加速和制动等关键操作,使得车辆得以实现前进、转向、刹车、停车等多样的动作。
碰撞行为发生
此外,模型还考虑了车辆碰撞行为的建模。通过引入碰撞模型,能够分析车辆在碰撞后产生的行为。一旦发生碰撞,车辆将立即停止运行,并停留在道路上,可能引发交通拥堵等问题。
车辆碰撞行为2
交通规则模型
交通规则模型用来约定车辆间、车辆与道路间的交互准则。交通规则主要有转向限制、速度限制等,在模型建立的过程中通过设置车道和车辆的属性来实现。在车辆通行模拟过程中可以通过合理设置车道、车辆的属性以及控制交通信号灯等,模拟实际场景并取得满意的模拟效果。
交互性设计:依据交通规则,设计交互性界面,用户通过操作用户界面,实现场景移动、参数调整等操作。
交互界面展示
车辆通行模拟
通过模拟和调整交通灯的时长,系统可以控制车辆通行的节奏,使车流量得以平衡分配,减少拥堵并提高道路的通行能力。系统可以根据交通数据和算法,智能地计算出最优的交通灯时长,并及时应用于模拟系统,使得交通在模拟中更加流畅和高效。
(三) VR环境设计与建设
项目建设了与智慧交通系统协同的一套基于HTC VIVE的VR操作环境,用户可以沉
浸式体验控制交通的实际过程,加强学习和体会。未来考虑将系统发布到Steam等平台上,供更多用户使用和反馈。
VR开发与测试
AR交通灯设计与建设
项目建设了与智慧交通系统协同的一套基于Vofuria的AR(增强现实)操作环境,
为用户呈现更生动、实景化的学习形式。用户通过AR技术在虚拟世界中进行模拟操作进行交通控制的立体展示。
AR开发与测试
控制小程序设计与建设
为了增加趣味性,项目还建设了机械臂操控和自行车控制两个控制小程序。
用户可以通过与虚拟仿真模型的互动学习控制原理等相关知识。比如自行车相关的知识:“自行车可以保持直立是因为一种称为“稳定垂直”的动力学原理。当自行车出现微小的倾斜时,前轮会朝着倾斜的方向转动,产生一个扭矩来纠正倾斜。这种自然稳定性使得骑车者能够在保持平衡的同时控制方向。”
控制小程序示意图
科普活动信息处理中心建设及系统集成开发
科普活动信息处理中心信息流图
为了将智能控制系统相关科学知识进行展示,项目组将电子展示台、模块化控制系统模型组件、UNITY虚拟程序、VR/AR环境进行了集成,开发了科普活动信息处理中心程序。
按照任务书主要指标,本项目完成物理实体系统模型,实现一套反应现实中复杂系统的模型。完成虚拟仿真系统模型的建设,该虚拟仿真模型是物理实体系统模型的映射。
完成用于科普活动的信息处理中心及系统集成开发,全系统调试完毕,可以投入使用。
二、项目完成情况
(一)科普内容编撰制作
智能控制系统是在人工智能及自动控制等多学科之上发展起来的一门新兴、交叉学科,它具有非常广泛的应用领域,如专家控制、智能机器人控制、智能过程控制、智能故障诊断及智能调度与规划等。
本项目重点将与智能控制系统相关联的科学知识进行整理,如:数学建模、多元统计分析、智能控制的概念与定义、智能控制的主要研究领域等,从而建立较全面的科普内容。
(二)物理实体模型建设
使用手工、机加工和增材制造等加工技术,结合电气电子设备,如:多类型传感器、单片机、工业网络等建立物理实体系统模型。这是一套可以表现控制系统的各种科学知识的桌面式、可移动、可展示的缩微桌面模型,也是用户直接能够接触到的系统之一,重点演示工业自动化2.0和部分工业信息化3.0的成果。
(三)虚拟仿真系统模型开发
使用数字孪生技术,在数字虚拟空间中定义一组虚拟仿真系统模型,使其与物理实体系统模型具有映射关系,且这种映射具备包括形状、形态、行为、材质等多维度、多角度上高度一致的信息。该模型是一个在虚拟空间中与物理实体系统模型高度一致的模型组,通过虚拟仿真系统模型,演示工业4.0智能化的成果。
(四)信息处理中心开发
开发连接物理实体系统模型和虚拟仿真系统模型的信息处理中心,并在系统配属的服务器上进行部署。中心通过部署在物理实体系统模型内部的传感器网络,将模型的各种数据采集并在数据处理中心以及虚拟仿真系统模型之间进行交互。
(五)系统集成
设计制作用户界面,操作手册等软件和文件,将全系统调试完成。该界面是使用者可以操作的部分,使用者既可以通过对物理实体的直接操作了解控制系统的方方面面的概念知识,还可以通过用户界面同步观察到物理实体和虚拟模型的表面对应变化,并进一步以多维度、多特征、多视角地方式通过虚拟模型来观察该物理实体的内部结构、零件的互动关系、用电量的变更等参量,还可以反向地通过此虚拟模型的操作对物理实体产生影响,从而获得对相关知识的深入了解,最终有效地认识这一科学领域。
三、取得的重要成果及效益
(一)主要成果产出情况
1. 智能控制系统科普知识集
2. 数字孪生科普展示台
3. 虚拟仿真科普游戏
4. VR/AR展示程序
(二)成果应用及其经济社会效益
成果已投入使用,参与2023年度河北省科技活动周参展,参与本科学科竞赛,获三维数字化设计大赛河北省一等奖一项。
(三)人才队伍和创新基地建设情况
本项目培养硕士研究生1人,本科生8人,参与学科竞赛一项,获得2023年度三维数字化创新大赛河北省一等奖。