基于人工智慧的多模态Transformer铁路障碍物入侵检测系统

发明者：
倪一清教授
理大严、麦、郭、钟智能结构教授、土木及环境工程学系智能结构与轨道交通讲座教授、国家轨道交通电气化与自动化工程技术研究中心（香港分中心）主任、香港理工大学杭州技术创新研究院院长

障碍物侵入轨道造成的铁路事故是大众关注的安全隐患，因此开发智能障碍物入侵检测系统（OIDS）是保障列车安全运行的关键。我们研发的先进OIDS由三部分组成：（1）传感设备，包括镜头和激光雷达；（2）实时数据收集和预警模块；以及（3）基于Transformer的障碍物检测模型。

首先是校准并安装视觉传感设备在机车前方，以获得最佳的监测效能。然后，将采集到的多模态数据同步，并输入基于Transformer的障碍物检测模型。该模型会从图像和点云中提取特征，分析组合数据，以检测当前或可能侵入轨道区域的障碍物，并根据预测结果向运行中的列车发出实时警告，防止潜在事故发生。

此外，Transformer模型会使用不同天气和光照条件下的真实与合成样本进行训练，增强OIDS 在不同场景下的稳健性和多功能性。