管理现代化杂志已发表格式范文参考
1.井工煤矿 AI预警管理系统的模块算法与多场景应用
作者：马昆,冯建权,冯晓彤,刘涛,杨洋,董霁红
作者单位：国家能源集团宁夏煤业有限责任公司;中国矿业大学;矿山生态修复教育部工程研究中心
关键词：井工煤矿;智能管理系统;深度学习;AI识别技术;多场景应用
摘要:煤矿 AI管理系统模块算法的实现与应用是智慧矿山建设领域的核心问题,促进矿井一体化管控有助于提高矿山智能 监测能力.基于矿山智能识别技术构建了三级五层矿山 AI管理系统架构,开发了包括综采模块、掘进模块、运输模块、通用 模块的矿山 AI管理系统算法,形成了软件＋服务器智能视觉应用模式.综采模块采用 CNN、YOLOＧFastestV２和 YOLOV３ 模型实现采煤设备识别、区域目标和支架姿态检测;掘进模块使用 YOLO 模型识别前探梁支护和人体相关检测;运输模块利 用 YOLACT模型识别皮带运行状态、异物和大块煤;通用模块通过 OpenCV、YOLO 和 YOLOv４模型实现安全帽、人员行为 和环境检测等.其中,YOLACT模型训练预测框的平均精度均值为８６．７９％,掩膜的平均精度均值为８３．５８％,均处于较高水 平.综采工作面实时展示设备、人员、环境等状态结果;掘进工作面实现危险区域人员入侵、作业工艺异常识别及报警;运输 系统实现皮带煤量、大块煤、异物等监测,对目标实时跟踪监视并预警异常行为;通用场景对井下重点区域的不安全行为及时 进行报警,实现整个矿区的综合监管.研究成果推动了 AI技术与煤矿安全生产深度融合,实现煤矿降人提效的智能化应用 场景,对我国煤矿智能化开采具有重要意义.
０ 引言
煤炭是我国的主要能源,也是国民经济发展的 重要支柱.煤炭在未来较长时段内仍将是我国的主 体能源[１],而保证煤炭开采的安全性和高效性,是国 家重要的产业政策[２].随着«新一代人工智能发展 规划»«关于加快场景创新以人工智能高水平应用促 进经济高质量发展的指导意见»«关于支持建设新一 代人工智能示范应用场景的通知»等多项政策的陆 续出台,智慧矿山建设越来越受到关注.煤矿智慧 矿山关键技术及装备的应用是实现矿山安全发展的 重要保障.智慧矿山建设需要将人工智能技术与矿 山开采系统进行跨领域深度融合,实现矿山开发全 流程智能化运行.当前,煤炭行业生产力发展不平 衡问题日益突出,亟需全面深化煤炭行业与人工智 能技术的融合,力求在产业链的各个环节实现智能 化升级.这不仅有助于推动传统煤炭产业的转型升 级,提高矿产资源的开采效率,更是实现煤矿生产安 全体系智能化与矿区治理模式创新的关键所在[３]. 同时,这也是生产管理层面积极探索和实践人工智 能应用模式的重要方向.
安全生产始终占据着煤矿行业的核心地位,矿 山智能建设应紧紧围绕煤矿安全开展.随着机器视 觉(ComputerVision,CV)技术的发展,基于机器视 觉的井工煤矿目标检测分析正成为研究热点[４Ｇ５]. 赫广杰[６]根据矿区设备实际状况研发了自动化无人 值守系统,减少了人力投入,并提升了矿井的自动化 水平.田成金[７]基于视频追踪、接力和拼接技术研 发了综采智能控制系统,实现了综采工作面设备的 智能化运行.ALAYRAC 等[８]提出了一种基于视 觉语言模型的异物识别技术架构.然而,当前煤矿 仍存在矿井各系统独立运行、人员岗位设置冗余、水 文地质条件复杂[９]、井下工作面的围岩应力和煤层 变化大、设备控制系统的稳定性差[１０]以及各部门信 息交流协调不畅[１１]等问题,严重制约了煤矿安全生 产与绿色开采水平的提升.实现煤炭智能开采和矿 井一体化智慧管控是煤炭行业的重大难题.
虽然人工智能涵盖了广泛的技术领域,但考虑 到煤矿环境的特殊性,本研究选择以机器视觉为切 入点,探索其在提升矿山安全和生产效率方面的潜 力.旨在解决当前井工煤矿安全管理中面临的４个 关键问题:(１)传统人工监管方式效率低下,难以实 现对复杂矿井环境的全面、实时监控;(２)井下环境 复杂多变,现有的自动化系统难以适应并准确识别 潜在安全隐患;(３)多源异构数据(如视频、传感器数 据等)的融合分析能力不足,难以形成全面的安全态 势感知;(４)缺乏智能化的决策支持系统,无法及时、 准确地响应安全事件.
基于此,本文系统解析了矿山 AI识别技术的 内涵与应用场景,总结了矿山 AI智能识别系统的 关键技术,展示了矿山 AI管理系统不同模块的主 要算法理论,并列举了其在矿山的多场景应用.利 用智能管理系统对各生产区域进行智能分析管理, 可及时发现隐患并进行防治,实现了安全监管从“人 防”到“技防”的转变,提升了煤矿的安全管理水平, 推动煤矿开采向绿色、安全、高效、智能化发展.
１ 矿山 AI识别技术的内涵及应用场景
１．１ AI识别技术释义
近年来,大数据、物联网、人工智能等先进技术 飞速发展,学者们从不同角度对人工智能(Artificial Intelligence,AI)的释义做了大量研究,但目前尚未 形成统一定义.曹承志等[１２]将智能技术阐述为:智 能技术是一门综合性的边缘科学,它的形成和发展 建立在计算机科学、信息学、语言学等多个学科深入 研究基础上.中国科学院计算技术研究所智能信息 处理重点实验室[１３]认为智能技术旨在有效地实现 某种预定的目标,依赖于知识作为核心驱动力,并运 用各种方法和手段来达到这一目的,该定义强调了 智能技术在实现目标过程中的知识导向性和方法手 段的多样性.张智海等[１４]认为智能技术是利用现 有计算过程来解释和模拟人类智能活动的研究.斯坦福大学曾在发起的“人工智能１００年”研究项目中 指出,人工智能不仅是一种计算机技术,也一门科 学[１５].智能识别技术作为 AI技术的重要分支,聚 焦于开发算法和实现自动化的信息处理,包括图像 识别技术(ImageRecognitionTechnology,IRT)、 自 动 语 音 识 别 (Automatic Speech Recognition, ASR)、视频识别技术(VideoRecognitionTechnology, VRT)和自然语言处理(NaturalLanguageProcessing, NLP)等方面.
传统煤矿安全管理主要依靠人员对现场进行管 控,存在效率低、投入成本高、响应速度慢等问题,且 对生产环境、设备状况、人员安全隐患和违章行为的 处理不精准,无法满足矿山绿色、安全、智能化建设 的需求[１６].为提高煤矿生产安全水平,促进煤矿生 产安全管理智能化、工作管理现场可视化,加快推动 AI智能技术与煤矿安全生产协同发展,以 AI识别 技术为核心,辅以先进的机器学习模型和预警系统, 通过多角度、多维度、全时域的视频识别分析与统 计,实现对煤矿安全隐患和人员违章行为的实时检 测.这一技术革新推动了煤炭产业从“人防”到“技 防”的转变,显著提升了安全开采水平,为矿工人身 安全和企业可持续发展提供了有力保障.
１．２ AI识别技术在涉煤领域应用现状
煤炭行业从传统煤矿生产方式逐渐转变为智能 化生产方式,正处于智能化建设的初级阶段.为顺 应新时代经济发展的趋势,确保煤炭资源的高效供 给和开采作业的有序进行,在涉煤领域应用智能识 别技术已成为行业发展的必然趋势.人工智能技术 的应用主要包括以下４类.
(１)将人工智能技术中的数据处理方法应用到 矿山对象实体或某个生产、管理系统层面.如将人工 智能技术与矿山灾害治理相结合,可构建智能水害治 理平台[１７]、智能瓦斯抽采技术[１８]、智能冲击矿压监控 技术[１９]、智能煤炭场地识别技术[２０]等(见图１(a)).
(２)将人工智能技术与开采、掘进技术相结合, 可构建智能煤岩识别技术[２１](见图１(b))、智能采煤 工作面[２２]等(见图１(c)).
(３)将人工智能技术与矿山监控系统相结合, 可构建智能化钻探监控系统[２３]、智 能 围 岩 监 控 系 统[２４];将人工智能技术应用到通信网络中,可构建 智能井下无线传感器网络路由算法[２５].
(４)此外,还可将人工智能技术与矿区安全管 理相结合,构建以矿工动作识别为基础的智能矿工 行为管理系统[２６].
上述应用研究主要关注涉煤领域智能识别技 术、智能识别算法和矿山管理平台搭建三个层面的 应用,有效推动了煤矿智能生产的进步和智能管理 水平的提升.
识别技术主要包括目标识别技术、视觉识别技 术和声音识别技术.目标识别技术可利用 AI识别 技术 精 准 定 量 识 别 煤 矿 场 地 的 范 围、边 界、数 量 等[２７];视觉识别通过监控摄像头和图像处理技术, 识别矿井内的物体、人员和动态情况;声音识别技术 可用于检测矿井中爆炸声、设备故障声等异常声音, 及时预警并采取措施.随着深度学习技术的快速发 展,基于机器视觉的目标检测与识别技术在单一场景 应用中取得了一定突破.主流模型主要包括两类:一 是区 域 卷 积 神 经 网 络(RegionＧbasedConvolutional NeuralNetwork,RＧCNN)及 其 改 进 版 本 FastRＧ CNN、FasterRＧCNN 等,这类方法在超大规模开放 公 共 数 据 集 上 取 得 了 较 好 的 性 能 表 现;二 是 以 YOLO (YouOnlyLookOnce)系列和单次多框检 测器(SingleShotMultiBoxDetector,SSD)为代表 的单阶段目标检测算法[２８],该类算法的核心在于将 检测目标的空间位置识别转化为回归问题,在采用 单一深度学习网络的同时实现目标的精确分类和定 位,可显著提高检测效率和准确性.
２ 矿山 AI智能识别系统关键技术
２．１ AI管理系统架构
矿山管理系统平台以数字化和信息化为基础, 针对矿山开采、人员安全、防护保障、技术算法等方 面,通过感知识别、自主分析和实时处理等技术,构 建矿山 AI管理系统平台.张瑞新等[２９]针对露天矿 的运营管理需求,构建了包含五大智慧化系统框架 的统一矿业协同平台,系统整合了基础支撑智慧化 系统、空间与演化管理智慧化系统、生产技术与工艺 管理智慧化系统、信息集成服务管理智慧化系统和 产品规划及设计管控智慧化系统,实现了露天矿经 营管理的全方位自动化.
本研究提出的煤矿 AI管理系统是对传统煤矿 综合管控平台的智能化升级与补充.以深度学习、 神经网络和机器视觉为设计理论,构建一套高效、安 全、可靠的矿山 AI管理系统,主要包括感知层、硬 件支撑与传输层、平台层、应用层、展示层５个层次. AI管理系统架构如图２所示.
在感知层,传感器和设备(如机器、监测站和采 煤机)负责实时数据采集,为上层提供必要的信息支 持;硬件支撑和传输层通过５G/eLTE 提供高效的 通信网络,确保实时数据传输,并通过工业网络实现 设备之间的有线连接;平台层包括综采面集控系统、 视频监控系统、电液控制系统和可编程逻辑控制器 (ProgrammableLogicController,PLC)控 制 系 统,共同负责数据的收集、处理与控制,确保各项设 备和应用的协同工作,同时大数据平台用于存储和 分析大量数据,视觉数据分析平台处理和分析视频 数据,算法库支持多种应用场景,AI计算中心提供 强大的计算能力;应用层涵盖综采工作面 AI智能 应用、掘进工作面 AI识别应用、运输系统 AI应用、 智能辅助运输应用、智能管理通用应用,利用 AI技 术进行实时监测和决策支持;展示层通过智慧矿山 系统管理平台大屏提供可视化的监控和管理界面, 综合管控平台大屏包括综采模块、掘进模块、运输模 块和通用模块.整体架构通过各层的协同工作,实 现了智能矿山的高效管理、实时监控和数据分析,显 著提升了矿山的安全性和生产效率.
传统平台主要关注数据采集、显示和简单的阈 值报警,而 AI管理系统则专注于数据深度分析和 智能决策.具体来说,AI管理系统感知层除了具有 传统的传感器数据,还整合了高清摄像头和智能头 盔等新型传感设备,极大地扩展了数据源;传输层采 用５G 和边缘计算技术,实现了大带宽、低延迟的数 据传输和预处理;平台层引入深度学习引擎和知识 图谱,支持复杂场景的智能分析和推理;应用层开发 了一系列基于 AI的智能应用,如设备异常预测和 人员行为分析等;展示层则利用增强现实技术,提供 了更直观、交互性更强的可视化界面.AI管理系统 并非与传统平台割裂,而是通过标准化接口实现与 传统平台的无缝集成,共同构成了新一代智能矿山 管理体系.
平台层是整个 AI管理系统架构的核心部分, 负责整合和管理各类数据与控制系统,以确保矿山 的高效运营和安全管理.该层主要包括综采面集控 系统、视频监控系统、电液控制系统和 PLC 控制系 统.综采面集控系统负责对矿山各项操作进行集中 监控和管理,整合来自不同设备和系统的数据,提供 实时状态更新与决策支持;视频监控系统用于实时 监控矿山的安全状况,收集视频数据并进行分析,以 确保及时发现和处理安全隐患;电液控制系统则管 理矿山设备的电液控制,确保设备正常运行和操作 精度,提高生产效率;PLC 控制系统通过可编程逻 辑控制器实现对矿山设备的自动化控制,提高操作 的灵活性和响应速度.通过这些控制系统的协同工 作,平台层能够实现数据的实时收集、处理与分析, 为上层应用提供稳定可靠的数据基础,其在智能矿 山的运营中扮演着数据整合和控制管理的关键角 色.同时,大数据平台负责存储和分析来自各系统 和传感器的海量数据,主要包括以下功能:(１)设备 数据管理,收集和存储来自各种设备的运行数据; (２)数据挖掘与清洗,对原始数据进行预处理,去除 噪声和异常值;(３)数据治理与分析,使用高级分析 技术如机器学习算法,从数据中提取有价值的信息; (４)预测性分析,基于历史数据和实时数据,预测可 能出现的设备故障或安全隐患.
智能矿山 AI视觉分析可以处理和分析来自摄像 头的实时视频流,基于大数据平台提供的历史数据和 背景信息,增强视觉分析的准确性.例如,在检测设 备异常时,智能矿山 AI视觉分析可以识别出设备的异 常状态,而大数据平台可以提供该设备的历史运行数 据和维护记录,帮助确定异常的严重程度和可能原因.此外,大数据平台的分析结果可以用来优化智能矿山 AI视觉分析算法.通过分析大量历史数据,可以发现 某些视觉特征与设备故障或安全事故之间存在的潜在 关联,从而改进视觉识别模型,提高预警的准确性.
AI管理系统架构实现了多业务场景下的视觉 信息人机交互,有效提升了安全管理监测的效率,并 为整个矿山的运营提供了全面的平台展示.为了更 精准地赋能煤矿,本研究将面向综采工作面 AI智 能应用、掘进工作面 AI识别应用、运输系统 AI应 用、智能辅助运输应用、智能管理通用应用,详细介 绍具体的数据模型、模块构成和应用场景.
２．２ 数据模型与模块构成
煤矿 AI管理系统中各系统模块与应用层之间 的关系如图 ３ 所示.综采模块聚焦于 AI智 能 应 用,涉及采煤机状态、液压支护状态和输送机大煤块 的监测与识别,旨在实现整体采矿过程的智能化管 理.掘进模块则主要负责对设备异常、人员安全隐 患及工作状态进行实时监测和识别,确保掘进作业 的安全与高效.运输模块涵盖运输系统和智能辅助 运输的应用,包括煤流煤量监测、设备位置与状态监 控,及时预警潜在的运输安全风险等.通用模块提 供智能管理通用场景的应用,关注人员安全、设备异 常及作业规范,确保矿山作业的安全与规范.整体 来看,煤矿 AI管理系统通过综采模块、掘进模块、 运输模块和通用模块的协同作用,实现了矿山作业 的智能化、自动化管理.
在综采工作面、掘进工作面、运输系统和通用场 景中,通过视频流、人员定位数据、设备传感器数据、 应力传感器数据、振动传感器数据、激光扫描数据和 多种环境传感器数据,煤矿 AI管理系统分别采用改 进的 YOLOv５、姿态估计算法、YOLOＧFastestV２、 时序异常检测、改进 YOLO、图像分割算法、行为识 别 算 法、卷 积 神 经 网 络 (Convolutional Neural Networks,CNN)、时频分析、YOLACT＋＋ (You OnlyLookAtCoefficienTs)、点云处理、人体姿势 估计库 OpenPose、自定义时序分析、YOLOv４和多 模态融合算法,实现了对人员行为监管、设备状态监 测、前探梁支护监测、人员安全监测、皮带监测、堆煤 检测、大块煤检测、人员跌倒识别和环境安全监测等 功能模块的全面监控和管理(见表１).
２．３ 井工煤矿管理系统
本研究构建了基于 AI识别技术的井工煤矿 AI 管理系统,管理系统架构自下而上包括业务场景层、 煤矿管理层和集团管理层.井下集控中心配置边缘 计算服务器,通过调用标准算法仓中的海量算法,可 根据业务场景定制专用算法,实时获取并解析煤矿 井下的摄像数据.定制算法具有低延时特点,能提 高数据的实时性和准确性.各煤矿均设有智能矿山 子平台,业务场景层中实时解析的数据通过工业环 网接入子平台,子平台服务器内置多种算法模型,能 够对井上/下工作面等场景提供算力支持,并对各煤 矿的数据进行统计和管理.煤矿集团总部通过矿山 综合管控平台实时监管各矿山子平台,汇总数据并 进行数据管理、分析及大屏展示.该平台具备监督 煤矿的功能,能够根据当前带宽情况进行适配,确保 所有视频的实时监控,并可根据需要进行调用.AI 管理系统架构全面优化了煤矿的智能化管理,提升 了安全管理水平,并为煤矿运营提供了更加科学、高 效的支持.
３ 煤矿 AI管理系统平台层模块算法
视觉分析技术在煤矿 AI管理系统架构中扮演 着至关重要的角色.由于煤矿环境的复杂性和危险 性,视觉分析技术能够提供非接触式、实时的监测和 分析,这对于提高煤矿安全性和生产效率具有独特 优势.因此,本文将重点讨论基于 AI视觉的算法 及其应用场景.需要注意的是,这些视觉分析技术 并非孤立运作,而是与大数据分析、物联网等其他技 术紧密协作,共同构成了全面的智能管理系统.
３．１ 传统算法
传统检测方法大致可以分为实例检测与类别检 测两类.传统实例检测算法通过从收集到的目标实 例提取同类特征并将其整合为模板,然后利用模板 在图像中进行匹配和检测.传统 类 别 检 测 算 法 则 通过设计特 定 的 特 征,再 利 用 特 征 分 类 器 检 测 和 机器学习算法检测,由于特征需要人工设定,限制 了多类 目 标 检 测 的 能 力. 经 典 类 别 检 测 方 法 有 SIFT (ScaleInvariantFeatureTransform)方 法[３０]、 AdaBoost(AdaptiveBoosting)方 法[３１]等.SIFT 方法具有以下优点:特征点是图像的局部特征,在图 像进行旋转和缩放后特征点保持不变;在场景光线 发生明暗变化或者传感器视角改变时,特征点能保 持一定的稳定性;即使场景中仅存在少量物体也可 以检测出大量特征,在进行快速准确的匹配时能减 少噪声的干扰.
AdaBoost方法是一种基于 Boosting的机器学 习方法,通过迭代调整样本权重来优化模型性能. 在初始阶段,AdaBoost对所有样 本 赋 予 相 同 的 权 重;然后,在每次迭代中,AdaBoost会自动调整训练 数据的权重,增加上一个分类器中错误的分类样本 的权重,使得后续分类器能够更多地关注这些难以 分类的样本.通过这种方式,AdaBoost能够逐步提 高模型的整体分类能力.
３．２ 基于深度学习的检测方法
深度学习由机器学习发展而来,其目的是使计 算机向人工智能方向发展,深度学习的多层次神经 网络可以实现对复杂异构数据的特征学习和表征学 习,基于深度学习的图像识别方法中,主要利用卷积 神经网络进行图像分类.现有基于深度学习的目标 检测方法按照检测过程可分为基于候选区域的目标 检测方法[３１]和基于回归的单阶段目标检测方法[３２].
基于候选区域的目标检测方法,首先获得感兴 趣的候选区域,然后对候选区域进行目标分类.这 类方法以 RＧCNN 方法为代表,RＧCNN 选择性搜索 过程如图４所示.
用于图像处理领域.２０１２年以来,深度学习极大推 动了图像处理领域研究的发展,CNN 通过从大量样 本数据中自动学习,显著提高了图像数据处理的效 率.因此,CNN 在图像分类和目标检测等领域得到 了广泛应用.
基于 回 归 的 单 阶 段 目 标 检 测 算 法 又 被 称 为 oneＧstage类 检 测 方 法,以 FasterRＧCNN 算 法 和 YOLO 系列算法为代表.FasterRＧCNN 主要依赖 区域生成机制执行物体检测任务.而 YOLO 系列 算法将物体检测问题转化为回归问题,通过对图像 进行一次性全局扫描,直接在多个尺度和位置上预 测边界框及其对应的类别概率,实现边界框和类概 率的空间分离,从而提高检测速度和准确性.
３．３ 煤矿 AI管理系统算法
煤矿 AI管理系统可分为综采模块、掘进模块、 运输模块、通用模块,系统中的算法选择充分考虑了 各个模块的具体应用场景和需求.各模块具体算法 见表２.
(１)综采模块.通过结合二维卷积神经网络 (２DCNN)和三维卷积神经网络(３DCNN),能够同 时处理静态和动态特征,提高采煤设备识别的准确 性;采 用 YOLOＧFastestV２ 和 YOLOv３ 进 行 采 煤 设备检测和支架姿态识别,在保证实时性的同时兼 顾检测精度.
(２)掘进模块.采用 YOLO 系列算法实现前 探梁支护检测和人体相关检测,充分发挥 YOLO 系 列算法在复杂场景中的通用性和高效性.
(３)运输模块.根据不同任务特点选择多样化 算法:需要精细特征提取的皮带跑偏及煤量检测使 用 CNN 算法;最小距离分类法适用于资源受限环 境 下 的 皮 带 异 物 检 测,可 降 低 计 算 复 杂 度; YOLACT 实现堆煤的实时实例分割,可满足高精 度和实时性的双重需求;YOLOv５则在检测速度和 准确性上取得了平衡,提升了大块煤检测的效率. (４)通用模块.人员跌倒检测创新性地结合了 AI单帧姿态和多帧动作分析,提高了检测的可靠 性;环境检测采用 YOLOv４ 以获得更高的检测精 度,确保安全监控的准确性.
这种多元化的算法选择不仅反映了系统在实时 性、准确性和计算效率之间的平衡,也展现了针对矿 井特殊环境的算法优化和创新应用能力.通过选择 这些适应性强、效率高、覆盖面广的算法,系统能够 有效应对复杂多变的矿井环境,满足不同任务的要 求,构建全面、可靠、高效的煤矿 AI管理系统.
３．３．１ 综采模块
(１)采煤设备识别算法. 针对煤矿深部复杂环境,引入轻量级行为识别 算法框架,有效监测采煤机械与环境状态.该算法 在确保鲁棒性的同时大幅降低计算复杂度,满足边 缘计算资源限制,实时性较高.采煤设备算法框架 如图５所示.
该算法主要包括以下步骤:首先,采用轻量级目标检测算法对RGB图像进行初步扫描,迅速定位采 煤机、滚筒、互帮板等关键设备的具体位置;其次,评 估关键设备区域的尺寸,以满足识别算法对图像尺 寸的特定要求并进行相应调整;再次,将调整尺寸后 的设备区域图像输入至精简的识别网络中;最后,识 别网络负责综合分析并给出识别结果.轻量级识别 技术既包括对静态图像的分析,也涵盖了对视频流 数据的处理,以适应不同的实际应用场景.采用轻 量２DCNN 作为图像的行为识别模型的基础架构, 采用轻量３DCNN 作为视频行为识别模型的基础架 构.为了进一步增强该轻量化模型在特征表达上的 能力,引入一种改良型动态卷积核技术,构建更加高 效的轻量级 CNN 体系.
(２)采煤设备检测算法. 采煤设备识别中,采煤机及互帮板的动作是模 型关注的重点信息.选择适合边缘设备的轻量型目 标检测算法 YOLOＧFastestV２,以实现设备区域目 标检测,可有效提升识别模型的准确率.
对采煤设备区域进行检测时,YOLOＧFastestV２ 算法首先将输入的图像划分为S×S 个相同大小的 网格.如果某个设备区域的中心坐标落在某一网格 内,则由该网格负责的 N 个先验框来实现该设备区 域 的 检 测. 以 先 验 框 中 与 目 标 交 并 比 区 域 (IntersectionOverUnion,IOU)最 大 的 框 为 正 样 本,其他框为负样本.IOU 计算公式如下:
式中:Area(a)表 示 预 测 框 A 所 占 的 面 积 大 小; Area(b)为真实框 B 所占的面积大小;Area(a)∩ Area(b)、Area(a)∪Area(b)分别代表 A 区域与B 区域的交集、并集.IOU(a,b)是衡量目标检测算 法分类性能的关键指标.
采煤设备检测算法需要精准预测采煤设备的位 置,其置信度计算公式如下:
式中:Conf(x)为置信度;P(x)为检测框是否包含 采煤机和互帮板等采煤设备的概率,包含则P(x)＝ １,否则P(x)＝０.
通过非极大值抑制算法对最终的预测成果进行 审查与整理,精简冗余候选框,确定设备区域位置. 对选定的边界框进行裁剪,并将其作为边界输入,融 入设备的识别模型,以优化系统的监控界面.
(３)采煤支架互帮板姿态检测算法. 位姿估计本质是一个回归问题,其核心在于对 相邻 帧 图 像 的 信 息 整 合 和 图 像 特 征 提 取.利 用 YOLOv３算法对图像进行关键特征提取,该算法基 于多层卷积网络结构,能够逐步从图像中提取不同 层级的特征,涵盖了从局部细节到全局场景的丰富 信息.通过全连接层整合高维空间特征,对位姿标 签数据进行逻辑推断,实现六自由度的位姿向量拟 合.该方法充分利用了 YOLOv３算法在特征提取 方面的实时性和准确性,为图像中的物体检测与定 位提供了高效准确的解决方案.YOLOv３ 算法二 值交叉熵损失函数见式(３).
式中:y 为实际的目标类别标签;^y 为模型预测的目 标类别标签.
３．３．２ 掘进模块
(１)掘进机前探梁支护检测算法. 掘进机前探梁支护检测采用 YOLO 检测算法, 其算法原理与采煤设备识别算法相同,但对数据集 训练处理的步骤略有不同.相较于采煤设备,掘进 机所处环境更为复杂,施工人员密集,因此,在采煤 设备识别算法的基础上加入基于二维伽马函数的井 下视频图像增强算法.首先,采用引导滤波技术精 确提取图像中的光照分量,在保留图像边缘信息的 同时平滑处理光照不均的区域;然后,采用二维伽马 函 数 对 光 照 分 量 进 行 非 线 性 调 整;最 后,运 用 CLAHE (Contrast Limited Adaptive Histogram Equalization)算法进一步调节图像的对比度,抑制 图像局部区域过度增强的噪声,使其在全局范围内保持较好的视觉效果.结果表明,改进算法能够提 高图像的整体质量,有效消除光照不均匀和粉尘干 扰的现象.
(２)人体相关检测算法. 采用 YOLO 运动目标检测与目标识别算法,检 测掘进工人不佩戴安全帽、登高作业、不系安全绳、 未佩戴防砸背心等违规行为.算法实现步骤为:(１) 通过计算方向梯度直方图 (HistogramofOriented Gradient,HOG)提取正负样本的特征,并以此为 基础训 练 支 持 向 量 机 (SupportVector Machine, SVM)分类器;(２)在施工通道布置摄像头,监视框 与工作人员体型相匹配;(３)对整个监视框的色相 饱和度 强度 (HueＧSaturationＧIntensity,HSI)色 彩模型中的平均亮度进行图像增强计算;(４)提取 在监视框范围内的待检测目标.
检测流程为:(１)建立背景单高斯分布模型,其 初始参数基于无目标图像的像素值选取;(２)捕获 待检测的图像并将图像的每个像素值与背景模型进 行匹配 检 验,以 区 分 前 景 与 背 景;(３)进 行 人 体 HOG 特征匹配,基于上一步骤中得到的二值图像, 提取出包含所有非零像素的矩形区域,将其视为待 检测的目标;(４)计算该区域的 HOG 特征,并将这 些特征输入到支持向量机人体分类器中,与预先训 练好的人体 HOG 正负样本特征进行比对;(５)判 断目标人体是否佩戴了所需的设备,提取目标人体 上半身图像的颜色和 HOG 特征向量,并将其代入 已训练好的最优分类函数进行判断,若输出值大于 ０,则该人已佩戴安全帽;若输出值小于０,则该人未 佩戴安全帽,并触发相应的预警提示.该人体相关 检测算法能够快速准确地识别未佩戴安全帽的人 员,提高工作场所的安全性.
３．３．３ 运输模块
(１)皮带跑偏及煤量检测算法. 在皮带输送机输煤量和跑偏图像的识别过程 中,采 取 灰 度 化、中 值 滤 波 以 及 提 取 感 兴 趣 区 域 (RegionofInterest,ROI)的图像预处理方法,并 借助 CNN 进行图像识别.在识别过程中,首先,部 署高清防爆摄像机,精确捕捉皮带输送机在多样化 时间与复杂环境条件下的视频图像.然后,对图像 进行预处 理,精 确 提 取 出 与 输 煤 量 和 跑 偏 相 关 的 ROI区域.其次,从 ROI中提取多种情况下(不同 的输煤量、不同程度的跑偏、不同的光照条件、不同 的运行速度)的图像样本,构建涵盖多种工况的图像 数据集.通过筛选 M１ 张图像作为核心训练素材, 创建了包含７M１ 张图像的训练数据集.进一步地, 为了验证模型的实用性和准确性,从两个关键参数 中选取 M２ 张未参与训练的图像形成包含２M２ 张 图像的测试数据集,用于评估 CNN 模型在实际应 用中的性能.最后,根据测试结果优化 CNN 模型, 提高输送带跑偏及煤炭运量检测精度.
(２)皮带或刮板机大煤块检测算法. 由于大块煤可能对皮带运输设备造成损坏,本 文提出了一种基于 YOLOv５算法的大块煤检测算 法,通过摄像头采集煤矿运输皮带或综采工作面图 像构建数据集.基于 YOLOv５的大块煤检测算法 结构如图６所示.
针对煤块多尺度检测需求,对 YOLOv５中的特 征金字塔网络进行改进,提出了自适应特征金字塔 网络.在保持原始 YOLOv５实时性的基础上,通过 引处自适应注意力模块 (AdaptiveAttentionModule, AAM) 和 特 征 增 强 模 块 (Feature Enhancement Module,FEM),显著提升了模型对煤块多尺度目 标的检测性能.AAM 模块通过减少高层特征图中 上下文信息在传递过程中丢失的概率,动态调整不 同尺度特征之间的注意力权重,使模型能够更准确 地聚焦于煤块目标的特征.FEM 则通过对特征图 进行精细化处理,增强了特征金字塔的表示能力,提 高了模型在处理复杂场景时的准确性和稳定性.
(３)皮带或转载点堆煤检测算法. 不同于基于传统 YOLO 的皮带堆煤检测算法,YOLACT神经网络模型通过实例分割技术对目标 物体进行精确识别与定位,显著增强了堆煤体积计 算过程中边缘提取精度,有助于提高后期堆煤体积 测量精度.YOLACT 是一种实时实例分割网络, 其结构主要包括前端网络、掩膜 (mask)原型产生 网络和预测输出网络.
前 端 网 络 骨 架 采 用 ResNetＧ５３,结 合 FPN (FeaturePyramid Networks)自 底 向 上 金 字 塔 结 构,增强了多尺度特征的提取能力.mask 原型产 生网络,采用全卷积神经网络生成k 个通道的原型 mask,这些原型 mask随后在预测输出网络与预测 系数相结合,生成最终的分割结果.与 MaskRＧCNN (MaskRegionＧbasedConvolutionalNeuralNetwork) 相比,YOLACT 的设计更为简洁高效,能够在保持 较高检测精度的同时实现实时预测,尤其在预测堆 煤图像时,其高效的架构使得分割结果更为精准和 快速.
YOACT 检测算法通过多层次特征融合机制, 实现了从全局到局部的精细化分割效果,在复杂场 景下具有较强的适应能力.基于深度学习目标检测 算法架构,YOLACT 算法在处理预测框时不仅能 够提供标准的定位坐标,还会输出每个类别的置信 度,并在此基础上进一步引入k 个 mask系数的概 念.验证集测试结果显示:YOLACT 算法预测框 的平均精度均值为８６．７９％,mask的平均精度均值 为８３．５８％,均处于较高水平.
(４)皮带异物检测算法. 在煤炭输送过程中,确保皮带运输系统的安全 运行至关重要,准确识别输煤皮带异物是保障生产 安全和提升效率的关键环节.皮带异物检测流程如 图７所示.本研究将异物检测问题视为一个典型的 二元分类问题,即判断输煤皮带上是否存在异物. 针对这一任务,采用贝叶斯最小距离分类算法,其统 计学原理是通过计算待分类对象与各已知类别中心 点的距离,进而确定对象所属类别的方法.该算法 通过测量待分类对象与不同类别中心点之间的欧氏 距离,并将待分类对象归入距离最近的类别,可有效 解决正常与异常样本数量不均衡的情况.此方法的 引入,不仅提高了识别效率,而且增强了输煤系统的 安全 性. 同 时,结 合 PCA (PrincipalComponent Analysis)算法进行特征优化,该算法通过精确控制 噪声与异物的特征边界,在有效抑制背景噪声的同 时,最大程度地保留了关键异物的特征信息.
３．３．４ 通用模块
(１)人员跌倒识别算法.
采用 AI单帧姿态和多帧动作,结合宽高比和 质心高度等指标判断人员是否跌倒.利用 OpenCV 库函数提取人体宽高比和质心高度特征值,当人体 跌倒时,宽度大于高度;反之,当人体步行或者站立 时,宽度小于高度.然而,当人体做出类似跌倒行为 (如下蹲、弯腰动作)时,仅使用宽高比存在误判风 险.因此,引入质心高度作为辅助判据,当人体跌倒 时,质心高度较小,当人体行走或进行其他行为时, 质心高度较大.
(２)环境检测算法.
YOLOv４虽 然 可 应 用 于 煤 矿 井 上/下 烟 火 检 测,但其检测效果并不理想.由于检测距离较远、视 野开阔,烟火目标在视频中显示较小,且受煤矿复杂 环境的影响,现有算法漏检误检现象严重.为了提 升煤矿井下烟火识别的准确性,提出了一种基于改 进 YOLOv４的烟火识别模型.在模型中引入了金 字塔卷积 (PyramidalConvlution,PyConv)以替代 传统标准卷积.PyConv通过构建多尺度卷积核, 能够增强模型在不同层级上对细节特征的提取能 力,进而增大局部感受野,并特别增强了小目标的特 征描述能力.这种改进有效提高了模型对小目标的 检测精度,使得烟火识别模型在煤矿井下等复杂环 境中具有更高的准确性.综上所述,煤矿 AI管理 系统实现了对采煤、掘进、运输等关键环节的智能化 管理.
４ 煤矿 AI管理系统多场景应用
煤矿井上/下场景化 AI智能解决方案采用端 边云架构,可根据实际业务需求灵活配置.该方案 支持软件＋服务器模式,也可根据具体业务场景需 求分类分级增加相应的边缘计算设备,实现井上井 下多种场景灵活应用,系统既可融合实施也可独立 部署.具体实施途径为:在煤矿机房部署智慧矿山 平台,服务器内置包括井上智慧矿区、井下综采/综掘工作面、皮带运输、通风、排水、安全保障等场景的 多种算法模型,实现算力计算、各煤矿的数据统计、 综合管理等功能.其中,井上、井下摄像仪直接接入 平台进行智能解析.服务器通过 API接口输出报 警信息,控制现场的声光报警装置,实现对作业人员 的快速预警.同时,系统会记录报警信息,通过弹窗 提示显示在应急中心大屏,确保井上、井下人员及时 响应.
４．１ 综采工作面 AI智能应用场景
基于智能识别技术,可实现综采工作面的全面 监测,并实时跟踪智能监控设备的运行状况.系统 通过云台摄像机提取实时监控画面,利用后台算法 对图像信息进行实时分析,分析结果被及时推送给 煤矿管理层和集团管理层.基于这些信息,管理层 可以快速调配人员进行现场应对,从而有效处理潜 在问题或紧急情况.
综采工作面 AI智能识别应用场景见表３,其主 要包括:(１)综采工作面视频图像可视化,实现采煤 机的１０８０P高清图像实时监控;(２)识别采煤机滚 筒与支护的距离,当距离超过设定值时将自动触发 预警;(３)监控液压支架的展开与收起状态,当发现 异常时系统将联动控制采煤机停车;(４)在工作面 的特定区域识别并预警人员进入行为,对进入指定 危险区域(刮板输送机内、液压支架架前区域、刮板 输送机机头和机尾附近等)的人员进行识别,发出语 音提醒并停止刮板输送机的运行;(５)对煤块在转 载点的堆积状态进行实时监测与识别;(６)可自主 设定大块煤尺寸,对刮板输送机内的大块煤进行智 能识别;(７)刮板输送机断链、拉斜的识别报警功 能等.
４．２ 掘进工作面 AI识别应用场景
掘进工作面 AI识别应用是煤矿智能化建设的 重要组成部分,深度结合煤矿人 机 环特殊工况条 件及边缘计算需求,利用煤矿 AI管理系统,智能识 别、监管掘进面设备异常,实时感知人员安全隐患.
在掘进面设备异常检测中,采用 AI视频识别技术 监测设备位置、移动速度、工作状态等关键参数.当 发现如设备振动异常、温度过高等可能引起安全隐 患的异常状况时,系统将发出警报,提醒操作人员及 时采取应对措施.通过综合分析历史数据和实时数 据,运用预测性算法预估设备可能出现的故障类型 和大致的时间范围.这些预测性分析可为操作人员 提供参考信息,协助相关人员更好地规划设备维护 和更换工作,有效避免因设备突发故障而导致的生 产中断或安全事故. 在掘进面人员安全隐患检测中,煤矿 AI管理 系统能够监测掘进头前探梁的安装情况、掘进头的 敲帮问顶操作以及掘进面危险区域人员的入侵行 为.识别人员的违规操作和违章行为,通过抓拍和 预警机制及时反馈作业过程中的安全隐患.
(１)掘进头前探梁的安装情况监测.煤矿 AI 管理系统通过高清摄像头实时捕捉掘进头前探梁的 安装画面,准确识别前探梁的安装位置、角度以及连 接是否牢固.一旦发现前探梁安装不符合规范或存 在安全隐患,如安装位置偏移、连接松动等,系统将 立即发出预警信号,预警信息包括异常位置、异常类 型及建议的纠正措施,通过显示屏或移动设备实时 推送给现场操作人员和管理层.系统自动记录每次前探梁的安装情况,包括安装时间、操作人员、安装 结果等信息.通过数据分析,可以评估操作人员的 技能水平,发现安装过程中的常见问题,为后续的培 训和改进提供依据.
(２)掘进头的敲帮问顶操作监测.煤矿 AI管 理系统通过摄像头捕捉掘进头的敲帮问顶操作画 面,识别操作人员的动作(如敲击力度、敲击频率、敲 击位置等)是否符合规范.一旦发现操作人员存在 违规操作,如敲击力度过大、敲击位置不准确等,系 统将立即发出预警信号,预警信息包括违规操作类 型、违规时间及建议的纠正措施,帮助操作人员及时 调整操作方式,避免安全隐患.系统还能根据敲击 后的地质反馈,如岩石松动情况、顶板稳定性等来评 估敲帮问顶操作的效果.通过数据分析,可以优化 敲帮问顶的操作策略,提高作业效率和安全性.
(３)掘进面危险区域人员的入侵行为监测.煤 矿 AI管理系 统 根 据 掘 进 面 的 地 质 条 件 和 作 业 需 求,自动划定危险区域,通过摄像头和传感器实时监 测危险区域内人员的活动情况.一旦发现有人员未 经许可进入危险区域,系统将立即发出预警信号. 预警信息包括入侵人员身份、入侵时间以及危险区 域的具体位置,帮助管理层迅速采取应对措施,确保 人员安全.在紧急情况下,系统能够自动联动掘进面 的紧急停机按钮、声光报警器等安全设备,确保人员 能够迅速撤离危险区域.同时,系统将紧急情况实时 推送给管理层,及时启动应急预案,减少事故损失.
煤矿 AI管理系统掘进工作面具体应用场景如 图８所示.利用煤矿 AI管理系统对掘进工作面进 行监测,提升了矿山开采的安全性,有效保障了作业 人员的生命安全.
４．３ 运输系统 AI应用场景
运输系统是煤矿生产的核心环节,其稳定运行 对矿区的生产安全至关重要.实际作业中,运输环 节易面临异物卡堵、皮带撕裂以及人员违规入侵等 潜在风险,影响生产效率并可能引发安全隐患.
AI智能感知系统具有多种功能模块:(１)煤流 煤量识别、统计和查询功能,利用高精度传感器与 AI算法,系统能实时、准确地识别煤流煤量,提供统 计报告并支持历史数据的快速查询,为生产调度与 成本控制提供科学依据;(２)皮带危险区域闯入报 警、联动闭锁减速和停机等功能,系统通过摄像头与 传感器网络,实时监测皮带运输线上的危险区域,一 旦发现有人员或异物闯入,立即触发报警机制,同时 联动执行减速、停机等安全措施,有效避免安全事故 的发生;(３)配合主煤流运输控制系统实现集中控 制、煤量实时识别、智能调速和闭锁联动功能,实现集 中化、智能化的控制管理,系统能根据煤量实时变化, 自动调节皮带速度,优化运输效率,并通过闭锁联动 机制,确保各环节协同作业,提高运输系统整体稳定 性与安全性;(４)皮带大块煤与异物智能检测与处理 功能,可进行大块煤尺寸分级、实时检测并抓拍、皮带 异物检测,可实时抓拍皮带上的异物,并根据危害大 小发出相应报警信号或联锁停止相关设备;(５)全面 故障检测与应急响应功能,检测转载点堆煤、皮带跑 偏、皮带纵撕、皮带表面损伤、驱动轴超温、巷道烟雾 发火等情况,自动报警并抓拍取证检测,同时可输出 数字输出(DO)信号控制皮带停车;(６)实时可视化监 控与数据分析功能,通过客户端的可视化界面实现皮 带速度、温度、全煤流的状态、煤量的实时显示等.运 输系统 AI智能识别应用场景如图９所示.
４．４ 智能辅助运输应用场景
利用 AI智能图像技术与智能视频识别技术, 精准识别井下车辆的行驶方向、车辆类型和数量以 及行人状态,智能切换井下巷道口红绿灯的状态,使 巷道口车辆高效有序通行,实现了井下交通的智能 化管理.智能辅助运输系统架构及应用场景如图 １０所示.
智能辅助运输 AI智能识别应用主要包括以下 功能:(１)实时跟踪监测与轨道运输异常识别,实时 跟踪监测矿车、轨道车辆等运输目标,并在上坡、下 坡和拐弯点等关键位置,利用高清摄像头与 AI图 像识别技术,精准识别轨道运输的掉轨、掉绳等情 况;(２)井下信号灯状态智能监控与报警,实时捕捉 井下信号灯的状态信息,一旦发现信号灯故障、误报 等异常情况,立即触发报警机制,确保井下交通指示 的准确性与可靠性,保障运输安全;(３)无极绳与斜 巷绞车系统智能管理,对无极绳、斜巷绞车等关键运 输系统,自动识别挂车并统计数量,对超挂车进行报 警,防止因超载引发的安全事故,同时可优化运输效 率;(４)路口车辆类型识别与智能信号控制,识别通 过路口车辆类型,如重载车、载人车、上坡车等,根据 重载、载人、上坡车辆优先通过等规则,通过辅助运 输监控系统智能控制路口信号灯;(５)闯红灯行为 智能识别与语音提示,通过 AI算法识别并语音提 示行人和车辆的闯红灯行为,同时将违章信息上传 至煤矿管理层,为安全管理提供数据支持,提升员工 安全意识;(６)车辆超速抓拍与区域测速功能,在设 定的测速区域内,对超速行驶的车辆进行自动抓拍并 记录相关数据,为后续的违规处理与安全管理提供依 据;(７)路口出入车数统计与红绿灯运行评估,统计 路口出入车数,结合交通流量数据,智能评估各点红 绿灯的运行状况,提升运输效率.
４．５ 智能管理通用应用场景
煤矿 AI管 理 系 统 可 应 用 于 电 子 围 栏 周 界 识 别、人员行为识别和环境隐患识别,为煤矿的安全生 产提供了全面、智能的监控和保障.(１)电子围栏周 界识别.在煤矿巷道口、工作面、危险区域等关键位 置布置摄像仪,实时采集监控图像和监控视频数据, 实现对煤矿生产环境的全面监控.(２)人员行为识 别.煤矿 AI管理系统可识别特殊岗位班中脱岗或 睡岗、地面瓦斯抽放站内吸烟等行为;检测井下变电 所、地面变电所操作人员是否佩戴绝缘手套、穿电工 绝缘靴、佩戴安全帽和口罩进入采掘面;发现向运行 皮带上铲煤或杂物,以及没有按时进行主副井验绳 等行为;识别变电所内巡检人员是否按计划路线巡 检;监控机车异轨抵车或拉车、用机车或矿车顶开风 门等危险行为;在钻机钻进和运转过程中,监督操作 人员是否跨越、低头钻过钻具或从后方通过,是否离 开操作台;在钻杆运行时,识别打钻人员是否站在钻 杆的正后方,监测打钻出水时起钻操作的规范性;使 用风锤打眼时,识别人员是否从钻杆下方通过.(３) 环境隐患识别.识别斜巷提升超挂车、不挂保险绳、 不插销(链)等违规行为;监测落煤口或转载点煤炭 堆积情况.
５ 结论
本文以图像智能识别技术为核心,基于机器学 习算 法 构 建 了 矿 山 AI 管 理 系 统 架 构. 采 用 YOLO、YOLOＧFastestV２、YOLOv３、YOLOv４ 等 算法,实现了对采掘机械、采面支架互助板姿态、掘 进机前探梁支撑状态以及皮带运输系统中的堆煤、 异物等目标的识别与检测.通过融合视频数据分析 技术,重点研究了煤矿综采工作面、掘进工作面、运 输系统、智能辅助运输和智能管理通用等典型场景 的应用,得到以下主要结论.
(１)煤矿 AI管理系统架构包括感知层、硬件支 撑与传输层、平台层、应用层以及展示层,构建了包 括业务场景层、煤矿管理层、集团管理层三层级的矿 山 AI智能识别系统.该系统实现了煤矿安全事件 的 报 警—推 送—处 置—反 馈—统 计 全 流 程 闭 环 管 理,形成了完善的井工煤矿 AI安全预警管理体系.
(２)基于深度学习框架,将煤矿生产数据进行 多阶段深度优化训练,实践应用煤矿复杂场景并建 立定制化综采—掘进—运输—通用模块特征算法模 型,通过数据积累与应用场景不断优化算法识别准 确度和精度.采用 YOLACT 算法对运输模块中皮 带或转载点堆煤进行检测,验证集测试结果显示:预 测框的平均精度均值为８６．７９％,mask的平均精度 均值为８３．５８％,均处于较高水平.
(３)通过机器视觉技术与智慧矿山井下监控规 则的深度融合,实现了对煤矿采煤、掘进、运输、通用 等场景视频数据的智能分析.基于 AI识别技术, 系统能够满足煤矿复杂场景下的业务需求;通过机 器智能分析＋人工辅助校验,实现 AI自动监管和 报警,显著降低了安全事故发生概率;确立软件＋服 务器智能视觉应用模式,满足井上、井下多种场景的 差异化需求.
