基于YOLO和大语言模型的输电通道隐患检测系统（项目+数据集+模型）

作品简介

⚡ 基于YOLO和大语言模型的输电通道隐患检测系统

多模态AI驱动 | 实时目标检测 | 深度隐患分析 | 自动化报告生成

📖 项目背景 (Background)

输电线路作为电力系统的“大动脉”，其安全运行直接关系到电网的稳定性。然而，鸟巢、风筝、气球、悬挂垃圾等外破隐患时刻威胁着线路安全。传统的人工巡检效率低、盲区多，难以满足现代电网精细化管理的需求。

本项目构建了一套基于 YOLOv8 与 LLaVA 大模型的智能隐患检测系统，旨在利用人工智能技术实现对输电通道隐患的毫秒级识别与深度语义评估，打造“端边云”协同的智能巡检防线。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

🏗️ 系统架构 (System Architecture)

本系统采用先进的模块化设计，融合了计算机视觉（CV）与大型语言模型（LLM）的优势：

graph TD
    Data[数据采集] -->|视频流/图片| Core{AI 核心引擎}
    
    subgraph Core [智能分析核心]
        YOLO[YOLOv8 目标检测] -->|定位 & 分类| Logic[风险逻辑判断]
        Logic -->|发现隐患| LLaVA[LLaVA 多模态大模型]
        LLaVA -->|深度评估| Report[生成处置建议]
    end
    
    subgraph UI [交互应用层]
        Web[Gradio 可视化平台]
        Alert[实时声光告警]
        History[历史数据看板]
    end
    
    Logic -->|无隐患| Web
    Report --> Web

🚀 核心功能 (Core Features)

1. � 单张图片检测 (Single Image Inspection)

  • 智能诊断：支持上传单张巡检图片，毫秒级识别鸟巢、风筝等隐患。
  • 深度分析 (Deep AI)：集成 LLaVA 大模型，不仅框出目标，还能生成详细的中文风险评估报告与处置建议。
  • 报告导出：一键生成包含检测截图与分析详情的 HTML 格式安全报告。

2. 🎞️ 批量图片处理 (Batch Processing)

  • 高通量清洗：支持一次性上传数百张巡检图片，后台自动进行排查筛选。
  • 自动归档：系统自动将“隐患图片”与“安全图片”分类，并生成 excel 统计报表。
  • 结果打包：支持将检测后的标注图片打包下载，大幅减轻人工整理工作量。

3. 📼 视频分析识别 (Video Analysis)

  • 全量审阅：支持 MP4/AVI 等格式的无人机巡检录像上传。
  • 逐帧标注：自动分析视频每一帧，将发现的隐患实时标注在视频流中。
  • 结果回看：生成带有边界框和类别标签的处理后视频，方便复盘查证。

4. 🎥 实时视频流识别 (Real-time Stream)

  • 哨兵模式：接入 USB 摄像头或 RTSP 网络图传，实现 7x24 小时无人值守监测。
  • 动态告警：发现隐患立即触发红色警示框与声音报警，实现“发现即响应”。
  • 性能优化：针对流媒体优化的推理引擎，确保低延迟流畅运行。

5. � 历史记录与数据看板 (History & Analytics)

  • 检测日志：自动记录每一次检测的时间、结果、隐患类型与详情。
  • 数据导出：支持将历史记录导出为 CSV 文件，便于接入上级管理系统。
  • 可视化统计：直观展示隐患检出率、各类隐患占比等关键指标。

� 数据集与训练 (Dataset & Training)

1. 数据集构成

数据集 (data/) 遵循 YOLO 标准格式，包含以下类别：

  • Names Config: transmission.yaml
  • Classes:
  • ID英文名称 (Name)中文说明0nest杆塔鸟巢1kite缠绕风筝2balloon飘浮气球3trash塑料垃圾

2. 模型训练的方法

您可以直接通过 Web 界面进行傻瓜式训练，或使用命令行的高级模式：

方式一：Web 界面训练

  1. 启动系统后进入 “⚙️ 模型训练” 标签页。
  2. 设置超参数（Epochs, Batch Size, ImgSz）。
  3. 点击 “🔥 启动训练进程”，实时查看 Loss 曲线与终端日志。

🛠️ 快速开始 (Quick Start)

1. 环境准备

确保您的系统已安装 Python 3.8+ 及 CUDA 环境（推荐）。

# 安装依赖
pip install -r requirements.txt

2. Ollama 配置 (可选)

如果需要启用 “深度安全分析” 功能，需安装 Ollama 并下载 LLaVA 模型：

  1. 下载并安装 Ollama。
  2. 拉取 LLaVA 模型：
ollama pull llava
  1. 保持 Ollama 服务为运行状态。

3. 启动系统

python run_web_advanced.py

访问浏览器：http://localhost:7860

📝 目录结构 (Directory Structure)

PIS/
├── config.yaml               # 系统核心配置文件
├── transmission.yaml         # 数据集配置文件
├── run_web_advanced.py       # Web 启动入口
├── train.py                  # 训练入口脚本
├── src/
│   ├── transmission_detection_system.py # 核心业务逻辑
│   ├── yolo_detector.py      # YOLO 模型封装
│   ├── llava_analyzer.py     # LLaVA 分析器
│   └── web_interface_advanced.py # Gradio 界面代码
├── data/                     # 数据集根目录
└── runs/                     # 训练与检测结果保存
创作时间：