2026/3/22 15:35:44
网站建设
项目流程
自己做图片的网站,杭州建电商网站多少钱,网站空间免费申请,郑州开发公司一、项目介绍
摘要
本项目基于先进的YOLOv8目标检测算法#xff0c;开发了一套专门用于冰箱内部食品成分识别的智能系统。系统能够准确识别和分类30种常见食品#xff0c;包括水果#xff08;如苹果、香蕉、草莓#xff09;、蔬菜#xff08;如胡萝卜、菠菜、土豆#…一、项目介绍摘要本项目基于先进的YOLOv8目标检测算法开发了一套专门用于冰箱内部食品成分识别的智能系统。系统能够准确识别和分类30种常见食品包括水果如苹果、香蕉、草莓、蔬菜如胡萝卜、菠菜、土豆、肉类如牛肉、鸡肉、火腿、乳制品如牛奶、奶酪以及其他常见食材如鸡蛋、面粉、糖等。该系统的训练使用了包含3050张高质量图像的数据集训练集2896张验证集103张测试集51张确保了模型在各种实际应用场景中的鲁棒性和准确性。本系统通过深度学习技术实现了对冰箱内部物品的智能化管理能够实时检测并记录冰箱内的食品存储情况。相比传统的人工检查方式该系统显著提高了食品管理的效率和准确性为智能家居、健康饮食管理和食品浪费减少提供了创新的技术解决方案。测试结果表明该系统在多类别食品识别任务上表现优异平均精度(mAP)达到行业领先水平能够适应不同光照条件和食品摆放方式下的检测需求。项目意义1. 智能家居与厨房自动化在智能家居领域本系统为冰箱智能化提供了核心技术支撑实现冰箱库存的自动记录和更新用户可通过手机APP随时查看冰箱内物品与智能购物系统联动自动生成购物清单提醒用户补充短缺食材为智能菜谱推荐系统提供数据支持根据现有食材推荐合适菜谱推动厨房设备互联互通构建真正的智能厨房生态系统2. 健康饮食管理与营养分析在健康管理方面该系统具有重要价值自动记录食品摄入情况帮助用户追踪营养摄入识别高糖、高脂肪食品提供健康饮食建议对特殊饮食需求如糖尿病、减肥用户提供定制化食品管理统计食品消耗模式帮助用户建立更健康的饮食习惯3. 减少食品浪费与可持续生活在环保和可持续发展方面自动追踪食品保质期及时提醒用户即将过期的食品统计食品浪费情况提高用户减少浪费的意识优化食品采购计划避免过量购买导致的浪费为研究家庭食品浪费模式提供数据支持4. 商业应用与零售创新在商业领域具有广泛的应用前景为智能冰箱制造商提供核心识别技术支持超市开发智能购物和自动补货系统为食品配送服务提供库存自动监测解决方案帮助餐饮业实现智能化库存管理5. 技术创新与算法突破在技术层面具有重要意义验证了YOLOv8算法在多类别食品识别任务中的卓越性能解决了食品检测中面临的遮挡、形变、光照变化等挑战为其他复杂场景下的细粒度物体识别提供了技术参考推动了计算机视觉在日常生活场景中的实际应用6. 社会价值与经济效益本系统的推广应用将带来显著的社会经济效益降低家庭食品开支提高资源利用效率促进健康饮食改善公共卫生状况减少食品浪费助力可持续发展目标创造新的商业机会和就业岗位推动家电行业智能化升级技术特点与创新多类别高精度识别系统可同时识别30类常见食品在复杂背景下仍保持高准确率实时检测能力基于YOLOv8的高效架构实现毫秒级响应速度自适应学习模型可不断优化以适应新的食品包装和品种隐私保护设计所有数据处理在本地完成保护用户隐私跨平台兼容支持嵌入式设备、手机APP和云端部署未来展望随着技术的不断进步本系统将在以下方面持续发展扩展识别品类至100种以上常见食品整合重量估算功能实现更精准的库存管理结合气味传感器检测食品新鲜度开发基于AR的交互界面提升用户体验与智能家居系统深度整合打造真正的智慧厨房本项目的成功实施不仅展示了人工智能技术在日常生活场景中的实用价值也为食品管理领域的数字化转型提供了范例具有广阔的市场前景和社会意义。基于深度学习的冰箱内食物检测系统YOLOv8YOLO数据集UI界面Python项目源码模型_哔哩哔哩_bilibili基于深度学习的冰箱内食物检测系统YOLOv8YOLO数据集UI界面Python项目源码模型二、项目功能展示系统功能✅图片检测可对单张图片进行检测返回检测框及类别信息。✅批量图片检测支持文件夹输入一次性检测多张图片生成批量检测结果。✅视频检测支持视频文件输入检测视频中每一帧的情况。✅摄像头实时检测连接USB 摄像头实现实时监测图片检测该功能允许用户通过单张图片进行目标检测。输入一张图片后YOLO模型会实时分析图像识别出其中的目标并在图像中框出检测到的目标输出带有目标框的图像。批量图片检测用户可以一次性上传多个图片进行批量处理。该功能支持对多个图像文件进行并行处理并返回每张图像的目标检测结果适用于需要大规模处理图像数据的应用场景。视频检测视频检测功能允许用户将视频文件作为输入。YOLO模型将逐帧分析视频并在每一帧中标记出检测到的目标。最终结果可以是带有目标框的视频文件或实时展示适用于视频监控和分析等场景。摄像头实时检测该功能支持通过连接摄像头进行实时目标检测。YOLO模型能够在摄像头拍摄的实时视频流中进行目标检测实时识别并显示检测结果。此功能非常适用于安防监控、无人驾驶、智能交通等应用提供即时反馈。核心特点高精度基于YOLO模型提供精确的目标检测能力适用于不同类型的图像和视频。实时性特别优化的算法使得实时目标检测成为可能无论是在视频还是摄像头实时检测中响应速度都非常快。批量处理支持高效的批量图像和视频处理适合大规模数据分析。三、数据集介绍数据集名称: 冰箱内部成分检测数据集数据集类别: 30类类别名称:[apple, banana, beef, blueberries, bread, butter, carrot, cheese, chicken, chicken_breast, chocolate, corn, eggs, flour, goat_cheese, green_beans, ground_beef, ham, heavy_cream, lime, milk, mushrooms, onion, potato, shrimp, spinach, strawberries, sugar, sweet_potato, tomato]数据集划分:训练集: 2896 张图像训练集用于训练YOLOv8模型使其能够学习并识别冰箱内各种食物的特征。训练集的图像涵盖了不同品牌、包装形式、摆放位置以及光照条件下的食物以确保模型的泛化能力。验证集: 103 张图像验证集用于在训练过程中评估模型的性能帮助调整超参数和防止过拟合。验证集的图像与训练集类似但独立于训练集确保模型在未见过的数据上也能表现良好。测试集: 51 张图像测试集用于最终评估模型的性能反映模型在实际应用中的表现。测试集的图像是完全独立的确保评估结果的客观性和准确性。数据集特点:多样性: 数据集中的图像涵盖了不同品牌、包装形式、摆放位置以及光照条件下的食物确保模型能够适应各种实际场景。标注精度: 每张图像都经过精确的标注标注信息包括食物的类别和边界框位置确保模型能够准确学习目标特征。类别丰富: 数据集包含30种常见食物类别涵盖了水果、蔬菜、肉类、乳制品、调味品等多种类型能够满足日常冰箱管理的需求。训练集验证集数据集配置文件data.yamltrain: .\datasets\images\train val: .\datasets\images\val test: .\datasets\images\test nc: 30 names: [apple, banana, beef, blueberries, bread, butter, carrot, cheese, chicken, chicken_breast, chocolate, corn, eggs, flour, goat_cheese, green_beans, ground_beef, ham, heavy_cream, lime, milk, mushrooms, onion, potato, shrimp, spinach, strawberries, sugar, sweet_potato, tomato]数据集制作流程标注数据使用标注工具如LabelImg、CVAT等对图像中的目标进行标注。每个目标需要标出边界框并且标注类别。转换格式将标注的数据转换为YOLO格式。YOLO标注格式为每行object-class x_center y_center width height这些坐标是相对于图像尺寸的比例。分割数据集将数据集分为训练集、验证集和测试集通常的比例是80%训练集、10%验证集和10%测试集。准备标签文件为每张图片生成一个对应的标签文件确保标签文件与图片的命名一致。调整图像尺寸根据YOLO网络要求统一调整所有图像的尺寸如416x416或608x608。四、项目环境配置创建虚拟环境首先新建一个Anaconda环境每个项目用不同的环境这样项目中所用的依赖包互不干扰。终端输入conda create -n yolov8 python3.9激活虚拟环境conda activate yolov8安装cpu版本pytorchpip install torch torchvision torchaudiopycharm中配置anaconda安装所需要库pip install -r requirements.txt五、模型训练训练代码from ultralytics import YOLO model_path yolov8s.pt data_path datasets/data.yaml if __name__ __main__: model YOLO(model_path) results model.train(datadata_path, epochs500, batch64, device0, workers0, projectruns/detect, nameexp, )根据实际情况更换模型 yolov8n.yaml (nano)轻量化模型适合嵌入式设备速度快但精度略低。 yolov8s.yaml (small)小模型适合实时任务。 yolov8m.yaml (medium)中等大小模型兼顾速度和精度。 yolov8b.yaml (base)基本版模型适合大部分应用场景。 yolov8l.yaml (large)大型模型适合对精度要求高的任务。--batch 64每批次64张图像。--epochs 500训练500轮。--datasets/data.yaml数据集配置文件。--weights yolov8s.pt初始化模型权重yolov8s.pt是预训练的轻量级YOLO模型。训练结果六、核心代码# -*- coding: utf-8 -*- import os import sys import time import cv2 import numpy as np from PIL import ImageFont from PyQt5.QtCore import Qt, QTimer, QThread, pyqtSignal, QCoreApplication from PyQt5.QtWidgets import (QApplication, QMainWindow, QFileDialog, QMessageBox, QWidget, QHeaderView, QTableWidgetItem, QAbstractItemView) from ultralytics import YOLO # 自定义模块导入 sys.path.append(UIProgram) from UIProgram.UiMain import Ui_MainWindow from UIProgram.QssLoader import QSSLoader from UIProgram.precess_bar import ProgressBar import detect_tools as tools import Config class DetectionApp(QMainWindow): def __init__(self, parentNone): super().__init__(parent) self.ui Ui_MainWindow() self.ui.setupUi(self) # 初始化应用 self._setup_ui() self._connect_signals() self._load_stylesheet() # 模型和资源初始化 self._init_detection_resources() def _setup_ui(self): 初始化UI界面设置 self.display_width 700 self.display_height 500 self.source_path None self.camera_active False self.video_capture None # 配置表格控件 table self.ui.tableWidget table.verticalHeader().setSectionResizeMode(QHeaderView.Fixed) table.verticalHeader().setDefaultSectionSize(40) table.setColumnWidth(0, 80) # ID列 table.setColumnWidth(1, 200) # 路径列 table.setColumnWidth(2, 150) # 类别列 table.setColumnWidth(3, 90) # 置信度列 table.setColumnWidth(4, 230) # 位置列 table.setSelectionBehavior(QAbstractItemView.SelectRows) table.verticalHeader().setVisible(False) table.setAlternatingRowColors(True) def _connect_signals(self): 连接按钮信号与槽函数 self.ui.PicBtn.clicked.connect(self._handle_image_input) self.ui.comboBox.activated.connect(self._update_selection) self.ui.VideoBtn.clicked.connect(self._handle_video_input) self.ui.CapBtn.clicked.connect(self._toggle_camera) self.ui.SaveBtn.clicked.connect(self._save_results) self.ui.ExitBtn.clicked.connect(QCoreApplication.quit) self.ui.FilesBtn.clicked.connect(self._process_image_batch) def _load_stylesheet(self): 加载CSS样式表 style_file UIProgram/style.css qss QSSLoader.read_qss_file(style_file) self.setStyleSheet(qss) def _init_detection_resources(self): 初始化检测相关资源 # 加载YOLOv8模型 self.detector YOLO(runs/detect/exp/weights/best.pt, taskdetect) self.detector(np.zeros((48, 48, 3))) # 预热模型 # 初始化字体和颜色 self.detection_font ImageFont.truetype(Font/platech.ttf, 25, 0) self.color_palette tools.Colors() # 初始化定时器 self.frame_timer QTimer() self.save_timer QTimer() def _handle_image_input(self): 处理单张图片输入 self._stop_video_capture() file_path, _ QFileDialog.getOpenFileName( self, 选择图片, ./, 图片文件 (*.jpg *.jpeg *.png)) if not file_path: return self._process_single_image(file_path) def _process_single_image(self, image_path): 处理并显示单张图片的检测结果 self.source_path image_path self.ui.comboBox.setEnabled(True) # 读取并检测图片 start_time time.time() detection_results self.detector(image_path)[0] processing_time time.time() - start_time # 解析检测结果 boxes detection_results.boxes.xyxy.tolist() self.detection_boxes [list(map(int, box)) for box in boxes] self.detection_classes detection_results.boxes.cls.int().tolist() confidences detection_results.boxes.conf.tolist() self.confidence_scores [f{score * 100:.2f}% for score in confidences] # 更新UI显示 self._update_detection_display(detection_results, processing_time) self._update_object_selection() self._show_detection_details() self._display_results_table(image_path) def _update_detection_display(self, results, process_time): 更新检测结果显示 # 显示处理时间 self.ui.time_lb.setText(f{process_time:.3f} s) # 获取带标注的图像 annotated_img results.plot() self.current_result annotated_img # 调整并显示图像 width, height self._calculate_display_size(annotated_img) resized_img cv2.resize(annotated_img, (width, height)) qimage tools.cvimg_to_qpiximg(resized_img) self.ui.label_show.setPixmap(qimage) self.ui.label_show.setAlignment(Qt.AlignCenter) self.ui.PiclineEdit.setText(self.source_path) # 更新检测数量 self.ui.label_nums.setText(str(len(self.detection_classes))) def _calculate_display_size(self, image): 计算适合显示的图像尺寸 img_height, img_width image.shape[:2] aspect_ratio img_width / img_height if aspect_ratio self.display_width / self.display_height: width self.display_width height int(width / aspect_ratio) else: height self.display_height width int(height * aspect_ratio) return width, height def _update_object_selection(self): 更新目标选择下拉框 options [全部] target_labels [ f{Config.names[cls_id]}_{idx} for idx, cls_id in enumerate(self.detection_classes) ] options.extend(target_labels) self.ui.comboBox.clear() self.ui.comboBox.addItems(options) def _show_detection_details(self, index0): 显示检测目标的详细信息 if not self.detection_boxes: self._clear_detection_details() return box self.detection_boxes[index] self.ui.type_lb.setText(Config.CH_names[self.detection_classes[index]]) self.ui.label_conf.setText(self.confidence_scores[index]) self.ui.label_xmin.setText(str(box[0])) self.ui.label_ymin.setText(str(box[1])) self.ui.label_xmax.setText(str(box[2])) self.ui.label_ymax.setText(str(box[3])) def _clear_detection_details(self): 清空检测详情显示 self.ui.type_lb.setText() self.ui.label_conf.setText() self.ui.label_xmin.setText() self.ui.label_ymin.setText() self.ui.label_xmax.setText() self.ui.label_ymax.setText() def _display_results_table(self, source_path): 在表格中显示检测结果 table self.ui.tableWidget table.setRowCount(0) table.clearContents() for idx, (box, cls_id, conf) in enumerate(zip( self.detection_boxes, self.detection_classes, self.confidence_scores)): row table.rowCount() table.insertRow(row) # 添加表格项 items [ QTableWidgetItem(str(row 1)), # ID QTableWidgetItem(source_path), # 路径 QTableWidgetItem(Config.CH_names[cls_id]), # 类别 QTableWidgetItem(conf), # 置信度 QTableWidgetItem(str(box)) # 位置坐标 ] # 设置文本居中 for item in [items[0], items[2], items[3]]: item.setTextAlignment(Qt.AlignCenter) # 添加到表格 for col, item in enumerate(items): table.setItem(row, col, item) table.scrollToBottom() def _process_image_batch(self): 批量处理图片 self._stop_video_capture() folder QFileDialog.getExistingDirectory(self, 选择图片文件夹, ./) if not folder: return self.source_path folder valid_extensions {jpg, png, jpeg, bmp} for filename in os.listdir(folder): filepath os.path.join(folder, filename) if (os.path.isfile(filepath) and filename.split(.)[-1].lower() in valid_extensions): self._process_single_image(filepath) QApplication.processEvents() # 保持UI响应 def _update_selection(self): 更新用户选择的检测目标显示 selection self.ui.comboBox.currentText() if selection 全部: boxes self.detection_boxes display_img self.current_result self._show_detection_details(0) else: idx int(selection.split(_)[-1]) boxes [self.detection_boxes[idx]] display_img self.detector(self.source_path)[0][idx].plot() self._show_detection_details(idx) # 更新显示 width, height self._calculate_display_size(display_img) resized_img cv2.resize(display_img, (width, height)) qimage tools.cvimg_to_qpiximg(resized_img) self.ui.label_show.clear() self.ui.label_show.setPixmap(qimage) self.ui.label_show.setAlignment(Qt.AlignCenter) def _handle_video_input(self): 处理视频输入 if self.camera_active: self._toggle_camera() video_path self._get_video_path() if not video_path: return self._start_video_processing(video_path) self.ui.comboBox.setEnabled(False) def _get_video_path(self): 获取视频文件路径 path, _ QFileDialog.getOpenFileName( self, 选择视频, ./, 视频文件 (*.avi *.mp4)) if path: self.source_path path self.ui.VideolineEdit.setText(path) return path return None def _start_video_processing(self, video_path): 开始处理视频流 self.video_capture cv2.VideoCapture(video_path) self.frame_timer.start(1) self.frame_timer.timeout.connect(self._process_video_frame) def _stop_video_capture(self): 停止视频捕获 if self.video_capture: self.video_capture.release() self.frame_timer.stop() self.camera_active False self.ui.CaplineEdit.setText(摄像头未开启) self.video_capture None def _process_video_frame(self): 处理视频帧 ret, frame self.video_capture.read() if not ret: self._stop_video_capture() return # 执行目标检测 start_time time.time() results self.detector(frame)[0] processing_time time.time() - start_time # 解析结果 self.detection_boxes results.boxes.xyxy.int().tolist() self.detection_classes results.boxes.cls.int().tolist() self.confidence_scores [f{conf * 100:.2f}% for conf in results.boxes.conf.tolist()] # 更新显示 self._update_detection_display(results, processing_time) self._update_object_selection() self._show_detection_details() self._display_results_table(self.source_path) def _toggle_camera(self): 切换摄像头状态 self.camera_active not self.camera_active if self.camera_active: self.ui.CaplineEdit.setText(摄像头开启) self.video_capture cv2.VideoCapture(0) self._start_video_processing(0) self.ui.comboBox.setEnabled(False) else: self.ui.CaplineEdit.setText(摄像头未开启) self.ui.label_show.clear() self._stop_video_capture() def _save_results(self): 保存检测结果 if not self.video_capture and not self.source_path: QMessageBox.information(self, 提示, 没有可保存的内容请先打开图片或视频) return if self.camera_active: QMessageBox.information(self, 提示, 无法保存摄像头实时视频) return if self.video_capture: self._save_video_result() else: self._save_image_result() def _save_video_result(self): 保存视频检测结果 confirm QMessageBox.question( self, 确认, 保存视频可能需要较长时间确定继续吗, QMessageBox.Yes | QMessageBox.No) if confirm QMessageBox.No: return self._stop_video_capture() saver VideoSaverThread( self.source_path, self.detector, self.ui.comboBox.currentText()) saver.start() saver.update_ui_signal.connect(self._update_progress) def _save_image_result(self): 保存图片检测结果 if os.path.isfile(self.source_path): # 处理单张图片 filename os.path.basename(self.source_path) name, ext filename.rsplit(., 1) save_name f{name}_detect_result.{ext} save_path os.path.join(Config.save_path, save_name) cv2.imwrite(save_path, self.current_result) QMessageBox.information( self, 完成, f图片已保存至: {save_path}) else: # 处理文件夹中的图片 valid_exts {jpg, png, jpeg, bmp} for filename in os.listdir(self.source_path): if filename.split(.)[-1].lower() in valid_exts: filepath os.path.join(self.source_path, filename) name, ext filename.rsplit(., 1) save_name f{name}_detect_result.{ext} save_path os.path.join(Config.save_path, save_name) results self.detector(filepath)[0] cv2.imwrite(save_path, results.plot()) QMessageBox.information( self, 完成, f所有图片已保存至: {Config.save_path}) def _update_progress(self, current, total): 更新保存进度 if current 1: self.progress_dialog ProgressBar(self) self.progress_dialog.show() if current total: self.progress_dialog.close() QMessageBox.information( self, 完成, f视频已保存至: {Config.save_path}) return if not self.progress_dialog.isVisible(): return percent int(current / total * 100) self.progress_dialog.setValue(current, total, percent) QApplication.processEvents() class VideoSaverThread(QThread): 视频保存线程 update_ui_signal pyqtSignal(int, int) def __init__(self, video_path, model, selection): super().__init__() self.video_path video_path self.detector model self.selection selection self.active True self.colors tools.Colors() def run(self): 执行视频保存 cap cv2.VideoCapture(self.video_path) fourcc cv2.VideoWriter_fourcc(*XVID) fps cap.get(cv2.CAP_PROP_FPS) size ( int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))) filename os.path.basename(self.video_path) name, _ filename.split(.) save_path os.path.join( Config.save_path, f{name}_detect_result.avi) writer cv2.VideoWriter(save_path, fourcc, fps, size) total_frames int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) current_frame 0 while cap.isOpened() and self.active: current_frame 1 ret, frame cap.read() if not ret: break # 执行检测 results self.detector(frame)[0] frame results.plot() writer.write(frame) self.update_ui_signal.emit(current_frame, total_frames) # 释放资源 cap.release() writer.release() def stop(self): 停止保存过程 self.active False if __name__ __main__: app QApplication(sys.argv) window DetectionApp() window.show() sys.exit(app.exec_())七、项目演示与介绍视频基于深度学习的冰箱内食物检测系统YOLOv8YOLO数据集UI界面Python项目源码模型_哔哩哔哩_bilibili基于深度学习的冰箱内食物检测系统YOLOv8YOLO数据集UI界面Python项目源码模型