PySlowFast 是由 Meta (Facebook AI Research) 开源的、专注于视频行为识别的经典深度学习框架。由于其模型输入需要一个固定帧数的视频片段Video Clip因而在进行摄像头实时推理时我们需要通过队列Queue循环维护一个滑窗来缓存摄像头采集到的帧。下面为您梳理 PySlowFast 从模型训练到使用 Python 进行摄像头实时动作识别的完整闭环方案。一、 模型训练 (Model Training)PySlowFast 推荐使用其内置的命令行工具tools/run_net.py进行高效的多卡/单卡训练。在编写代码前需要准备好数据集如 Kinetics400 或自定义行为数据集并生成对应的train.csv和val.csv。1. 配置文件修改首先拷贝并修改官方的configs/Kinetics/SLOWFAST_8x8_R50.yaml配置文件TRAIN:ENABLE:TrueDATASET:kineticsBATCH_SIZE:8# 根据显存调整EVAL_PERIOD:10CHECKPOINT_PERIOD:1DATA:NUM_FRAMES:32# 采样帧数SAMPLING_RATE:2# 帧采样间隔PATH_TO_DATA_DIR:/path/to/your/annotations/# 存放 train.csv 的路径PATH_PREFIX:/path/to/your/videos/# 视频文件根目录MODEL:NUM_CLASSES:10# 替换为你的自定义动作类别数量NUM_GPUS:1OUTPUT_DIR:.# 权重文件保存目录2. 执行训练命令python tools/run_net.py--cfgpath/to/your_custom_slowfast.yaml训练结束后在OUTPUT_DIR下会生成形如checkpoints/checkpoint_epoch_00050.pyth的模型权重文件。二、 核心Python 实时摄像头动作识别代码以下是在 Python 脚本中调用训练好的 PySlowFast 模型并通过 OpenCV 读取摄像头或直播流进行滑动窗口预测的完整示例代码。注意事项由于 PySlowFast 自带的内部加载器对实时流不够灵活此代码使用PyTorchVideoPySlowFast 官方底层配套的轻量化库或纯torch方式来构造网络。importcollectionsimportcv2importnumpyasnpimporttorchfrompytorchvideo.modelsimportcreate_resnetfromtorchvision.transformsimportCompose,Lambdafromtorchvision.transforms._transforms_videoimportCenterCropVideo,NormalizeVideo# # 1. 配置参数与模型加载# DEVICEcudaiftorch.cuda.is_available()elsecpu# 这里的参数需要和训练时的 YAML 配置文件严格对齐NUM_FRAMES32# 模型的总输入帧数SAMPLING_RATE2# 采样步长每隔2帧取1帧REQUIRED_FRAMESNUM_FRAMES*SAMPLING_RATE# 缓存区总共需要容纳的帧数 (64帧)# 加载自定义模型结构 (以标准的 SlowFast ResNet50 为例)# 如果你使用的是原版 PySlowFast 权重建议使用 torch.hub 或通过 slowfast.models 构建defload_slowfast_model(checkpoint_path,num_classes10):# 这里通过 pytorchvideo 快速构建符合 SlowFast 架构的网络modeltorch.hub.load(facebookresearch/pytorchvideo,slowfast_r50,pretrainedFalse)# 修改最后的分类头以匹配你训练时的类别数model.blocks[6].projtorch.nn.Linear(model.blocks[6].proj.in_features,num_classes)# 加载训练好的权重checkpointtorch.load(checkpoint_path,map_locationDEVICE)ifmodel_stateincheckpoint:model.load_state_dict(checkpoint[model_state])else:model.load_state_dict(checkpoint)model.to(DEVICE)model.eval()returnmodel# 替换为你的权重路径和标签CHECKPOINT_PATHcheckpoints/checkpoint_epoch_00050.pythCLASS_NAMES[Label0,Label1,Label2,Label3,Label4,Label5,Label6,Label7,Label8,Label9]modelload_slowfast_model(CHECKPOINT_PATH,num_classeslen(CLASS_NAMES))# # 2. 图像预处理流水线# transformCompose([Lambda(lambdax:x/255.0),NormalizeVideo(mean[0.45,0.45,0.45],std[0.225,0.225,0.225]),CenterCropVideo(crop_size256)])defpack_pathway_output(cfg,frames): 将视频帧分割为 Slow 路径和 Fast 路径所需的输入格式 Slow 路径低帧率采样较少帧空间特征强 Fast 路径高帧率采样较多帧时间运动特征强 # frames 形状: [C, T, H, W]fast_pathwayframes# 根据采样比例抽取 Slow 路径对应的帧# 比如在 SlowFast 8x8 中Slow 采样率一般是 Fast 的 4 倍即每 4 帧取 1 帧slow_step4slow_pathwaytorch.index_select(frames,1,torch.linspace(0,frames.shape[1]-1,frames.shape[1]//slow_step).long().to(DEVICE),)return[slow_pathway,fast_pathway]# # 3. 摄像头实时视频流循环# capcv2.VideoCapture(0)# 0 代表本地自带摄像头也可以填入 RTSP 视频流地址frame_buffercollections.deque(maxlenREQUIRED_FRAMES)# 循环队列缓冲区print(开始实时动作识别按 q 退出...)current_predictionWaiting...withtorch.no_grad():whilecap.isOpened():ret,framecap.read()ifnotret:break# 1. 转换色彩空间并存入缓冲区rgb_framecv2.cvtColor(frame,cv2.COLOR_BGR2RGB)# 调整大小加快处理速度 (PySlowFast通常输入短边为256)resized_framecv2.resize(rgb_frame,(340,256))frame_buffer.append(resized_frame)# 2. 当缓冲区存满所需帧数时启动模型推理iflen(frame_buffer)REQUIRED_FRAMES:# 依采样步长从缓冲区中取帧实现稀疏采样sampled_frames[frame_buffer[i]foriinrange(0,REQUIRED_FRAMES,SAMPLING_RATE)]# 变换形状由 List 的 [H, W, C] 转换为 Tensor [C, T, H, W]video_tensortorch.from_numpy(np.array(sampled_frames)).permute(3,0,1,2).float().to(DEVICE)# 预处理 (归一化、裁剪)video_tensortransform(video_tensor)# 构建 SlowFast 双路径输入inputspack_pathway_output(None,video_tensor)# 增加 Batch 维度 [[1, C, T_slow, H, W], [1, C, T_fast, H, W]]inputs[x.unsqueeze(0)forxininputs]# 模型前向传播predsmodel(inputs)# 获取预测结果top1_val,top1_idxpreds.topk(1,dim1)probstorch.nn.functional.softmax(preds,dim1)confidenceprobs[0][top1_idx.item()].item()# 如果置信度高于阈值更新预测文本ifconfidence0.6:current_predictionf{CLASS_NAMES[top1_idx.item()]}({confidence:.2f})else:current_predictionBackground/Unknown# 3. 将预测结果实时渲染在画面上cv2.putText(frame,fAction:{current_prediction},(20,50),cv2.FONT_HERSHEY_SIMPLEX,1,(0,255,0),2,cv2.LINE_AA)cv2.imshow(PySlowFast Real-time Action Recognition,frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()三、 生产环境优化建议异步多线程 (Multi-threading)上面的示例是单线程的。在实际项目如服务器高帧率推流中cap.read()读取摄像头、缓冲区填充、与model(inputs)推理应当拆分到不同的线程中。否则由于深度学习模型前向传播的耗时会导致画面卡顿和网络延迟。硬件加速如果对实时性Latency要求极高建议将最终训练出来的 PyTorch.pyth权重转换为ONNX格式进而转为TensorRT(NVIDIA GPU) 或OpenVINO(Intel CPU) 进行边缘端部署帧率通常可提升数十倍。
