本文提出了一种新的Edge-AI算法，用于实时、多特征(社交距离、口罩检测、面部温度)测量，以最大限度地减少COVID-19在个体之间的传播。新型冠状病毒感染症(COVID-19)减少了对智能监控视频系统的需求，该系统可以使用深度学习(DL)模型同时监控社交距离状态、检测口罩和测量面部温度。在本研究中，我们利用三种不同的yolov4 -微型目标探测器对集成系统的每个任务进行融合。该深度学习模型用于对象检测和目标实时应用。提出的模型已经针对不同的数据集进行了训练，包括人员检测、口罩检测和用于测量温度的面部检测，并在这些现有数据集上进行了评估。热相机和可见光相机已被用于提出的方法。热像仪用于社交距离和面部温度测量，而可视像仪用于面具检测。该方法已在NVIDIA平台上执行，以评估算法的性能。为了评估训练模型，测量了准确性、召回率和精度。我们在人类识别的实时检测方面取得了很好的结果。采用了不同的热成像和可见光相机对以及不同的NVIDIA边缘平台来探索在成本和性能之间进行不同权衡的解决方案。多特征算法旨在持续监测目标环境中的个体，从而减少COVID-19传播的影响。
- 一个。
动机
持续的新冠肺炎大流行对全球社会、经济和环境的发展产生了负面影响[1]。COVID-19在世界范围内广泛传播，主要通过直接传播、气溶胶传播和接触传播。直接传播，即飞沫通过近距离接触吸入导致感染;气溶胶，当液滴与空气混合形成可吸入的气溶胶时[2];如果由于未消毒的手而沉积在物体上的飞沫到达鼻腔和口腔、眼睛或粘膜，则通过接触。记录的感染症状有发热、干咳、全身乏力、鼻塞，以及更罕见的缺氧。最严重的病例，50%在第一周后出现呼吸困难，可发展为急性呼吸窘迫、感染性休克、代谢性酸中毒、出血和凝血功能障碍。大多数患者恢复良好，但仍有相当比例的患者处于危急状态，甚至死亡。许多国家采取了限制性措施来限制感染的传播[3,4]，但成效相对较少。即使是现在，确保个人安全的关键因素是能够检测社会距离[5,6,7,8]、口罩和体温[9,10,11,12]的技术。为了实现这一目标，一个有希望的解决方案来自基于人工智能的系统。
本文提出了一种基于三个并行模型的YOLOv4嵌入式平台集成方法，YOLOv4是一种广泛应用于目标检测的深度学习检测器。目标是增加对经常导致感染传播的个人态度的详细检测程度。
- B。
最先进的概述
卷积神经网络模型似乎最适合应用于图像重建和分类[13,14]、目标检测[15]和实例分割[16]。它们还被用于提取特征和处理有限或不完整数据集的能力[17,18]。YOLO显然是所有cnn专用模型中使用最广泛的，因为它能够集成实时系统[19]。在这项工作中，提出了三个YOLOv4-tiny模型[20]来并行检测距离，是否存在面罩和温度在同一处理器的不同核心上。所提出的研究从先前的工作中获得灵感[8,21]，这些工作仅限于单一特征检测(仅社会距离，在[21]中通过鸟瞰图增强视角)，并且仅从热像仪输入。
相比之下，这项工作是指使用热摄像机和可见光摄像机进行实时多特征检测。使用多个深度学习模型，该方法包括检测带有边界框的人和人脸。然后对这些检测到的盒子进行处理，以区分个人是否戴口罩。同时，提出的方法是一个独立的应用程序来估计这些个体之间的距离和测量他们的面部温度。今天，深度学习被用于不同的实时应用中，以保护人们的生命免受火灾[22]、医疗保健以及通过处理图像或视频监控系统进行面部特征分析等损害。与以前的工作相比，除了改变应用程序外，我们还改进了DL模型的计算能力，并增强了嵌入式系统上的集成流程，通过允许我们在其他内核上并行使用多达三个不同的YOLO模型来确保实时吞吐量。此外，一些研究人员将RestNet50[23]和YOLOV3[24]轻量级神经网络架构与迁移学习技术结合使用。这是为了规范资源约束和目标检测的准确性。近年来，深度学习对象识别技术[25]在计算机视觉任务中得到了显著的应用，并且在解决复杂问题方面可能比浅层模型更有效。然而，深度学习识别模型强调特征和上下文学习[26]。因此，目标检测架构[27]被分为两类，包括两级模型，如FPN[28]、Mask 985包括哪些学校 R-CNN[29]和Faster R-CNN[30]，以及单级模型，如YOLO[31]、YOLOv2[32]和YOLOv4[33]。在两阶段检测器的情况下，检测分阶段进行，在第一阶段计算提案，在最后阶段对目标类别进行分类。同时，单阶段模型认为预测是一个回归问题，它在一次拍摄中检测图像中的所有物体。
在[34]中，作者提出了一种目标检测方法，该方法经过训练可以预测图像中的目标物体，用于人脸识别。研究人员已经证明，戴口罩可以显著减少COVID-19在公共场所的传播。此外，可以训练深度学习模型来识别人们是否戴口罩。
口罩检测已广泛应用于交通运输系统中[35]。口罩检测和社交距离测量可以使用深度学习模型来完成[36]。可以利用摄像机。DL算法可用于进行口罩检测和违反社交距离测量的人。此外，该方法还能有效地从图像中提取特征。作者[37]提出了口罩检测和社交距离监测框架，以减少COVID-19在个体之间的传播。他们在Raspberry PI4上实现了他们的工作，它可以同时执行多个活动。基于嵌入式系统的深度学习算法在目标检测和跟踪系统的不同应用中越来越受到关注[38]。[39]的作者提出了一种系统，该系统可以进行口罩检测、体温测量和社交距离测量，以保护个人免受COVID-19的侵害。他们提出了一种集成方法，其中包括基于Arduino Uno树莓派的物联网系统。在[40]中，作者提出了一种非实时的检测系统，通过在胸部x线图像上应用DL模型来识别COVID-19。
事实证明，它非常准确，因此对放射科医生提示COVID-19的检测非常有益。应对疫情后社会和行业形势，需要人工智能技术解决方案，如自我解释的数字解决方案。它将为尽量减少COVID-19对反经济环境的影响提供极端支持[41,42]。先前的一项研究进行了常平黄水职业中学随机社会距离和口罩检测试验，发现廉价的干预措施有助于阻断呼吸道病毒在社会中的传播[43]。为了最大限度地减少COVID-19在社区聚会中的传播，最近研究了不同的方法，例如保持社交距离，使用口罩和测量体温，这也是检测病毒症状的重要工具。这些研究利用不同的技术，使用一种或两种方法的组合来防止COVID-19的传播。然而，从概念框架的角度来看，这些研究几乎没有局限性。证据探索文献描述了需要设计一种有效的方法来加强深度学习技术，以有效应对疫情。在本文中，我们提出了一种综合方法，该方法结合了所有三种技术(口罩检测、社交距离和温度测量)，可以在控制传染病传播方面提供许多优势。它可以帮助识别可能感染但无症状的个体，并提供遵守公共卫生指南的实时数据。此外，综合方法可以帮助克服单独使用每种技术的局限性。表1显示了现有研究的摘要。
- C。
贡献
我们的研究目标是丰富COVID-19预防系统，并从最先进的方法中检验综合算法。因此，人工智能技术将通过最大限度地减少封锁阶段来改善整体情况，在封锁阶段，将利用DL模型和物联网嵌入式设备实施监视、检测和监测等系统，作为当前大流行所需的核心解决方案。本工作的贡献总结如下:
-
通过融合三种不同的yolov4微型物体探测器，这种综合方法可以通过监测社交距离、口罩检测和面部温度测量来帮助预防COVID-19的传播，同时实时监测和检测这些特征。
-
人大网校拟议的YOLOv4微型机器人可以比其他最先进的深度学习模型更快地执行目标检测和跟踪。尽管体积更小，YOLOv4 tiny仍然可以在实时应用中实现高精度检测物体。
-
在NVIDIA主板(Jetson nano和Xavier AGX)上执行提议的模型展示了其潜在的可扩展性和效率，为在成本和性能之间进行不同权衡的各种场景中的实际应用铺平了道路。
-
单个热成像摄像机已经开发出热筛选系统，可以同时测量多人的面部温度，同时该摄像机继续监控行人之间的社交距离。
YOLOv4-tiny在本研究中的目的是检测视频帧中的物体。给定输入帧，该模型通过其卷积神经网络对其进行处理，以生成边界框预测和相关的类概率。具体来说，我们将三种不同的yolov4微型物体探测器集成到系统中，每种探测器都有特定的任务:社交距离监测、面具检测和面部温度测量。YOLOv4-tiny是一种深度学习模型，以其效率和对实时应用的适用性而闻名，使其成为这种边缘ai算法的合适选择。提出的模型在不同的数据集上进行训练，用于人检测、面具检测和面部温度测量。这些数据集包含不同范围的样本，以确保在不同情况下的稳健性和准确性。
本文的其余部分组织如下:第2节提出了拟议的方法;第3节给出了得到的结果和讨论;第4节描述了在边缘NVIDIA平台上的实时实现。最后，在第五节中得出结论。
在这项工作中，我们使用口罩检测算法实现了多种任务，包括监测社交距离和面部温度测量。这种方法提供了一个自动监控系统，该系统使用摄像机向当局发出警告，并帮助他们确保个人遵守社交距离规定，测量他们的面部温度，以及口罩检测规范，以减少病毒传播。上述任务使用了三种型号的YOLOv4-tiny。建议的方法从收集3个任务的数据集开始。然后，四川经济管理干部学院我们对YOLOv4-tiny模型进行训练和测试，以评估其性能和鲁棒性。在嵌入式系统(Jetson Nano或Xavier AGX)上执行的最终原型方法连接到监控系统，作为这些设备中的独立应用程序执行。我们使用可视摄像机进行面罩检测，使用热像仪进行社交距离分类和测量面部温度。可见和热像仪在NVIDIA设备上同时操作、安装和执行。图1显示了口罩检测、社交测量和面部温度视频测量的集成方法。
集成方法的口罩检测，社交距离，和面部温度视频测量系统
- 一个。
口罩检测
这些口罩的图片来自互联网上的各种来源。我们在室内和室外公共场所选择了不同年龄的人群。这个实验使用了900张图片。所选图像包括从不同角度出现的单张脸和拥挤的人群。我们选择了不同类型和不同颜色的口罩，如图2所示。使用数据注释工具在图像上标记目标面部。有各种各样的数据注释，如图像和视频注释、关键点注释和多边形分割注释。此外，利用LabelImg对图像上的对象边界框进行标注。这个工具允许以不同的格式保存注释。设计并训练了YOLOv4-tiny模型用于口罩检测。图3显示了用于口罩检测的YOLOv4-tiny的设计和训练工作流程。该方法旨在建立一个自定义的实时面具检测模型。
样品面具与不同的颜色
掩码检测的工作流程结构
- B。
社会距离
本研究采用YOLOv4-tiny模型进行人体检测。从不同的来源收集了2000张热图像。该数据集由不同室内和室外真实环境下的人体热图像组成。这些热图像包含人类活动识别的自然场景，包括走路、说话、站立和坐着。一个自定义注释工具被用来用边界框标记人员。我们使用欧几里得公式计算检测到的边界框的距离和质心信息。在这项工作中，欧几里得测量距离确定为6英尺。我们为被检测到的人员设置了危险和警告两种不同的违规阈值。我们将第一个阈值指定为警告，用黄色表示;将第二个阈值指定为危险，用红色表示。如果被检测到的人之间的距离小于等于5英尺，则边界框的颜色设置为红色。当检测到的边界框间距小于等于6英尺且大于5英尺时，边界框颜色变为黄色。当被检测到的人之间的距离超过6英尺时，边界框颜色设置为绿色，表示保持安全的社交距离。
该方法已在鸟瞰图中实现，以消除摄像机的透视视图。自上而下的观点有助于我们的想法提高社会距离估计系统的可扩展性。摄像机不需要以特定的方式设置。既不需要确定摄像机的高度，也不需要确定倾角。相反，它需要点击捕获的视频图像上的四个点，这些点将成为飞机的角点，将目标类转换为自上而下的视图。这些点必须构成一个至少有两条相对平行边的矩形。如果将该系统转化为产品，则可以有效地采用。
- C。
面部温度测量
面部图像已从工作[50]中得到利用，见图4。大多数面部热数据集来自室内和室外环境。这些图像是从不同的场景中获得的，包括热成像摄像机拍摄的不同身体姿势和面部表情的人。这项工作使用了9.982张图像。对热像进行了倒转，得到了负像。伽玛校正已应用于这些负图像，以提高其可见度。这增强了从捕获的面部特征的亮度。该系统基于给定图像帧的像素插值计算个体面部的平均温度。这个过程决定了框架内每个人面部的平均温度。最初，代码循环遍历框架中每个人的面孔边界框，并提取与该人的面孔对应的感兴趣区域(ROI)。该过程从get_person_temperature函数开始，该函数接受一个边界框列表和一个输入图像帧。它继续迭代列表中的每个边界框，并从输入图像中提取感兴趣区域(ROI)，假设ROI包含该人的脸。使用Python和适当的库(例如，OpenCV或PyTorch)来读取图像并提取原始像素值。通过分析ROI中的像素，代码计算平均温度值。然后使用自定义map_function将该温度值映射到36-38°C的温度范围，从而实现更好的表示和可视化。map_function在这个过程中很有用，因为它从原始范围转换计算的平均温度值。最后将得到的原始像素值转换为整数。
采样图像用于面部温度测量[50]
- D。
模型构建与培训
YOLOv4-tiny structure是为目标检测和识别而设计的深度卷积神经网络。它是原始YOLOv4模型的更小更快的版本，但在检测图像和视频中的物体时仍然保持较高的准确性和精度。YOLOv4-tiny的轻量级特性也使其适合用于移动和嵌入式设备，这些设备在实时应用中越来越受欢迎。随着物联网(IoT)的兴起，对能够执行实时目标检测的低功耗、低成本设备的需求日益增长。YOLOv4-tiny非常适合这项任务，因为它可以在处理能力和内存有限的设备上运行。在YOLOv4-tiny中，分类模型通常基于CSPDarknet53架构，这是专门为YOLO模型设计的自定义深度神经网络架构。CSPDarknet53是一个卷积神经网络，用于使用DarkNet-53进行对象检测。它采用CSPNet策略，将基础层的特征映射划分为两个部分，然后通过跨阶段的层次结构进行合并。使用分离和合并策略允许更多的梯度流通过网络;YOLOv4-tiny模型的结构如图5所示。卷积神经网络层被压缩到29层，以实现快速检测。结果表明，YOLOv4-tiny的帧率高达371 fps，可以满足实时应用的要求。YOLOv4-tiny模型利用CSPDarknet53-tiny网络作为骨干网络，取代了YOLOv4架构中使用的CSPDarknet53网络。CSPDarknet53-tiny网络是跨阶段模型中的CSP-Block架构。它取代了残余网络中的Res-Block架构。采用CSP-Block架构将特征映射划分为两个部分。这将创建一个梯度，从而为网络生成两条独立的路径。与Res-Block架构相比，CSP-Block架构具有增强CNN学习的能力。然而，计算量的增加提高了模型的精度。它消除了CSP-Block体系结构中计算开销较高的计算瓶颈，最大限度地降低了计算成本。此外，它还通过减少计算量来提高YOLOv4-tiny模型的性能。为了改进计算过程，在YOLOv4-tiny模型中使用Leaky-ReLU函数作为激活函数，而不是在YOLOv4架构中使用混合激活函数，见式[1]。Leaky-ReLU函数为
（1)其中为常数。
YOLOv4-tiny的架构[20]
yolov4微型模型的最后阶段是YOLO头部。它用于执行密集预测。密集预测的结果，由包含目标对象的中心坐标(包括{xcenter, ycenter, w, h})的向量组成。图像数据集被分成训练、验证和测试三个部分，分别占70%、20%和10%。这些分割平衡了在足够的数据上训练模型以防止过拟合。一个单独的测试集对于评估模型在未知数据上的性能是必不可少的。从测试集获得的结果被认为是对模型的最终评估。
使用图形图像标记工具为目标类标注边界框。锚框大小通常根据数据集中存在的对象的长宽比和比例来定义。表2提供了每个任务的锚框大小的简化示例。在实践中，这些大小将通过实验和微调来确定，以达到研究中使用的特定数据集和模型架构的最佳性能。为了对YOLOv4-tiny模型进行微调，根据表3中提供的规范调整了几个超参数。选择的训练方法是“sdgm”。训练过程总共运行了80个epoch，允许模型在整个数据集上迭代80次。这有助于模型学习并随着时间的推移改进其性能。为了防止训练过程中的过拟合，采用系数为0.05的L2正则化。过程中使用L2正则化对模型进行训练，防止过拟合，提高模型对未知数据的泛化性能。L2正则化通过在基于模型权重的L2范数的损失函数中添加惩罚项来帮助解决这个问题。L2正则化项鼓励优化器最小化模型的权重。因此，优化器倾向于惩罚较大的权重值，减少它们对最终预测的影响。较小的权重会导致更简单的模型，更少的过拟合，可以更好地推广到新数据。训练期间使用的批大小设置为16。批大小是指在训练过程的每次迭代中一起处理的样本数量。该系统的学习率通过迭代实验来调整，评估模型在训练过程中对错误的响应。采用不同的学习率，并在验证集上监测模型的性能。最终选择了0.001的学习率，因为它展示了稳定收敛和在特定任务上获得更好性能之间的最佳平衡。YOLOv4-tiny模型经过优化，可以在特定任务或数据集上获得更好的性能和准确性。这些超参数的选择在塑造模型检测对象和在推理过程中产生有意义的预测的能力方面起着至关重要的作用。图6显示了每个任务的三个YOLOv4-tiny模型的松散训练曲线。使用Google Colab和NVIDIA Tesla K80 GPU系统进行了所有的实验来训练所提出的模型。
三个YOLOv4-tiny在训练阶段的损失函数
A.评价矩阵
在本研究中，我们使用以下性能混淆度量标准[51,52]来评估所提出的框架:准确性、召回率和精度(见Eq.[2])，其中真正、真负是根据混淆矩阵标准计算的。准确度可以定义为所有正确预测的数量除以数据集的总数。精度是正确的积极预测的百分比。它指示有多少选择的预测值是相关的。最后，召回率是模型在给定数据集中找到所有合适案例的能力:
（2）B.拟议系统的结果
本小节包含了本研究中实验结果的完整描述。该系统可自动进行社交距离、口罩检测和面部温度测量。对三个任务的测试数据集进行了仿真。这些图像是从不同的现实情况中获得的，包括室内/室外环境。此外，我们还设计了其他DL模型，包括YOLO, YOLOv2, YOLOv3-tiny和Faster R-CNN。这是为了使用具有这些目标检测架构的相同训练/测试数据集来评估建议的YOLOv4-tiny性能。从实验结果来看，如图7所示，YOLOv4-tiny在三个任务(人检测、面具检测和测温面部检测)上的性能优于其他DL模型。第一个YOLOv4-tiny人体检测模型在热视频上进行了评估，在社交距离分类算法中取得了令人满意的结果。
YOLOv4-tiny的性能a社交距离，b面部温度测量，c口罩检测
社交距离的关键挑战是测量热视频中被检测个体之间实际距离的准确性。自顶向下视图方法改进了透视视图，并被用于从二维视图到鸟瞰视图的视频图像处理。将检测到的边界框的质心从输入图像转换为自上而下的视图，然后进行社会距离分类。此外，突出显示了社会距离的违规阈值，该阈值也可以与个体之间指定的边界框颜色相关联。同时，第二个YOLOv4-tiny执行面部检测以测量个体温度。将获取的平均像素从人脸上封闭的边界框中映射出来，赋以蓝色，然后转换为数字，如图8所示。
第一个YOLOv4-tiny模型用于社交距离，绿色边界框(安全条件)，第二个YOLOv4-tiny模型用于面部检测，蓝色边界框用于测量温度。b自上而下的人物检测点
我们检查了第三个yolov4微型模型，以检测人们是否戴口罩。绿色表示戴口罩的人，红色表示不戴口罩的人。此外，在每个检测到的边界框顶部，分配两个标签(Mask或No Mask)，如图9所示(本实验有假阴性和假阳性)。然而，所提出的模型在检测个体之间的实时交互方面取得了可喜的结果。与使用两组热图像数据集的方法[8]相比，所提出的社交距离工作取得了更好的结果。它使用定制的YOLOv2轻量级架构进行目标检测。YOLOv4-tiny在各个方面都比YOLOv2有了很大的改进。它拥有更强大的骨干网络，利用CSPDarknet53，导致增强的特征提取和更好的目标检测性能。将提出的技术与其他测量社交距离和口罩检测的方法进行比较，以评估基于准确性的性能[53,54,55,56,57,58]。与本研究相比，这些方法使用了不同的社交距离和口罩检测数据集。该方法对社交距离测量的准确率为96.2%，对口罩检测的准确率为95.1%，对面部温度模型的准确率为96%。此外，YOLOv4-tiny利用锚盒来检测不同尺度和纵横比的物体。该架构比方法中使用的MobileNet单镜头检测器(SSD)能够更快、更准确地检测目标[54]。此外，对遮挡和小物体的鲁棒性:YOLOv4-tiny鲁棒性更强，可以更好地检测小物体，方法中采用了CV和IoT算法[53]。这是因为YOLOv4-tiny使用了更好的特征提取器，可以从图像中捕获物体的更详细的特征。Nagrath等人[56]利用MobileNetv2进行口罩检测。其卷积神经网络架构因其轻量级和高效的设计而广受欢迎，使其成为移动和嵌入式设备的合适选择。然而，尽管具有优势，MobileNetV2架构仍然存在一些缺点和局限性:缺乏剩余连接，这在其他深度学习模型中存在，例如YOLOv4-tiny中的ResNet。这些连接允许信息直接从一个层流向另一个层，促进更深层次网络的训练。如果没有这些连接，模型可能会出现梯度消失问题，使模型难以训练。表4和表5显示了与其他社交距离和口罩检测方法相比，该模型的准确性。YOLOv4-tiny在尊重社交距离、口罩检测、测量个体面部温度等方面实现了COVID-19大流行的检测。
Mask/No Mask检测实验结果
最终设计的模型已在资源受限的Edge NVIDIA平台上实时执行。我们使用Jetson Xavier和Jetson nano来执行所提出的架构。表6给出了NVIDIA平台、Jetson Nano和Jetson Xavier的比较。Jetson Nano采用128核Maxwell GPU，四核ARM A57 CPU，并提供472 GFLOPs的AI性能。它配备了4gb的64位LPDDR4 RAM和MicroSD卡插槽用于存储，提供4k @ 30 fps的最大分辨率。支持的AI框架包括TensorFlow, PyTorch和Caffe。相比之下，Jetson Xavier拥有512核GPU, 8核ARMv8.2 CPU，提供30 TOPs的AI性能。它配备16gb 256位LPDDR4x RAM和16gb eMMC闪存，支持2 × 4 K @ 30 fps分辨率。此外，它还支持各种AI框架，如TensorFlow, PyTorch, Caffe, cuDNN, CUDA等。但是，Jetson Xavier的功耗更高，从10到30w不等，而Jetson Nano的功耗在5到10W之间。本研究将口罩检测方法与社交距离和个体面部温度测量相结合。这种方法检查在单个NVIDIA板上执行多个DL模型。在这项工作中使用了不同的相机，包括树莓派2.1模型，See2CAM相机作为人脸检测的可见光相机，以及lepton 3.5, FLIR BOSON相机用于社交距离和测量个体的面部温度。Lepton和Raspberry相机已经与Jetson-nano连接。Boson和See3CAM摄像头已经连接到杰森·泽维尔AGX。热像仪是辐射测量，可以提取图像中的每个像素。因此，图像中的颜色映射已经转换为温度值的数组和积分，可以读取。
在数字。感谢OpenCV及其支持的库。我们将每个相机输出的帧高和帧宽调整为416 × 416。提出的集成方法已在Edge NVIDIA平台上执行。根据实验结果，两台摄像机在集中监控系统上同时产生口罩人脸检测、面部温度和社交距离分类，如图10所示。
该方法的实验结果包括:c)用于掩模检测的可见光相机。B)热像仪，用于社会距离检测，绿色边框，面部温度测量，蓝色边框。A)自上而下的行人检测点
我们记录了edge NVIDIA平台上的实时检测和功耗，以评估所提出的技术的性能，包括不同算法运行场景下的社交距离(SD)、掩码检测(MD)和面部温度测量(FTM)，见表7和表8。研究发现，当三种模型同时运行时，由于计算成本的增加，实时检测性能下降。此外，对于温度的变化，我们可以观察到，当我们提出的方法同时运行三个任务时，Jetson nano的温度高于Jetson Xavier的温度，从而产生温度过高的警报，从而降低了Jetson nano的性能，如图11,b所示。这种温差是由于Jetson nano难以同时执行三个任务而增加了工作量。导致热量产生增加，并可能影响整体性能。
温度测量的Jetson纳米b Jetson Xavier AGX
本研究将提出的方法与其他方法进行了比较，包括预训练的神经网络模型。该集成技术的优点是:社交距离任务的磁盘存储空间较小(22.9 MB)，面部温度YOLOv4-tiny模型的磁盘存储空间较小(22.8 MB)，面具检测YOLOv4-tiny模型的磁盘存储空间较小(23 MB)，且这些架构的可学习参数较少。这使得它们可用于低成本的物联网设备。另一方面，其他方法利用预训练的CNN层，这些层需要大量存储空间到磁盘，如Resnet50模型[42]。此外，在低成本嵌入式实时应用中，这些预训练模型的性能非常低，这削弱了基于视频和图像的目标深度学习模型的性能。提出的三种任务的深度学习算法利用轻量级和高效的深度学习模型。这些模型专门设计用于在资源受限的设备上运行。应用模型量化、剪枝和知识蒸馏等技术来减少模型的大小和计算复杂度，同时尽可能保持其准确性。NVIDIA设备(Jetson nano和Jetson Xavier)集成了专门的硬件加速器，如gpu(图形处理单元)。这些加速器针对矩阵运算和其他机器学习任务进行了优化，大大加快了人工智能处理所需的计算速度。为了同时处理多个功能，NVIDIA设备利用并行计算技术。它们将工作负载分散到设备处理器上可用的多个内核或线程上，从而允许算法同时处理多个输入和输出。
摘要
1 介绍
2 提出的算法设计方法
3.实验结果及讨论
4 实时边缘实现
5 结论
参考文献
致谢
作者信息
道德声明
搜索
导航
#####
本研究将社交距离、面具检测算法和面部温度作为一种集成方法，在单个NVIDIA板上实时执行。这评估了低成本嵌入式系统同时运行多个深度学习模型的鲁棒性。所提出的基于视觉的系统可以在任何室内/环境中使用，例如公共区域，火车站，街道，购物中心和智能城市，在这些环境中性能适合实现目的。拟议的工作确保了个人之间的安全条件。此外，所开发的深度学习模型通过多次实验进行了验证，取得了良好的效果。相对于计算能力而言，杰森的能耗很低。我们在Jetson nano和Jetson Xavier AGX上用不同的算法场景进行了不同的实验。在Jetson Xavier AGX上获得了最高的实时性能，当三个基于YOLOv4-tiny的模型同时执行时，热像仪的实时性能达到18 fps，可见光相机的实时性能达到62 fps。在这项研究中指出，与Jetson nano的性能相比，Jetson Xavier AGX中改进的实时检测声称会导致功率需求增加。这是由于Jetson Xavier AGX的GPU架构不断消耗大量能量。在我们进一步的探索中，最近发布的YOLOv7将被考虑用于集成方法。
下载原文档：https://link.springer /content/pdf/10.1007/s11554-023-01353-0.pdf
