计算机辅助的针头没有击中目标，刺穿了脊柱。一个糖尿病患者在电脑推荐了不正确的胰岛素剂量后病情迅速恶化。超声波不能诊断出最终致命的明显心脏问题。
这些只是向美国食品和药物管理局(fda)报告的涉及人工智能(AI)辅助医疗技术的事件中的几个例子。澳大利亚研究人员表示，如果监管机构、医院和患者在这个快速发展的领域不认真对待安全问题，这些事件是一个“早期预警信号”。
法拉·马格拉比教授说:“这基本上向我们表明，当我们投入人工智能系统时，我们只需要认真对待这些系统的安全性。”
她在麦考瑞大学(Macquarie University)澳大利亚健康创新研究所(Australian Institute of Health Innovation)的团队本月发表了一份报告，回顾了向美国监管机构报告的266起涉及人工智能辅助技术的安全事件。这篇文章发表在
大多数事件(82%)涉及人工智能正常工作所需的数据不正确或不足的情况，而11%与算法或设备本身的硬件问题有关。
实际上，只有16%的药物导致患者受到伤害，但三分之二的药物被发现有可能造成伤害，4%的药物被归类为使用者干预的“未遂事件”。
450分左右的文科大学
合著者大卫·莱尔博士说，当用户未能输入正确的数据，导致错误的结果，或者误解了人工智能在产生结果时实际告诉他们的内容时，问题最常见。
例如，一名心脏病患者延迟了医疗护理，因为非处方心电图设备(不能检测心脏病发作)告诉他们“窦性心律正常”。
“人工智能不是答案;它是一个系统的一部分，需要支持医疗保健的提供。我们确实需要确保我们有适当的系统来支持它的有效使用，以促进人们的医疗保健。”
研究人员选择分析美国的案例，在美国，人工智能医疗设备的实施比澳大利亚更先进。到目前为止，美国监管机构已经批准了521种人工智能和机器学习医疗设备，其中178种是在2022年增加的。
在澳大利亚，治疗用品管理局(TGA)没有收集有关澳大利亚批准的具有人工智能或机器学习组件的设备数量的数据，但马格拉比表示，监管机构“非常非常认真”地对待这个问题。
CSIRO澳大利亚电子健康研究中心(Australian E-Health Research Centre)首席执行官戴维?汉森(David Hansen)表示，人工智能用于医疗设备已有数十年历史，但数据收集、计算能力和先进算法的爆炸式增长开辟了新的领域。
他说:“人工智能确实有女孩就业率最好的专业能力提高澳大利亚医疗保健系统的效率，减少错误。”“它可以做很多事情，我们只是想确保我们做得正确。”
总部位于悉尼的医疗设备初创公司EMVision是一家澳大利亚公司，它利用这些进步开发了一种无需核磁共振成像就能诊断中风的便携式设备。
在开发阶段，该公司正在使用先进的算法和高性能计算机来模拟大脑中许多地方的中风，建立一个类似于核磁共振成像的合成图像数据库，然后将其与皇家墨尔本、利物浦和亚历山德拉公主医院临床试验的真实核磁共振成像和CT结果进行比较。
产品开发主管Forough Khandan表示:“如果我们没有(高性能计算机)模拟基础设施，我们就不可能做到今天所做的事情。”
联合创始人斯科特·柯克兰(Scott Kirkland)表示，其目的不是完全取代CT和MRI扫描，而是在治疗最有效的第一个小时内诊断中风。这款床边设备将于2025年推出，它将使用基于概率算法的“红绿灯”系统来帮助确定可能发生的中风类型。
柯克兰说:“对于算法来说，给出一个‘我不知道’的答案总比给出一个错误的答案要好，这样就会导致错误的治疗和分诊过程。”
放射学是在医疗保健领域快速采用人工智能的前沿，特别是在乳腺癌筛查和胸部x光分析方面。
临床放射科医生和人工智能安全研究员劳伦·奥克登·雷纳博士说:“几年前，几乎没有放射科医生会说他们在使用它，现在有相当一部分人会说他们在日常工作中使用它。”
澳大利亚和新西兰皇家放射学院(Royal Australian and New Zealand College of Radiologists)去年表示，“目前的监管机制没有随着人工智能技术的最新突破而发展，可能不再适用于目的”。
该学院的成员雷纳说，这项技术有很多潜在的好处，但澳大利亚的监管机构和临床医生需要更好地了解完全自主系统的风险，然后再把它们投入医院、诊所和家庭。
她说:“人类在法律上和道德上都要对决策负责，而这从人类手中夺走了一部分。”“自主的人工智能系统没有理由不存在……但它们显然必须经过非常非常严格的测试。”
