用于驾驶自动驾驶汽车和击败顶级棋手的相同类型的机器学习方法可以帮助1型糖尿病患者将血糖水平保持在安全范围内。

布里斯托大学的科学家表明，强化学习是一种机器学习，计算机程序通过尝试不同的行动来学习做出决定，在安全性和有效性方面明显优于商业血糖控制器。通过使用离线强化学习，算法从患者记录中学习，研究人员改进了之前的工作，表明良好的血糖控制可以通过从患者的决定中学习而不是通过反复试验来实现。

1型糖尿病是英国最普遍的自身免疫性疾病之一，其特征是负责调节血糖的胰岛素激素不足。

许多因素会影响一个人的血糖，因此为给定情况选择正确的胰岛素剂量可能是一项具有挑战性和繁重的任务。目前的人工胰腺设备提供自动胰岛素剂量，但受到其简单的决策算法的限制。

然而，发表在《生物医学信息学杂志》上的一项新研究表明，离线强化学习可能代表着对患有这种疾病的人进行护理的一个重要里程碑。改善最大的是儿童，他们每天在目标血糖范围内的时间增加了1.5小时。

儿童是一个特别重要的群体，因为他们通常无法在没有帮助的情况下控制自己的糖尿病，而这种规模的改善将带来明显更好的长期健康结果。

来自布里斯托大学工程数学系的主要作者Harry Emerson解释说：我的研究探讨了强化学习是否可以用于开发更安全、更有效的胰岛素剂量策略。

这些机器学习驱动的算法在下棋和驾驶自动驾驶汽车方面表现出超人的表现，因此可以从预先收集的血糖数据中学习执行高度个性化的胰岛素剂量。

这项特殊的工作特别关注离线强化学习，其中算法通过观察良好和不良血糖控制的例子来学习行动。该领域的先前强化学习方法主要利用反复试验的过程来确定良好的行动，这可能会使真实世界的患者接触到不安全的胰岛素剂量。

由于与不正确的胰岛素剂量相关的高风险，使用FDA批准的UVA/Padova模拟器进行了实验，该模拟器创建了一套虚拟患者来测试1型糖尿病控制算法。针对最广泛使用的人工胰腺控制算法之一评估了最先进的离线强化学习算法。这种比较是在30名虚拟患者（成人、青少年和儿童）中进行的，并考虑了7,000天的数据，并根据当前的临床指南评估了性能。该模拟器还被扩展以考虑现实的实施挑战，例如测量错误、不正确的患者信息和有限数量的可用数据。

这项工作为血糖控制方面的持续强化学习研究提供了基础，展示该方法改善1型糖尿病患者健康结果的潜力，同时强调该方法的缺点和未来需要发展的领域。

研究人员的最终目标是在现实世界的人工胰腺系统中部署强化学习。这些设备在有限的患者监督下运行，因此需要大量的安全性和有效性证据才能获得监管部门的批准。

Emerson补充说：这项研究表明机器学习有潜力从预先收集的1型糖尿病数据中学习有效的胰岛素剂量策略。探索的方法优于使用最广泛的商业人工胰腺算法之一，并展示了利用人的习惯和习惯的能力。安排对危险事件做出更快的反应。

参考资料：Harry Emerson et al, Offline reinforcement learning for safer blood glucose control in people with type 1 diabetes, Journal of Biomedical Informatics (2023). DOI: 10.1016/j.jbi.2023.104376