亿博在未来的工作中，该团队将集成并测试无标记组织追踪技术，以减小相机系统的尺寸，使其成为比该研究中所用内窥镜更小的三维定量可视化系统。

　　文章来源：MedRobot；编辑：Jacky 转载要求：请在文首标明文章来源，可直接转载

　　手术机器人能独立完成腹腔镜手术吗？ 2022年1月26日，约翰·霍普金斯大学怀廷工程学院机械工程系助理教授Axel Krieger及其团队在Science Robotics期刊上发表了一篇名为“Autonomous robotic laparoscopic surgery for intestinal anastomosis”的文章。 文章介绍了STAR自主机器人系统 在没有人类指导的情况下 对猪软组织进行了腹腔镜手术，并比较了 已开发的STAR自主机器人系统、手动腹腔镜手术和机器人辅助手术的吻合质量标准 ，并表明STAR在一致性和准确性方面优于外科医生的手动技术和RAS技术。

　　Axel Krieger将在9月8日全球手术机器人大会上分享他的研究最新进展，报名已开启，欢迎关注！

　　肠吻合术（也称为肠道吻合术或肠吻合手术）是指切除一段肠管并将两个断端重新吻合，重建肠管的外科手术，可用于治疗多种肠道疾病，包括克罗恩病、溃疡性结肠炎和肠道恶性肿瘤等，通过移除病变部分并进行吻合，达到治愈或缓解症状的目的。

　　由于肠道具有复杂的解剖结构，涉及到多个脏器和组织的连接，手术中准确识别和处理这些结构是至关重要的，需要经验丰富的外科医生和专业团队来执行。

　　虽然现有的机器人腹腔镜手术系统确实使某些手术更安全、侵入性更小，但这些系统仍由外科医生操作。难道手术机器人真的无法独立完成腹腔镜手术吗？

　　2022年1月26日，约翰·霍普金斯大学怀廷工程学院机械工程系助理教授Axel Krieger及其团队在Science Robotics期刊上发表了一篇名为“Autonomous robotic laparoscopic surgery for intestinal anastomosis”的文章。文章介绍了STAR自主机器人系统在没有人类指导的情况下对猪软组织进行了腹腔镜手术，并比较了已开发的STAR自主机器人系统、手动腹腔镜手术和机器人辅助手术的吻合质量标准，并表明STAR在一致性和准确性方面优于外科医生的手动技术和RAS技术。

　　自主吻合术是一项具有挑战性的软组织手术，因为它需要复杂的成像、组织跟踪和手术规划技术，还需要在非结构化和可变形的环境中通过高度适应性的控制策略精确执行。在腹腔镜环境下，此类手术更具挑战性，因为需要在运动和视觉限制下实现更高的可操作性和可重复性。自主机器人手术则有可能提供不受外科医生个人技能和经验影响的有效性、安全性和一致性。

　　与当前的遥控机器人辅助手术（RAS）相比，自主机器人手术系统具有显著提高效率、安全性和一致性的潜力，例如达芬奇机器人（Intuitive Surgical Inc.）。自主机器人该系统旨在提供独立于个人经验和日常性能变化的标准手术解决方案。自主手术机器人系统的成熟案例包括用于硬骨组织手术的TSolution One（THINK Surgical）、用于毛发修复的ARTAS（Restoration Robotics Inc.）和用于自主血液采样的Veebot（Veebot LLC）。

　　目前，CyberKnife机器人（Accuracy Inc.）的自主能力较高，可在人类监督下对脑部和脊柱肿瘤进行放射外科手术，该机器人使用一种非接触式治疗方法，针对封闭在坚硬骨质结构中的组织。然而，由于肠道吻合术需要完成高水平的重复运动，对动作的控制和精准度方面都有较高要求，因此，针对自主软组织手术方面的自主手术机器人系统仍面临较大挑战。

　　Axel Krieger团队成功实现了用智能组织自主机器人（STAR）进行小肠机器人腹腔镜吻合术，允许操作者在自主生成的手术计划中进行选择，同时机器人独立执行各种任务，表现出高度的自主性，有可能提高手术的一致性和标准性，改善患者预后。

　　STAR系统由一台搭载有电动Endo 360缝合工具的KUKA LBR Med机器人，以及第二台搭载内窥镜双摄像头系统的KUKA LBR Med机器人组成，该系统包括一个近红外（NIR）摄像头和一个3D单色内窥镜。摄像系统允许STAR自主跟踪组织上的生物相容性NIR标记物，并重建组织的三维表面（用于缝合规划），摄像机的二维（2D）视图也用作视觉反馈。

　　（STAR系统的组件合自主策略的控制架构） （来源：Science Robotics）

　　1. 操作员通过图形用户界面（GUI）启动STAR的计划序列，组织追踪算法会检测患者暂停呼吸时的情况（即目标组织因呼吸周期暂停而到达停止位置）。当组织处于静止状态时，STAR 会生成两个初始缝合计划，以连接放置在组织角落的相邻生物兼容NIR标记。

　　2. 对缝合计划进行噪声过滤和工具与组织之间的碰撞预测，不可用的缝合计划会被丢弃，并生成新的计划进行过滤和碰撞预测亿博。一旦计划可用，操作员选择一个计划，可以在整个样本上创建均匀的缝合间距，或者在组织角落创建统一的缝合间距并增加缝合线。一旦操作员选择并批准了其中一个计划，STAR就会执行缝合程序，将工具移动到第一个计划缝合的位置，将缝线缝合到组织，等待助手清除工作区域的松散缝线. 完成缝合后，STAR对手术区域进行重新成像，以确定组织变形程度。如果STAR检测到组织位置的变化超过当前手术计划的 3 毫米，它会通知操作员启动新的缝合计划和审批步骤。否则，STAR会建议重新使用初始的手术计划，并继续执行下一个缝合计划。手术计划中的每一针缝合都要重复这一过程。

　　4. 如果计划中的缝合位置不正确，或者缝合线没有穿过两个组织层，操作员会通过图形用户界面重复上一次缝合，并稍作位置调整，然后STAR会继续执行缝合计划。值得注意的是，尽管操作员的直接干预用于纠正漏缝，但大部分工作流程都是以自主方式完成。

　　在未来的工作中，STAR系统可以扩展这一策略，自主检测亿博、调整和重复缝合，从而实现完全自主的吻合手术。

　　为了跟踪腹腔镜手术过程中由于呼吸和其他组织运动引起的组织运动，该团队开发了一种基于卷积神经网络（CNN）和近红外相机反馈的机器学习算法。通过从腹腔镜猪小肠吻合术中收集的数据，标记了共9294个不同运动轮廓的示例（4317个为呼吸示例，4977个为停止呼吸示例）。

　　CNN 的输入包括近红外标记在过去2秒钟内的位置历史，以及从现在到2秒钟前的运动方向，其中包括 2 个 128 x 128 向下采样帧的通道。CNN 包括 4 个卷积层、3 个密集层和2个输出层（用于移动/停止的组织标记）。

　　卷积层和前三个密集层的激活函数为 ReLU，最后一个密集层的激活函数为 SoftMax（用于标记组织的移动和不移动状态）。卷积层中使用了相同的填充和25%的dropout，交叉熵损失函数用于训练网络，该网络在训练阶段预测运动曲线%。测试结果用于使机器人的运动与组织同步，并触发数据采集和规划正确的时间（如呼吸周期的底部），以提高控制算法的准确性。

　　研究人员通过OF、OA和基于CNN的方法对呼吸运动的准确性进行测试。通过光流法跟踪近红外图像最后两帧的差异，应用低通滤波器，并使用阈值检测呼吸运动何时结束（即图像流量下降到某个阈值以下）。由于这种方法对光照强度和距离很敏感，因此测试了两种变体：一种是在中间距离和光照强度下使用固定阈值的变体，称为固定阈值光流（OF）；另一种是在每个测量距离下使用可调阈值的变体，称为可调阈值光流（OA）。

　　由于神经网络的泛化能力，基于CNN的方法在不同条件下的测试具有更好的鲁棒性。CNN方法的测试准确率为91.52%，明显高于OF的75.76%（P=0.0068）和OA的48.48%（P0.0001）。通过分析四个猪模型体内吻合过程中获得的图像（n = 60）时，CNN的准确率保持不变，模型测试准确率为91.52%，而体内测试准确率为90.00%，而 OA的准确率从模型测试中的 75.76% 降至 58.33%，原因是缺乏对测试条件变化的鲁棒性。

　　端到端吻合术的实验是利用肠道假体组织（通过3DMed）进行的。研究组包括通过STAR（n=5）进行的增强型自主机器人吻合术、手动腹腔镜（LAP；n=4）方法和基于达芬奇SI系统的RAS方法（RAS；n=4）。在STAR测试中，每个样本的组织方向设置在-20°和20°之间，增量为10°，而LAP和RAS的组织方向则在-20°和20°之间随机选择。

　　在所有研究组中，测试组织都被固定在一个线性平台上，该平台以每分钟14次的呼吸频率和3毫米的振幅移动，以复制体内呼吸周期。评估模型组织测试结果的性能指标包括任务完成时间、每针缝合犹豫事件数、缝合间距和缝合线位深度。

　　STAR共完成了118针缝合，平均每针缝合犹豫0.17±0.44次。在所有STAR样本中，缝合犹豫事件总数为20次，这表明STAR在增强自主模式下83.05%的首次尝试都能正确缝合。LAP方法共完成111针缝合，平均每针犹豫1.03±1.71次，而RAS样品共完成139针缝合，平均每针犹豫0.44±0.97次。STAR的每针犹豫率明显低于LAP（P0.0001）和RAS（P=0.0177）。

　　据观察，RAS完成任务的时间最短（31.96±9.01分钟），其次是LAP（51.08±32.72分钟）和STAR（55.41±2.94分钟）。虽然STAR与LAP的总任务时间相似（P=0.8091），但STAR明显慢于RAS（P=0.0009）。总完成时间的差异主要是由于STAR系统因随机组织变形和运动而增加了重新扫描时间，以及RAS技术无需整体监督时间（批准计划和偶尔轻微位置调整），这导致每个STAR系统额外增加了19.66分钟。

　　此外，STAR在保守的速度限制下运行，以尽量减少手术工具和腹腔镜端口之间的力相互作用，从而保证运动曲线的平滑性和缝合定位的准确性。平滑运动的另一个好处是，减少了狭小角落的微小规划错误而导致缝合工具损坏留置缝线或原生组织的几率。

　　为了最大限度地降低照相系统的复杂性，并消除对标记物的需求（标记物很难获准在临床转化中长期植入），研究人员用基于CNN的地标检测算法取代基于荧光标记物的成像，整个数据处理包含一个CNN架构和一个后处理步骤。CNN架构采用U-Net，U-Net具有多分辨率分析能力，而且由于其全卷积特性，与全连接网络相比，它需要的训练数据更少。两个U-Net被级联用于分割辅助地标检测。

　　团队人员使用二值化掩膜作为肠组织分割的真实标签，与真实标签相比，训练集的地标检测准确率为2.3±1.0像素，测试集的地标检测准确率为2.6±2.1像素。此外，在25个测试帧中，有3帧除了检测到正确的四个肠角外，还错误地检测到背景中额外的地标。通过后处理步骤，这些额外地标被有效去除，最终的分割和热图结果经裁剪后与肠道图像合并成彩色图像。从这些结果中得出结论：级联U-Net正确可以分割肠道组织并生成肠道地标热图。此外，分割辅助的地标检测后处理有效消除了背景噪声。

　　使用STAR机器人系统对猪小肠进行腹腔镜自主手术（n=4）。手术后，对动物进行为期一周的存活监测，并进行有限的尸体解剖，将愈合的吻合口与腹腔镜对照组（n=1）进行比较。

　　在四次体内测试中，STAR共完成了86针缝合。需要手动调整的缝合总数为29针（66.28%的缝针在首次尝试中正确放置），相当于平均每针的缝合犹豫数为0.34次，包括14次角落缝合和15次沿前后壁缝合。在对照测试条件下，共完成了21针缝合，缝针重新定位的总次数为9次（57.14%的缝针在首次尝试中正确放置），相当于平均每针的缝合犹豫数为0.43次，包括4次角落缝合和5次沿前后壁缝合。

　　与模型测试相比，通过图形用户界面手动调整偏移所需的平均尝试次数更高（体内测试增加了0.34次，模型测试增加了0.17次）。体内实验中，尝试次数增加的原因包括：动物体型变化、动物皮肤上的留置缝线引起额外组织运动、机器人工具运动和凝胶端口密封不完善导致的偶发充气泄漏、水肿导致组织无法放入钳口、不同动物的组织硬度分期以及套管受力导致的工具弯曲。

　　Axel Krieger团队展示了在运动和视觉限制条件下，在非结构化和可变形环境中进行的腹腔镜自主软组织肠道手术。他们开发并测试了先进的成像系统、机器视觉和机器学习技术以及实时控制策略，以跟踪组织位置和变形，执行复杂的手术规划，与人类互动，并自适应执行手术计划。

　　在机器人腹腔镜吻合术实验中，所开发的STAR系统在指标上优于使用LAP和RAS手术技术的外科医生，包括缝线间距和咬合深度的一致性以及缝合犹豫事件数，这些指标直接影响无漏吻合的质量。

　　STAR系统具有自主控制功能，会对组织变形和各种测试条件变化做出反应，减少了人类操作员的参与。虽然在复杂和不可预测的手术场景中仍需要人类监督，但通过技术改进，可以减少个体经验和性能差异带来的影响，从而提高安全性亿博、获得标准的手术技术以及手术结果的一致性。

　　生存分析结果表明，STAR机器人系统在无漏吻合和管腔通畅性等指标方面可以与专业外科医生的表现相媲美，同时表现出更高的一致性。

　　尽管取得了一定成就，但目前该试验仍存在一些局限性。现阶段，机器人控制算法的成功实施取决于特定工作区域内组织的可达性和正确分期。鉴于摄像系统和机器人运动结构的限制，不允许对组织进行任意分期。

　　此外，一旦启用了额外的分期功能，这篇文章所讨论的组织地标检测方法将需要诸如长短期记忆之类的架构，以处理组织位置和方向快速变化所引起的时间信息变化。

　　该研究的另一个局限是对STAR机器人、人工腹腔镜手术和远程操作达芬奇的比较是在模型组织上进行的，并未使用达芬奇测试臂进行体内研究。此外，出于伦理原因，以及每次手术过程中都会出现的动态因素（如大小、端口位置、组织可达性、偶发充气泄漏、组织运动和水肿等变化），该团队将体内比较只限制在一次手动腹腔镜手术，而是在模型组织中进行了广泛且受控制的比较研究。

　　综合这些因素，可能需要进一步确认在体内实验中实施STAR增强型自主策略的整体可行性。

　　在当前版本的STAR系统中，腹腔镜双摄像头系统所占空间尺寸为3厘米，需要使用凝胶端口插入摄像头，这会增加凝胶端口阻塞机器人缝合工具或在工具控制点产生额外压力和轻微定位误差的可能性。在未来的工作中，该团队将集成并测试无标记组织追踪技术，以减小相机系统的尺寸，使其成为比该研究中所用内窥镜更小的三维定量可视化系统。

　　在未来的工作中，Axel Krieger团队计划在工具尖端附近安装一个触觉或接近传感器，以解耦相互作用力，并在局部测量组织接触力和缝合张力。此外，他们还计划在工具顶端添加一个传感器，以便在进针前检测两层目标组织是否在机器人工具钳口内，有助于确保机器人不会出现漏针问题，这将是实现机器人系统完全自主化的关键步骤。预计这些变化的协同作用将通过在安全范围内提高机器人的速度限制、减少测量和重新规划时间次数，以及减少缝合犹豫事件数而加快任务完成时间。

　　社群全国医院擂台赛（第八季）全国医院擂台赛（第八季）扫码加入进群需提交用户信息，审核通过后方可加入。