[{"data":1,"prerenderedAt":131},["ShallowReactive",2],{"articles":3,"article:tutorial\u002Fhydra-clio":71},{"articles":4},[5,9,13,17,21,25,29,33,37,41,45,49,53,57,61,63,67],{"slug":6,"title":7,"description":8},"tutorial\u002Fhydra-clio","Hydra 与 Clio 阅读笔记","Hydra 与 Clio 的物体关联、空间层次、导航和地图纠错机制，以及策略驱动拓扑图的可行性与限制。",{"slug":10,"title":11,"description":12},"demo\u002Ftypst-syntax","Typst 语法样板","用于验证博客 Typst 子集的样板：标题、段落、列表、代码块、表格和网格。",{"slug":14,"title":15,"description":16},"ai\u002Ftokenizer","Tokenizer 定义与实现","Tokenizer 的学习笔记：定义、基本概念与实现。",{"slug":18,"title":19,"description":20},"code\u002Fjavascript\u002Fnpm-pnpm","Node.js 包管理：从单个包到 Workspace","一份面向初学者的 npm 与 pnpm 学习笔记。",{"slug":22,"title":23,"description":24},"code\u002Frust\u002Fcargo","Cargo：从单个包到 Workspace","一份面向初学者的 Cargo 学习笔记。",{"slug":26,"title":27,"description":28},"tutorial\u002Fopensuse","OpenSUSE 折腾指南","得益于OpenSUSE的Yast，安装过程可以说是相当的舒服，全部图形化操作，是我在安装过许多Linux发行版中，最方便最舒服的。这里就不详细写出安装步骤了（其实是我没有记录过程），但会提供官方文档。",{"slug":30,"title":31,"description":32},"tutorial\u002Fwin-deepin-dualboot","Windows + Deepin 双系统的安装与使用","说实话我受够了Windows的环境搭建，想要精简就极度繁琐，想要方便就得用宇宙IDE，占十几二十多GB存储。因此，Linux就是最好的选择，除非你需要写Win或Mac的软件等特定情况。",{"slug":34,"title":35,"description":36},"tutorial\u002Fpicgo-smms","Obsidian 或 Typora + Picgo + smms 实现图片自动上传",">typora写作是很舒服，但是到了图片上传我简直太难了。上一篇博客我说我图床用的是imgchr，现在我屈服了，玩博客用imgchr简直是魔鬼好吧，图片上传完了，居然是乱序上传，导致我很难改图片地址。",{"slug":38,"title":39,"description":40},"tutorial\u002Fhexo-blog","github + hexo博客搭建教程","托更了很久，我一点不好意思都没有手动滑稽，我想应该没有人等着我的教程的吧。之所以这时才做这教程，是因为我准备开启新项目了，如果还不填坑的话，坑就越来越多，然后就不想填了。为了避免这种情况，所以我决定先",{"slug":42,"title":43,"description":44},"course\u002Fmodern_signal\u002Fbasic","现代信号处理基础","分类分类标准：连续 \u002F 离散周期 \u002F 非周期能量 \u002F 功率确定 \u002F 随机1D \u002F 2D \u002F 3D单通道 \u002F 多通道周期与非周期离散的函数不一定是周期函数例子: cos⁡(0.5πn) 是周期的; cos⁡(n) 是非周期的能量与功率能量信号",{"slug":46,"title":47,"description":48},"course\u002Fmodern_signal\u002Fclassic","经典信号处理","离散时间信号定义与联系𝑥[𝑛] 是离散时间信号，n 是整数索引。 𝑥(𝑡) 是连续时间信号，t 是连续变量。𝑥[𝑛]=𝑥(𝑛⋅𝑇𝑠) 其中 𝑇𝑠 是采样周期。代价：采样频率过低会导致混叠现象采样会损失采样点之间的连续",{"slug":50,"title":51,"description":52},"course\u002Fmodern_signal\u002Fhw1","现代信号处理 Homework 1","课程：现代信号处理（2026 Fall） 覆盖范围：Lecture 1–4提交要求：推荐使用 LaTeX 来完成作业，或者推导过程手写均可；如使用 AI 辅助，请在作业末尾披露使用了哪些环节、如何验证结果的正确性。最终请提交 pdf 文件。",{"slug":54,"title":55,"description":56},"course\u002Fmodern_signal\u002Fhw2","现代信号处理 Homework 2","课程：现代信号处理（2026 Fall） 覆盖范围：Lecture 5–6提交要求：第一部分需提交书面作业，最终提交 pdf 文件；第二部分为下节课随堂抽查准备，不要求书面提交。推荐使用 LaTeX 完成作业，也可手写推导；如使用 AI 辅",{"slug":58,"title":59,"description":60},"ai\u002Fdeep_learning","深度学习基础","",{"slug":62,"title":62,"description":60},"ai\u002Foptimizer",{"slug":64,"title":65,"description":66},"course\u002Fadvanced_ai\u002Fassignment1","1. Graph Search (36 marks)","Assignment 1Graph Search and Evolutionary ComputationTotal: 100 marks Deadline: 2026.10.30Instructions. Show intermediat",{"slug":68,"title":69,"description":70},"course\u002Fadvanced_ai\u002Fbasic_search","Basic Search","IntroductionStateAlgorithmsBFSDFSIDSA* SearchUCSUse CasesGraph Search8-Puzzle",{"slug":6,"title":7,"description":8,"authors":72,"keywords":74,"date":81,"updated":82,"visible":83,"headings":84,"bodyHtml":129,"plainText":130},[73],"sikongjueluo",[75,76,77,78,79,80],"机器人","场景图","Hydra","Clio","导航","学习笔记","2026-09-18",null,true,[85,88,91,94,96,98,100,102,105,107,109,111,113,115,117,119,121,123,125,127],{"level":86,"text":7,"id":87},2,"hydra-与-clio-阅读笔记",{"level":89,"text":90,"id":90},3,"物体识别与实例关联",{"level":92,"text":77,"id":93},4,"hydra",{"level":92,"text":78,"id":95},"clio",{"level":92,"text":97,"id":97},"细粒度与阈值",{"level":92,"text":99,"id":99},"任务相关性与信息保留",{"level":89,"text":101,"id":101},"自由空间与房间层次",{"level":92,"text":103,"id":104},"Places 的构建","places-的构建",{"level":92,"text":106,"id":106},"房间划分与物体归属",{"level":89,"text":108,"id":108},"导航与计算成本",{"level":89,"text":110,"id":110},"策略驱动拓扑图",{"level":89,"text":112,"id":112},"探索与观测覆盖",{"level":89,"text":114,"id":114},"地图纠错",{"level":92,"text":116,"id":116},"定位漂移与重复结构",{"level":92,"text":118,"id":118},"错误回环与合并撤销",{"level":89,"text":120,"id":120},"参数与实验数据",{"level":92,"text":122,"id":122},"关联参数",{"level":92,"text":77,"id":124},"hydra-2",{"level":92,"text":78,"id":126},"clio-2",{"level":89,"text":128,"id":128},"原文定位","\u003Cp>Hydra 研究分层三维场景图的实时构建与回环优化；Clio 研究如何根据任务选择物体和区域的粒度。两者都将语义对象与空间结构结合，但场景图本身不负责全部探索、避障和运动控制。\u003C\u002Fp>\u003Ch3 id=\"物体识别与实例关联\">物体识别与实例关联\u003C\u002Fh3>\u003Ch4 id=\"hydra\">Hydra\u003C\u002Fh4>\u003Cp>Hydra 将二维语义分割结果通过深度和相机位姿融合进三维地图，再对同一语义类别的网格顶点分别做欧氏聚类。每一簇形成一个物体，保存类别、质心、包围盒及对应表面。\u003C\u002Fp>\u003Cp>语义类别区分“是什么”，空间聚类区分“有几件”。两把分开的椅子可以成为两个实例；同类物品紧贴时可能被合并。识别粒度受前端类别集合限制，建立场景图不会自动增加部件级识别能力。\u003C\u002Fp>\u003Cp>新物体与已有节点类别相同、空间重叠时，系统把新顶点并入已有节点。论文以“一个物体的质心落在另一个物体的包围盒中”近似判断重叠。新观测用于补全和修正已有物体，而不是每帧新增节点。\u003C\u002Fp>\u003Ch4 id=\"clio\">Clio\u003C\u002Fh4>\u003Cp>Clio 用 FastSAM 提取图像区域，用 CLIP 描述区域的开放词汇语义，再采用 Khronos 的跨帧关联与重建方法形成三维片段（primitives）。\u003C\u002Fp>\u003Cp>新区域只有在 CLIP 特征相似度和三维重叠程度都满足阈值时，才关联到已有的跟踪记录（track）；多个候选中选择重叠程度最高的一个。没有匹配则新建 track，长时间没有新观测则结束 track，利用其中的多帧数据重建 primitive，并平均 CLIP 特征。\u003C\u002Fp>\u003Cp>后端再对这些片段进行任务驱动聚类。物体片段只有在三维包围盒非零重叠时，才成为候选合并对象。系统比较它们对整组任务的相关性，优先合并任务信息损失最小的一对，直到进一步合并造成的信息损失超过阈值。这是凝聚式信息瓶颈（Agglomerative IB）的应用。\u003C\u002Fp>\u003Cp>因此，跨帧关联与任务聚类不是同一件事：\u003C\u002Fp>\u003Cul>\u003Cli>跨帧关联处理同一物体的重复观测。\u003C\u002Fli>\u003Cli>任务聚类决定哪些片段或物品需要被分别表示。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>例如，“拿调料包”可以对应一组调料包；分别取某种调料时，则需要保留更细的区分。Clio 的一个节点不一定对应现实中的一件物品。\u003C\u002Fp>\u003Ch4 id=\"细粒度与阈值\">细粒度与阈值\u003C\u002Fh4>\u003Cp>Clio 后端主要做合并，细粒度仍依赖前端。如果两本书始终被分成同一个区域，后端不能凭空拆开；如果 CLIP 无法区分其特征，任务聚类也无法补出这种区别。论文中的钢琴、琴键、琴弦是动机示例，不是已验证的任意部件识别能力。\u003C\u002Fp>\u003Cp>几何阈值同样有局限。IoU 是交集体积与并集体积的比例，比固定距离阈值更能适应物体尺寸，因此杯子和椅子不一定必须使用不同的 IoU 阈值。但同样两厘米的定位误差，对杯子的影响显著大于椅子；遮挡会降低同一物体不同观测间的重叠，而包围盒可能在实际表面没有接触时发生重叠。\u003C\u002Fp>\u003Cp>Hydra 的质心包含规则也只是近似判断。两篇论文都没有解决按物体尺度、粒度和观测不确定性通用地调整关联阈值的问题。几何重叠可以作为身份关联的证据，不能单独保证关联正确。\u003C\u002Fp>\u003Ch4 id=\"任务相关性与信息保留\">任务相关性与信息保留\u003C\u002Fh4>\u003Cp>Clio 根据 CLIP 相似度构造任务相关性分布，并设置 null task 表示不相关内容。这里的相关性不是任务成功概率。刀和叉都与摆餐桌相关，也不代表可以把它们合并；论文明确指出了这类过度聚类风险。\u003C\u002Fp>\u003Cp>任务压缩的价值在于减少维护和使用表示的成本。如果成本可接受，没有必要因此丢弃原始证据。可以保留观测或 primitives，在上层按任务生成简化视图。存储的信息与当前决策使用的信息不必相同。这是可考虑的设计取舍，不是 Clio 已经验证的多视图方案。\u003C\u002Fp>\u003Ch3 id=\"自由空间与房间层次\">自由空间与房间层次\u003C\u002Fh3>\u003Ch4 id=\"places-的构建\">Places 的构建\u003C\u002Fh4>\u003Cp>Hydra 从深度和位姿增量构建局部 TSDF 与 ESDF：TSDF 支持表面重建，ESDF 提供位置到最近障碍物的距离。障碍判断主要依赖几何，不必先识别物品类别。\u003C\u002Fp>\u003Cp>系统在 ESDF 更新过程中提取广义 Voronoi 图（GVD），即由与多个障碍表面等距的位置构成的空间骨架，再将其稀疏化为 places 图。节点保留自由空间中的代表位置，边表示直线可通行关系。如果直线过度偏离原骨架，就插入中间节点。\u003C\u002Fp>\u003Cpre>\u003Ccode data-lang=\"text\">深度与位姿 → 局部 TSDF \u002F ESDF → GVD → places 图\u003C\u002Fcode>\u003C\u002Fpre>\u003Cp>place 不是厨房、办公室等语义区域，也不只是机器人已经走过的轨迹点。它来自已观测自由空间。未知空间不能当作已确认可通行的区域。\u003C\u002Fp>\u003Ch4 id=\"房间划分与物体归属\">房间划分与物体归属\u003C\u002Fh4>\u003Cp>Hydra 利用空间瓶颈划分房间：膨胀障碍物会先关闭狭窄的门口，使自由空间分成多个连通部分。在 places 图中，只需删除到障碍物距离不足的节点，就能近似实现这种操作。\u003C\u002Fp>\u003Cp>算法尝试多个膨胀距离，选择较稳定的连通分量作为房间核心，再通过带种子的社区发现分配其余节点。物体和 agent 节点则连接到活动窗口内最近的 place。物体归属可以沿下列关系查询：\u003C\u002Fp>\u003Cpre>\u003Ccode data-lang=\"text\">物体表面 → 物体节点 → place → 房间 → 建筑\u003C\u002Fcode>\u003C\u002Fpre>\u003Cp>Hydra 这篇论文划分房间，但不自动将其命名为厨房或卧室。开放式功能区没有明显空间瓶颈，也可能无法分开。最近 place 规则还可能跨越薄墙，门口物品或跨区域家具的归属并不总是可靠。\u003C\u002Fp>\u003Cp>Clio 复用 places 构建方法，并用能够看到该位置的图像 CLIP 特征均值描述 place，再沿 places 图进行任务驱动聚类。因此 region 可以是没有墙壁隔断的工作区或小厨房区。正文没有详细展开物体到 region 的跨层归属规则，不能假定存在精确的区域包含判断。\u003C\u002Fp>\u003Cp>在自己的表示中，可以将观察关系、区域归属和交互位置分开。机器人从一个房间透过门看到物品，不意味着物品属于当前房间，也不意味着当前位置适合操作它。\u003C\u002Fp>\u003Ch3 id=\"导航与计算成本\">导航与计算成本\u003C\u002Fh3>\u003Cp>Clio 的实机实验用语言匹配目标物体，再通过 Dijkstra 在 places 图中搜索路线。图搜索提供的是经过哪些位置，不是底层运动指令。机身尺寸、地面与落差、转弯约束、动态障碍仍需要导航和控制模块处理。\u003C\u002Fp>\u003Cp>三维地图不是在完整重建后一次性提取路径，而是边观测边更新。Hydra 用局部体素窗口限制计算，保留提取出的网格与图结构；局部感知较快，房间检测和全局优化异步运行。\u003C\u002Fp>\u003Cp>从成本上看，稀疏图搜索通常不是主要问题。需要衡量的是深度融合、距离场更新、视觉特征提取和全局维护：\u003C\u002Fp>\u003Cul>\u003Cli>Hydra 的几何融合、places 提取和图优化主要运行在 CPU，依赖内存与带宽。\u003C\u002Fli>\u003Cli>二维语义分割以及 Clio 的 FastSAM、CLIP 主要使用 GPU。\u003C\u002Fli>\u003Cli>论文没有完整的资源利用率与功耗剖析，不能仅凭几个模块的耗时断言整套系统由 CPU 或 GPU 主导。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>局部扩散策略可以生成避障动作，但如果输入只有当前观测和目标方向，就未必知道如何绕过视野外的墙或避开死胡同。长期空间记忆、路线选择和局部动作生成是不同职责；它们可以组合，不必在扩散模型与场景图之间二选一。\u003C\u002Fp>\u003Cp>对于局部策略能够可靠完成的区域，只保留门口、分叉和关键位置可能已经足够。是否需要更密的 places，取决于相邻节点间的导航难度，而不是场景图必须具有固定层级或密度。\u003C\u002Fp>\u003Ch3 id=\"策略驱动拓扑图\">策略驱动拓扑图\u003C\u002Fh3>\u003Cp>一种替代几何构图的方案是利用局部策略提出路径，再根据执行结果扩展图。此时边表示“机器人及其策略在给定条件下能够完成这次移动”，而不只是几何上存在自由通路。\u003C\u002Fp>\u003Cp>预测与验证需要分开：\u003C\u002Fp>\u003Cpre>\u003Ccode data-lang=\"text\">策略生成路径 → 候选连接\n当前深度或局部障碍检查 → 允许执行\n实际成功通过 → 已验证连接\u003C\u002Fcode>\u003C\u002Fpre>\u003Cp>节点可以放在门口、分叉、关键转弯、新区域入口或局部策略有效范围的边界，不必沿每个预测轨迹点建节点。实际轨迹构成已验证的连接，预测路径只提供扩展候选。仍需定位或地点识别，才能避免重复建图并建立回环。\u003C\u002Fp>\u003Cp>这可以减少对全局稠密重建的依赖，但不能省略局部安全检查，也不能直接得到完整的自由空间拓扑：\u003C\u002Fp>\u003Cul>\u003Cli>模型未生成某条路径，不代表该处不可达。\u003C\u002Fli>\u003Cli>曾经成功通过的路，之后可能被人或关闭的门阻塞。\u003C\u002Fli>\u003Cli>A 到 B 可达不保证反向可达，连接可能需要方向与朝向条件。\u003C\u002Fli>\u003Cli>更换机器人或局部策略后，已有连接可能需要重新验证。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>边可以记录成功与失败次数、最近验证时间和临时阻塞状态。方案是否更省算力，需要将候选路径采样、定位和安全检查一起计入；大量扩散采样可能只是把成本转移到 GPU。应与几何拓扑比较导航成功率、探索覆盖、更新成本和错误恢复能力，而不只比较建图时间。\u003C\u002Fp>\u003Ch3 id=\"探索与观测覆盖\">探索与观测覆盖\u003C\u002Fh3>\u003Cp>实际轨迹只记录走过的位置，不足以判断探索完成。站在门口看到半个房间，并不代表已经进入房间或检查了遮挡后的空间。\u003C\u002Fp>\u003Cp>需要分别记录：\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>访问状态\u003C\u002Fstrong>：哪些节点到达过、哪些边通过过。\u003C\u002Fli>\u003Cli>\u003Cstrong>观测覆盖\u003C\u002Fstrong>：传感器看到了哪些区域。\u003C\u002Fli>\u003Cli>\u003Cstrong>待探索分支\u003C\u002Fstrong>：未进入的通道、未确认的空间和需要补充视角的位置。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>Hydra 的轨迹与回环机制可以识别重访，但不负责判断探索是否充分。两篇论文都没有完整提出自主探索目标选择和停止机制。Clio 实机实验的建图阶段由人遥控，不能作为自主探索的验证。\u003C\u002Fp>\u003Cp>策略驱动拓扑需要额外记录未探索分支，否则目标导向的轨迹可能一直遗漏侧面的通道。可以从局部地图的已知／未知边界提取候选，再将其保存为拓扑状态。只检测语义上的门口不够，因为开放通道也可能通向未知区域。\u003C\u002Fp>\u003Ch3 id=\"地图纠错\">地图纠错\u003C\u002Fh3>\u003Ch4 id=\"定位漂移与重复结构\">定位漂移与重复结构\u003C\u002Fh4>\u003Cp>机器人绕行后再次到达同一地点，里程计可能已产生偏差，使同一房间或物体被重复建图。Hydra 利用 places 的几何统计、物体类别统计和图像外观寻找回环候选，再通过视觉特征或物体配准验证相对位姿。\u003C\u002Fp>\u003Cp>确认约束后，系统优化由机器人位姿、网格控制点和 places 组成的变形图，使回环对齐，同时尽量保持局部结构。误差沿轨迹分布，并非统一平移整张地图即可消除。\u003C\u002Fp>\u003Cp>修正会传播到其他层：\u003C\u002Fp>\u003Cpre>\u003Ccode data-lang=\"text\">优化位姿、网格控制点与 places\n→ 插值调整完整网格\n→ 重算物体质心与包围盒\n→ 合并重叠的 places 和同类物体\n→ 重新检测房间\u003C\u002Fcode>\u003C\u002Fpre>\u003Cp>因此，回环不仅修正机器人轨迹，也可能改变物体身份和房间划分。\u003C\u002Fp>\u003Ch4 id=\"错误回环与合并撤销\">错误回环与合并撤销\u003C\u002Fh4>\u003Cp>相似房间可能造成错误回环。Hydra 使用 GNC 鲁棒优化识别与其他约束不一致的回环，并保留未合并的图版本。如果原先接受的回环后来被判为异常，就可以撤销相关的节点合并。\u003C\u002Fp>\u003Cp>这种恢复能力针对回环及其引起的结构合并，不是所有感知错误的通用回滚机制。持续的语义误识别、分割错误、真实物体移动，以及不合理的功能区划分，都不一定能通过几何优化解决。Clio 的受影响分量重新聚类，也不能替代这套一致性维护机制。\u003C\u002Fp>\u003Cp>对于策略驱动拓扑，仍需要处理重复地点、错误匹配及位置修正后的物品归属变化。可以保留原始观测与执行记录，将节点对应、合并和区域归属作为可修改的关联。直接用合并结果覆盖证据，会使后续纠错失去依据。\u003C\u002Fp>\u003Ch3 id=\"参数与实验数据\">参数与实验数据\u003C\u002Fh3>\u003Ch4 id=\"关联参数\">关联参数\u003C\u002Fh4>\u003Cul>\u003Cli>Hydra 的局部 TSDF \u002F ESDF 窗口半径为 8 米。局部处理受到窗口约束，但房间检测与全局优化仍受地图规模影响。\u003C\u002Fli>\u003Cli>Clio 物体实验的 track 视觉相似度阈值为 0.9，三维 IoU 阈值为 0.6；Khronos 对照设置为 0.7 和 0.4。这些是跨帧关联参数，不是任务聚类阈值。\u003C\u002Fli>\u003Cli>Clio 的物体 null task 阈值为 0.23；区域评估中设为 0，因为所有 places 均应对应某个提供的房间标签。\u003C\u002Fli>\u003Cli>Clio 在线物体聚类只重算受新观测影响的连通分量。若分量很大，增量更新仍可能昂贵，不能理解为计算量始终恒定。\u003C\u002Fli>\u003C\u002Ful>\u003Ch4 id=\"hydra-2\">Hydra\u003C\u002Fh4>\u003Cp>在 Xavier NX 上处理 uHumans2 Office 场景时，物体层、places 层和房间层分别耗时 75 ± 35、33 ± 6、55 ± 41 毫秒，目标更新频率为 5 Hz。\u003C\u002Fp>\u003Cp>这是嵌入式硬件上的仿真数据测试，数据提供深度和语义分割。分模块计时不等于相机到动作的端到端时延，也不能证明完整视觉系统在该硬件上达到相同频率。\u003C\u002Fp>\u003Cp>主要工作站为 24 核 Ryzen 9 3960X 与两张 RTX 3080。真实 SidPac 数据的两组场景中，物体层平均约 50–75 毫秒，places 约 3–4 毫秒，房间约 11–15 毫秒。真实数据主要由手持设备采集，不是完整自主导航实验。\u003C\u002Fp>\u003Ch4 id=\"clio-2\">Clio\u003C\u002Fh4>\u003Cp>使用 i9-12900K、RTX 3090 与 CLIP ViT-L\u002F14 时，Clio-online 的每处理帧平均耗时为：Cubicle 0.30 秒、Office 0.29 秒、Apartment 0.26 秒。在线运行允许丢帧，这些数据不是 Spot 上测得的控制频率。\u003C\u002Fp>\u003Cp>Spot 实验使用 i9-13950HX、64 GB 内存和 RTX 4090 Laptop GPU。统计的 7 轮、21 次抓取尝试中，笔记本位于机器人外，通过 Wi-Fi 连接；补充视频另展示了携带计算设备的连续运行。它证明了机载在线运行的可行性，不代表低算力或低功耗。\u003C\u002Fp>\u003Cp>21 次尝试的抓取成功率为 57%；排除 Spot 对正确目标的实际抓取失败后为 71%。图中选错目标只有一次。这不是纯导航成功率或碰撞安全率，建图阶段也由人遥控完成。\u003C\u002Fp>\u003Ch3 id=\"原文定位\">原文定位\u003C\u002Fh3>\u003Cp>页码为 PDF 顺序页，本地原文位于 \u003Ccode>assets\u002Fpapers\u002Frobots\u002F\u003C\u002Fcode>。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cp>\u003Cstrong>Hydra: A Real-time Spatial Perception System for 3D Scene Graph Construction and Optimization\u003C\u002Fstrong>，RSS 2022。\u003C\u002Fp>\u003Cul>\u003Cli>§III，第 3–4 页：网格、物体、places 与房间构建。\u003C\u002Fli>\u003Cli>§IV，第 5–6 页：跨层关联、回环、变形图与合并撤销。\u003C\u002Fli>\u003Cli>§V–VI，第 6–9 页：架构、数据来源与计时。\u003C\u002Fli>\u003Cli>§VII，第 9–10 页：房间命名与关系表达的限制。\u003C\u002Fli>\u003C\u002Ful>\u003C\u002Fli>\u003Cli>\u003Cp>\u003Cstrong>Clio: Real-Time Task-Driven Open-Set 3D Scene Graphs\u003C\u002Fstrong>，RA-L 2024，\u003Ca href=\"https:\u002F\u002Fdoi.org\u002F10.1109\u002FLRA.2024.3451395\">正式版本\u003C\u002Fa>。\u003C\u002Fp>\u003Cul>\u003Cli>§III–V，第 3–4 页：信息瓶颈、任务相关性、前后端与候选合并。\u003C\u002Fli>\u003Cli>§VI-A、Table I，第 5 页：参数、运行时间与任务过滤基线。\u003C\u002Fli>\u003Cli>Fig. 4–5、§VI-C，第 6 页：粒度变化与区域划分。\u003C\u002Fli>\u003Cli>§VI-D、§VII 及脚注，第 7 页：实机条件、遥控建图、任务结果与局限。\u003C\u002Fli>\u003C\u002Ful>\u003C\u002Fli>\u003C\u002Ful>","Hydra 研究分层三维场景图的实时构建与回环优化；Clio 研究如何根据任务选择物体和区域的粒度。两者都将语义对象与空间结构结合，但场景图本身不负责全部探索、避障和运动控制。物体识别与实例关联HydraHydra 将二维语义分割结果通过深度和相机位姿融合进三维地图，再对同一语义类别的网格顶点分别做欧氏聚类。每一簇形成一个物体，保存类别、质心、包围盒及对应表面。语义类别区分“是什么”，空间聚类区分“有几件”。两把分开的椅子可以成为两个实例；同类物品紧贴时可能被合并。识别粒度受前端类别集合限制，建立场景图不会自动增加部件级识别能力。新物体与已有节点类别相同、空间重叠时，系统把新顶点并入已有节点。论文以“一个物体的质心落在另一个物体的包围盒中”近似判断重叠。新观测用于补全和修正已有物体，而不是每帧新增节点。ClioClio 用 FastSAM 提取图像区域，用 CLIP 描述区域的开放词汇语义，再采用 Khronos 的跨帧关联与重建方法形成三维片段（primitives）。新区域只有在 CLIP 特征相似度和三维重叠程度都满足阈值时，才关联到已有的跟踪记录（track）；多个候选中选择重叠程度最高的一个。没有匹配则新建 track，长时间没有新观测则结束 track，利用其中的多帧数据重建 primitive，并平均 CLIP 特征。后端再对这些片段进行任务驱动聚类。物体片段只有在三维包围盒非零重叠时，才成为候选合并对象。系统比较它们对整组任务的相关性，优先合并任务信息损失最小的一对，直到进一步合并造成的信息损失超过阈值。这是凝聚式信息瓶颈（Agglomerative IB）的应用。因此，跨帧关联与任务聚类不是同一件事：跨帧关联处理同一物体的重复观测。任务聚类决定哪些片段或物品需要被分别表示。例如，“拿调料包”可以对应一组调料包；分别取某种调料时，则需要保留更细的区分。Clio 的一个节点不一定对应现实中的一件物品。细粒度与阈值Clio 后端主要做合并，细粒度仍依赖前端。如果两本书始终被分成同一个区域，后端不能凭空拆开；如果 CLIP 无法区分其特征，任务聚类也无法补出这种区别。论文中的钢琴、琴键、琴弦是动机示例，不是已验证的任意部件识别能力。几何阈值同样有局限。IoU 是交集体积与并集体积的比例，比固定距离阈值更能适应物体尺寸，因此杯子和椅子不一定必须使用不同的 IoU 阈值。但同样两厘米的定位误差，对杯子的影响显著大于椅子；遮挡会降低同一物体不同观测间的重叠，而包围盒可能在实际表面没有接触时发生重叠。Hydra 的质心包含规则也只是近似判断。两篇论文都没有解决按物体尺度、粒度和观测不确定性通用地调整关联阈值的问题。几何重叠可以作为身份关联的证据，不能单独保证关联正确。任务相关性与信息保留Clio 根据 CLIP 相似度构造任务相关性分布，并设置 null task 表示不相关内容。这里的相关性不是任务成功概率。刀和叉都与摆餐桌相关，也不代表可以把它们合并；论文明确指出了这类过度聚类风险。任务压缩的价值在于减少维护和使用表示的成本。如果成本可接受，没有必要因此丢弃原始证据。可以保留观测或 primitives，在上层按任务生成简化视图。存储的信息与当前决策使用的信息不必相同。这是可考虑的设计取舍，不是 Clio 已经验证的多视图方案。自由空间与房间层次Places 的构建Hydra 从深度和位姿增量构建局部 TSDF 与 ESDF：TSDF 支持表面重建，ESDF 提供位置到最近障碍物的距离。障碍判断主要依赖几何，不必先识别物品类别。系统在 ESDF 更新过程中提取广义 Voronoi 图（GVD），即由与多个障碍表面等距的位置构成的空间骨架，再将其稀疏化为 places 图。节点保留自由空间中的代表位置，边表示直线可通行关系。如果直线过度偏离原骨架，就插入中间节点。深度与位姿 → 局部 TSDF \u002F ESDF → GVD → places 图place 不是厨房、办公室等语义区域，也不只是机器人已经走过的轨迹点。它来自已观测自由空间。未知空间不能当作已确认可通行的区域。房间划分与物体归属Hydra 利用空间瓶颈划分房间：膨胀障碍物会先关闭狭窄的门口，使自由空间分成多个连通部分。在 places 图中，只需删除到障碍物距离不足的节点，就能近似实现这种操作。算法尝试多个膨胀距离，选择较稳定的连通分量作为房间核心，再通过带种子的社区发现分配其余节点。物体和 agent 节点则连接到活动窗口内最近的 place。物体归属可以沿下列关系查询：物体表面 → 物体节点 → place → 房间 → 建筑Hydra 这篇论文划分房间，但不自动将其命名为厨房或卧室。开放式功能区没有明显空间瓶颈，也可能无法分开。最近 place 规则还可能跨越薄墙，门口物品或跨区域家具的归属并不总是可靠。Clio 复用 places 构建方法，并用能够看到该位置的图像 CLIP 特征均值描述 place，再沿 places 图进行任务驱动聚类。因此 region 可以是没有墙壁隔断的工作区或小厨房区。正文没有详细展开物体到 region 的跨层归属规则，不能假定存在精确的区域包含判断。在自己的表示中，可以将观察关系、区域归属和交互位置分开。机器人从一个房间透过门看到物品，不意味着物品属于当前房间，也不意味着当前位置适合操作它。导航与计算成本Clio 的实机实验用语言匹配目标物体，再通过 Dijkstra 在 places 图中搜索路线。图搜索提供的是经过哪些位置，不是底层运动指令。机身尺寸、地面与落差、转弯约束、动态障碍仍需要导航和控制模块处理。三维地图不是在完整重建后一次性提取路径，而是边观测边更新。Hydra 用局部体素窗口限制计算，保留提取出的网格与图结构；局部感知较快，房间检测和全局优化异步运行。从成本上看，稀疏图搜索通常不是主要问题。需要衡量的是深度融合、距离场更新、视觉特征提取和全局维护：Hydra 的几何融合、places 提取和图优化主要运行在 CPU，依赖内存与带宽。二维语义分割以及 Clio 的 FastSAM、CLIP 主要使用 GPU。论文没有完整的资源利用率与功耗剖析，不能仅凭几个模块的耗时断言整套系统由 CPU 或 GPU 主导。局部扩散策略可以生成避障动作，但如果输入只有当前观测和目标方向，就未必知道如何绕过视野外的墙或避开死胡同。长期空间记忆、路线选择和局部动作生成是不同职责；它们可以组合，不必在扩散模型与场景图之间二选一。对于局部策略能够可靠完成的区域，只保留门口、分叉和关键位置可能已经足够。是否需要更密的 places，取决于相邻节点间的导航难度，而不是场景图必须具有固定层级或密度。策略驱动拓扑图一种替代几何构图的方案是利用局部策略提出路径，再根据执行结果扩展图。此时边表示“机器人及其策略在给定条件下能够完成这次移动”，而不只是几何上存在自由通路。预测与验证需要分开：策略生成路径 → 候选连接 当前深度或局部障碍检查 → 允许执行 实际成功通过 → 已验证连接节点可以放在门口、分叉、关键转弯、新区域入口或局部策略有效范围的边界，不必沿每个预测轨迹点建节点。实际轨迹构成已验证的连接，预测路径只提供扩展候选。仍需定位或地点识别，才能避免重复建图并建立回环。这可以减少对全局稠密重建的依赖，但不能省略局部安全检查，也不能直接得到完整的自由空间拓扑：模型未生成某条路径，不代表该处不可达。曾经成功通过的路，之后可能被人或关闭的门阻塞。A 到 B 可达不保证反向可达，连接可能需要方向与朝向条件。更换机器人或局部策略后，已有连接可能需要重新验证。边可以记录成功与失败次数、最近验证时间和临时阻塞状态。方案是否更省算力，需要将候选路径采样、定位和安全检查一起计入；大量扩散采样可能只是把成本转移到 GPU。应与几何拓扑比较导航成功率、探索覆盖、更新成本和错误恢复能力，而不只比较建图时间。探索与观测覆盖实际轨迹只记录走过的位置，不足以判断探索完成。站在门口看到半个房间，并不代表已经进入房间或检查了遮挡后的空间。需要分别记录：访问状态：哪些节点到达过、哪些边通过过。观测覆盖：传感器看到了哪些区域。待探索分支：未进入的通道、未确认的空间和需要补充视角的位置。Hydra 的轨迹与回环机制可以识别重访，但不负责判断探索是否充分。两篇论文都没有完整提出自主探索目标选择和停止机制。Clio 实机实验的建图阶段由人遥控，不能作为自主探索的验证。策略驱动拓扑需要额外记录未探索分支，否则目标导向的轨迹可能一直遗漏侧面的通道。可以从局部地图的已知／未知边界提取候选，再将其保存为拓扑状态。只检测语义上的门口不够，因为开放通道也可能通向未知区域。地图纠错定位漂移与重复结构机器人绕行后再次到达同一地点，里程计可能已产生偏差，使同一房间或物体被重复建图。Hydra 利用 places 的几何统计、物体类别统计和图像外观寻找回环候选，再通过视觉特征或物体配准验证相对位姿。确认约束后，系统优化由机器人位姿、网格控制点和 places 组成的变形图，使回环对齐，同时尽量保持局部结构。误差沿轨迹分布，并非统一平移整张地图即可消除。修正会传播到其他层：优化位姿、网格控制点与 places → 插值调整完整网格 → 重算物体质心与包围盒 → 合并重叠的 places 和同类物体 → 重新检测房间因此，回环不仅修正机器人轨迹，也可能改变物体身份和房间划分。错误回环与合并撤销相似房间可能造成错误回环。Hydra 使用 GNC 鲁棒优化识别与其他约束不一致的回环，并保留未合并的图版本。如果原先接受的回环后来被判为异常，就可以撤销相关的节点合并。这种恢复能力针对回环及其引起的结构合并，不是所有感知错误的通用回滚机制。持续的语义误识别、分割错误、真实物体移动，以及不合理的功能区划分，都不一定能通过几何优化解决。Clio 的受影响分量重新聚类，也不能替代这套一致性维护机制。对于策略驱动拓扑，仍需要处理重复地点、错误匹配及位置修正后的物品归属变化。可以保留原始观测与执行记录，将节点对应、合并和区域归属作为可修改的关联。直接用合并结果覆盖证据，会使后续纠错失去依据。参数与实验数据关联参数Hydra 的局部 TSDF \u002F ESDF 窗口半径为 8 米。局部处理受到窗口约束，但房间检测与全局优化仍受地图规模影响。Clio 物体实验的 track 视觉相似度阈值为 0.9，三维 IoU 阈值为 0.6；Khronos 对照设置为 0.7 和 0.4。这些是跨帧关联参数，不是任务聚类阈值。Clio 的物体 null task 阈值为 0.23；区域评估中设为 0，因为所有 places 均应对应某个提供的房间标签。Clio 在线物体聚类只重算受新观测影响的连通分量。若分量很大，增量更新仍可能昂贵，不能理解为计算量始终恒定。Hydra在 Xavier NX 上处理 uHumans2 Office 场景时，物体层、places 层和房间层分别耗时 75 ± 35、33 ± 6、55 ± 41 毫秒，目标更新频率为 5 Hz。这是嵌入式硬件上的仿真数据测试，数据提供深度和语义分割。分模块计时不等于相机到动作的端到端时延，也不能证明完整视觉系统在该硬件上达到相同频率。主要工作站为 24 核 Ryzen 9 3960X 与两张 RTX 3080。真实 SidPac 数据的两组场景中，物体层平均约 50–75 毫秒，places 约 3–4 毫秒，房间约 11–15 毫秒。真实数据主要由手持设备采集，不是完整自主导航实验。Clio使用 i9-12900K、RTX 3090 与 CLIP ViT-L\u002F14 时，Clio-online 的每处理帧平均耗时为：Cubicle 0.30 秒、Office 0.29 秒、Apartment 0.26 秒。在线运行允许丢帧，这些数据不是 Spot 上测得的控制频率。Spot 实验使用 i9-13950HX、64 GB 内存和 RTX 4090 Laptop GPU。统计的 7 轮、21 次抓取尝试中，笔记本位于机器人外，通过 Wi-Fi 连接；补充视频另展示了携带计算设备的连续运行。它证明了机载在线运行的可行性，不代表低算力或低功耗。21 次尝试的抓取成功率为 57%；排除 Spot 对正确目标的实际抓取失败后为 71%。图中选错目标只有一次。这不是纯导航成功率或碰撞安全率，建图阶段也由人遥控完成。原文定位页码为 PDF 顺序页，本地原文位于 assets\u002Fpapers\u002Frobots\u002F。Hydra: A Real-time Spatial Perception System for 3D Scene Graph Construction and Optimization，RSS 2022。§III，第 3–4 页：网格、物体、places 与房间构建。§IV，第 5–6 页：跨层关联、回环、变形图与合并撤销。§V–VI，第 6–9 页：架构、数据来源与计时。§VII，第 9–10 页：房间命名与关系表达的限制。Clio: Real-Time Task-Driven Open-Set 3D Scene Graphs，RA-L 2024，正式版本。§III–V，第 3–4 页：信息瓶颈、任务相关性、前后端与候选合并。§VI-A、Table I，第 5 页：参数、运行时间与任务过滤基线。Fig. 4–5、§VI-C，第 6 页：粒度变化与区域划分。§VI-D、§VII 及脚注，第 7 页：实机条件、遥控建图、任务结果与局限。",1793635308218]