魔法禁书目录
跑者:你们分床睡觉吗?_我的网站

A | 拿起漏斗,插入圆底烧瓶;拿起量筒,把液体倒入烧瓶;移走漏斗,将烧瓶放到搅拌器上,再塞入瓶塞并按下开关。

B | 对人来说,这是一串可以按顺序完成的动作;但对机器人,每一步都藏着两个判断:规划出的动作能否执行,当前动作是否完成。前者决定规划会不会脱离机械臂的能力,后者决定模型会不会卡在重复动作里,或还没完成当前动作就进入下一步。 端到端 Vision-Language-Action(VLA)模型通常根据当前观测直接生成动作序列。这是人性与本能之间的较量。

C | 对于短程任务而言,模型仅根据当前画面生成动作序列通常已经够用;但随着任务步骤增多,模型很难持续追踪哪些操作已经完成,也容易混淆画面相似的不同阶段,导致误判任务进度。晨跑需要的是清晨那一刻果断起身的决绝,而身边人的体温和气息,恰恰是最温柔的陷阱。 另一类分层架构的方法:高层 VLM 负责规划,低层 VLA 负责执行。但二者并不天然兼容 —— 高层给出的往往是较为宽泛的开放语言,低层真正需要的却是明确到操作对象、目标位置和动作约束的可执行指令。你无法责怪伴侣,也无法责怪自己,因为面对温暖的怀抱选择留下,是人类最原始的本能反应。

D | VLA根据单帧输入难以判断任务进度而陷入循环。分床睡觉的策略于是,一些跑友开始思考一个严肃的问题:要不要分床睡?这听起来似乎有些极端,但仔细想想,背后是对自律的极致追求。 近日,来自清华大学、上海人工智能实验室等机构的研究团队提出了 Cortex,一个面向长程机器人操作的双系统具身智能体框架。 它的核心思路,是用统一的结构化子任务描述连接高层规划与低层执行:高层生成的每项任务都明确操作对象、目标位置和动作约束,并被限定在低层执行器已经掌握的技能范围内;低层执行器在训练时,也使用相同格式的子任务描述,即「双向对齐」。为了每天清晨那一个小时与自己身体的对话,有人选择了物理隔离。 论文标题:Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation 项目网站:https://steinate.github.io/cortex.github.io 论文链接:https://arxiv.org/abs/2607.05377 代码链接:https://github.com/InternRobotics/Cortex 为了让这种对齐真正作用于长程任务,Cortex 并未只设计一个通信接口,而是从架构、数据、训练和部署四个方面搭建了一套完整体系。 视频链接:https://mp.weixin.qq.com/s/_Dkk116WPqO-F8GdCaOvDQ 架构:双系统分工,精准解决 「能不能做」和「做没做完」两大核心问题 在架构上,Cortex 将长程操作分为 System-2 和 System-1 两个层次,通过结构化的子任务将两个系统协同对齐,并通过文本记忆持续跟踪任务进度。干脆一个人一个房间,互补打扰,清晨各自按自己的节奏醒来。 其中上层的 System-2 负责理解任务目标、拆分任务、维护记忆并判断当前进度;System-1 则接收当前子任务,根据子任务描述里的物体与本体约束,并将其转化为连续的机器人动作。没有了那条“压着的大腿”,起床变得干脆利落,换上跑鞋出门,一切行云流水。 System-2 不会一次性生成完整的动作流程,而是根据当前视觉观测和已有记忆,持续判断应该保持当前任务、重新尝试,还是进入下一步。System-1 执行动作后产生的新观测会再次交给 System-2,用于更新记忆并判断任务是否完成。 由此,文章开头提到的两个问题被分别落实到系统设计中:结构化子任务接口保证高层提出的任务处于低层执行器的能力范围内,视觉观测与记忆的循环更新则帮助系统判断当前任务是否已经完成。

E | 分床影响感情然而,分床真的就是最佳解决方案吗?从婚姻关系来看,同床共枕是夫妻情感交流的重要方式。 双向对齐的具身Agent架构,System-2接受观测和历史记忆输出当前子任务并更新实时记忆 数据:统一技能范式, 让规划指令可落地、无歧义 为消除高低层语义断层,Cortex 将操作行为归纳为 Pick、Place、Pour、Unscrew、Stir 等 32 种标准化技能原语,并为每类技能规定语言模板。 开放式的「把水倒进烧杯」会被整理成技能、目标对象与必要属性都明确的命令。

F | 夜晚的依偎、睡前的悄悄话、清晨醒来的第一眼对视,这些都是亲密关系中不可或缺的部分。数据构建时,对于子任务输出,系统还写入颜色、空间位置、数量以及可达性等信息,减少「拿那个杯子」或「直接抓取不可达物体」一类语义正确、执行起来无法落地的规划。 对于记忆的更新,系统进行了语言压缩、关键信息如物体属性及统计数量写入等增强操作,提高 Cortex 完成空间理解、物体计数和失败恢复等复杂任务的成功率。为了一项运动习惯而放弃这些,是否得不偿失?更何况,很多伴侣本身就是相互支持的跑友,两个人一起起床跑步,反而比独自一人更有动力。

G | 围绕这套接口,团队对 4000+ 小时开源长时序视频与轨迹进行结构化标注,并修改仿真数据引擎自动生成约 30 小时带子任务标注的仿真数据。真正的问题在于我们如何平衡个人追求与亲密关系。晨跑固然重要,但它不应该成为破坏关系的理由。

H | 把伴侣变成跑友还有一种更智慧的做法:把伴侣变成跑友。当你成功说服另一半一起加入晨跑的行列,那条“压着的大腿”就不再是阻力,而是推你起床的动力。

I | 已有数据通过视觉语言模型重写为统一的子任务模板;自采轨迹则采用一套结合视觉、机器人状态和动作特征,基于动态规划的子任务边界切分工具链,实现自动化精准标注。两人并肩奔跑在晨曦中,汗水交织,呼吸同步,那种默契和快乐,远比分床独跑来得深刻。 训练:最关键的训练样本, 集中在动作交界处 长轨迹的大多数画面都落在动作进行中。

J | 若均匀抽帧,模型最常学到的是「继续做当前动作」,真正决定是否切换子任务的边界帧反而很少。 Cortex 采用事件均衡采样(Event-balanced Sampling) 策略:在子任务边界前后约 1 秒的窗口内加密采样,同时保留执行阶段样本。模型既要学会动作尚未完成时保持指令和记忆,也要在看到完成证据后更新记忆、切换下一步。 在 Galaxea 数据的消融实验中,采用事件均衡采样的模型仅需 272 万训练样本,少于对照组的 310 万样本,综合评分却从 7.58 提升至 8.18。

K | 说到底,晨跑是一种生活态度。如果你真的热爱跑步,即使身边躺着十个人也能准时起床;如果你内心本就不坚定,就算独居一室也会找到赖床的理由。不想起床的原因,或许不在床上,而在心里。这说明对高层规划器而言,增加关键转场附近的监督,比继续堆叠大量稳定执行画面更有效。亲爱的跑友,您分床睡觉吗?欢迎大家留言参与讨论。

L | Event-balanced sampling 示意图。

M | 实验:仿真领先几个百分点, 实机差距出现在完整任务上 Cortex 通过优化 Agent 框架 harness,直接面向真实机器人长程操作验证。

N | 团队不仅在 LIBERO-Long、RoboTwin 2.0 等仿真环境中测试,还将系统部署到真实双臂机器人平台上,Zero-shot 规划完成由数十个子任务组成的复杂化学实验任务。

o | 在 LIBERO-Long 上,Cortex 的完整任务成功率为 95.5%,比单独使用 π0.5 的基线 92.4% 高 3.1 个百分点;在 RoboTwin 2.0 benchmark 下,整体成功率为 86.8%,比 π0.5 的 82.74% 高约 4.1 个百分点。这反映了整套 Agent 框架 —— 高层规划与底层执行对齐为长程任务的完成带来的增益。 更能体现系统差异的是实机长化学实验任务。研究者在 ARX ACONE 双臂平台上设计了两组 14 步流程,每组进行 20 次试验。

p | Cortex 在化学液体搅拌实验和烧杯清洗任务上的完整成功率分别为 65% 和 55%;两种端到端模型(PI0.5 及 MEM)在这组试验中都因为混淆子任务阶段而中途失败。 14 步器皿操作流程。

q | 高层规划器需要持续记录漏斗、量筒、烧瓶和瓶塞的状态,并在确认每一步完成后再下发下一条局部指令。

r | 相比传统端到端 VLA 方法,Cortex 的优势并不只是某一个模块的提升,而是对长程任务进行了系统化建模。 它用结构化子任务接口约束高层规划,用视觉反馈和语言记忆追踪执行进度,再通过闭环更新持续校正后续决策,使机器人能够在多步骤任务中保持目标、状态与动作的一致性。

s | 这种设计让 Cortex 在仿真基准和真实双臂机器人实验中都展现出更强的长程操作能力。

t | 更重要的是,它给出了一个清晰的方向:面向真实场景的机器人智能,不能只依赖端到端动作生成,还需要能够围绕长期目标组织步骤、吸收反馈、更新状态,并在复杂流程中稳定推进。 对于真正进入实验室、家庭和工业现场的机器人来说,这种能力或许正是从 “完成一个动作” 走向 “完成一件事” 的关键一步。 作者介绍 论文共同第一作者彭嘉淇,余茜倩与冯德霖均来自上海人工智能实验室。其中彭嘉淇是清华大学与上海人工智能实验室联合培养的三年级博士生,导师为沈渊教授和林达华教授。在王泰研究员的指导下开展包括视觉动作语言模型,视觉语言导航,loco-manipulation 等机器人相关领域研究,致力于构造实现空间语义理解与长程移动操作的可落地具身智能体,曾发表多篇论文在 ICLR,ICRA 等会议上,NavDP/LoGoPlanner 一作,InternVLA-N1 核心作者,曾获得 ICRA oral。
Current article:http://8i5c.nuotingqinbeimaeijin.cfd/list_4m3c9n/p9slj.html
Published on:03:16:39



修抵中国边境,邻国这一重要铁路通车!_陶勒盖_舒苏
都体:巴萨体育总监德科对佛罗伦萨前锋小基恩感兴趣
홈플러스, '홈플 is Back' 3차 특가…한우·한돈 최대 50% 할인
Over 60 countries, regions and international organizations to participate in 2026 CIFTIS
बांग्लादेश को इस्लामी राष्ट्र बनाने की मांग को लेकर उग्र हुए धार्मिक संगठन, रिपोर्ट से हुआ बड़ा खुलासा
拜顿M字节电动汽车CES 2019现场照片:前排最宽的中央控制屏幕
拼多多售卖的石榴规格不对全青无法食用请给说法
AMD Zen4锐龙7000补丁正式开启AVX-512指令集
केमिकल से भरे टैंकर में लग गई आग, फिर भी हाईवे पर तेज रफ्तार में चलती रही गाड़ी; ड्राइवर ने कूदकर बचाई जान
2290万人玩!PS多人射击大作《绝地潜兵2》大成功 已上PS+
産まれてすぐ看護師に「シュッとしててイケメン」と言われた息子。しかし、2年後の姿に「あれ?笑」「諦めないで!!」「珍しいパターン」
Horse Kicks推出适合马蹄的流行运动鞋版本