1
00:00:00,316 --> 00:00:02,916
大家好，这里是最佳拍档，我是大飞

2
00:00:03,266 --> 00:00:05,200
同样一个迷宫导航任务

3
00:00:05,200 --> 00:00:07,816
单层世界模型的成功率是18%

4
00:00:07,866 --> 00:00:11,316
换成三层结构，成功率到了73.3%

5
00:00:11,516 --> 00:00:14,116
而且规划花掉的算力反而更少

6
00:00:14,350 --> 00:00:15,750
任务没变，数据没变

7
00:00:15,750 --> 00:00:18,033
变的只是模型内部的组织方式

8
00:00:18,200 --> 00:00:20,666
这是杨立昆（Yann LeCun）刚刚交出的一份作业

9
00:00:20,666 --> 00:00:22,550
这位图灵奖得主从Meta出来

10
00:00:22,550 --> 00:00:25,366
创办了公司高级机器智能AMI

11
00:00:25,400 --> 00:00:27,766
最近，公司发布了论文H-JEPA

12
00:00:27,833 --> 00:00:30,483
全称是分层联合嵌入预测架构（Hierarchical Joint-Embedding Predictive Architecture）

13
00:00:30,600 --> 00:00:33,416
代码和预训练模型权重已经全部开源

14
00:00:33,416 --> 00:00:35,100
研究者可以直接下载加载

15
00:00:35,100 --> 00:00:36,633
复现里面的规划实验

16
00:00:36,983 --> 00:00:39,016
73.3%这个数字背后

17
00:00:39,016 --> 00:00:41,633
是杨立昆对整个AI行业的一次下注

18
00:00:41,816 --> 00:00:42,700
他一直认为

19
00:00:42,700 --> 00:00:45,266
大语言模型这条路走不到人类级的智能

20
00:00:45,466 --> 00:00:47,433
能走过去的是世界模型

21
00:00:47,533 --> 00:00:48,333
而这份论文

22
00:00:48,333 --> 00:00:50,216
就是他念叨了很多年的想法

23
00:00:50,216 --> 00:00:54,233
第一次变成了一个可以运行、可以复现、可以下载的完整系统

24
00:00:54,333 --> 00:00:56,116
今天我们就来聊聊这篇论文

25
00:00:56,116 --> 00:00:59,116
那他为什么非要做一个分层的世界模型呢？

26
00:00:59,183 --> 00:01:01,433
这件事得从2022年说起

27
00:01:01,550 --> 00:01:03,950
那年他还在Meta当首席AI科学家

28
00:01:03,950 --> 00:01:06,000
就提出过分层JEPA的构想

29
00:01:06,033 --> 00:01:10,000
让模型在不同的抽象层级、不同的时间尺度上做预测

30
00:01:10,066 --> 00:01:11,516
再通过分层规划

31
00:01:11,550 --> 00:01:14,033
把复杂目标落实成具体动作

32
00:01:14,033 --> 00:01:15,466
这个说法有点抽象

33
00:01:15,466 --> 00:01:16,800
但是他自己举过一个例子

34
00:01:16,800 --> 00:01:17,600
很形象

35
00:01:17,866 --> 00:01:19,783
假设你坐在纽约大学的办公室里

36
00:01:19,783 --> 00:01:20,916
准备去巴黎

37
00:01:20,983 --> 00:01:22,516
规划整趟行程的时候

38
00:01:22,516 --> 00:01:25,466
你脑子里想的是目的地、航班和时间安排

39
00:01:25,466 --> 00:01:28,483
不会去想办公室楼梯每一级台阶有多高

40
00:01:28,716 --> 00:01:31,233
等你真的走出办公室、开始下楼了

41
00:01:31,233 --> 00:01:32,316
注意力就变了

42
00:01:32,316 --> 00:01:34,350
变成了眼前的地面、楼梯

43
00:01:34,350 --> 00:01:36,116
还有下一步先迈哪只脚

44
00:01:36,383 --> 00:01:39,200
规划航程的时候，台阶的高度不重要

45
00:01:39,350 --> 00:01:40,183
下楼的时候

46
00:01:40,183 --> 00:01:42,683
这个细节却会直接决定你怎么迈步

47
00:01:42,916 --> 00:01:46,233
人就是这样在不同时间尺度之间来回切换的

48
00:01:46,350 --> 00:01:48,400
机器人面对的问题也一模一样

49
00:01:48,433 --> 00:01:52,550
高层的规划要理解任务目标、环境关系和未来方向

50
00:01:52,633 --> 00:01:55,916
低层的控制要抓住具体动作和身体细节

51
00:01:55,983 --> 00:01:58,116
两边需要的信息根本不同

52
00:01:58,350 --> 00:01:59,833
于是问题就变成了

53
00:01:59,833 --> 00:02:03,483
怎么让模型的不同层级各自学到适合自己的表征

54
00:02:03,516 --> 00:02:05,950
再把高层的计划一层一层落实下去呢？

55
00:02:05,950 --> 00:02:07,916
这就是H-JEPA要回答的问题

56
00:02:08,183 --> 00:02:09,866
不过在讲它怎么做之前

57
00:02:09,866 --> 00:02:11,866
得先说说这类模型的通病

58
00:02:11,866 --> 00:02:13,316
现在的JEPA世界模型

59
00:02:13,316 --> 00:02:17,400
大多在单一潜空间、单一时间尺度里做预测和规划

60
00:02:17,750 --> 00:02:19,083
这带来了两个麻烦

61
00:02:19,150 --> 00:02:20,350
一个是老问题

62
00:02:20,466 --> 00:02:23,483
长程任务要滚动预测很多细粒度的步骤

63
00:02:23,516 --> 00:02:25,200
预测误差会一路累积

64
00:02:25,316 --> 00:02:27,350
动作搜索空间也会跟着膨胀

65
00:02:27,550 --> 00:02:28,800
另一个更为本质

66
00:02:28,866 --> 00:02:31,433
同一个潜空间要同时伺候两件事

67
00:02:31,550 --> 00:02:33,716
分别是低层的动力学建模

68
00:02:33,716 --> 00:02:35,316
和高层的目标匹配

69
00:02:35,583 --> 00:02:37,750
一个装满快速变化细节的潜空间

70
00:02:37,750 --> 00:02:39,283
建模动力学很在行

71
00:02:39,350 --> 00:02:41,950
但是如果你拿它去衡量离目标还有多远

72
00:02:41,950 --> 00:02:42,950
效果就很差

73
00:02:43,150 --> 00:02:45,716
尤其是目标比状态更抽象的时候

74
00:02:45,716 --> 00:02:46,800
模型就懵了

75
00:02:46,833 --> 00:02:48,833
比如任务是让机器人到达某个位置

76
00:02:48,833 --> 00:02:50,483
而不是摆出某个姿态

77
00:02:50,633 --> 00:02:53,066
四足机器人哪怕已经走到了目标位置

78
00:02:53,066 --> 00:02:55,266
只要腿部姿态跟目标画面不一样

79
00:02:55,266 --> 00:02:57,716
模型仍然可能会觉得它离目标很远

80
00:02:57,866 --> 00:02:59,483
其实分层的想法不新

81
00:02:59,633 --> 00:03:02,683
杨立昆团队今年4月发过一篇HWM

82
00:03:02,783 --> 00:03:04,266
把时间尺度拆开了

83
00:03:04,266 --> 00:03:06,116
高层看远、低层看近

84
00:03:06,150 --> 00:03:07,716
中间用子目标衔接

85
00:03:07,750 --> 00:03:10,666
在真实的Franka机械臂上做抓放任务

86
00:03:10,666 --> 00:03:13,683
分层成功率是70%，单层是0%

87
00:03:13,783 --> 00:03:15,666
但是那篇论文里藏着一个前提

88
00:03:15,666 --> 00:03:18,550
就是所有层级要共享同一个表征空间

89
00:03:18,750 --> 00:03:20,683
所以它解决了时间拆分的问题

90
00:03:20,750 --> 00:03:22,283
没解决表征的问题

91
00:03:22,600 --> 00:03:24,600
而H-JEPA改的正是这一条

92
00:03:24,666 --> 00:03:26,950
每一层都要长出自己的表征空间

93
00:03:27,116 --> 00:03:30,033
上层可以理直气壮地丢掉自己预测不了的细节

94
00:03:30,033 --> 00:03:31,233
那具体怎么搭呢？

95
00:03:31,233 --> 00:03:33,150
论文给每一层配了三个组件

96
00:03:33,266 --> 00:03:34,866
首先是状态编码器

97
00:03:34,866 --> 00:03:36,950
负责提取当前环境的表征

98
00:03:37,033 --> 00:03:40,033
最底层直接读图像，更高层不碰像素

99
00:03:40,033 --> 00:03:42,083
对下层的潜状态做处理

100
00:03:42,150 --> 00:03:44,350
保留这个时间尺度下重要的信息

101
00:03:44,633 --> 00:03:46,283
其次是动作编码器

102
00:03:46,350 --> 00:03:48,066
负责描述动作带来的变化

103
00:03:48,066 --> 00:03:49,483
低层是具体动作

104
00:03:49,516 --> 00:03:53,033
高层把一段连续动作压缩成更粗粒度的变化

105
00:03:53,266 --> 00:03:54,383
还有一个预测器

106
00:03:54,383 --> 00:03:56,033
结合当前状态和动作

107
00:03:56,116 --> 00:03:57,483
预测未来的状态

108
00:03:57,666 --> 00:04:00,266
层级之间的步长是两倍，也就是说

109
00:04:00,266 --> 00:04:02,483
高层的一步，对应低层的两步

110
00:04:02,783 --> 00:04:04,116
训练是端到端的

111
00:04:04,116 --> 00:04:06,433
每一层在自己的潜空间里做预测

112
00:04:06,516 --> 00:04:08,433
上层的梯度会一路回传

113
00:04:08,433 --> 00:04:09,950
穿过下层的编码器

114
00:04:10,266 --> 00:04:11,950
这里有个细节值得说一下

115
00:04:12,066 --> 00:04:14,833
高层要求下层交出可预测的特征

116
00:04:14,833 --> 00:04:16,833
这件事不是人工设计的

117
00:04:16,833 --> 00:04:18,483
是梯度自己压出来的

118
00:04:18,866 --> 00:04:21,233
训练世界模型还绕不开一个经典问题

119
00:04:21,233 --> 00:04:22,683
叫做表征坍塌

120
00:04:22,866 --> 00:04:25,916
编码器要是把所有输入都压缩成同一个向量

121
00:04:26,033 --> 00:04:27,716
预测器只要输出这个常量

122
00:04:27,716 --> 00:04:29,683
也能拿到很低的预测误差

123
00:04:29,833 --> 00:04:31,800
但模型实际上什么都没学到

124
00:04:32,033 --> 00:04:36,433
H-JEPA用了杨立昆团队在LeJEPA里提出的SIGReg方法

125
00:04:36,533 --> 00:04:39,650
把嵌入分布往各向同性高斯上推

126
00:04:39,650 --> 00:04:41,383
从而约束表征不退化

127
00:04:41,533 --> 00:04:43,466
不过这个方法自己也有软肋

128
00:04:43,533 --> 00:04:45,300
当表征开始坍塌时

129
00:04:45,300 --> 00:04:46,733
梯度也会跟着衰减

130
00:04:46,766 --> 00:04:49,366
坍塌越严重，修正信号反而越弱

131
00:04:49,366 --> 00:04:51,566
所以说H-JEPA的防坍塌机制

132
00:04:51,566 --> 00:04:53,216
本身还是个开放问题

133
00:04:53,550 --> 00:04:55,516
那架构搭好了，规划怎么走呢？

134
00:04:55,516 --> 00:04:58,316
答案是自上而下，像接力赛一样

135
00:04:58,516 --> 00:05:00,283
当前的观测和目标画面

136
00:05:00,283 --> 00:05:01,883
会被所有层编码一遍

137
00:05:02,000 --> 00:05:04,150
最顶层先优化宏观动作

138
00:05:04,150 --> 00:05:06,716
让它预测的最终状态离目标最近

139
00:05:06,833 --> 00:05:09,083
顶层预测出来的那串中间状态

140
00:05:09,083 --> 00:05:11,450
逐级下发给下一层当子目标

141
00:05:11,600 --> 00:05:14,200
下一层再优化动作去追这些子目标

142
00:05:14,233 --> 00:05:15,850
再一路细化到第1层

143
00:05:15,916 --> 00:05:18,116
最终输出可以直接执行的动作

144
00:05:18,283 --> 00:05:19,400
闭环控制的时候

145
00:05:19,433 --> 00:05:21,683
每层只匹配第一个预测子目标

146
00:05:21,716 --> 00:05:22,883
执行一小段动作

147
00:05:22,883 --> 00:05:25,116
重新观察环境，再规划一轮

148
00:05:25,316 --> 00:05:26,400
这样做的好处是

149
00:05:26,400 --> 00:05:29,883
每层只需要对眼前够得着的短时程负责就行了

150
00:05:30,000 --> 00:05:32,366
长程的一致性是由上层兜底的

151
00:05:32,600 --> 00:05:33,600
顺带说一句

152
00:05:33,600 --> 00:05:35,683
这个结构跟大脑皮层有点像

153
00:05:35,833 --> 00:05:37,200
神经科学研究发现

154
00:05:37,200 --> 00:05:40,050
皮层区域按内在时间尺度分层排布

155
00:05:40,083 --> 00:05:42,283
越高层的地方，表征变化越慢

156
00:05:42,433 --> 00:05:44,683
论文把这个当成了设计依据

157
00:05:44,683 --> 00:05:46,250
不是随手打了个比方

158
00:05:46,283 --> 00:05:47,683
那实际效果怎么样呢？

159
00:05:47,683 --> 00:05:50,083
团队把模型放进四个仿真环境

160
00:05:50,116 --> 00:05:51,516
分别是两个导航任务

161
00:05:51,516 --> 00:05:52,716
两个操作任务

162
00:05:52,833 --> 00:05:54,916
主力战场叫Visual AntMaze

163
00:05:54,916 --> 00:05:56,916
让一只四足机器人穿越迷宫

164
00:05:56,916 --> 00:05:59,166
结果就是开头我们说的那组数字

165
00:05:59,316 --> 00:06:00,833
在50个任务的评估里

166
00:06:00,833 --> 00:06:03,733
三层H-JEPA成功率73.3%

167
00:06:03,833 --> 00:06:06,016
单层的扁平模型只有18.0%

168
00:06:06,283 --> 00:06:08,550
而且以每回合的计算量来衡量

169
00:06:08,550 --> 00:06:10,916
分层模型的规划开销反而更低

170
00:06:10,916 --> 00:06:12,116
比数字更有意思的

171
00:06:12,116 --> 00:06:13,850
是模型内部发生的变化

172
00:06:14,033 --> 00:06:16,716
研究者把各层的内部表征还原成图像

173
00:06:16,716 --> 00:06:19,316
看到了一个很清晰的规律，层级越高

174
00:06:19,316 --> 00:06:21,483
蚂蚁腿部姿态的表征越模糊

175
00:06:21,550 --> 00:06:23,233
到第2层、第3层

176
00:06:23,233 --> 00:06:26,116
快速变化的躯体姿态已经没法恢复了

177
00:06:26,116 --> 00:06:28,233
但蚂蚁在迷宫里的全局坐标

178
00:06:28,233 --> 00:06:29,883
每一层都保持得很清楚

179
00:06:30,166 --> 00:06:32,333
另一个导航环境里还放了一个干扰物

180
00:06:32,333 --> 00:06:33,483
一个蓝色小点

181
00:06:33,483 --> 00:06:35,966
在迷宫里自己动，偶尔还瞬移

182
00:06:36,083 --> 00:06:37,166
随着层级升高

183
00:06:37,166 --> 00:06:39,533
这个干扰物在表征里越来越模糊

184
00:06:39,533 --> 00:06:40,850
最后几乎消失

185
00:06:40,933 --> 00:06:43,850
而模型对机器人本体的感知一直很稳定

186
00:06:44,083 --> 00:06:46,533
也就是说，模型自发学会了取舍

187
00:06:46,533 --> 00:06:48,666
该忽略的忽略，该保留的保留

188
00:06:48,816 --> 00:06:51,366
这个结果不是人为设计的特征选择

189
00:06:51,366 --> 00:06:53,233
而是预测步幅变大之后

190
00:06:53,233 --> 00:06:54,766
自然长出来的结构

191
00:06:54,883 --> 00:06:56,283
论文还做了量化

192
00:06:56,283 --> 00:06:59,916
把数据里变化最快成分和最慢成分的频率比值

193
00:06:59,916 --> 00:07:01,850
叫做实体频率间隙

194
00:07:01,916 --> 00:07:03,566
发现间隙够大的环境

195
00:07:03,566 --> 00:07:05,766
才会出现明显的选择性抽象

196
00:07:05,916 --> 00:07:08,083
对于间隙小于2倍的环境

197
00:07:08,083 --> 00:07:09,433
比如那几个操作任务

198
00:07:09,433 --> 00:07:11,050
高层基本上什么都不丢

199
00:07:11,300 --> 00:07:13,250
那涨的分到底从哪儿来呢？

200
00:07:13,283 --> 00:07:14,683
这篇论文最扎实的部分

201
00:07:14,683 --> 00:07:16,566
就是它把这个问题拆开了

202
00:07:16,683 --> 00:07:18,933
分层规划其实同时干了两件事

203
00:07:19,116 --> 00:07:21,000
把搜索在时间上拆小

204
00:07:21,000 --> 00:07:24,533
以及让候选的未来在一个更抽象的空间里被打分

205
00:07:24,800 --> 00:07:27,133
论文设计了一个很干净的消融实验

206
00:07:27,233 --> 00:07:29,966
保持第1层的世界模型和规划器完全不动

207
00:07:29,966 --> 00:07:31,116
只换一个地方

208
00:07:31,116 --> 00:07:33,883
就是用来计算离目标多远的那个空间

209
00:07:34,116 --> 00:07:36,916
把预测和目标都过一遍上层编码器

210
00:07:36,916 --> 00:07:37,883
再量距离

211
00:07:37,883 --> 00:07:39,366
不做任何分层规划

212
00:07:39,366 --> 00:07:41,050
只换量距离的地方

213
00:07:41,433 --> 00:07:42,566
结果有点意外

214
00:07:42,566 --> 00:07:45,233
光是这一步，就能把迷宫任务的成绩

215
00:07:45,233 --> 00:07:49,366
从18%抬到20.7%到31.3%之间

216
00:07:49,566 --> 00:07:52,283
而且最优的投影规划器在每个深度上

217
00:07:52,283 --> 00:07:54,766
都超过了单独训练的单层基线

218
00:07:55,066 --> 00:07:55,833
换句话说

219
00:07:55,833 --> 00:07:59,250
很多人以为分层规划的好处来自搜索被拆小

220
00:07:59,283 --> 00:08:02,250
其实相当一部分来自目标函数换了个空间

221
00:08:02,483 --> 00:08:05,366
前者是算法工程，后者是表征学习

222
00:08:05,483 --> 00:08:08,400
而后者才是JEPA这条路线真正押注的东西

223
00:08:08,816 --> 00:08:10,983
时间分解的作用也单独验证了

224
00:08:10,983 --> 00:08:14,100
论文测了代价曲线沿着专家轨迹的单调性

225
00:08:14,100 --> 00:08:18,433
追子目标的单调性在四个环境里达到0.89到1.00

226
00:08:18,466 --> 00:08:20,950
而直接拿离最终目标多远当代价

227
00:08:20,950 --> 00:08:23,383
单调性只有0.48到0.75

228
00:08:23,550 --> 00:08:24,616
这个差异意味着

229
00:08:24,616 --> 00:08:26,500
后者的信号本身是抖的

230
00:08:26,500 --> 00:08:28,700
会卡住，而拆成子目标之后

231
00:08:28,700 --> 00:08:31,066
它才变成一条真正往下走的坡

232
00:08:31,450 --> 00:08:33,666
讲到这里都是仿真里的好消息

233
00:08:33,700 --> 00:08:34,533
接下来这部分

234
00:08:34,533 --> 00:08:38,050
是我个人觉得整篇论文里最有意思、也最扎心的部分

235
00:08:38,050 --> 00:08:42,783
团队把模型搬到一个叫DROID的真实机器人数据集上做离线评估

236
00:08:42,933 --> 00:08:46,500
这个数据集是人类遥控真实机械臂拍的操作视频

237
00:08:46,766 --> 00:08:49,016
场景、光照和被操作的物体

238
00:08:49,016 --> 00:08:50,300
每个集合都不一样

239
00:08:50,300 --> 00:08:51,783
于是，麻烦就来了

240
00:08:51,833 --> 00:08:53,133
在单段视频里

241
00:08:53,133 --> 00:08:55,183
房间背景比机械臂稳定得多

242
00:08:55,300 --> 00:08:59,733
如果训练只要求模型预测后续表征、同时要求表征之间保持差异

243
00:08:59,733 --> 00:09:01,450
模型会找到一条省事的路

244
00:09:01,450 --> 00:09:04,616
比如记住厨房、办公室或者某张工作台

245
00:09:04,616 --> 00:09:06,250
就能区分大量的视频

246
00:09:06,583 --> 00:09:08,850
如果同一段视频里背景不怎么变

247
00:09:08,933 --> 00:09:10,983
下一时刻的描述也比较容易猜

248
00:09:11,183 --> 00:09:14,016
至于机械臂怎么动、夹爪怎么接近物体

249
00:09:14,016 --> 00:09:15,500
这些真正要紧的细节

250
00:09:15,500 --> 00:09:16,650
反而被扔掉了

251
00:09:16,933 --> 00:09:19,583
论文管这个现象叫慢特征坍塌

252
00:09:19,583 --> 00:09:20,133
注意

253
00:09:20,133 --> 00:09:23,733
这里的坍塌不是说所有画面被压成同一个数字

254
00:09:23,816 --> 00:09:25,850
模型照样能区分很多场景

255
00:09:25,850 --> 00:09:27,933
只是丢掉了行动需要的信息

256
00:09:28,050 --> 00:09:30,333
相当于模型记住了机器人在哪个房间

257
00:09:30,333 --> 00:09:32,250
却没记住机器人该干什么

258
00:09:32,250 --> 00:09:34,616
论文附录里甚至给了构造性证明

259
00:09:34,733 --> 00:09:37,250
只要正则项只看嵌入的边缘分布

260
00:09:37,250 --> 00:09:39,533
这种偷懒的解就永远可行

261
00:09:39,850 --> 00:09:41,450
数据也印证了这一点

262
00:09:41,533 --> 00:09:44,933
DROID的潜在方差有75%来自不同回合之间

263
00:09:44,933 --> 00:09:46,450
也就是场景差异

264
00:09:46,533 --> 00:09:48,983
而固定相机、固定场景的Cube任务

265
00:09:48,983 --> 00:09:50,566
这个比例只有28%

266
00:09:50,850 --> 00:09:53,450
所以Cube上不会塌，DROID上必塌

267
00:09:53,450 --> 00:09:55,850
解法是加一项逆动力学损失（Inverse-Dynamics Model）

268
00:09:55,850 --> 00:09:57,700
让模型根据前后两个状态

269
00:09:57,700 --> 00:09:59,450
反推中间执行的动作

270
00:09:59,616 --> 00:10:01,383
模型要答对机械臂朝哪儿动了

271
00:10:01,383 --> 00:10:03,583
就必须保留跟动作有关的信息

272
00:10:03,700 --> 00:10:05,133
这一项不需要人工标注

273
00:10:05,133 --> 00:10:07,450
但是要求训练数据带动作信息

274
00:10:07,783 --> 00:10:08,933
加上这个约束之后

275
00:10:08,933 --> 00:10:12,250
单层模型从几乎无效变成了一个像样的基线

276
00:10:12,250 --> 00:10:14,333
第二层再在它之上继续加分

277
00:10:14,566 --> 00:10:16,383
还有个工程细节值得一提

278
00:10:16,500 --> 00:10:18,900
DROID的原始数据大约有5.5TB

279
00:10:18,900 --> 00:10:20,216
反复训练不现实

280
00:10:20,250 --> 00:10:22,416
瓶颈不在GPU，在视频解码

281
00:10:22,533 --> 00:10:24,416
于是团队重建了一份语料

282
00:10:24,416 --> 00:10:28,333
压到127.6GB、74530个回合

283
00:10:28,416 --> 00:10:30,650
体积只有原来的大约45分之一

284
00:10:30,650 --> 00:10:32,250
解码快了17.9倍

285
00:10:32,333 --> 00:10:34,500
然后跟构建脚本一起开源了

286
00:10:34,900 --> 00:10:36,850
当然，这篇论文不是没有短板

287
00:10:36,850 --> 00:10:38,333
有几处我们得说清楚

288
00:10:38,416 --> 00:10:40,700
先说层数，它不是越多越好

289
00:10:40,933 --> 00:10:43,250
Push-T这个推T形块的任务里

290
00:10:43,250 --> 00:10:44,733
两层模型表现不错

291
00:10:44,733 --> 00:10:46,300
加到三层反而退步

292
00:10:46,533 --> 00:10:48,250
原因大概率在数据层面

293
00:10:48,300 --> 00:10:50,450
训练片段必须落在单个回合里

294
00:10:50,450 --> 00:10:51,850
Push-T的回合太短

295
00:10:51,850 --> 00:10:54,616
三层模型每个周期能用到的训练转移量

296
00:10:54,616 --> 00:10:56,783
只有单层模型的58%

297
00:10:56,783 --> 00:10:59,766
其他环境能保留75%到88%

298
00:10:59,933 --> 00:11:01,850
高层的胃口是更长的片段

299
00:11:01,850 --> 00:11:02,583
数据喂不饱

300
00:11:02,583 --> 00:11:03,533
它就学不好

301
00:11:03,583 --> 00:11:05,233
再说一个容易被忽略的点

302
00:11:05,233 --> 00:11:06,100
容易预测

303
00:11:06,116 --> 00:11:07,600
不等于对任务重要

304
00:11:07,600 --> 00:11:09,000
忽略难以预测的细节

305
00:11:09,000 --> 00:11:11,450
有时确实让长期规划更有效

306
00:11:11,600 --> 00:11:13,883
但一次转瞬即逝的抓取接触

307
00:11:13,883 --> 00:11:15,650
可能直接决定任务成败

308
00:11:15,650 --> 00:11:18,050
而静止的背景好预测得毫无难度

309
00:11:18,200 --> 00:11:19,600
这条界限怎么划

310
00:11:19,600 --> 00:11:21,566
H-JEPA并没有彻底解决

311
00:11:21,766 --> 00:11:23,050
真机上的闭环控制

312
00:11:23,050 --> 00:11:25,200
论文也只是放在了下一步计划里

313
00:11:25,483 --> 00:11:27,083
学术圈也有反对的声音

314
00:11:27,083 --> 00:11:29,566
有研究者从因果哲学的角度批评

315
00:11:29,566 --> 00:11:32,250
认为统计预测产生不了因果理解

316
00:11:32,566 --> 00:11:35,966
JEPA学到的抽象状态轨迹虽然能规划出路径

317
00:11:35,966 --> 00:11:37,400
但是它从来没有理解

318
00:11:37,516 --> 00:11:39,883
它拿到的是一套好用的操作性表征

319
00:11:39,883 --> 00:11:41,966
而不是对物理障碍的语义认识

320
00:11:42,083 --> 00:11:44,200
这些批评不是否定工程价值

321
00:11:44,200 --> 00:11:45,483
但提醒了一件事

322
00:11:45,800 --> 00:11:47,400
在潜空间里预测未来

323
00:11:47,400 --> 00:11:49,400
和理解世界为什么这样运转

324
00:11:49,400 --> 00:11:51,000
是两个不同层级的问题

325
00:11:51,483 --> 00:11:53,450
好了，技术部分讲得差不多了

326
00:11:53,450 --> 00:11:54,483
咱们把镜头拉远

327
00:11:54,483 --> 00:11:56,800
看看这场实验背后真正的争论

328
00:11:56,916 --> 00:11:58,650
杨立昆对大语言模型的判断

329
00:11:58,650 --> 00:12:00,316
这几年基本没变过

330
00:12:00,400 --> 00:12:01,200
今年9月

331
00:12:01,250 --> 00:12:04,283
在瑞典马尔默举行的欧洲计算机视觉大会上

332
00:12:04,283 --> 00:12:06,766
他的演讲幻灯片上又出现了那句话

333
00:12:06,916 --> 00:12:08,916
如果你对人类级AI感兴趣

334
00:12:08,916 --> 00:12:10,716
就不要研究LLM

335
00:12:11,050 --> 00:12:12,716
这张幻灯片传到社交平台

336
00:12:12,716 --> 00:12:13,883
有人怀疑是假的

337
00:12:13,883 --> 00:12:15,600
他回复说，包是真的

338
00:12:15,800 --> 00:12:16,766
他随后补充

339
00:12:16,800 --> 00:12:19,366
基于LLM的AI工具非常有用

340
00:12:19,366 --> 00:12:22,283
大家都在用，但是他认为单靠LLM本身

341
00:12:22,283 --> 00:12:23,850
走不到人类级智能

342
00:12:24,116 --> 00:12:25,316
他的逻辑是这样的

343
00:12:25,316 --> 00:12:26,966
大语言模型做的是复现

344
00:12:26,966 --> 00:12:29,716
本质是重现训练数据里的统计规律

345
00:12:29,716 --> 00:12:30,966
核心任务是模仿

346
00:12:30,966 --> 00:12:32,716
而世界模型做的是预测

347
00:12:32,716 --> 00:12:34,283
必须在一个未知的环境里

348
00:12:34,283 --> 00:12:35,966
判断行为的物理后果

349
00:12:36,283 --> 00:12:38,050
语言是人类智能的输出接口

350
00:12:38,050 --> 00:12:39,316
不是智能本身

351
00:12:39,566 --> 00:12:40,516
人理解世界

352
00:12:40,516 --> 00:12:43,483
靠的是多尺度、多时间跨度的内部模型

353
00:12:43,483 --> 00:12:45,966
不是一边走路一边做下一个词的预测

354
00:12:46,200 --> 00:12:47,566
这个分歧往深了看

355
00:12:47,566 --> 00:12:49,283
是两种世界观的碰撞

356
00:12:49,516 --> 00:12:51,250
LLM的底层假设是

357
00:12:51,250 --> 00:12:53,316
世界的知识可以全部序列化

358
00:12:53,316 --> 00:12:54,716
压缩进token序列

359
00:12:54,766 --> 00:12:55,966
而JEPA的假设是

360
00:12:55,966 --> 00:12:58,716
物理世界包含大量没法序列化的结构

361
00:12:58,800 --> 00:13:00,516
空间关系、因果动力学

362
00:13:00,516 --> 00:13:02,683
以及连续时间里的多尺度依赖

363
00:13:02,716 --> 00:13:05,366
这些东西必须在潜空间里直接建模

364
00:13:05,516 --> 00:13:06,883
到底什么才算理解

365
00:13:06,883 --> 00:13:08,516
双方给的是不同的答案

366
00:13:09,050 --> 00:13:11,000
而且这不是杨立昆一个人的执念

367
00:13:11,000 --> 00:13:13,766
2025年AAAI的一次调查显示

368
00:13:13,883 --> 00:13:15,716
76%的AI研究者认为

369
00:13:15,716 --> 00:13:17,766
仅靠扩大LLM的规模

370
00:13:17,766 --> 00:13:19,650
不太可能实现通用人工智能

371
00:13:19,716 --> 00:13:22,200
这个数字不是在否定LLM的价值

372
00:13:22,283 --> 00:13:24,716
而是对规模万能论的一次修正

373
00:13:24,966 --> 00:13:26,000
再看整个赛道

374
00:13:26,000 --> 00:13:27,933
2026年这一波世界模型的热度

375
00:13:27,933 --> 00:13:30,050
已经分出了三条不同的技术路径

376
00:13:30,250 --> 00:13:32,533
H-JEPA代表抽象预测路线

377
00:13:32,533 --> 00:13:34,133
不追求像素级还原

378
00:13:34,200 --> 00:13:37,166
在紧凑的潜空间里学世界的因果结构

379
00:13:37,250 --> 00:13:38,683
好处是计算效率高

380
00:13:38,683 --> 00:13:40,366
天然适合规划和控制

381
00:13:40,533 --> 00:13:43,966
李飞飞World Labs的Marble走结构化3D重建

382
00:13:44,000 --> 00:13:46,450
做几何准确和可编辑的三维空间

383
00:13:46,450 --> 00:13:49,600
但本质上偏静态，缺内嵌的物理模拟

384
00:13:49,800 --> 00:13:52,733
谷歌DeepMind的Genie 3在像素空间做预测

385
00:13:52,733 --> 00:13:55,933
能以每秒24帧实时生成交互式3D环境

386
00:13:55,933 --> 00:13:57,050
可视化程度高

387
00:13:57,133 --> 00:13:59,333
Waymo已经拿它做自动驾驶仿真

388
00:13:59,400 --> 00:14:00,883
但是计算开销大

389
00:14:00,883 --> 00:14:03,000
场景一致性只能维持几分钟

390
00:14:03,116 --> 00:14:04,916
三条路的分工也比较清楚

391
00:14:05,000 --> 00:14:06,916
Marble回答世界长什么样

392
00:14:06,966 --> 00:14:08,883
Genie 3演示世界怎么变

393
00:14:08,916 --> 00:14:11,116
JEPA琢磨世界的结构是什么

394
00:14:11,116 --> 00:14:12,450
它们不是谁替代谁

395
00:14:12,450 --> 00:14:14,716
而是从不同侧面逼近同一个目标

396
00:14:14,916 --> 00:14:16,050
杨立昆的赌注是

397
00:14:16,050 --> 00:14:19,200
要让智能体真正理解物理世界、做长程规划

398
00:14:19,283 --> 00:14:21,050
结构比像素更根本

399
00:14:21,316 --> 00:14:22,683
73%对18%

400
00:14:22,883 --> 00:14:25,650
就是这个赌注拿到的第一个可量化证据

401
00:14:25,650 --> 00:14:27,083
最后说说公司本身

402
00:14:27,200 --> 00:14:29,483
杨立昆是2025年11月离开Meta的

403
00:14:29,516 --> 00:14:32,850
AMI在2026年3月完成10.3亿美元融资

404
00:14:32,883 --> 00:14:34,800
投前估值35亿美元

405
00:14:34,850 --> 00:14:37,566
据报道是欧洲历史上规模最大的种子轮

406
00:14:37,566 --> 00:14:41,850
投资方里能看到英伟达、三星、淡马锡和Toyota Ventures

407
00:14:42,000 --> 00:14:43,883
公司由杨立昆出任董事长

408
00:14:43,883 --> 00:14:45,716
亚历山大·勒布伦（Alexandre LeBrun）担任CEO

409
00:14:45,716 --> 00:14:47,450
谢赛宁任首席科学家

410
00:14:47,450 --> 00:14:49,283
冯雁（Pascale Fung）负责研究与创新

411
00:14:49,283 --> 00:14:51,283
迈克尔·拉巴特（Michael Rabbat）负责世界模型

412
00:14:51,366 --> 00:14:53,800
他也是这次H-JEPA论文的作者之一

413
00:14:53,966 --> 00:14:56,283
客观来说，研究成果归研究成果

414
00:14:56,316 --> 00:14:58,716
外界对AMI的另一个期待是产品

415
00:14:58,850 --> 00:15:00,516
至少目前从官网看

416
00:15:00,516 --> 00:15:03,450
展示的还是技术方向、团队和招聘信息

417
00:15:03,450 --> 00:15:05,316
没有面向公众的产品入口

418
00:15:05,483 --> 00:15:06,850
不过动作已经有了

419
00:15:06,850 --> 00:15:10,483
医疗AI公司Nabla宣布和AMI建立独家战略合作

420
00:15:10,483 --> 00:15:12,766
拿到世界模型技术的优先访问权

421
00:15:12,766 --> 00:15:16,316
探索能理解工作流程、预判后果的医疗智能体

422
00:15:16,600 --> 00:15:19,316
结合论文把下一步放在真机闭环验证上

423
00:15:19,316 --> 00:15:21,850
这家公司瞄准的方向其实能看出个大概

424
00:15:21,850 --> 00:15:23,200
回头再看这篇论文

425
00:15:23,200 --> 00:15:25,600
一个端到端训练的分层世界模型

426
00:15:25,600 --> 00:15:27,116
每层有自己的表征

427
00:15:27,200 --> 00:15:28,450
规划自上而下

428
00:15:28,516 --> 00:15:30,850
迷宫成绩从18%提到73%，

429
00:15:31,000 --> 00:15:32,600
计算量反而更少了

430
00:15:32,883 --> 00:15:35,883
涨点被拆成了两个可以分开测量的来源

431
00:15:36,050 --> 00:15:37,850
在场景多变的真实数据上

432
00:15:37,850 --> 00:15:40,650
团队诚实地展示了自己方法会踩的坑

433
00:15:40,650 --> 00:15:42,450
并且给出了一个修补方案

434
00:15:42,600 --> 00:15:44,050
短板也摆在明面上

435
00:15:44,050 --> 00:15:47,483
包括层数怎么定、数据怎么喂、真机闭环表现如何

436
00:15:47,483 --> 00:15:49,400
这些都还是未完成的问题

437
00:15:49,766 --> 00:15:50,566
一眼望过去

438
00:15:50,566 --> 00:15:52,166
这篇论文里没有一句口号

439
00:15:52,166 --> 00:15:56,450
全是消融表、代价曲线和一张重新编码过的数据集清单

440
00:15:56,766 --> 00:15:58,316
杨立昆说过很多次

441
00:15:58,316 --> 00:16:01,050
理解世界、预测行动后果、做规划

442
00:16:01,050 --> 00:16:03,316
是通往更高智能必须的能力

443
00:16:03,483 --> 00:16:07,200
把口号落成别人可以下载、可以复现、可以接着改的实验

444
00:16:07,200 --> 00:16:09,116
可能比口号本身更有说服力

445
00:16:09,116 --> 00:16:12,400
究竟这条路线能不能在几年内撼动大模型的主导地位

446
00:16:12,400 --> 00:16:13,516
现在谁也说不准

447
00:16:13,516 --> 00:16:15,650
但是答案不取决于任何人的预判

448
00:16:15,716 --> 00:16:17,650
取决于接下来有多少研究者

449
00:16:17,650 --> 00:16:19,083
会去加载这套权重

450
00:16:19,083 --> 00:16:21,483
跑一遍实验，然后决定自己的下一步

451
00:16:21,716 --> 00:16:24,483
那大家觉得世界模型和大语言模型这两条路

452
00:16:24,483 --> 00:16:25,883
最终会殊途同归

453
00:16:25,883 --> 00:16:27,316
还是越走越远呢？

454
00:16:27,366 --> 00:16:28,800
欢迎在评论区留言讨论

455
00:16:28,800 --> 00:16:30,516
感谢收看，我们下期再见