第二期在这里：kzread.info/dash/bejne/lmWYqc-qn9nfkbg.html 关注我，带你看更多内容

非常有深度的内容。分治法是逻辑推理(离散数学)。端到端是解析和统计(连续)。线性规划用分治法是NP问题，而用解析法就是P问题。今天的AI是建立在数字信号(离散)处理之上的，而人脑是建立在模拟信号(连续)上的。等到AI有效建立起数字信号和模拟信号的桥梁，才会看到AI大爆发的那一天。

从分治法到端到端。从training/inference分开，到training/inference同步进行。居于上述两点，再谈到计算机架构的未来演变。我看到很多新颖同时非常合理的愿景。真的是让我醍醐灌顶的一集！

@b.a7859

21 күн бұрын

大厂很多模型都是可以做到所谓online training, training/inference几乎是同时的，做了很多年了。

@naichenliu5645

20 күн бұрын

@@b.a7859能展开讲一讲吗

@user-ob5hz5ix7b

20 күн бұрын

實作上應該自然從分治法下 的端到端 而端對端內包含記憶單元實作

@buhe1986

20 күн бұрын

@@b.a7859 那个不一样

@mvft168

19 күн бұрын

你可以把它当作一种看法，但这种taxonomy不是AI研究范式的主流，这样的理解相当于把我们想要AI解决的问题的维度oversimplify了。简单来说只要是问题就有divide & conquer，跟端到端不是一个取舍的关系，CoT就可以理解为大语言模型的divide & conquer。

长见识！这是近两年看到/听到的最精彩的AI讨论。

徹底把書念懂的人 真的很佩服

@JKD357

15 күн бұрын

分治法觀念都講錯，叫做讀書都讀透？

大开眼界！不光对计算机硬件和AI算法从过去到未来的发展有非常深刻的理解，还能以普通人能听懂的方式娓娓道来，对这位CEO肃然起敬了

@user-ce4lh8nk9o

20 күн бұрын

虽然听不懂，但是好博学的样子

@ChaoS-pn3ic

16 күн бұрын

因为这些都是比较简单的，高端的他也不会。research前沿不follow new results 半年就跟不上了

有料的影片總是不知不覺就看完了

我也完全认可，数据一直在那里，很多算法其实也一直存在，只有硬件的发展才能将你的想法变为现实

第一次观看你的视频就收获了满满的惊喜！很喜欢这期视频中理性又有趣的交流氛围！感谢！期待更新！

这期节目真的太棒了 受益颇丰 从分治法到端对端的解决问题的转变 以及未来AI发展的方向和仿生，和我对AI的思考不谋而合，并且大佬还提供了可能的发展思路！学习了很多新的想法！期待下期

The best talk about AI I heard this year. Very insightful!

太棒了！ 期待下一期！

与很多“对未来ai发展的期待”之类访谈相比，这位真的是大师，把从硬件到算法到解决问题的底层逻辑融会贯通。和这种牛人交换观点总能让人耳目一新

对大多数博士最有价值的是两三年的高强度独立研究训练，那种学习思考和解决问题的能力，博士最好用最短时间做完，四年比较理想，超过五年就不值了

我觉得我总体上面还是能听懂他说讲的概念的，我个人只对硬件层有研究，我觉得他硬件层很多讲的都是其实是有问题的如果严谨的看，虽然从某种角度上讲这可能并不影响他的结论。但是知识跨度广专业性深这类的科普确实难做，感谢老石这期视频。

这一期讲的非常好，冯若依曼到端到端，再到存算训一体的概念，浅而易显的讲出来发展的趋势。也为做大模型应用和创新提供的了思路。

很棒的内容！阳博士思路与表达非常清晰，将智能计算趋势用浅显易懂的方式让非专业的我们理解。我非常期待下期的访谈。

精彩!!!由淺入深,期待下一期

謝謝分享！好影片真的不知不覺就看完了

视频做的真好，感谢！

真的是很有洞见，很有启发，感谢分享

精彩！图片做的也很用心！

非常啟發，感謝！

這集訪談的品質真的很高, 大推!!

非常精彩的讨论，很有启发！

it's really opened my mind in the way of thinking in AI

Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!

厉害！非常精彩，谢谢分享！

嶄新的想法 根據歷史推演有脈絡的推測 有價值的訪談

真的是很第一性原理的思考，感謝分享~

耳目一新的一期节目，非常感谢

哇！長知識了！真是精彩

超级有启发性！！感谢！

@laoshi_tec

7 күн бұрын

感谢支持！

這種影片是很棒的學習模式，製作很精良

不错，这个讨论很有意思

有意思，谢谢分享

非常棒！大佬能开一期讲存内计算的不？

感謝分享！

非常高屋建瓴的看法，感觉会是很有趣的路径

清晰、精炼！深刻！

內容很精彩概念很明確 功耗改善，還看時間上工藝發展

谢谢，非常有启发性！另外可以帮我问问MAMBA是他理想中的存算一体的机器学习架构吗❤

博主老石老师专业背景主持了生动的一课，每位研究AI的年轻人都应该好好研读每一句对话。对那些埋头只专研一方面的研究员犹如暮鼓晨钟，要看清前进的方向。❤❤❤

感谢分享

非常有深度的talk。最近也在接触neuromorphic computing。感觉上还是一个很有前景的领域不过目前生态还没有。不知道在crazy on GPU的时代这一脉怎么生存下去

感觉存算一体就是将大模式的特定的参数集（数据）和通用的transformer计算方法（程序），直接转化为可微调烧写的专用硬件？这样就不存在程序结合参数和系数进行组合计算了，而是直接运算出来。

相當精彩

感谢分享，这真的是未来，如果 5 年后 10 年后再看这个视频，不知道会是怎么样的想法。

两个人都很专业

精彩！

看完这期视频 推荐可以再听下 Geoffrey Hinton - Two Paths to Intelligence 的这个演讲，提供了对计算，编程和计算设备一种新的认识，和这个视频还挺相关的。

求下集!

虽然听不懂，但是感觉你们俩都是人才。

两位聪明家伙的对话，赞一个！！！

很棒的對談，關於分治法跟端到端我還滿有體驗的，分治法最大的問題在於試圖幫一個相對未知的領域定義個規則，所以透過這個規則就可以為之使用。簡單來說，我定義一個數學方程式，然後期待輸入的數據後都能符合期待的答案。當然，如果有個已知的曲線，那透過趨近法總能得到接近的方程式，但是這個方法的關鍵是已知曲線，如果曲線很複雜，如語言模型，或是僅獲取部分曲線的數據，那分治法就很難適用。比較以前的谷歌翻譯跟ChatGPT翻譯就可以很明顯看出區別。

目前基於阻憶器存算一體無法在數據中心實現 工作溫度下可靠度/穩定性 類比訊號線性天性 都是技術應用的限制。 而目前廣泛應用實現張量計算 systolic array (tensor core) 是廣義的存算一體 不屬於馮紐曼架構 在輝達Volta 架構及之後開始採用

@halos4179

19 күн бұрын

非常同意，Computing In Memory and Near Memory Computing 的想法也不是第一天有了，没有大规模应用是有原因的。Tensor core 不止有Systolic Array 一种形式。

其實即使transformer 依舊是divide ＆conquer 後的產物，也只解決部分問題，所以後續一定會有新的做法，只是我們一般人不是大佬級別，只是follower, 或看戲的...

@XD-nl1wl

10 күн бұрын

他們都是divide& conquer 但一個是concurrent一個是parallel 所以真正的區別是算法本身能不能parallel

思路特别清晰 厉害了

这期视频访谈的人员很有Insights.

我觉得算法层面的发展也同样重要。我们人脑中是不会做gradient decent或者backpropagation的，所以把人脑中真实进行中的运算数学化并模拟出来非常有意义。

这让我想到了不久前看到的一篇报道，国内一研究团队研发/改善了一种计算结构。该结构没有cache，没有计算单元，只有memory。所有计算都在memory里完成。好处就是，它不用频繁调动数据。节能，高效

口齒清晰 講解 易懂

像在看一部推理严密的科幻小说，非常精彩！

确实很有启发。

高性能计算很多时候瓶颈就在于数据传输上，大量算力花费在矩阵运算上面。现在有个方向是用模拟电路去做矩阵算法，据说会大规模降低功耗

Mr 老石先生请问可否介绍 which stock s is good buy thank you Gerald from Honolulu Hawaii please advise how can ' I sponsor you? Can I pay to U Tube? Thank e

从分治法和端到端的角度看架构问题，强

後面講的東西真的很厲害 最後 AI 的進展還是出現在演算法的創新跟優化 軟體工程師又要頭痛了 XDXDXD

非常深刻的见解。但其中一点可能有些许可讨论的点。人脑的推理和自我更新功耗可能的确是不高很经济的，但是学习（训练成本并不是很低）。到达当前成年人的知识水平，这是一个historic的视角，从小孩到成人，假设取消中间吃饭，等等时间环节（但这些环节也同样参与着学习与参数迭代），可能所需要的时间也是不短的。

@user-yi6sb8qo1j

21 күн бұрын

生物腦似乎較擅長用經驗、數據的形式。用分析式性（歸納法、極端原理、分治法很多很多。。。）等常用的數學、物理等解題套路較適合一個有清晰無含糊性的系統. 如果宇宙有定律的話，自然界生物腦跟人造的定性式的計算機的優劣在現今仍是黑暗時代在探索中、本質是什麼的平衡. 三角定律

@Logical-First

20 күн бұрын

如果你把计算机 从芯片到板卡等等所有时间都算进去，还要能走路 视觉等等，估计时间也不短。

@liuyun257

8 күн бұрын

因为人脑获取知识太难了

动态学习可以用已知概率和正在发生的事件来预估未来概率分布， 再用新概率算预测某事件。再对比预测结果和实际结果，回头评价和修正原预测过程的bug。 再循环。 瞎想的，不知道理解是否正确

這個CEO好猛，真的很有料

学习了，我认为降低未来模型的计算功耗是真的很大的挑战，而这个才是计算的终极天花板。现在的硅基架构哪怕是完全不要数据搬运，功耗也没法和碳基生物相比。

非常精彩。比看Sam Altman， Jensen Huang 等所谓顶级大咖的访谈更受启发。

深刻！

难得的有思想的一期节目 而不是照本宣科的堆砌高端。当然开阔眼界追逐state of the art也是需要不求甚解的传递高端

22:55 同一個單元又存又算讓我想到了SONY家搞的全域快門的那種CMOS "Exmor RS", 它就是在每一個感光單元都搞了一個DRAM, 光子進來, 感光, 計算, 輸出, 一瞬間就完成了, 所以才做出'全域快門'這種東西

讲得太好了

可以讲下systolic array这种架构距离存算一体的差距吗

LINUX的模式其实可以参考一下 。他们的做法是提升优先级。程序级优先。然后部分做到内核级支持（内核级优先）然后提升到芯片内部（芯片）。。估计以后会出现不同出来级别的芯片（优先级）视觉的。 运动的（平衡或者感知）。语言（语言模型）。图像识别与判断（逻辑思维）

我在2010年左右时，就知道IBM和HP在实验室都已经研究存算一体技术十多年了，每年都在更新延续研发项目计划，拿到几百万到几亿的研发投资，按照当时的预估，这项技术大概在2018到2020年左右就可以实际量产了，可是到现在也没有什么突破，不知道遇到了那些瓶颈。

@user-ej5wz5tr6h

20 күн бұрын

瓶颈？ 因为他们是使用字母表音文字的低阶文明。 他们根本无法理解 一幅“飞流直下三千尺，疑是银河落九天”的字画。 就像二维文明无法理解三维文明一样

@user-ej5wz5tr6h

20 күн бұрын

所以，信息传递的效率不一样 他们bb大半天，我一个汉字就给他表述明白

@theo1103

18 күн бұрын

確實是, 這等於是從硬件到算法的全部推倒從新發展, 太遙遠了

@colal5571

18 күн бұрын

存算一体，学术界重点是 新材料新器件，这还是很难突破的。 传统冯诺依曼架构里 靠近计算的sram(常见的cache)很难做大(一般就是kb 大的就mb)，而现在llm 需要的内存量 是 GB级 TB级。 现在ai芯片内存设计的方式是 很多个core，每个core是 计算单元+sram(kb mb级别)+简单的控制单元），然后 几百个core在连接 GB级别的HBM，就是相当于 core内sram和 core外的hbm构成 二级 or三级缓存结构。 本质上是 缺乏新的适用于存内计算的存储器件，所以 内存只能用sram+hbm，同时 加大带宽吞吐量。

@smithwell-un7em

17 күн бұрын

你个栽麦子，还知道这些？这与我种田有什么关系吗？

分治法是人类大脑总结的部分数据的系数表达，人类设计小函数的过程就是确定函数系数和次方的过程，次方也是缩减系数的过程。深度学习是用多维一次函数和多个隐层来表达高次函数和多个分治集合的过程。未来的深度学习不仅是通过net来训练model系数，还会自己调整net，不再需要人类设计net。

mutli-level cache與一致性就是為了解決存儲與運算分離的問題. 也發展的很成熟了. CIM要想取代這套再來個幾十年吧

现在最流行的基本都是不可解释的。人类解释不了中间层的输出，但是从逻辑上讲，如果知道决策的对错，你总能让机器往正确决策的方向进化一点点，所以中间层的输出不一定是可解释的，但这不影响从整体上是可解释的。

高人 很精彩的访问 存算训一体也是很合理的推测 但现阶段 似乎需要无数的科技技术创新 还是有点科幻小说的味道

以逐步归纳相似因素，达到减少因子进入矩阵模型的反复计算。

太讚了

安克创新股价就反应出来了。厉害👍🏻

存算一体的概念也有段时间了。。。。目前一个是制造问题（目前存储器的制造和逻辑电路不一样）， 一个还是算法（生态）问题吧。。。。 请问up, 有没有用FPGA能模拟的demo？

这是真正融会贯通的计算机科学家

12:20 GPU是transformer的必要但不充分条件

很棒的视频！学到很多

很震撼，观注了

AI 方法分析很好，我覺得，以分治法而言，AI 回答顧客提問前可以先將顧客提問分成數個問題，讓顧客選擇要回答哪個問題，也可以全選。其實人類提問有時問的不清楚，要把自己問題釐清。有時人類只是想聊一聊天，AI太認真工作啦。不過別像某公司客服AI, 聽不懂人話,轉來轉去讓人等…等…等…

對於計算架構的想法很厲害，但感覺分治法和端到端兩種思路並不是互斥的。就如同黑格爾證辯法中的正反合，端到端的算法可以作為分治法當中的一個元件，而當分治法的架構過為笨重時，又會發展出新的端到端算法。這點在 CS 各個領域中都不斷被體現

@william66CH

12 күн бұрын

同意

@william66CH

12 күн бұрын

纯粹的端到端可能不能支持很多中间的子任务，而分而治之的思路不仅可以解决A→B→C的问题，也可以支持A→B, A→D, A→E etc..

老石的采访越来越专业了，很多时候嘉宾讲的内容听不懂，老石多问一句让嘉宾稍做解释就变的很容易懂了。

有道理

VonNeumann架構指的是運算單元有限的CPU架構，當然不適合需要巨量平行運行單元的架構的Transform,但任何一個程式仍然需要CPU才有辦法運行起來，這就是為什麼雖然VonNeumann架構並非針對Transform做優化，目前仍然繼續被使用，但來賓後半段的論述其實是在打臉老石前面提到『GB200針對Transform做優化』

这期被访的人脑子真清楚！holistic view 怒赞

4:17 兩種解決問題的思路： 分治法數理邏輯 vs 端到端的中間不可解釋的 (筆記一下）

存算一體概念，讓我腦洞大開，也讓我想到一條可能的出路。