從復旦啟航，邁向國際舞臺，又帶著熱忱重返母校

復旦大學可信具身智能研究院

研究員吳祖煊

始終活躍在人工智能與具身智能研究的前沿陣地

他致力于為機器人的“形體”注入智慧內核

教會機器“觀察”世界、掌握“動手”能力

秉持因材施教理念，悉心培育學科交叉人才

以實際行動詮釋卓越且有趣的師者形象

“具身智能目前仍處于發(fā)展初期”

這位90后海歸青年正憑借滿腔熱情與創(chuàng)新精神

不斷探索未來機器人的無限可能



在“玩玩具”的過程中

為機器人打造超級“大腦”

灣谷科技園里，吳祖煊的實驗室宛如一個充滿活力的微型樂園。

實驗臺上擺滿了色彩繽紛的水果模型與拼裝玩具，團隊近期的日常工作，就像“帶小孩”一樣，教導機器人學會“玩轉”這些玩具。





灣谷科技園內吳祖煊團隊實驗室

作為計算機視覺與多模態(tài)人工智能領域的青年科研工作者，吳祖煊的科研目標宏大且務實：一方面推動計算機理解與生成視頻的技術革新；另一方面，借助這些生成的視頻訓練機器人，賦予其“讀懂世界”的智慧，從而真正打通虛擬世界與物理世界的連接橋梁。

“如今能跑步、跳舞的機器人確實炫酷，但它們大多只具備控制身體的‘小腦’，遠未擁有完成復雜任務的‘大腦’?！眳亲骒又赋霎斍熬呱碇悄艿钠款i，“若讓機器人下樓買一杯咖啡，它需要規(guī)劃路徑、學會按電梯，甚至與人交流。對它們而言，完成這一系列步驟仍極具挑戰(zhàn)。”



如何為機器人鍛造超級“大腦”，是當前具身智能機器人領域面臨的核心挑戰(zhàn)。解決這一難題，往往需要海量數(shù)據(jù)作為支撐。

數(shù)據(jù)收集并非易事?！艾F(xiàn)在具身智能領域最大的難題就是數(shù)據(jù)收集。一百條數(shù)據(jù)大概只能支持機器人完成一個任務?！眳亲骒咏忉尩溃瑐鹘y(tǒng)方法需要工程師手把手教學，比如演示拿水杯、擦盤子，不僅動作數(shù)據(jù)收集成本高，面對不同場景和動作，人工收集更是耗時耗力。

面對這一困境，吳祖煊團隊另辟蹊徑：若視頻生成模型足夠強大，就能生成海量操作視頻作為訓練數(shù)據(jù)，替代繁瑣的人工收集?；诖?，他們自主研發(fā)了高效可控的視頻生成與編輯模型，為機器人進化提供源源不斷的數(shù)據(jù)支持。

基于人類演示視頻（左）和生成模型合成機械臂視頻（右），最終部署在真機上（中）

吳祖煊團隊近期構建了一個提升視頻生成效率的模型，取名“Reducio”，源自《哈利波特》中的“縮小咒”，精準體現(xiàn)了模型對極致壓縮的追求。與Sora等追求宏大效果的模型不同，Reducio的特點就是“快”。通過創(chuàng)新編碼方法，它能將原始視頻壓縮4000多倍，實現(xiàn)超高壓縮效果。團隊論文發(fā)表時，Reducio在單張A100 GPU上用16秒生成1K分辨率視頻，創(chuàng)下當時全球最快紀錄。

有了海量仿真數(shù)據(jù)，如何讓其作用于物理世界？靈感來自吳祖煊兩歲的孩子。陪伴孩子玩拼裝玩具時，他發(fā)現(xiàn)孩子能輕松拼好的檸檬積木，對機器人卻極具挑戰(zhàn)。即便最簡單的“對準、拼合”動作，也涉及精細觸覺、力度和空間判斷，這正是當前機器智能的盲區(qū)。

看似“玩?！钡挠柧?，實則是鍛煉機器人的“大腦”，關乎它們能否在工廠進行精密裝配、融入人類生活。吳祖煊憧憬：“大腦”發(fā)達的機器人有望顛覆未來工業(yè)場景。

“中國產業(yè)鏈和應用場景豐富，意味著我們在數(shù)據(jù)資源上有獨特優(yōu)勢?！眳亲骒咏榻B，團隊已與行業(yè)頭部企業(yè)合作采集真實產線數(shù)據(jù)。他預言，未來3-5年，機器人有望在精密裝配領域大顯身手，成為人類得力助手。

從產業(yè)界轉向學術界

只因熱愛自由研究

Chatgpt、豆包、Sora……近幾年人工智能是科技領域的熱門關鍵詞，社交媒體上AI生成的視頻隨處可見。

“今天人工智能行業(yè)的發(fā)展，是所有從業(yè)者都沒想到的?！睆膶W生到科研工作者，吳祖煊十余年扎根計算機領域，專注計算機視覺和深度學習研究。團隊在AI領域取得多項突破性成果，開源數(shù)據(jù)集、模型已應用于華為、字節(jié)跳動等企業(yè)產品。

選擇計算機專業(yè)、深耕人工智能，看似是理工科“學霸”的標準路徑，但驅動吳祖煊的并非追熱點，而是自幼萌發(fā)的純粹興趣。

“我小學三年級就接觸編程了?！彼貞浀溃W電腦課上，跟隨指令畫圖的“小烏龜”啟蒙了他的代碼世界。初中時，他已自學制作網(wǎng)頁、搗鼓Flash動畫，電腦對他而言是創(chuàng)造無限可能的奇妙工具。

2009年，他考入華東師范大學；2013年進入復旦大學讀研，恰逢深度學習浪潮興起，成為最早將深度學習應用于視頻分析的研究者之一。

2018年參加國際計算機視覺與模式識別大會（CVPR）并講解論文

此后，他遠赴美國馬里蘭大學攻讀計算機科學博士，專注動態(tài)神經網(wǎng)絡加速研究，通俗來說就是讓計算機“幾分鐘看完一部電影”——通過幾幀畫面快速掌握長視頻內容。

他曾在IBM、Salesforce和Facebook等頂尖科技企業(yè)實習和工作。但產業(yè)界的環(huán)境和節(jié)奏讓他感到研究受限：經濟好時公司愿投資研究、鼓勵自由探索；形勢變化時，研究投資就會收縮。他渴望始終追隨興趣，在計算機前沿研究的無人區(qū)自由探索。

于是，吳祖煊做出一個“任性”決定：回國找教職，且只向復旦大學投了一份簡歷?！皼]想過去其他院校嗎？”“沒有，只考慮復旦。”問及原因，他笑著說：“可能純粹是一種感性?！?br>
這份“感性”或許源于母校的歸屬感。2021年，他如愿回到復旦，找到了科研的快樂：既能自由探索前沿，又能通過教導學生播撒創(chuàng)新種子。



今年3月，復旦成立可信具身智能研究院，專注具身智能前沿研究與應用落地，吳祖煊是核心成員之一。“復旦為青年老師提供很多支持，包括各類基金項目、卓越人才計劃等。在這里，我們能專心做科研?！彼f。

精益求精做科研

開拓具身智能的未來

吳祖煊的個人主頁上寫著：“我正在尋找具備強大編程能力、熱衷于設計視覺理解算法的學生”，邀請優(yōu)秀學生加入課題組。為培養(yǎng)“后浪”，他不遺余力提供更好平臺。

“精益求精”是吳祖煊踐行的科研理念。他對論文要求高，絕不淺嘗輒止。學生交來的課題若有深入空間，他會鼓勵繼續(xù)“挖掘”，提升論文質量。



2024年帶領學生參加國際計算機視覺與模式識別大會（CVPR）

在這一理念影響下，團隊研究成果豐碩。今年10月，計算機視覺頂尖會議ICCV在美國夏威夷舉辦，吳祖煊團隊多篇文章經嚴格評審被錄用。

如今，吳祖煊帶多名博士生在具身智能前沿研究。幾年來，每周至少一次、每次半小時以上的一對一組會是課題組傳統(tǒng)。他喜歡與學生深入討論，而非頻繁開大型組會。在他看來，面對面交流才能真正了解學生的研究思路和瓶頸，從而量身定制培養(yǎng)方案。

對基礎扎實的學生，他鼓勵自由探索；對進度慢的學生，他主動協(xié)助規(guī)劃路徑。他的辦公室隨時向學生敞開，學生有問題可隨時交流。



“吳老師對我的幫助很大?！奔磳厴I(yè)的博士生陳昊然分享，剛讀博時他在就業(yè)和學術間搖擺，“我找吳老師聊了很多次，他引導我嘗試適合自己的科研道路，告訴我如何成為好科學家。在他影響下，我確定要做科研。”

“具身智能現(xiàn)在還處于早期階段?！眳亲骒悠诖龍F隊未來能生成更優(yōu)質數(shù)據(jù)，更精準控制機器人并預測動作，讓一個模型在不同場景支撐不同機器人完成精細化動作。

隨著機器人智能化水平提高，吳祖煊有更宏大的想象：“下一代人工智能或許能像孩子一樣，與環(huán)境交互學習，實現(xiàn)自主學習?！倍衽惆楹⒆映砷L的家長，在為機器人“注入智慧”的路上，以赤子之心堅定求索。

組 稿

校融媒體中心

文 字

殷夢昊 鄧晗

圖 片

李婉菲

編 輯

鄭藝

責 編

殷夢昊

推薦閱讀



放棄百萬年薪，他想在復旦做一件更難的事



不止于頂刊，31歲復旦副教授的“破格”人生



天上多了顆以復旦人命名的小行星！

▼更多復旦新聞，敬請留意復旦大學官方網(wǎng)站。

原標題：《90后復旦博導，在玩具堆里搞科研》

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com