鄧永華聽完微微點頭:“一些行業里確實會存在這種問題,我是搞網安方向的,
一般這種情況我們關注的都是如何保護已上傳的數據或者是在數據傳輸過程中進行更加復雜的加密算法,
但是數據在傳輸過程中,無論加密多強,理論上都存在被截獲和破解的風險,而且數據包越多,傳輸時間越長,風險暴露窗口越大,
現在大模型的數據量都是巨大的,風險也會更大,所以一些保密性強的數據,現在還是會采用光盤,硬盤這種物理的方式。
不過你這種方法也算是一種新的思路,繼續吧。”
“老師說的沒錯,AI模型的邊緣部署如果能夠實現,可以很大程度上規避這類數據安全的問題,讓數據可以直接在本地進行使用,不用轉移。”
周昀將PPT翻到下一頁:“其實現在已經有了不少相關的研究,但是想要真正實現讓大模型在手機這種終端運行還有很長一段路要走。”
哪怕是明年年初deepseek公開論文中的蒸餾方法,也達不到周昀想要的結果。
其實憑借他現在變態的記憶力完全可以復現出大量還未出現的頂刊論文,包括很多開源的代碼。
但是他不會這么做,計算機能夠如此快速的發展,離不開兩個字——“開源”!
如果他真的做了“文抄公”,就相當于是剽竊了別人的研究成果,哪怕是前世的周昀都沒有干過這種事情,更別說現在了。
而且,憑他現在的智商,想發幾篇頂刊,很難嗎?
收回有些發散的思維,周昀繼續道:“現有的邊緣 AI部署我總結為以下三類:
1.模型壓縮,這是最直接也最常用的方法之一,可以理解為將一塊充滿水分的海綿強行擠壓變小,主要的方法一般有量化、剪枝、知識蒸餾,不過這種方法也有一個缺陷,那就是模型的性能會變差。
2.邊緣資源管理與調度,簡單來說就是智能地分配和優化邊緣計算設備,如服務器、傳感器、網關的算力,以高效、低延遲地執行 AI任務,但是這種方法會帶來數據安全和**問題。
3.適應性 AI系統,這是我自己定義一種方法,即設計一種框架,讓大模型能夠自行優化,縮小,達到能夠部署在邊緣設備的方法,通俗來講就是用AI調教AI。
這也是我提出的AgileEdge的主要思想。
當然,我所說的方法都是軟件層面的,不管怎么設計,其終究都是受限于物理設備,
但是在我看來,如今的算法還遠遠沒有觸及到現有物理設備的上限。”
聽到這里,一同參加面試的四位學生已經有點麻了。
滿臉的問號已經不足以形容他們的懵逼。
他們腦子里不由得同時發出靈魂三問:“我是誰?我在哪?我要干什么?”
這還是雙非嗎?
不光是他們,其實就連邱彥和沈瑞都有些唏噓,雖然暫時周昀還沒有講到具體的算法,
但是光憑前面這些,就能看出來他在AI方面的功底不差,論文估計也沒少看,不然就鄧老師問的第一個問題,他就答不出來。
兩人心里不約而同地冒出一個想法:“新來的學弟,有點狠啊!”
要說現在最淡定的就是鄧永華了,畢竟像周昀這種自帶方向進組的學生他也見過不少。
“AI調教AI?聽上去確實挺有意思的,但是想要實現起來恐怕不是那么容易的吧?”
“沒錯,復雜的 AI驅動的決策過程本就是一個“黑盒”,這也是其中最大的難點之一,所以我設計了這套AgileEdge框架,盡可能地去避免這些問題。”
手指輕敲鍵盤,將PPT翻到下一頁,也是這次匯報的核心內容,AgileEdge的框架圖,雖然代碼一行沒有,但是只要邏輯上能夠說服老師就夠了。
“這套框架主要都是基于Attention,也就是Transformer,雖然其存在計算量大的問題,但是毫無疑問,這是現階段所有深度學習的核心基礎。
AgileEdge的作用概括來說就是兩個字——打包!PPT上所展示的是AgileEdge最為核心的三個組件,分別是:
感知與狀態編碼層,它的作用是收集并預處理來自邊緣環境的原始、多模態數據,
AI協同優化決策引擎,采用分層強化學習架構,實現大模型的縮小,
執行與反饋層,將縮小的大模型打包到相對應的邊緣環境中。
最終達到AI邊緣部署的目的,理論上來說,無論什么樣的大模型,經過這一流程都能被塞到邊緣設備中。”
鄧永華看著大屏幕上的PPT思考了一會兒,緩緩開口:“我有一個問題,
既然AgileEdge框架具有高度的自適應性,它有沒有可能會在運行時為了滿足短期性能目標而頻繁地對邊緣設備上的 AI模型進行極端壓縮,或者進行激進的在線剪枝。
這種持續且可能激進的“調教”行為,長此以往是否會導致模型在未被直接監控的復雜場景或長尾數據分布上出現不可預知的精度漂移甚至災難性遺忘?
還有一點就是AgileEdge如何在動態模型“打包”的過程中,系統性地量化并約束這種潛在的、累積性的精度損失?”
周昀眉頭不自覺微微皺起,這個問題確實是他的疏忽,這和智商沒有關系,完全就是科研經驗上的不足。
但是這并不妨礙他回答,在大腦的高速運轉下,他就想到應對方式:“老師的這個問題我確實想過,所以我設計了一個全新的指標對打包后的模型進行評價,不過因為還沒有完善,所以PPT上沒有展示。”
別問,問就是有,只不過他還沒想出來。
鄧永華也沒追著刨根問底,畢竟還只是一個研零的學生,沒必要太過嚴格,就周昀現在的表現來看,他已經很滿意了。
最為核心的部分講完了,接下來就是一些實際應用場景的講解,比如工控領域,醫療領域等等。
“以上就是我的匯報,老師還有什么問題嗎?”
鄧永華搖搖頭:“就先這樣吧,邱彥,沈瑞,你們有什么問題嗎?”其實問題還是有一些的,但還是那句話,沒必要太過難為新生,現在這種程度已經夠了。
身邊兩人聽到自家導師提問,直接被嚇了一激靈,同時搖頭:“沒問題。”
這讓鄧永華深深的看了兩人一眼:“那今天的面試就先到這里,幾位回去等通知吧?”
其實如果不是考慮到另外四位學生,他是想直接宣布周昀通過的,但是想了想還是算了。