蘋果大模型MM1 終於加入戰局!
2024年3月17日
今年以來,蘋果顯然已經加大了對生成式人工智慧(GenAI)的重視和投入。之前在2024蘋果股東大會上,蘋果CEO提姆·庫克表示,今年將在GenAI領域實現重大進展。此外,蘋果宣佈放棄10年之久的造車專案之後,一部分造車團隊成員也開始轉向GenAI。
如此種種,蘋果向外界傳達了加注GenAI的決心。目前多模態領域的GenAI技術和產品非常火爆,尤以OpenAI的Sora為代表,蘋果當然也想要在該領域有所建樹。
3月17日,在一篇由多位作者署名的論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中,蘋果正式公佈自家的多模態大模型研究成果:這是一個具有高達30B參數的多模態LLM系列。
該團隊在論文中探討了不同架構元件和資料選擇的重要性。並且,透過對圖像編碼器、視覺語言連接器和各種預訓練資料的選擇,他們總結出了幾條關鍵的設計準則。具體來講,本文的貢獻主要體現在以下幾個方面。
首先,研究者在模型架構決策和預訓練資料選擇上進行小規模消融實驗,並發現了幾個有趣的趨勢。建模設計方面的重要性按以下順序排列:圖像解析度、視覺編碼器損失和容量以及視覺編碼器預訓練資料。
其次,研究者使用三種不同類型的預訓練資料:圖像字幕、交錯圖像文本和純文字資料。他們發現,當涉及少樣本和純文字性能時,交錯和純文字訓練資料非常重要,而對於零樣本性能,字幕資料最重要。這些趨勢在監督式微調是(Supervised Fine-Tuning:SFT)之後仍然存在,這表明預訓練期間呈現出的性能和建模決策在微調後得以保留。
最後,研究者構建了MM1,一個參數最高可達300億(其他為30億、70億)的多模態模型系列,它由密集模型和混合專家模型(MoE)變體組成,不僅在預訓練指標中實現SOTA,在一系列已有多模態基準上監督式微調後也能保持有競爭力的性能。
具體來講,預訓練模型MM1在少樣本設定下的字幕和問答任務上,要比Emu2、Flamingo、IDEFICS表現更好。監督式微調後的MM1也在12個多模態基準上的結果也頗有競爭力。
得益於大規模多模態預訓練,MM1在上下文預測、多圖像和思維鏈推理等方面具有不錯的表現。同樣,MM1在指令調優後展現出了強大的少樣本學習能力。
更多其他精彩話題內容:
https://www.notion.so/7023b7b2cd5d4f5082c4aa7fb0fdcd1a?v=d4926f105c56473cbc55a3abe991aeac&pvs=4
https://scalloped-capybara-acc.notion.site/Health-Today-718e21949e6245e9b2e4d0acc93ed0e4
-
0/2000
-
1:50:38
Mally_Mouse
7 hours agoSaturday Shenanigans!! - Let's Play: Mario Party Jamboree
40.5K -
1:13:00
Patriots With Grit
11 hours agoWill Americans Rise Up? | Jeff Calhoun
32.9K10 -
14:55
Exploring With Nug
12 hours ago $10.50 earnedWe Found Semi Truck Containers While Searching for Missing Man!
50.7K7 -
27:57
MYLUNCHBREAK CHANNEL PAGE
19 hours agoOff Limits to the Public - Pt 3
108K62 -
38:07
Michael Franzese
12 hours agoLeaving Organized Crime and Uncovering Mob in Politics: Tudor Dixon and Michael Franzese
91.6K15 -
2:42:54
Jewels Jones Live ®
2 days agoAMERICA IS BACK | A Political Rendezvous - Ep. 111
73.1K48 -
8:47:33
Due Dissidence
1 day agoLIVE: Workers Strike Back Conference ft. Chris Hedges, Jill Stein, Kshama Sawant, and More!
113K57 -
8:36:37
Right Side Broadcasting Network
5 days agoLIVE REPLAY: CPAC 2025 Day Three with President Donald J. Trump - 2/22/25
455K101 -
1:05:34
The Big Mig™
20 hours agoConfirmed Kash Patel New FBI Director, Bring On The Pain |EP483
108K31 -
53:59
Tactical Advisor
16 hours agoThe Vault Room Podcast 009 | Everyone Getting $5000?!
85.6K12
0 Comments