Meta最新的AI模型免費提供給所有人使用

Author Avatar

葉孝明

Joined: Feb 2022

該公司希望開源LLaMA 2能夠使其在OpenAI等競爭對手面前占據優勢

來源: Technoglogyreviews

照片來源: Openverse

Meta全力支持開源AI。該公司今天推出了LLaMA 2,這是其首個大型語言模型,任何人都可以免費使用。

自從OpenAI去年11月推出了其非常受歡迎的AI聊天機器人ChatGPT以來,科技公司一直在競相推出模型,希望推翻其霸主地位。Meta一直處於慢車道上。今年2月,當競爭對手微軟和谷歌宣布推出他們的AI聊天機器人時,Meta推出了第一個更小版本的LLaMA,僅限研究人員使用。但它希望推出LLaMA 2並允許任何人在其上構建商業產品,這將有助於它迎頭趕上。

該公司實際上推出了一套AI模型,其中包括不同尺寸的LLaMA 2版本,以及人們可以將其構建成類似ChatGPT的聊天機器人的AI模型版本。與人們可以通過OpenAI的網站訪問ChatGPT不同,該模型必須從Meta的合作夥伴微軟Azure、亞馬遜Web服務和Hugging Face下載。

Meta的副總裁Ahmad Al-Dahle表示:“這對整個AI社區都有好處,並為人們提供了選擇,無論是選擇封閉源方法還是開源方法,以適應他們特定的應用。”他說:“對我們來說,這是一個非常非常重要的時刻。”

但仍然存在許多注意事項。根據與麻省理工學院技術評論專家獨家分享的公司研究論文,Meta並未公開有關訓練LLaMA 2所使用的數據集的信息,也無法保證其中不包含受版權保護的作品或個人數據。LLaMA 2還存在著困擾所有大型語言模型的問題:傾向於產生虛假信息和冒犯性語言。

Al-Dahle表示,這樣做的想法是通過將模型釋放到公眾中,讓開發人員和公司對其進行調整,Meta將學到如何使其模型更安全、更少偏見和更高效的重要教訓。

斯坦福大學基礎模型研究中心主任Percy Liang表示,像LLaMA 2這樣的強大開源模型對OpenAI構成了相當大的威脅。Liang是開源競爭對手GPT-3的開發團隊之一,GPT-3是OpenAI的早期語言模型。

Liang表示:“LLaMA 2不是GPT-4。”在其研究論文中,Meta承認LLaMA 2和GPT-4之間的性能差距仍然很大,而GPT-4現在是OpenAI的最先進的AI語言模型。“但對於許多用例來說,你不需要GPT-4,”他補充道。

他說,像LLaMA 2這樣的更可定制和透明的模型可能有助於公司更快地創建產品和服務,而不是使用大型、複雜的專有模型。

加州大學伯克利分校教授Steve Weber表示:“將LLaMA 2成為OpenAI的領先開源替代品對Meta來說將是一個巨大的勝利。”

內部機制 Al-Dahle表示,為了準備推出LLaMA 2,他們進行了很多調整,使該模型比其前身更安全,更不容易傳播有害的虛假信息。

Meta有很多過去的錯誤可以吸取教訓。其用於科學的語言模型Galactica在僅三天後被下線,而其先前的LLaMA模型,僅用於研究目的,被洩露在網上,引發了批評,質疑Meta是否充分考慮了與AI語言模型相關的風險,如虛假信息和騷擾。

為了減少重蹈覆轍的風險,Meta應用了一系列不同的機器學習技術,旨在提高LLaMA 2的幫助性和安全性。

AI初創公司Hugging Face的研究員Sasha Luccioni表示,Meta訓練LLaMA 2的方法比通常的生成式AI模型多了很多步驟。

該模型的訓練數據比其前身多了40%。Al-Dahle表示,訓練數據有兩個來源:從網上抓取的數據,以及根據人類標註者的反饋進行微調和調整的數據集,以更符合期望的方式行為。該公司表示,它沒有在LLaMA 2中使用Meta用戶數據,並排除了來自已知有大量個人信息的網站的數據。

儘管如此,LLaMA 2仍然會產生冒犯、有害和其他問題的語言,就像競爭對手的模型一樣。Meta表示,它沒有從數據集中刪除有害數據,因為保留這些數據可能有助於LLaMA 2更好地檢測仇恨言論,而刪除它可能會意外地過濾掉一些人口統計群體。

然而,Luccioni表示,Meta對開放性的承諾令人興奮,因為它使像她這樣的研究人員能夠正確地研究AI模型的偏見、倫理和效率。

LLaMA 2是一個開源模型,這也將使外部研究人員和開發人員能夠檢測其安全漏洞,從而使其比專有模型更安全,Al-Dahle表示。

※版權所有,歡迎媒體聯絡我們轉載;登錄本網按讚、留言、分享,皆可獲得 OCTOVERSE 點數(8-Coin),累積後可兌換獎品,相關辦法以官網公布為準※

新增留言