科普之窗
當(dāng)前位置: 首頁 > 科普 > 科普之窗
研究 | ChatGPT日耗電超50萬度,卡死AI發(fā)展的竟然是能源?
發(fā)布時間:2024-04-01 來源:鄂州市科學(xué)技術(shù)協(xié)會

最近《紐約客》報道,Chat GPT每日耗電量或超過50萬千瓦時,相當(dāng)于美國家庭平均用電量的1.7萬倍。埃隆·馬斯克也曾預(yù)言,未來兩年內(nèi)電能短缺將成為制約AI發(fā)展的主要因素。然而,事實真的是這樣嗎?

目前關(guān)于AI耗電量的觀點主要源自估算結(jié)果,而非真實的測量數(shù)據(jù)。美國信息技術(shù)與創(chuàng)新基金會(ITIF)發(fā)布的報告認(rèn)為,個別不準(zhǔn)確的研究大大高估了AI的能耗,這樣的言論可能對AI發(fā)展造成不利影響,阻礙AI在促進節(jié)能減排、應(yīng)對環(huán)境挑戰(zhàn)方面發(fā)揮潛力。業(yè)界人士呼吁,應(yīng)當(dāng)促進行業(yè)信息透明,同時減少AI技術(shù)的濫用。

AI能耗評估難題

影響因素眾多

ITIF是一家非營利智庫,總部位于美國華盛頓。在這份題為《重新審視對人工智能能耗的擔(dān)憂》的報告中,ITIF指出,不同AI模型的能耗和碳排放存在巨大差異,受到諸多因素的影響,包括芯片設(shè)計、冷卻系統(tǒng)、數(shù)據(jù)中心設(shè)計、軟件技術(shù)、工作負(fù)擔(dān)、電能來源等。

所以,在估算AI的能耗方面,不同研究的結(jié)論出現(xiàn)了較大分歧。2019年馬薩諸塞大學(xué)阿默斯特分校團隊發(fā)布的一項預(yù)印本研究估算,當(dāng)時領(lǐng)先的谷歌公司大語言模型BERT在79小時的訓(xùn)練過程中排放了約1438磅二氧化碳(約合652千克),量級相當(dāng)于一名乘客乘坐飛機往返于紐約和舊金山一次。研究也對AI神經(jīng)架構(gòu)搜索(NAS)等技術(shù)得出了類似結(jié)論。這篇論文在谷歌學(xué)術(shù)被引用接近3000次,并得到了大量媒體報道。

然而,從事AI研發(fā)的企業(yè)和機構(gòu)得出了截然不同的分析結(jié)論。2021年,谷歌公司與加州大學(xué)伯克利分校發(fā)布一項預(yù)印本研究認(rèn)為,前述研究將谷歌的AI碳排放數(shù)值高估了88倍。但是這項研究得到的關(guān)注遠(yuǎn)不如前者,被引數(shù)僅有500左右。

由于媒體和公眾關(guān)注負(fù)面信息的傾向,結(jié)論驚人的研究更容易得到傳播??萍夹袠I(yè)名人的言行也在放大“AI能耗巨大”的信息,馬斯克曾預(yù)言“制約AI發(fā)展的因素將由‘缺硅’變成‘缺電’”;OpenAI CEO薩姆·阿爾特曼也表示AI將消耗更多電力,并高調(diào)投資核聚變。

從全生命周期視角

評估AI能耗

ITIF報告指出,目前許多研究和政策都關(guān)注AI訓(xùn)練(training)階段,但多項研究表明AI在推理(inference)過程中,也即人們使用AI輸出結(jié)果的過程能耗更高。此外,不同AI模型處理不同類型的推理任務(wù),能耗的差異也很大。例如1000次請求計算,圖片分類任務(wù)的耗電量是0.007千瓦時,而圖片生成任務(wù)耗電2.907千瓦時。

報告作者指出,AI的訓(xùn)練是一次性事件,而它的使用是長期過程,討論AI能耗問題時應(yīng)該關(guān)注的不是爆發(fā)式增長,而是長期的影響。并且,從技術(shù)史的視角看來,AI及其能耗的增長還將受到以下4個因素的限制:

1.基礎(chǔ)設(shè)施建設(shè)成本將制約AI的快速增長

“ChatGPT每日耗電量或超過50萬千瓦時”的結(jié)論,出自技術(shù)博客Digiconomist作者亞歷克斯·德·弗里斯(Alex de Vries)的估算。德·弗里斯還曾預(yù)測,在最糟糕的情況下,谷歌的AI用電量將與整個愛爾蘭相當(dāng),達到每年29.3TWh(太瓦時)。但他同時也指出,要想達到這樣的規(guī)模,谷歌需要在芯片上投入1000億美元,此外還要數(shù)據(jù)中心的運營和電費投入數(shù)十億美元。如果AI的運營成本居高不下,逐利的商業(yè)公司自然會放慢腳步,減少投入。

2.AI性能增長存在邊際效應(yīng)

近年來AI連續(xù)在許多領(lǐng)域取得了突破性進展,這也意味著它可能很快迎來一個瓶頸期。研發(fā)、運營更大的模型帶來的回報將越來越低,在提升準(zhǔn)確性上精益求精也將變得更困難。所以,優(yōu)化AI模型可能是接下來的研發(fā)方向。

3.軟件和硬件的性能提升將減少AI能耗

AI模型的優(yōu)化,以及硬件技術(shù)的進步,都有望減少AI的能耗。一項發(fā)表于《科學(xué)》期刊的研究指出,在2010~2018年間,全球數(shù)據(jù)中心的運算量增長了550%,存儲空間增長了2400%,但耗電量僅增長6%。硬件、虛擬技術(shù)和數(shù)據(jù)中心設(shè)計方面的創(chuàng)新提升了能效,也使得云計算的規(guī)模化成為可能。

同樣,剪枝(pruning)、量化(quantization)、蒸餾(distillation)等技術(shù)有望帶來更好的算法,讓AI模型更快、更節(jié)能。谷歌公司和加州大學(xué)伯克利分校研究團隊指出,有賴于各項技術(shù)進步,近年來在谷歌公司內(nèi)部AI的能耗占比保持穩(wěn)定,盡管機器學(xué)習(xí)增長到運算量的70%~80%。

4.AI的應(yīng)用最終將在某些方面減少碳排放

整體上,當(dāng)人們用電子郵件替代傳統(tǒng)書信,用觀看DVD或流媒體頻道替代去電影院看電影,這些活動的數(shù)字化都減少了碳排放。AI有望在這方面繼續(xù)發(fā)揮作用,例如通過改進視頻通話體驗,使更多的會議轉(zhuǎn)向遠(yuǎn)程進行。此外,AI技術(shù)還可用于進行電網(wǎng)調(diào)度、分析氣候數(shù)據(jù),從而成為應(yīng)對氣候變化的助力。

準(zhǔn)確評估AI能耗

促進領(lǐng)域健康發(fā)展

從歷史的角度看,關(guān)于AI碳排放的擔(dān)憂并不新鮮。90年代曾有人預(yù)測,未來發(fā)電量的一半將用于滿足互聯(lián)網(wǎng)活動;在流媒體出現(xiàn)的時候,同樣有人提出類似觀點。如今我們知道,這些擔(dān)憂都并未成為現(xiàn)實。ITIF報告認(rèn)為,如果沒有完全理解AI能耗問題就急于進行管控,可能會阻礙AI的性能提升,限制其發(fā)展?jié)摿?。例如,使AI消除偏見和仇恨言論、避免輸出有害信息,都需要進行更多的推斷,從而提升能耗。

報告建議,應(yīng)對大眾關(guān)于AI能耗問題的擔(dān)憂,決策者應(yīng)當(dāng):

①制定相應(yīng)標(biāo)準(zhǔn),使AI模型能耗公開透明;

②鼓勵業(yè)界主動公開AI模型能耗信息,以便公眾進行知情選擇;

③考慮AI法規(guī)對能源使用的意外后果;

④利用AI實現(xiàn)政府運作的低碳化。

一些機構(gòu)已經(jīng)在推動AI的信息公開。2023年12月,歐盟通過《人工智能法案》,這是全球首部AI監(jiān)管法案。法案督促AI開發(fā)者致力于使模型高能效、可持續(xù),并要求進行相應(yīng)的信息公開。

德·弗里斯同樣呼吁進行信息公開,同時他希望及時限制AI的發(fā)展,就像限制加密貨幣技術(shù)一樣。數(shù)字經(jīng)濟學(xué)家(Digiconomist)博客指出:“AI和先前的區(qū)塊鏈等新興技術(shù)的發(fā)展,伴隨著大量的狂熱和錯失恐懼(FOMO),這通常會催生對終端用戶沒什么益處的應(yīng)用。”

而在《紐約客》報道中,著名科學(xué)記者伊麗莎白·科爾伯特(ElizabethKolbert)的原話是:“每當(dāng)ChatGPT吐出信息(或給某人寫高中作文),都需要進行大量運算。據(jù)估計,ChatGPT每天要響應(yīng)約2億次請求,同時消耗超過50萬千瓦時電力。”也就是說,要應(yīng)對AI能耗危機,或許可以從限制使用AI寫作業(yè)開始。

科普鄂州
科普湖北
科普中國
返回頂部