飄天文學 > 崛起從金融開始 >第065章【靈境GPT-1.0語言模型】
    多媒體會議室。

    羅靖和唐馨兩人進入會議室,工作組的87人開發者成員都已經到場,唐馨在前排找了個位置坐下準備紀要,而羅靖直接走向會議臺前,把一個U盤接入電腦,身後的會議大屏幕也啓動。

    “對於新加入我們團隊的80位成員,鼓掌歡迎。”羅靖如是說道,並且帶頭鼓掌,大家也跟着鼓掌,過了片刻他壓了壓手勢說道:“歡迎儀式結束,自我介紹免了,好,我們直奔主題。”

    衆人都是一愣一愣的,這歡迎儀式好直接,流程都不走的。

    不過在場的員工們也是喜聞樂見,這樣最好不過。

    多媒體會議室裏89個人,羅靖是這個團隊的頭兒,同時也是最年輕的,他沒有社交牛筆症但也並不社恐。

    此刻,羅靖看了眼身後的會議大屏幕確認正常運行着便回過頭來,他看向一衆與會的工程師們說道:“人工智能的概念自誕生以來發展到現在,上個世紀1997年,IBM公司旗下的‘深藍’擊敗了當時的國際象棋世界冠軍卡斯普羅夫,宣告着AI第一次在複雜智力活動上戰勝了人類,在當時震驚全世界。”

    “我們要做的也要像當年‘深藍’一樣,搞個大新聞,震驚一把全世界。”羅靖拿起一個小遙控器和激光筆走到屏幕一側,同時按動了一下小遙控器,屏幕的幻燈片翻開一頁。

    衆人一看那是即時戰略遊戲《星際爭霸2》的一張遊戲海報,羅靖有條不紊地說道:“這款遊戲是迄今爲止堪稱世界上最難的電競遊戲,選擇用星際2來開發訓練靈境AI就是因爲這款遊戲足夠的難。”

    “但凡是競技,都是尋找最優解的過程,所以不管是星際2還是國際象棋有其相通之處,但國際象棋必然存在定解,只要算力足夠也可以暴力搜索破解。”

    “國際象棋和星際爭霸有什麼區別呢?前者是信息開放式對戰,理論上我的算力足夠,在明牌的情況下必然存在最優解,而後者是信息封閉式對戰,因爲存在戰爭迷霧的機制。”

    “兩者比較而言,國際象棋的側重點在於戰術安排,星際爭霸的側重點在於信息獲取,因此直觀的比較二者的複雜度不算太嚴謹。”

    “而之所以選擇星際爭霸這款遊戲,是因爲在信息封閉式的對戰裏,獲取彼此的信息本身就具有難度,然後基於已有的信息分析來建立戰術設計,也就是在瞬息萬變的局勢中第一時間找到場面最優解。因此,如果僅討論複雜度,星際爭霸肯定是略高一籌的。”

    說到這裏,羅靖再次按了一下手裏的小遙控器,會議大屏幕切換到下一張幻燈片,同時說道:“從今天開始有一個全新的項目——靈境GPT。”

    靈境GPT?

    與會的八十多個工程師們不禁面面相覷,各自都看到了對方眼神裏的疑惑、好奇。

    羅靖有條不紊地說:“不論是靈境AI還是靈境GPT,其內核都是神經網絡深度學習。”

    會議屏幕上赫然顯示着“靈境GPT”這個名詞,緊接着羅靖按下小遙控器翻過一頁,上面有三個英文詞條,他逐一說道:“這就是靈境GPT的由來,後面的三個詞分別是Generative、Pre-trained和Transformer的簡稱。”

    羅靖回頭環視衆人道:“Generative即生成式,Pre-trained即預訓練,Transformer自注意力機制。”

    在場的工程師們耳目一新,深度學習神經網絡到不是沒聽說過,深度學習這一概念最早可以追溯到上個世紀40年代,那會兒還在打第二次世界大戰呢。

    不過這三者結合,大家都沒有聽說過,而且神經網絡現在雖然也開始流行,當時沒有大規模流行起來,更沒有在人工智能領域像幾年後達到統治級地位。

    在場的工程師們都一言不發,同時認真聆聽着,新加入的團隊成員都是如此,作爲同行越聽越清楚的意識到臺上站着的那個比他們所有人都年輕的羅靖,他的實力有多強。

    能成爲T10級資深研究員果然是有道理的,至少在場的人都知道自己的技術水平肯定比不過羅靖。

    大家自然是希望能跟T10級大神學到點東西,這種機會可不多。

    “我們團隊除了繼續在星際2這個項目推進靈境AI之外,我們接下來的新任務就是開發構建一個語言大模型。”羅靖站在會議大屏幕右側不急不緩地說道:

    “這個模型的核心其實就是‘自注意力機制’,也就是GPT中的T,比方說讓AI給一段文字序列中的不同詞語標註權重,然後對下文的推測依據權重來進行,這樣做的好處就是即便之前很早的信息也能被AI用上,不至於讓AI學了之後轉頭就忘了前面的。”

    “整個的過程是通過自監督完成,也就是AI自我學習完成,在此期間沒有我們人類指導,當然也沒法指導,沒有人能把百渡百科、維基百科或全網的全部內容都熟記下來。”

    這時,與會的一位T5級工程師說道:“頭兒,這個預訓練Pre-trained會不會讓靈境GPT呈現出什麼都懂,但樣樣不精通的局面?可以說全面發展反而變得全面平庸,按你之前的描述,讓靈境GPT的語言模型變得更大似乎並不能使它更好的遵循用戶的意圖,甚至不排除會生成一些假的、有害的對人沒有幫助的回答。”

    羅靖頓時說道:“好問題。所以要對靈境GPT進行微調,讓它生成的答案更有幫助性,在訓練階段就不能用自監督學習的辦法了,而是要找人類來給它上課。”

    此話一出,另一位工程師不禁說道:“這……那得多少人?意思是讓用戶來訓練?那算力、維護和運營成本得爆炸,經費能撐得住嗎?”

    不用想都知道前期得持續燒錢並且賺不了錢。

    羅靖淡定的說道:“經費問題那是老闆該頭疼的事情,我們只管搞技術和找老闆伸手要錢,找老闆要錢這個事情我來做就是了,你們不用管,迴歸正題……”

    頓了片刻,羅靖按動手裏的小遙控器接着說道:“靈境GPT使用人類監督,我已經微調訓練了一個初始模型,這個模型靠人類AI訓練員提供對話內容。”

    衆人暗暗喫驚,不愧是大佬,居然一個人就把初始模型給搞出來了。

    ……


章節報錯(免登陸)