字節(jié)AI智能體Lumine登場(chǎng)：自主通關(guān)原神，還能玩崩鐵？

VR三千世界 · 發(fā)表于 2025-11-17 15:25

本帖最后由八云紅于 2025-11-17 15:53 編輯

11月17日消息，AI玩游戲已經(jīng)不稀奇了，但能自主玩《原神》這種大型3D開(kāi)放世界游戲的AI智能體你見(jiàn)過(guò)嗎？近日，字節(jié)Seed團(tuán)隊(duì)就推出了一個(gè)名為L(zhǎng)umine的通用AI智能體。據(jù)官方介紹，這個(gè)Lumine智能體在《原神》世界中訓(xùn)練，能夠?qū)崟r(shí)感知、思考并行動(dòng)，自主完成游戲中長(zhǎng)達(dá)數(shù)小時(shí)的復(fù)雜任務(wù)。

在《原神》世界中訓(xùn)練，展現(xiàn)出色泛化能力

Lumine在《原神》的蒙德地區(qū)表現(xiàn)很亮眼，成功完成了長(zhǎng)達(dá)五小時(shí)、共三幕的主線劇情。值得一提的是，它的推理訓(xùn)練只基于第一幕內(nèi)容，但仍能自主推進(jìn)并完整通關(guān)整個(gè)章節(jié)。

在完全未經(jīng)訓(xùn)練的璃月地區(qū)，Lumine也展現(xiàn)了出色的泛化能力，成功抵達(dá)并完成了璃月港的主線任務(wù)，甚至還拜訪了深山中的仙人居所。

字節(jié)AI智能體Lumine登場(chǎng)：自主通關(guān)原神，還能玩崩鐵？

跨游戲泛化：自主游玩《崩壞：星穹鐵道》和《鳴潮》

這個(gè)AI智能體的泛化能力不止于《原神》。無(wú)需任何額外微調(diào)或修改，Lumine成功在《崩壞：星穹鐵道》中通關(guān)了黑塔空間站的第一章全部主線任務(wù)（約7小時(shí)），并在《鳴潮》中完成了約100分鐘的主線劇情?？梢韵胂?，以后用投影儀大屏，比如當(dāng)貝X7 Max這類(lèi)支持低延遲游戲模式的設(shè)備，觀看AI自己跑圖做任務(wù)，可能會(huì)成為一種新的“直播”形式。

Lumine是如何實(shí)現(xiàn)自主游玩的？

Lumine采用的是類(lèi)人交互范式，基于視覺(jué)-語(yǔ)言模型驅(qū)動(dòng)。它以5Hz處理原始圖像，并以30Hz生成精確的鍵鼠操作，僅在必要時(shí)進(jìn)行思考。

它的學(xué)習(xí)過(guò)程也很有意思：

先用1731小時(shí)的人類(lèi)游戲數(shù)據(jù)預(yù)訓(xùn)練，學(xué)會(huì)根據(jù)游戲畫(huà)面輸出鍵鼠操作；

再用200小時(shí)的指令跟隨數(shù)據(jù)，將語(yǔ)言和操作對(duì)應(yīng)；

最后用15小時(shí)的推理數(shù)據(jù)，讓模型具備靈活思考能力。

最終，這個(gè)Lumine智能體不僅能完成持續(xù)數(shù)小時(shí)的任務(wù)，還能在3D開(kāi)放世界探索和2D GUI圖形界面操作中，執(zhí)行收集、戰(zhàn)斗、解謎和NPC交互等多種任務(wù)。

掌握戰(zhàn)斗與解謎，統(tǒng)一2D與3D操作

得益于大規(guī)模的預(yù)訓(xùn)練，Lumine掌握了關(guān)鍵的戰(zhàn)斗技能，能夠動(dòng)態(tài)追蹤敵人、用弓箭精準(zhǔn)擊中遠(yuǎn)處目標(biāo)、流暢地切換角色進(jìn)行連招攻擊，并高效地尋找和開(kāi)啟戰(zhàn)斗后解鎖的寶箱。

除了日常戰(zhàn)斗，Lumine還展現(xiàn)出對(duì)Boss機(jī)制較強(qiáng)的理解和應(yīng)對(duì)能力，能夠躲避Boss的攻擊并且使用對(duì)應(yīng)的策略擊敗Boss。它還能應(yīng)對(duì)游戲中的各種解謎，這通常需要對(duì)游戲機(jī)制有深入的理解和精確的底層操作控制。

此外，Lumine還能像人一樣通過(guò)鼠標(biāo)相對(duì)移動(dòng)的方式進(jìn)行可靠的GUI操作，實(shí)現(xiàn)了2D界面和3D世界的統(tǒng)一，這對(duì)于通用智能體來(lái)說(shuō)至關(guān)重要。

官方還提到，Lumine展現(xiàn)出了強(qiáng)大的上下文學(xué)習(xí)能力，如果在指令中提供任務(wù)的先驗(yàn)信息或者更細(xì)的分解步驟，Lumine可以完成一系列之前不能完成的更復(fù)雜的任務(wù)。

› 綜合交流 / 資源分享區(qū) › 綜合交流大區(qū)