騰訊云正式發(fā)布AI Native向量數(shù)據(jù)庫(kù),大幅企業(yè)數(shù)據(jù)處理效力
7月4日下午,騰訊云正式發(fā)布AI Native向量數(shù)據(jù)庫(kù)Tencent Cloud VectorDB,可廣泛應(yīng)用于大模型的訓(xùn)練、推理、知識(shí)庫(kù)補(bǔ)充等場(chǎng)景。騰訊方面表示,這是國(guó)內(nèi)第一個(gè)從接入層、計(jì)算層、到存儲(chǔ)層提供全生命周期AI化的向量數(shù)據(jù)庫(kù)。
根據(jù)官方數(shù)據(jù)信息,騰訊云向量數(shù)據(jù)庫(kù)最高可支持10億級(jí)向量檢索規(guī)模,延遲控制在毫秒級(jí);與傳統(tǒng)的單機(jī)插件數(shù)據(jù)庫(kù)相比,檢索規(guī)模擴(kuò)大了10倍,同時(shí)還具有百萬(wàn)級(jí)每秒查詢(xún)(QPS)的峰值能力。
“如果你看好AI模型,就應(yīng)該看好向量數(shù)據(jù)庫(kù)”,騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理羅云表示,隨著大模型的不斷發(fā)展和普及,AI原生數(shù)據(jù)庫(kù)將成為企業(yè)數(shù)據(jù)處理的標(biāo)配。
向量數(shù)據(jù)庫(kù)通過(guò)向量化數(shù)據(jù),然后進(jìn)行存儲(chǔ)和查詢(xún),可以大大提高效率,降低成本,能解決大模型預(yù)訓(xùn)練成本高、沒(méi)有“長(zhǎng)期記憶”、知識(shí)更新不足、提示詞工程復(fù)雜等問(wèn)題,突破了大模型的時(shí)空限制,加速大模型在工業(yè)場(chǎng)景的落地。
騰訊官方數(shù)據(jù)顯示,使用騰訊云向量數(shù)據(jù)庫(kù)對(duì)大模型的預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行分類(lèi)、去重與清洗,相比傳統(tǒng)方法可以把效率提高10倍,如果把向量數(shù)據(jù)庫(kù)作為模型推理的外部知識(shí)庫(kù),成本可以降低2-4個(gè)數(shù)量級(jí)。
羅云表示,騰訊云重新定義了AI Native的開(kāi)發(fā)范式,提供了接入層、計(jì)算層、存儲(chǔ)層全面的AI解決方案,讓用戶(hù)在使用向量數(shù)據(jù)庫(kù)的全生命周期,都能借助AI能力。
具體來(lái)說(shuō),在接入層,騰訊云向量數(shù)據(jù)庫(kù)支持自然語(yǔ)言文本的輸入,同時(shí)采用“標(biāo)量+向量”的查詢(xún)模式,支持全內(nèi)存索引;在計(jì)算層,AI Native開(kāi)發(fā)范式可以實(shí)現(xiàn)全量數(shù)據(jù)的AI計(jì)算,一站式解決企業(yè)構(gòu)建私有領(lǐng)域知識(shí)庫(kù)時(shí)的文本切分(Segment)、向量化(Embedding )等難題;在存儲(chǔ)層,騰訊云向量數(shù)據(jù)庫(kù)支持?jǐn)?shù)據(jù)的智能存儲(chǔ)分發(fā),降低企業(yè)50%的存儲(chǔ)成本。
根據(jù)騰訊官方信息,使用騰訊云向量數(shù)據(jù)庫(kù)后,企業(yè)接入大模型數(shù)據(jù)所需時(shí)間可從一個(gè)月縮減至三天左右,大大降低了企業(yè)的接入成本。
在產(chǎn)品商業(yè)化層面,羅云表示,目前可以單獨(dú)提供向量數(shù)據(jù)庫(kù),未來(lái)不排除將向量數(shù)據(jù)庫(kù)和其他相關(guān)產(chǎn)品打包出售的可能。
在具體應(yīng)用層面,騰訊稱(chēng),該數(shù)據(jù)庫(kù)基于騰訊每日處理千億次檢索的向量引擎(OLAMA),數(shù)據(jù)接入AI的效率比傳統(tǒng)方案高10倍,運(yùn)行穩(wěn)定性達(dá)到99.99%,目前已應(yīng)用于騰訊視頻、QQ瀏覽器、QQ音樂(lè)等30余款騰訊內(nèi)部的產(chǎn)品中。
以騰訊視頻的應(yīng)用為例,視頻庫(kù)中的圖片、音頻、標(biāo)題文字等內(nèi)容使用騰訊云向量數(shù)據(jù)庫(kù),每月完成的檢索計(jì)算量高達(dá)200億次,可以滿(mǎn)足版權(quán)保護(hù)、原創(chuàng)識(shí)別、相似性檢索等場(chǎng)景需求。
從應(yīng)用結(jié)果來(lái)看,向量數(shù)據(jù)庫(kù)可以直接提高運(yùn)行效率。官方資料顯示,使用騰訊云向量數(shù)據(jù)庫(kù)后,QQ音樂(lè)人均收聽(tīng)時(shí)長(zhǎng)增加了3.2%、騰訊視頻有效曝光人均時(shí)長(zhǎng)增加1.74%、QQ瀏覽器成本降低37.9%。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com

