近日，在2024 Smartbi AIChat新品發(fā)布會(huì)上，思邁特軟件創(chuàng)始人吳華夫發(fā)表了精彩演講，宣布正式發(fā)布思邁特軟件第三代AI應(yīng)用新品即Smartbi AIChat。思邁特軟件將為企業(yè)提供準(zhǔn)確、安全、可靠的智能BI+指標(biāo)管理一站式解決方案，以行業(yè)領(lǐng)先的技術(shù)和穩(wěn)定可靠的產(chǎn)品助力更多客戶在數(shù)智化浪潮中掌握先機(jī)。

以下為本次演講實(shí)錄：

各位朋友下午好，歡迎大家參加思邁特軟件的AI新品發(fā)布會(huì)。我是思邁特創(chuàng)始人吳華夫。今天我會(huì)分享一下整個(gè)BI行業(yè)發(fā)展趨勢、新產(chǎn)品背后的技術(shù)原理及新產(chǎn)品規(guī)劃。

Part1.行業(yè)篇

BI發(fā)展到今天已經(jīng)有幾十年的歷史了，究竟哪些在變，哪些不變？我們認(rèn)為不變的是BI的目標(biāo)，幫助用戶從數(shù)據(jù)獲取價(jià)值，實(shí)現(xiàn)企業(yè)的數(shù)字化運(yùn)營。包括幫助管理者從拍腦袋到數(shù)字化決策，幫助業(yè)務(wù)人員優(yōu)化流程、更好地服務(wù)客戶，最終提升企業(yè)的競爭力和效率。

在2022年，隨著OpenAI的ChatGPT的發(fā)布，讓生成式AI和BI深度融合，降低用戶的使用門檻，真正地把數(shù)據(jù)還給業(yè)務(wù)出現(xiàn)了轉(zhuǎn)機(jī)。這個(gè)階段我們稱之為智能BI。智能體現(xiàn)在兩點(diǎn)，第一點(diǎn)是廣度，因?yàn)楹唵?，所以能覆蓋更多的用戶群體。第二點(diǎn)是深度，從早期報(bào)表只能展現(xiàn)指標(biāo)回答發(fā)生了什么，到自助BI階段能夠通過各種鉆取部分的回答為什么發(fā)生。而到了智能BI階段，能夠做到異常發(fā)現(xiàn)、深度的歸因和預(yù)測，甚至能提供建議，能夠基于用戶的問題自動(dòng)生成分析報(bào)告，這是技術(shù)趨勢。

另外從需求端來看，無論是從國家戰(zhàn)略還是企業(yè)本身，都希望通過AI技術(shù)的應(yīng)用加速企業(yè)轉(zhuǎn)型和發(fā)展。但是在選擇AI的落地應(yīng)用場景方面，有幾個(gè)難點(diǎn)要考慮，如何讓AIGC跟企業(yè)的戰(zhàn)略能夠匹配，能夠?qū)R？如何能夠清晰地衡量AIGC應(yīng)用帶來的業(yè)務(wù)收益？因?yàn)閿?shù)據(jù)分析它是面向管理者提供企業(yè)經(jīng)營管理提升效率的工具，自然而然它是企業(yè)的一個(gè)最佳選擇。但是由于AIGC技術(shù)天生的幻覺特性，而依賴數(shù)據(jù)做決策是一個(gè)非常謹(jǐn)慎的行為。所以我們需要解決準(zhǔn)確性的問題，才能夠真正地用起來。而這個(gè)也是我們今天接下來重點(diǎn)介紹的基于指標(biāo)庫的對(duì)話式分析產(chǎn)品。

這是我們今天發(fā)布的思邁特全新的智能BI產(chǎn)品——Smartbi AIChat。他的中文名叫白澤，白澤是山海經(jīng)的十大神獸之一，能夠講人話，知天下事，象征著知識(shí)與智慧。白澤也承載著我們Smartbi對(duì)話式分析產(chǎn)品的期待。我們期待它能夠徹底地填平人與數(shù)據(jù)之間的鴻溝，跨越最后一公里，把數(shù)據(jù)還給業(yè)務(wù)人員，助力數(shù)據(jù)創(chuàng)新。

我們的追求首先是可用，意味著準(zhǔn)確性和安全性，這是對(duì)話式分析的一個(gè)基礎(chǔ)。其次是易用，這個(gè)是AIGC帶來的好處，因?yàn)锳IGC就是零門檻，沒有學(xué)習(xí)成本。最后是樂用，受益于大模型的涌現(xiàn)能力，我們希望用戶在使用產(chǎn)品的過程中，能夠獲得超常規(guī)分析功能的一些驚喜。

Part2.技術(shù)篇

通過Smartbi產(chǎn)品家族圖譜，我們可以看到，產(chǎn)品發(fā)展多年，體系比較完整，能全面滿足客戶所有的數(shù)據(jù)分析需求。而白澤這款產(chǎn)品，目前主要滿足高管問數(shù)和業(yè)務(wù)數(shù)據(jù)分析的場景。

重點(diǎn)說明一下，今天的AIChat產(chǎn)品，在數(shù)據(jù)層依賴Smartbi的指標(biāo)模型和數(shù)據(jù)模型，它起到供數(shù)的作用，是白澤數(shù)據(jù)查詢準(zhǔn)確性的核心，同時(shí)提供了強(qiáng)大的計(jì)算能力和安全性。在接入指標(biāo)模型之后，除了強(qiáng)大的時(shí)間計(jì)算能力，包括同環(huán)比，年累計(jì)同環(huán)比之外，還提供了數(shù)據(jù)異常檢測，歸因分析，預(yù)測分析，以及推薦和建議等高級(jí)分析能力。通過全面的RAG，除了將指標(biāo)模型，業(yè)務(wù)知識(shí)，都加載到向量庫，還能根據(jù)用戶使用情況去持續(xù)迭代，越用越聰明。

接下來，比較一下實(shí)現(xiàn)對(duì)話式分析的4種技術(shù)路線：

首先是NL2SQL，將自然語言問句轉(zhuǎn)換成SQL語句。這個(gè)領(lǐng)域的研究非常火爆，經(jīng)常有新的論文出現(xiàn)，有新的數(shù)據(jù)集產(chǎn)生，有新的調(diào)優(yōu)后的模型發(fā)布，宣布準(zhǔn)確率提升多少多少。

這種方案面臨的主要問題就是準(zhǔn)確性的問題。由于SQL語句表達(dá)非常之靈活，用戶的問句隨意性也非常強(qiáng)，就很容易導(dǎo)致準(zhǔn)確性問題。比如一些指標(biāo)口徑的問題，用戶的一個(gè)問句涉及的指標(biāo)在多個(gè)表出現(xiàn)，大模型不知道該用哪個(gè)表。特別是如果一個(gè)問句內(nèi)容涉及到多個(gè)表，比如ERP系統(tǒng)有成百上千張表，如何正確地處理表關(guān)聯(lián)，也是一個(gè)挑戰(zhàn)。

第二個(gè)挑戰(zhàn)，是數(shù)據(jù)權(quán)限問題，不同用戶能看到的數(shù)據(jù)肯定是不一樣的，如何把這個(gè)權(quán)限設(shè)置的代碼片段嵌入到復(fù)雜的SQL中去？當(dāng)然我們也可以不改SQL，通過DBA去后臺(tái)數(shù)據(jù)庫設(shè)置用戶訪問權(quán)限，那就很不方便了。最后，還有很多分析是SQL不好做的，比如我想做年累計(jì)同期比，會(huì)用到復(fù)雜的開窗函數(shù)，歸因和預(yù)測分析也沒法做。

第二個(gè)路線是NL2DSL。DSL是自定義的領(lǐng)域分析語言。DSL最大的好處就是受控，能力范圍自己定義，語法自定義，能很好的避免SQL過于靈活導(dǎo)致的幻覺問題。

DSL最大的問題是成本，由于大模型并不認(rèn)識(shí)你的DSL，所以需要做微調(diào)。其中涉及到訓(xùn)練數(shù)據(jù)的準(zhǔn)備，微調(diào)的計(jì)算資源開銷都比較大。并且基座模型頻繁升級(jí)，能力日新月異，針對(duì)不同模型，或同一模型的不同版本，每次適配新的基座模型都需要重新微調(diào)。另外，泛化能力比較差，這個(gè)項(xiàng)目微調(diào)的結(jié)果在另外項(xiàng)目不一定很好適應(yīng)。

第三個(gè)路線是對(duì)DSL進(jìn)行改進(jìn)。使用基于指標(biāo)庫的JSON SQL作為DSL，由于SQL是大模型通用能力，可以避免模型微調(diào)。而使用JSON格式，限制了SQL自由度，規(guī)避了SQL的復(fù)雜性，減少出錯(cuò)可能性。最后，使用指標(biāo)維度替代表和字段，通過RAG增強(qiáng)檢索進(jìn)一步減少大模型幻覺。

由此帶來的SQL表達(dá)能力的縮減，可以通過函數(shù)擴(kuò)展去彌補(bǔ)。比如同期前期等運(yùn)算，直接用一個(gè)函數(shù)代替，沒必要復(fù)雜SQL開窗函數(shù)了。而同期函數(shù)的實(shí)現(xiàn)，是基于指標(biāo)庫背后的OLAP引擎實(shí)現(xiàn)。

所以這種方式能很好的保證準(zhǔn)確性，提升性能，保證數(shù)據(jù)安全。

但就算采用了第三種方案，也只是解決了單個(gè)查詢準(zhǔn)確性問題。有時(shí)候用戶問題無法用單個(gè)查詢完成，需要多個(gè)數(shù)據(jù)集的融合； 有時(shí)候，用戶不僅是數(shù)據(jù)查詢，還需要各種高級(jí)分析，比如異常檢測，歸因分析，預(yù)測，甚至是推薦和建議；還有時(shí)候，問題的答案不光是來自數(shù)據(jù)庫，還需要融合外部知識(shí).....

這時(shí)候簡單的查詢就無法滿足需求了，需要引入第四條路線：AI智能體。

什么是智能體呢？大模型就像個(gè)大腦，輸入輸出都是文本。智能體在大腦的基礎(chǔ)上增加了眼睛和耳朵，能感知外面的環(huán)境變化，再裝上手腳，可以執(zhí)行任務(wù)了。智能體作用于BI，就能通過簡單交互，實(shí)現(xiàn)非常上面提到的復(fù)雜的分析能力了。

下面我解釋一下基于AI Agent的對(duì)話式分析的技術(shù)架構(gòu)圖，以及內(nèi)部運(yùn)行的流程。

整個(gè)智能體由規(guī)劃器，代碼解釋器，和記憶體組成。首先，用戶提出問題，然后規(guī)劃器基于上下文的語義理解問題，進(jìn)行問題規(guī)劃，并生成一個(gè)執(zhí)行計(jì)劃，計(jì)劃它包含多個(gè)子任務(wù)，這里的子任務(wù)可能還有依賴關(guān)系，有些可以并行，有些只能串行，最后形成一個(gè)圖。

對(duì)于每一個(gè)單獨(dú)的子任務(wù)是通過代碼解釋器去處理的。代碼解釋器首先需要理解子任務(wù)，然后通過代碼生成器Code Generator去生成python代碼，通過Python執(zhí)行器去執(zhí)行代碼。在代碼中能夠調(diào)用一些已有的python的類去實(shí)現(xiàn)計(jì)算，比如scikit-learn實(shí)現(xiàn)科學(xué)計(jì)算，也可以調(diào)用插件的功能去擴(kuò)展代碼能力，這里我們封裝了Smartbi的BI能力，包括模型數(shù)據(jù)查詢，歸因分析，預(yù)測等高級(jí)分析插件。在模型查詢插件中，其實(shí)調(diào)用的就是上面提到的基于指標(biāo)的JSON SQL查詢能力。

在代碼執(zhí)行完成后，代碼解釋器會(huì)把子任務(wù)的計(jì)算結(jié)果返回給規(guī)劃器，規(guī)劃器會(huì)綜合所有子任務(wù)的執(zhí)行情況，將最終結(jié)果反饋給用戶。整個(gè)規(guī)劃和執(zhí)行的過程，都記錄在記憶體中。我們知道大模型是無狀態(tài)的，沒有記憶力，所以需要通過記憶體存儲(chǔ)上下文。

另外值得一提的是，這里代碼生成器和規(guī)劃器都能具備自我糾錯(cuò)的能力，在執(zhí)行結(jié)果不滿意的時(shí)候，重新調(diào)整執(zhí)行策略。當(dāng)然整個(gè)過程中，用戶也可以進(jìn)行干涉，反饋和補(bǔ)充信息等。以上就是整個(gè)處理流程。

講完原理，看看白澤的交付。

它的整個(gè)交付很簡單，第一個(gè)安裝部署，你可以私有化，或者調(diào)大模型API都行。第二個(gè)是需求分析，我們其實(shí)從具體的場景開始做，明確用戶是誰，它的問句是什么，它涉及哪些指標(biāo)和維度。確認(rèn)清楚之后，我們就可以做指標(biāo)建模，然后是指標(biāo)數(shù)據(jù)對(duì)接工作。

建了指標(biāo)模型之后就是簡單構(gòu)建向量庫的過程。除了指標(biāo)維度這些元信息放到向量庫，業(yè)務(wù)知識(shí)，示例，經(jīng)驗(yàn)，都會(huì)放到向量庫。

然后馬上就可以用了，基本上初次使用就可以到百分之八九十的準(zhǔn)確度，然后稍微做一個(gè)RAG的微調(diào)，就可以更高。在特定場景下，可以做到99%的準(zhǔn)確率，不對(duì)的部分也最多是詞不達(dá)意，而不會(huì)產(chǎn)生數(shù)據(jù)錯(cuò)誤或權(quán)限漏洞。

最后我們總結(jié)一下它的幾個(gè)優(yōu)勢：

首先最核心的是準(zhǔn)確性，怎么實(shí)現(xiàn)準(zhǔn)確性？通過接入統(tǒng)一的指標(biāo)模型和數(shù)據(jù)模型，保證口徑的唯一。通過全面的RAG，接入示例，業(yè)務(wù)知識(shí)和外部知識(shí)，通過用戶的反饋?zhàn)屗接迷铰斆鳎接迷綔?zhǔn)確。

第二是安全性保障，因?yàn)镾martbi整體有一個(gè)很完善的權(quán)限體系，另外也支持私有化部署的大模型，和三級(jí)等保認(rèn)證。

第三是高性能以及分析能力。我們提供了一個(gè)分層計(jì)算的能力，針對(duì)用戶需求進(jìn)行規(guī)劃分解后，有一些計(jì)算是下壓到指標(biāo)模型里面去算的，指標(biāo)模型的背后是我們強(qiáng)大的OLAP引擎；有一些是在Python去做庫外計(jì)算，兩者做有機(jī)的融合。

而通過Python插件的擴(kuò)展，能夠?qū)崿F(xiàn)各種復(fù)雜的計(jì)算，包括多數(shù)據(jù)集融合，歸因預(yù)測，外部知識(shí)融合等能力。希望結(jié)合大模型涌現(xiàn)能力，能給用戶帶來一些驚喜。

最后還有一個(gè)成本優(yōu)勢，交付周期很快，梳理好指標(biāo)需求并對(duì)接數(shù)據(jù)庫，這事就搞定了。

Part3.展望篇

BI的使用者包括開發(fā)者、數(shù)據(jù)分析師、業(yè)務(wù)用戶，每個(gè)角色都有自己的工作內(nèi)容，生成式AI對(duì)每個(gè)角色的工作都可以有不同的能力增強(qiáng)，比如幫助開發(fā)者生成SQL，提升數(shù)據(jù)開發(fā)效率等。

我們目前更關(guān)注業(yè)務(wù)用戶的價(jià)值提升?？傮w目標(biāo)是分兩階段，首先增強(qiáng)數(shù)據(jù)分析師和業(yè)務(wù)用戶的用數(shù)體驗(yàn)，包括數(shù)據(jù)查詢，分析，歸因，預(yù)測，數(shù)據(jù)分析報(bào)告的生成。

第二階段，針對(duì)開發(fā)者，自動(dòng)構(gòu)建指標(biāo)體系以及基于指標(biāo)的分析，當(dāng)然這里依賴于我們?cè)?000多個(gè)項(xiàng)目上行業(yè)Know-How的沉淀。

目前中國的企業(yè)（尤其是中小企業(yè)）亟需用數(shù)字化提升經(jīng)營管理水平，受限于供給側(cè)能力不足，BI項(xiàng)目建設(shè)周期長、成本高、效果還不可控。我們目標(biāo)是通過AIGC，一句話自動(dòng)生成一套BI系統(tǒng)。真正低成本、高效率地幫助中國中小企業(yè)完成數(shù)字化轉(zhuǎn)型。

最后回到我們的產(chǎn)品愿景：愛上與數(shù)據(jù)聊天。因?yàn)閻凼且粋€(gè)帶感情的東西，它不光是能夠給你查數(shù)、分析數(shù)，我們希望它真的能給你帶來一些驚喜，帶來一些你之前沒有想到的東西，這是我們對(duì)它的一個(gè)期待，謝謝大家。

點(diǎn)擊下方申請(qǐng)?jiān)囉肧martbi AIChat