近年來(lái)，電子支付業(yè)務(wù)在全球蓬勃發(fā)展。電子支付已成為人們金融生活中占有重要地位的金融形勢(shì)。易寶支付與支付寶，財(cái)付通一樣，是中國(guó)領(lǐng)先的獨(dú)立第三方支付平臺(tái)。對(duì)于第三方支付公司要注重?cái)?shù)據(jù)庫(kù)的穩(wěn)定性、安全性和高可用性。還要完美支持海量支付交易需求。如何保證數(shù)據(jù)研發(fā)、數(shù)據(jù)科學(xué)類的產(chǎn)品高效產(chǎn)出，這也是需要解決大多數(shù)計(jì)算邏輯清晰的產(chǎn)品底層技術(shù)實(shí)施。針對(duì)SQL成為數(shù)據(jù)工程與數(shù)據(jù)科學(xué)領(lǐng)域"瘦身"的問(wèn)題，與易寶支付相關(guān)技術(shù)人士進(jìn)行了探討，并做了以下梳理。

SQL優(yōu)化的意義

數(shù)據(jù)庫(kù)性能優(yōu)化是系統(tǒng)生命周期中不可缺少的一環(huán)，我們大多數(shù)的數(shù)據(jù)庫(kù)都或多或少遇到一些性能問(wèn)題。特別是隨著業(yè)務(wù)的發(fā)展、數(shù)據(jù)量的增加、系統(tǒng)用戶數(shù)的增多、以及系統(tǒng)之間越來(lái)越復(fù)雜的接口，都會(huì)導(dǎo)致系統(tǒng)的性能越來(lái)越惡化。怎么樣去優(yōu)化一套數(shù)據(jù)庫(kù)，我們需要掌握很多的知識(shí)，包括存儲(chǔ)子系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫(kù)甚至還有業(yè)務(wù)邏輯。很多人面對(duì)性能問(wèn)題不知如何下手。

好在，數(shù)據(jù)庫(kù)的性能問(wèn)題至少有80%以上都是由于SQL性能較差所導(dǎo)致，同時(shí)隨著硬件性能的提升和硬件價(jià)格越來(lái)越便宜，硬件所帶來(lái)的系統(tǒng)瓶頸相對(duì)越來(lái)越小，所以在大多數(shù)情況下，我們優(yōu)化數(shù)據(jù)庫(kù)也就是優(yōu)化SQL語(yǔ)句。這意味著只要我們做好了SQL優(yōu)化，我們?cè)诖蠖鄶?shù)情況下就能保證應(yīng)用系統(tǒng)在數(shù)據(jù)庫(kù)端是沒(méi)有明顯性能問(wèn)題的。

SQL--數(shù)據(jù)技術(shù)棧中的"瘦身"

在計(jì)算機(jī)網(wǎng)路中，有個(gè)關(guān)于“細(xì)腰”的概念，說(shuō)的是從底層硬件到頂層軟件的技術(shù)棧中，中間存在各種各樣異構(gòu)的底層網(wǎng)路硬件與頂層軟件。

需要一種可以承上啟下，以不變應(yīng)萬(wàn)變的東西來(lái)屏蔽掉復(fù)雜的網(wǎng)絡(luò)請(qǐng)求，提供一套統(tǒng)一的協(xié)議來(lái)確保網(wǎng)絡(luò)之間可以相互連接與通信。

在如下協(xié)議棧中，IP層起到了通用語(yǔ)言的作用，上層協(xié)議“一切基于IP”，下層協(xié)議“IP兼顧一切”。

從 2013 年國(guó)內(nèi)的大數(shù)據(jù)元年開(kāi)始，大數(shù)據(jù)相關(guān)領(lǐng)域爆發(fā)式增長(zhǎng)，圍繞 Hadoop 生態(tài)圈的產(chǎn)品越來(lái)越多，如分布式存儲(chǔ)層(HDFS)、分布式數(shù)據(jù)庫(kù)(HBase, Mongodb, Cassandra等)、計(jì)算層中的MapReduce、Spark、Flink、消息總線(如 Kafka)、數(shù)據(jù)應(yīng)用(如報(bào)表)、交互式分析即席查詢、數(shù)據(jù)挖掘、可視化工具等等。

在這樣一個(gè)各層級(jí)有多種技術(shù)選型的復(fù)雜技術(shù)棧中，SQL 已經(jīng)成為一種公共語(yǔ)言，相當(dāng)于數(shù)據(jù)行業(yè)的默認(rèn)的標(biāo)準(zhǔn)協(xié)議，各個(gè)層次各個(gè)組件都盡力實(shí)現(xiàn)一套近乎支持標(biāo)準(zhǔn) SQL 語(yǔ)義的 sql layer 層作為對(duì)外交互方式。

在數(shù)據(jù)技術(shù)棧中，SQL 起到了通用語(yǔ)言的作用，上層“一切基于 SQL”，下層" SQL 兼顧一切"。

在數(shù)據(jù)產(chǎn)品的設(shè)計(jì)中，無(wú)論是數(shù)據(jù)工程還是數(shù)據(jù)科學(xué)，無(wú)論 UI 做的多靈活自然，你都不可避免的向 SQL 靠近。

數(shù)據(jù)平臺(tái)其實(shí)是個(gè)很大的概念，按照畢馬威的說(shuō)法，企業(yè)的數(shù)據(jù)平臺(tái)等價(jià)于信息平臺(tái)。涉及數(shù)據(jù)的整合(數(shù)據(jù)清洗加工等)、數(shù)據(jù)治理(數(shù)據(jù)標(biāo)準(zhǔn)等)、數(shù)據(jù)應(yīng)用(數(shù)據(jù)報(bào)表、交互式分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等)、數(shù)據(jù)工程，還包括數(shù)據(jù)科學(xué)。

我們?cè)跇?gòu)建一個(gè)數(shù)據(jù)平臺(tái)的時(shí)候，應(yīng)該借鑒前人的經(jīng)驗(yàn)，少走彎路，需要一套指導(dǎo)手冊(cè)起到這樣的"細(xì)腰"的作用，比如關(guān)于數(shù)據(jù)工程與數(shù)據(jù)科學(xué)的大作《數(shù)據(jù)即未來(lái)》, 一定程度上提供了道、術(shù)、器可被我們借鑒。

(新媒體責(zé)編：shang080503)