女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

開源SPL的出現(xiàn),將使報(bào)表數(shù)據(jù)準(zhǔn)備的困難得到巨大的改觀

數(shù)據(jù)分析與開發(fā) ? 來源:數(shù)據(jù)分析與開發(fā) ? 作者:數(shù)據(jù)分析與開發(fā) ? 2022-06-16 11:03 ? 次閱讀
現(xiàn)在應(yīng)用中的報(bào)表大都使用報(bào)表工具開發(fā),成熟的報(bào)表工具提供了豐富的顯示設(shè)置、圖表類型、導(dǎo)出打印等功能可以簡(jiǎn)化報(bào)表開發(fā),非常方便。但是,實(shí)際報(bào)表開發(fā)中還是經(jīng)常碰到一些非常棘手的深層次問題,即使是已經(jīng)熟練使用報(bào)表工具的開發(fā)老手也會(huì)很撓頭。為什么有了報(bào)表工具還會(huì)出現(xiàn)這些問題呢?報(bào)表開發(fā),看起來就是將數(shù)據(jù)按照指定格式的表格或圖形呈現(xiàn)出來,這也是報(bào)表工具一直很擅長(zhǎng)的環(huán)節(jié)。但是,原始數(shù)據(jù)經(jīng)常并不適合直接呈現(xiàn),需要先做一些復(fù)雜的處理,這就是數(shù)據(jù)準(zhǔn)備環(huán)節(jié)。從報(bào)表工具的眼光上看,數(shù)據(jù)準(zhǔn)備屬于報(bào)表之外的事情,可以堂而皇之地拒絕處理。但是,拒絕不等于不存在,這個(gè)工作總還要做。沒有好的工具,目前報(bào)表的數(shù)據(jù)準(zhǔn)備還處于比較原始的硬編碼階段,幾百上千行的 SQL、幾十上百 K 的存儲(chǔ)過程和大量的 JAVA 代碼充斥在報(bào)表之后。落后的工具必然導(dǎo)致低下的生產(chǎn)效率,會(huì)嚴(yán)重拖累整個(gè)報(bào)表開發(fā)的進(jìn)程,也就出現(xiàn)了前述的“撓頭”現(xiàn)象。再由于大多數(shù)報(bào)表工具的不重視,這個(gè)問題遲遲還沒有被解決的跡象。報(bào)表數(shù)據(jù)準(zhǔn)備之于報(bào)表有如樹根之于大樹,如果根本得不到解決,在枝葉上花多少精力都是白費(fèi)。開源 SPL 的出現(xiàn),將使報(bào)表數(shù)據(jù)準(zhǔn)備的困難得到巨大的改觀。SPL(Structured Process Language)是專業(yè)的開源結(jié)構(gòu)化數(shù)據(jù)計(jì)算引擎,提供了豐富的計(jì)算類庫(kù),支持過程計(jì)算,擅長(zhǎng)完成各類復(fù)雜計(jì)算。同時(shí)開放計(jì)算體系支持多數(shù)據(jù)源混合計(jì)算,支持熱切換,提供標(biāo)準(zhǔn) JDBC 接口可與報(bào)表工具無縫集成。

降低報(bào)表的開發(fā)工作量

報(bào)表開發(fā)主要分兩個(gè)階段:第一階段是為報(bào)表準(zhǔn)備數(shù)據(jù),也就是把原始數(shù)據(jù)通過 SQL/ 存儲(chǔ)過程 /Java 加工成報(bào)表可用的數(shù)據(jù)集;第二階段是使用已準(zhǔn)備的數(shù)據(jù)編寫表達(dá)式進(jìn)行報(bào)表呈現(xiàn)。數(shù)據(jù)呈現(xiàn)使用報(bào)表工具可以簡(jiǎn)單地完成,尤其近些年前端可視化技術(shù)的進(jìn)步,越來越多報(bào)表都以圖形的方式呈現(xiàn),這更降低了報(bào)表呈現(xiàn)階段的難度。然而,數(shù)據(jù)準(zhǔn)備并沒有工具化。粗略統(tǒng)計(jì),在報(bào)表工具支持下,數(shù)據(jù)呈現(xiàn)在當(dāng)前報(bào)表開發(fā)的工作量占比能降到 20%,剩下80% 都是數(shù)據(jù)準(zhǔn)備,甚至更高。這時(shí)候,如果要優(yōu)化報(bào)表開發(fā)、提升報(bào)表開發(fā)效率也要從報(bào)表數(shù)據(jù)準(zhǔn)備方面入手。當(dāng)前數(shù)據(jù)準(zhǔn)備的主要方式是 SQL(包括存儲(chǔ)過程)和 Java。后者要比前者麻煩得多,主要是因?yàn)?Java 缺少結(jié)構(gòu)化計(jì)算類庫(kù),并非專門的集合計(jì)算語言。但 SQL 缺乏分步機(jī)制實(shí)現(xiàn)復(fù)雜計(jì)算時(shí)也非常繁瑣,加上只能基于數(shù)據(jù)庫(kù),當(dāng)碰到其他類型的數(shù)據(jù)源時(shí)就只能依靠 Java 了。另外,目前的一些前后端分離、微服務(wù)架構(gòu)要求只能在應(yīng)用端用 Java 硬編碼。這些因素都增加了報(bào)表數(shù)據(jù)準(zhǔn)備的工作量,導(dǎo)致報(bào)表開發(fā)效率不高。使用開源 SPL 可以輔助 / 替代原有的報(bào)表數(shù)據(jù)準(zhǔn)備方式,借助 SPL 簡(jiǎn)潔的語法和豐富的類庫(kù)可以快速完成報(bào)表數(shù)據(jù)準(zhǔn)備任務(wù),從而減少報(bào)表開發(fā)的工作量。豐富的計(jì)算類庫(kù):55117732-ed00-11ec-ba43-dac502259ad0.png與 SQL 不同,SPL 提倡分步計(jì)算,算法可以按照自然思維一步步實(shí)現(xiàn),這樣就可以避免編寫過于復(fù)雜的 SQL(復(fù)雜 SQL 不僅難寫,維護(hù)也不方便)。552ad844-ed00-11ec-ba43-dac502259ad0.png這里拿 SPL 和 SQL 做個(gè)對(duì)比(Java 計(jì)算要復(fù)雜得多,不太具備可比性)。查詢目標(biāo):根據(jù)股票記錄表查詢股價(jià)連續(xù)上漲超過 5 天的股票及上漲天數(shù)(股價(jià)相等記為上漲)SQL 實(shí)現(xiàn)要嵌套 3 層子查詢才能完成:
select code,max(risenum)-1 maxRiseDays from (  select code,count(1) risenum from  (    select code,changeSign,sum(changeSign) over(partition by code order by ddate) unRiseDays from    (        select               code,              ddate,              case when price>=lag(price) over(partition by code order by ddate)              then 0 else 1 end changeSign        from stock_record     )  )  group by code,unRiseDays)group by codehavingmax(risenum)>5

而同樣的計(jì)算用 SPL 則要簡(jiǎn)單很多:

A
1 =connect@l("orcl").query@x("select * from stock_record order by ddate")
2 =A1.group(code)
3 =A2.new(code,~.group@i(price 計(jì)算每只股票的連續(xù)上漲天數(shù)
4 =A3.select(maxrisedays>=5) 選出符合條件的記錄

SPL 還提供了簡(jiǎn)潔易用的開發(fā)環(huán)境,單步執(zhí)行、設(shè)置斷點(diǎn),所見即所得的結(jié)果預(yù)覽窗口…

5545d1da-ed00-11ec-ba43-dac502259ad0.png每步計(jì)算的結(jié)果都可以實(shí)時(shí)查看,相比 SQL 和存儲(chǔ)過程不好調(diào)試要方便高效得多。SPL 可以與報(bào)表工具集成嵌入使用,SPL 提供了標(biāo)準(zhǔn) JDBC 接口供報(bào)表工具調(diào)用,這樣就可以無縫取代原來實(shí)現(xiàn)報(bào)表數(shù)據(jù)準(zhǔn)備的硬編碼方式,甚至可以與原有方式共存。

改善存儲(chǔ)過程和 JAVA 做數(shù)據(jù)準(zhǔn)備的缺點(diǎn)

在報(bào)表開發(fā)中為了應(yīng)對(duì)復(fù)雜的數(shù)據(jù)準(zhǔn)備邏輯而使用存儲(chǔ)過程和 Java 處理數(shù)據(jù)的情況并不少見,在獲得非常有限的開發(fā)便利時(shí),卻帶來了巨大的麻煩。存儲(chǔ)過程編輯調(diào)試?yán)щy,沒有移植性更難以擴(kuò)展,會(huì)造成報(bào)表與數(shù)據(jù)庫(kù)的高度耦合,創(chuàng)建修改存儲(chǔ)過程需要較高的數(shù)據(jù)庫(kù)權(quán)限會(huì)帶來安全隱患,存儲(chǔ)過程往往需要專門的 DBA 維持,也推高了報(bào)表開發(fā)成本。不僅如此,同一個(gè)存儲(chǔ)過程還可能被不同模塊甚至不同應(yīng)用共用,這就造成了應(yīng)用間的緊耦合,牽存儲(chǔ)過程一發(fā)而動(dòng)應(yīng)用全身。SPL 提供了不依賴數(shù)據(jù)庫(kù)的計(jì)算能力,從存儲(chǔ)過程的角度看 SPL 類似一種“庫(kù)外存儲(chǔ)過程”。這樣可以充分解耦報(bào)表和數(shù)據(jù)庫(kù)、應(yīng)用與應(yīng)用,不再存在安全問題,移植性也大大增強(qiáng),再借助 SPL 開放的多樣數(shù)據(jù)源支持,數(shù)據(jù)庫(kù)擴(kuò)展或更改時(shí)只需要修改數(shù)據(jù)源連接,無需更改計(jì)算邏輯,可以很好實(shí)現(xiàn)平滑移植。Java 由于缺少結(jié)構(gòu)化計(jì)算類庫(kù),實(shí)現(xiàn)報(bào)表數(shù)據(jù)準(zhǔn)備代碼編寫難度大,同樣存在依賴專業(yè)程序員推高報(bào)表開發(fā)成本的問題。Java 實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備還會(huì)造成報(bào)表模塊和應(yīng)用其他模塊的緊耦合,不利于將查詢壓力大的報(bào)表模塊單獨(dú)維護(hù)。作為編譯型語言,Java 缺乏有效的熱切換機(jī)制,對(duì)頻繁多變的報(bào)表業(yè)務(wù)十分不利。SPL 的語法更為簡(jiǎn)潔,實(shí)現(xiàn)同樣的計(jì)算代碼更短,報(bào)表開發(fā)人員就可以學(xué)習(xí)使用,人力成本更低。SPL 可以與報(bào)表模塊集成,獨(dú)立于應(yīng)用其他模塊,單獨(dú)運(yùn)行維護(hù),降低應(yīng)用間的耦合性。同時(shí),SPL 解釋執(zhí)行支持熱切換,可以更好適應(yīng)多變的報(bào)表業(yè)務(wù)。

減少數(shù)據(jù)庫(kù)中的中間表

為了簡(jiǎn)化 SQL 運(yùn)算難度或提高查詢性能,或應(yīng)對(duì)多源情況,經(jīng)常會(huì)進(jìn)行數(shù)據(jù)預(yù)處理,事先加工出一部分中間結(jié)果存在數(shù)據(jù)庫(kù)中形成數(shù)據(jù)庫(kù)中間表。報(bào)表開發(fā)時(shí)數(shù)據(jù)準(zhǔn)備基于這些中間表完成,通??梢砸欢ǔ潭群?jiǎn)化開發(fā)難度并獲得較高的查詢性能。但中間表是一把雙刃劍,提供便利的同時(shí)缺點(diǎn)也很多。大多數(shù)情況下的中間表一旦建立幾乎就無法刪除(因?yàn)閿?shù)據(jù)庫(kù)表的管理機(jī)制是線性的,很難分類以確定中間表的歸屬,不敢輕易刪除),這就會(huì)導(dǎo)致中間表越來越多,有時(shí)竟然高達(dá)數(shù)萬。中間表要占用數(shù)據(jù)庫(kù)空間,導(dǎo)致數(shù)據(jù)庫(kù)容量不夠;而加工中間表則需要數(shù)據(jù)庫(kù)計(jì)算資源,導(dǎo)致數(shù)據(jù)庫(kù)性能下降,中間表過多會(huì)導(dǎo)致數(shù)據(jù)庫(kù)面臨擴(kuò)容壓力。SPL 提供了不依賴數(shù)據(jù)庫(kù)的計(jì)算能力,可以將中間表存儲(chǔ)到庫(kù)外文件中(開放數(shù)據(jù)文件格式或 SPL 存儲(chǔ)格式),SPL 基于文件進(jìn)行數(shù)據(jù)處理為報(bào)表輸出計(jì)算結(jié)果,完成數(shù)據(jù)準(zhǔn)備。將大量中間表外置到文件系統(tǒng)可以大幅減輕數(shù)據(jù)庫(kù)的壓力,既不用占用數(shù)據(jù)庫(kù)的寶貴空間,更不需要犧牲數(shù)據(jù)庫(kù)計(jì)算資源來加工中間表可謂一舉兩得。不僅如此,“庫(kù)外中間表”可以使用文件系統(tǒng)的樹狀結(jié)構(gòu)進(jìn)行管理,不同目錄的中間數(shù)據(jù)對(duì)應(yīng)不同業(yè)務(wù)的報(bào)表,不僅方便管理,還能進(jìn)一步降低報(bào)表模塊間的耦合性。

實(shí)現(xiàn)報(bào)表的熱切換

熱切換(Hot Swap)是指在系統(tǒng)不停機(jī)的情況下更換系統(tǒng)部件,在報(bào)表業(yè)務(wù)中則是指在不重啟報(bào)表及相關(guān)應(yīng)用的情況下完成對(duì)報(bào)表的維護(hù)(新增、修改、刪除),實(shí)時(shí)修改,實(shí)時(shí)生效。目前大部分報(bào)表工具開發(fā)的呈現(xiàn)模板都能熱切換,不過作為報(bào)表一部分的數(shù)據(jù)準(zhǔn)備情況卻有所不同。使用數(shù)據(jù)庫(kù) SQL 完成數(shù)據(jù)準(zhǔn)備可以直接做到熱切換,但編譯型的 Java 不行。而現(xiàn)在隨著更先進(jìn)架構(gòu)(如微服務(wù))的應(yīng)用,使用 Java 完成報(bào)表數(shù)據(jù)準(zhǔn)備的情況非常常見。為了解決報(bào)表熱切換的問題,可以使用 SPL 替代 Java 完成諸如微服務(wù)架構(gòu)中的報(bào)表數(shù)據(jù)準(zhǔn)備工作。SPL 解釋執(zhí)行,天然支持熱切換,同時(shí)具備完善的計(jì)算體系以及敏捷語法可以很方便地實(shí)現(xiàn)數(shù)據(jù)處理任務(wù)。

解決多樣性數(shù)據(jù)源

當(dāng)前報(bào)表的數(shù)據(jù)來源十分豐富,RDB、NoSQL、CSV、Excel、HDFS、Restful/Webservice、Kafka…都可以成為報(bào)表數(shù)據(jù)源,多樣性數(shù)據(jù)源會(huì)帶來兩個(gè)問題,如何連接這些數(shù)據(jù)源?連接后如何關(guān)聯(lián)計(jì)算?而在前后端分離、微服務(wù)等架構(gòu)下,幾乎所有報(bào)表都不會(huì)直接基于數(shù)據(jù)庫(kù)開發(fā),多樣數(shù)據(jù)源問題就更加嚴(yán)重。以往解決報(bào)表多樣源問題的方式有三種:一是借助報(bào)表工具的能力。有些報(bào)表工具提供了多種數(shù)據(jù)源連接支持,分別取數(shù)后在報(bào)表呈現(xiàn)模板中完成關(guān)聯(lián)等計(jì)算。不過,報(bào)表工具的計(jì)算能力很弱,只能實(shí)現(xiàn)很有限的多源混合計(jì)算。二是將多源數(shù)據(jù) ETL 到一個(gè) RDB 中,將多源轉(zhuǎn)化成單源再借助 SQL 能力完成計(jì)算。這種方式不僅很繁瑣,數(shù)據(jù)也不實(shí)時(shí),數(shù)據(jù)量大或計(jì)算復(fù)雜時(shí)還會(huì)引發(fā)數(shù)據(jù)庫(kù)性能問題。而且這也嚴(yán)重有悖于微服務(wù)架構(gòu)的原則。三是使用 Java 硬編碼。Java 的問題我們已經(jīng)說過多次,不僅編碼難度高,而且也不支持熱切換。開源 SPL 目前提供了幾十種數(shù)據(jù)源支持,可以快速連接這些數(shù)據(jù)源完成取數(shù)計(jì)算。不僅是連接取數(shù),SPL 提供豐富的計(jì)算類庫(kù)可以很方便進(jìn)行異構(gòu)源混合計(jì)算,實(shí)現(xiàn)多源關(guān)聯(lián)等復(fù)雜計(jì)算。 SPL 實(shí)時(shí)基于多源完成計(jì)算,將計(jì)算后結(jié)果直接輸出報(bào)表進(jìn)行呈現(xiàn),不僅解決了數(shù)據(jù)實(shí)時(shí)性問題,也改善了報(bào)表工具計(jì)算能力不足、Java 編碼難熱切換難的困境,是報(bào)表多樣源問題的有效解決方式。

提升報(bào)表性能

報(bào)表性能是總也避不開的話題,報(bào)表作為 OLAP 中的最主要應(yīng)用場(chǎng)景,涉及的數(shù)據(jù)可能很多,大數(shù)據(jù)量、計(jì)算邏輯復(fù)雜經(jīng)常會(huì)引發(fā)報(bào)表性能問題。而報(bào)表是面向業(yè)務(wù)用戶呈現(xiàn)的,性能差就會(huì)帶來很惡劣的用戶體驗(yàn)。報(bào)表性能問題表象上是報(bào)表查詢慢,但其實(shí)絕大多數(shù)都是數(shù)據(jù)準(zhǔn)備引起的,一旦數(shù)據(jù)準(zhǔn)備好,呈現(xiàn)效率往往很高。報(bào)表數(shù)據(jù)準(zhǔn)備是將原始數(shù)據(jù)加工成報(bào)表需要的數(shù)據(jù)集,報(bào)表要呈現(xiàn)的通常是聚合后的匯總結(jié)果數(shù)據(jù)量并不大,但原始數(shù)據(jù)卻可能非常大,不僅數(shù)據(jù)量大,數(shù)據(jù)處理邏輯也可能很復(fù)雜,這些都會(huì)造成低性能。解決辦法除了常見的優(yōu)化 SQL 以外,還可以使用 SPL 提速。SQL 執(zhí)行效率依賴數(shù)據(jù)庫(kù)的優(yōu)化能力,而對(duì)復(fù)雜 SQL 數(shù)據(jù)庫(kù)優(yōu)化引擎經(jīng)常失效,導(dǎo)致執(zhí)行效率不高。這時(shí)可以將計(jì)算邏輯使用 SPL 實(shí)現(xiàn),借助 SPL 的高性能算法達(dá)到提速的目的。如果因?yàn)閿?shù)據(jù)庫(kù)過于繁忙(壓力過大)導(dǎo)致查詢慢,優(yōu)化 SQL 也無能為力;甚至根本無 SQL 可用(非 RDB 源)時(shí),使用不依賴數(shù)據(jù)庫(kù)能力的 SPL 就比較有效了。特別說明的是,對(duì)于計(jì)算密集型任務(wù),使用 SPL 優(yōu)化時(shí)經(jīng)常需要將數(shù)據(jù)事先外置到文件系統(tǒng)再進(jìn)行,目的是減少 RDB 到 SPL 的 IO 時(shí)間,如果從數(shù)據(jù)庫(kù)實(shí)時(shí)取數(shù)計(jì)算,IO 時(shí)間可能比計(jì)算時(shí)間還要長(zhǎng)。另外,SPL 存儲(chǔ)在數(shù)據(jù)組織方式上有很大優(yōu)勢(shì),基于 SPL 存儲(chǔ)計(jì)算可以獲得更高性能。除了數(shù)據(jù)準(zhǔn)備外,數(shù)據(jù)傳輸也是另一個(gè)瓶頸。報(bào)表通過 JDBC 接口訪問數(shù)據(jù)庫(kù)讀取所需數(shù)據(jù)時(shí),如果數(shù)據(jù)量比較大或者數(shù)據(jù)庫(kù) JDBC 性能較差(各種數(shù)據(jù)庫(kù)的 JDBC 效率是不同的)會(huì)導(dǎo)致數(shù)據(jù)傳輸時(shí)間過長(zhǎng),導(dǎo)致報(bào)表變慢。對(duì)于數(shù)據(jù)密集型的報(bào)表,可以通過 SPL并行取數(shù)來提速。在 SPL 中建立多個(gè)數(shù)據(jù)庫(kù)連接(這時(shí)要求數(shù)據(jù)庫(kù)相對(duì)空閑),采用多線程的方式同時(shí)讀取報(bào)表所需數(shù)據(jù),可以是同一個(gè)表,也可以是多個(gè)表關(guān)聯(lián)計(jì)算后的結(jié)果,這樣數(shù)據(jù)傳輸?shù)臅r(shí)間理論上就會(huì)縮短到原來的 1/n(n 是線程數(shù)),從而提升報(bào)表性能。此外,報(bào)表本身也可能發(fā)生計(jì)算較慢的問題。比如報(bào)表工具完成多數(shù)據(jù)集的關(guān)聯(lián)是在報(bào)表單元格的表達(dá)式中完成的,類似這樣 ds2.select(ID==ds1.ID),報(bào)表引擎在解析這個(gè)表達(dá)式時(shí)會(huì)按照順序遍歷的方式完成關(guān)聯(lián),即從 ds2(數(shù)據(jù)集 2) 中拿出一條記錄,到 ds1 (數(shù)據(jù)集 1)中遍歷,查找 ID 相同的記錄;然后再拿第二條再去遍歷查找;…
這個(gè)運(yùn)算復(fù)雜度是平方級(jí)的,數(shù)據(jù)量小的時(shí)候沒什么影響,數(shù)據(jù)量稍大時(shí)性能就會(huì)急劇下降。
解決辦法是將在報(bào)表端實(shí)現(xiàn)的多數(shù)據(jù)集關(guān)聯(lián)運(yùn)算轉(zhuǎn)移到數(shù)據(jù)準(zhǔn)備階段完成。如果是同一個(gè)數(shù)據(jù)庫(kù)可以使用 SQL,但如果 SQL 運(yùn)行效率不高,或者數(shù)據(jù)來自多源時(shí),可以使用 SPL 完成關(guān)聯(lián)計(jì)算。仍然是借助 SPL 的多源能力、高性能算法以及高性能存儲(chǔ)來達(dá)到提速的目的。

低成本應(yīng)對(duì)沒完沒了

報(bào)表不同于企業(yè)信息系統(tǒng)的其他部分,會(huì)伴隨系統(tǒng)生命周期一直不斷新增、修改。這是由于企業(yè)在生產(chǎn)經(jīng)營(yíng)過程中會(huì)不斷催生出新的報(bào)表需求,這就造成了沒完沒了的報(bào)表。沒完沒了的報(bào)表無法消除,只能適應(yīng),這就需要低成本的適應(yīng)方案。總體來講,想要高效率、低成本地應(yīng)對(duì)報(bào)表沒完沒了可以按照這樣幾步來走:第一步,引入報(bào)表工具解決報(bào)表呈現(xiàn)階段的人力。先把最容易解決的問題解決掉,通過引入專業(yè)的報(bào)表工具解放報(bào)表數(shù)據(jù)呈現(xiàn)階段的人力,完成各類圖表呈現(xiàn)。目前大部分用戶都會(huì)使用報(bào)表工具開發(fā)報(bào)表,因此這一步已基本實(shí)現(xiàn)。第二步,引入計(jì)算工具解決報(bào)表數(shù)據(jù)準(zhǔn)備階段的人力。跟第一步類似,要將報(bào)表數(shù)據(jù)準(zhǔn)備也工具化才能徹底解決以往報(bào)表數(shù)據(jù)準(zhǔn)備效率低下的問題。前文我們討論的都是這個(gè)階段的問題,利用開源 SPL 編碼簡(jiǎn)潔、多源支持、熱切換等特性可以很好實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備工具化。配合第一步,可以讓整個(gè)報(bào)表開發(fā)工作全面工具化,從而獲得更高的開發(fā)效率。第三步,獨(dú)立報(bào)表模塊優(yōu)化應(yīng)用結(jié)構(gòu)。報(bào)表開發(fā)全面工具化后,就可以調(diào)整應(yīng)用結(jié)構(gòu),把報(bào)表模塊從業(yè)務(wù)系統(tǒng)中解耦出來。報(bào)表模塊僅僅共享業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源(數(shù)據(jù)庫(kù)或別的數(shù)據(jù)存儲(chǔ)介質(zhì)),而不再和業(yè)務(wù)系統(tǒng)緊密耦合。報(bào)表呈現(xiàn)和數(shù)據(jù)準(zhǔn)備都工具化之后,報(bào)表運(yùn)算可以被中間件解釋執(zhí)行,這樣,報(bào)表的頻繁修改增加也不需要讓業(yè)務(wù)系統(tǒng)都重新啟動(dòng),大幅降低運(yùn)維的復(fù)雜度。這個(gè)過程特別重要的是梳理數(shù)據(jù)源,把報(bào)表模塊需要的數(shù)據(jù)源單獨(dú)整理出來,以后開發(fā)報(bào)表只需要和這些數(shù)據(jù)源打交道。通過這樣三步將報(bào)表開發(fā)全面工具化,提升了報(bào)表開發(fā)效率,同時(shí)還優(yōu)化了應(yīng)用結(jié)構(gòu),獨(dú)立后的報(bào)表模塊單獨(dú)運(yùn)維,無論從技術(shù)架構(gòu)上還是人員架構(gòu)上都更為合理,有效應(yīng)對(duì)沒完沒了的報(bào)表。

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7239

    瀏覽量

    90990
  • spl
    spl
    +關(guān)注

    關(guān)注

    0

    文章

    20

    瀏覽量

    16490
  • 開源工具
    +關(guān)注

    關(guān)注

    0

    文章

    27

    瀏覽量

    4621

原文標(biāo)題:有了這個(gè)開源工具,數(shù)據(jù)準(zhǔn)備太方便了!

文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    使用AD芯片對(duì)正弦波采樣,得到這樣的結(jié)果,可能是哪里出現(xiàn)問題?

    使用AD芯片對(duì)正弦波采樣,得到這樣的結(jié)果,可能是哪里出現(xiàn)問題?
    發(fā)表于 04-03 18:51

    使用Newlib時(shí)出現(xiàn)FreeRTOS硬故障怎么解決?

    (不精確的數(shù)據(jù)總線) 已附加項(xiàng)目 切換到 Redlib 工作正常,newlib 崩潰 如果我關(guān)閉空閑功能,似乎工作正常,盡管我沒有進(jìn)一步排除故障 我的目標(biāo)是讓 Segger RTT 在 CM4 內(nèi)核上運(yùn)行,事實(shí)證明這比預(yù)期的要困難得多。有沒有這方面的例子?
    發(fā)表于 04-02 07:08

    NVIDIA推出開源物理AI數(shù)據(jù)

    標(biāo)準(zhǔn)化合成數(shù)據(jù)的初始版本預(yù)計(jì)將成為世界上最大的此類數(shù)據(jù)集,目前已作為開源版本提供給機(jī)器人開發(fā)人員。
    的頭像 發(fā)表于 03-24 17:52 ?539次閱讀

    i.mx8m如何在u-boot SPL階段啟用pwm?

    硬件:i.mx8m mini。 U-Boot 版本:2023.01 DFSG-2 我想讓 pwm 點(diǎn)亮我的 spl.c 中的 LED,這樣用戶在接通板子電源后就可以立即看到燈亮了。 我沒有找到將
    發(fā)表于 03-21 07:51

    【貝啟科技BQ3568HM開源鴻蒙開發(fā)板深度試用報(bào)告】1 - 開箱測(cè)試和技術(shù)資料準(zhǔn)備

    科技BQ3568HM開源鴻蒙開發(fā)板、5.5寸觸摸屏、電源適配器、USB數(shù)據(jù)線及WiFi天線。 開機(jī)測(cè)試 插上電源開機(jī)后,系統(tǒng)顯示的是潤(rùn)和的DAYU的logo,看來廠商提供的軟件包主要來自主線代碼,定制的內(nèi)容不多
    發(fā)表于 01-21 11:17

    用ADS1256結(jié)合飛思卡爾的單片機(jī)設(shè)計(jì)一個(gè)數(shù)據(jù)采集系統(tǒng),為什么采用SPI通信時(shí)得到的總是一個(gè)固定的數(shù)?

    準(zhǔn)備用ADS1256結(jié)合飛思卡爾的單片機(jī)設(shè)計(jì)一個(gè)數(shù)據(jù)采集系統(tǒng),但是不知道為什么采用SPI通信時(shí),得到的總是一個(gè)固定的數(shù)。
    發(fā)表于 01-02 06:02

    自動(dòng)化報(bào)表生成:水庫(kù)水雨情監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)可視化功能

    在現(xiàn)代水庫(kù)管理中,水雨情監(jiān)測(cè)系統(tǒng)不僅承擔(dān)著實(shí)時(shí)監(jiān)測(cè)水情、降水、氣象等數(shù)據(jù)的任務(wù),同時(shí)還通過數(shù)據(jù)可視化功能將復(fù)雜的水文信息呈現(xiàn)為易于理解的圖表、報(bào)表等,極大提升了水庫(kù)管理的決策效率和準(zhǔn)確性。自動(dòng)化
    的頭像 發(fā)表于 12-25 15:52 ?563次閱讀
    自動(dòng)化<b class='flag-5'>報(bào)表</b>生成:水庫(kù)水雨情監(jiān)測(cè)系統(tǒng)的<b class='flag-5'>數(shù)據(jù)</b>可視化功能

    使用ads131a04過程中,實(shí)際采集得到的最大數(shù)據(jù)約為理論的1.8倍,為什么?

    大家好,我在使用ads131a04過程中出現(xiàn)一個(gè)問題,我是使用外部參考電壓模式,參考電壓為2.5V,ADC前端輸入差分信號(hào),AINP和AINN輸入信號(hào)峰峰值為700mVpp,ADC采用16位數(shù)據(jù)
    發(fā)表于 12-17 08:07

    ADS1256設(shè)置不同的數(shù)據(jù)輸出速率的時(shí)候,得到的24bit的輸出數(shù)據(jù)不相同,為什么?

    在使用ADS1256采集數(shù)據(jù)時(shí)出現(xiàn)問題描述如下:當(dāng)設(shè)置不同的數(shù)據(jù)輸出速率的時(shí)候,得到的24bit的輸出數(shù)據(jù)不相同。 采集系統(tǒng)硬件描述如下,
    發(fā)表于 12-13 06:34

    用labview創(chuàng)建DIAdem報(bào)表的具體方法

    求一份用labview創(chuàng)建DIAdem報(bào)表的具體方法
    發(fā)表于 11-27 14:31

    LSTM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)準(zhǔn)備方法

    LSTM(Long Short-Term Memory,長(zhǎng)短期記憶)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)準(zhǔn)備方法是一個(gè)關(guān)鍵步驟,它直接影響到模型的性能和效果。以下是一些關(guān)于LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備
    的頭像 發(fā)表于 11-13 10:08 ?1911次閱讀

    測(cè)徑儀控制軟件 趨勢(shì)圖報(bào)表一個(gè)不能少

    測(cè)徑儀控制軟件是工業(yè)領(lǐng)域中用于精確測(cè)量和監(jiān)控物體直徑的重要工具。為了確保數(shù)據(jù)的直觀展示和后續(xù)分析,趨勢(shì)圖報(bào)表的生成是不可或缺的功能。 以下是一些關(guān)于測(cè)徑儀控制軟件中如何確保趨勢(shì)圖報(bào)表功能完善的建議
    發(fā)表于 10-21 14:35

    商業(yè)水電抄表收費(fèi)困難怎么解決?

    一 、 商業(yè)水電收費(fèi)困難的原因 分戶計(jì)量不準(zhǔn)確:水電表可能存在精度問題或故障,導(dǎo)致讀數(shù)不準(zhǔn)確,從而引發(fā)業(yè)主對(duì)水電費(fèi)的質(zhì)疑和糾紛; ? 水電費(fèi)明細(xì)無法實(shí)時(shí)查看:水電的使用量和項(xiàng)管費(fèi)用無法形成明細(xì)報(bào)表
    的頭像 發(fā)表于 10-14 10:38 ?830次閱讀
    商業(yè)水電抄表收費(fèi)<b class='flag-5'>困難</b>怎么解決?

    LABVIEW報(bào)表創(chuàng)建工具遇到的一個(gè)問題,麻煩大佬幫忙看一下

    報(bào)表插入之后打開EXCEL選定的保存位置會(huì)提示如下 此時(shí)無論點(diǎn)是或者否保存的數(shù)據(jù)都會(huì)消失,仔細(xì)觀察之后發(fā)現(xiàn)創(chuàng)建報(bào)表創(chuàng)建的EXCEL進(jìn)程,無法被處置報(bào)表VI關(guān)閉。此時(shí)手動(dòng)點(diǎn)擊EXCEL
    發(fā)表于 10-09 10:03

    數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫(kù)出現(xiàn)823錯(cuò)誤的數(shù)據(jù)恢復(fù)案例

    SQL Server數(shù)據(jù)庫(kù)故障: SQL Server附加數(shù)據(jù)庫(kù)出現(xiàn)錯(cuò)誤823,附加數(shù)據(jù)庫(kù)失敗。數(shù)據(jù)庫(kù)沒有備份,無法通過備份恢復(fù)
    的頭像 發(fā)表于 09-20 11:46 ?623次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>庫(kù)<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—SQL Server<b class='flag-5'>數(shù)據(jù)</b>庫(kù)<b class='flag-5'>出現(xiàn)</b>823錯(cuò)誤的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例