數(shù)據(jù)采集

數(shù)據(jù)采集（DAQ），是指從傳感器和其它待測(cè)設(shè)備等模擬和數(shù)字被測(cè)單元中自動(dòng)采集非電量或者電量信號(hào)，送到上位機(jī)中進(jìn)行分析，處理。數(shù)據(jù)采集系統(tǒng)是結(jié)合基于計(jì)算機(jī)或者其他專用測(cè)試平臺(tái)的測(cè)量軟硬件產(chǎn)品來(lái)實(shí)現(xiàn)靈活的、用戶自定義的測(cè)量系統(tǒng)。

數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。數(shù)據(jù)采集技術(shù)廣泛應(yīng)用在各個(gè)領(lǐng)域。比如攝像頭，麥克風(fēng)，都是數(shù)據(jù)采集工具。

被采集數(shù)據(jù)是已被轉(zhuǎn)換為電訊號(hào)的各種物理量，如溫度、水位、風(fēng)速、壓力等，可以是模擬量，也可以是數(shù)字量。采集一般是采樣方式，即隔一定時(shí)間（稱采樣周期）對(duì)同一點(diǎn)數(shù)據(jù)重復(fù)采集。采集的數(shù)據(jù)大多是瞬時(shí)值，也可是某段時(shí)間內(nèi)的一個(gè)特征值。準(zhǔn)確的數(shù)據(jù)測(cè)量是數(shù)據(jù)采集的基礎(chǔ)。數(shù)據(jù)量測(cè)方法有接觸式和非接觸式，檢測(cè)元件多種多樣。不論哪種方法和元件，均以不影響被測(cè)對(duì)象狀態(tài)和測(cè)量環(huán)境為前提，以保證數(shù)據(jù)的正確性。數(shù)據(jù)采集含義很廣，包括對(duì)面狀連續(xù)物理量的采集。在計(jì)算機(jī)輔助制圖、測(cè)圖、設(shè)計(jì)中，對(duì)圖形或圖像數(shù)字化過(guò)程也可稱為數(shù)據(jù)采集，此時(shí)被采集的是幾何量（或包括物理量，如灰度）數(shù)據(jù)。

在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的今天，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于互聯(lián)網(wǎng)及分布式領(lǐng)域，數(shù)據(jù)采集領(lǐng)域已經(jīng)發(fā)生了重要的變化。首先，分布式控制應(yīng)用場(chǎng)合中的智能數(shù)據(jù)采集系統(tǒng)在國(guó)內(nèi)外已經(jīng)取得了長(zhǎng)足的發(fā)展。其次，總線兼容型數(shù)據(jù)采集插件的數(shù)量不斷增大，與個(gè)人計(jì)算機(jī)兼容的數(shù)據(jù)采集系統(tǒng)的數(shù)量也在增加。國(guó)內(nèi)外各種數(shù)據(jù)采集機(jī)先后問(wèn)世，將數(shù)據(jù)采集帶入了一個(gè)全新的時(shí)代。

現(xiàn)在談?wù)摯髷?shù)據(jù)已經(jīng)沒(méi)有新意了，形形色色的產(chǎn)品、平臺(tái)和公司都貼滿大數(shù)據(jù)標(biāo)簽，但大數(shù)據(jù)卻并沒(méi)有掀起預(yù)期颶風(fēng)，甚至還被冠以“偽命題”污名。

本末倒置，數(shù)據(jù)采集才是大數(shù)據(jù)產(chǎn)業(yè)的基石。都在說(shuō)大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)價(jià)值挖掘，卻不想，沒(méi)有數(shù)據(jù)何來(lái)應(yīng)用、價(jià)值一說(shuō)。就好比不開(kāi)采石油，一味想得到汽油。當(dāng)然，石油開(kāi)采并不容易，各行各業(yè)包括政府部門的信息化建設(shè)都是封閉式進(jìn)行，海量數(shù)據(jù)被封在不同軟件系統(tǒng)，數(shù)據(jù)源多種多樣，數(shù)據(jù)量大、更新快。

大數(shù)據(jù)時(shí)代最不缺的就是數(shù)據(jù)。但面對(duì)數(shù)據(jù)資源，如何開(kāi)采？用什么工具開(kāi)采？如何以最低成本的開(kāi)采？

數(shù)據(jù)采集方法

今天就和大家討論3種軟件系統(tǒng)的數(shù)據(jù)采集方法，重點(diǎn)關(guān)注實(shí)現(xiàn)過(guò)程與各自的優(yōu)缺點(diǎn)。

一、軟件接口方式

各個(gè)軟件廠商提供數(shù)據(jù)接口，實(shí)現(xiàn)數(shù)據(jù)采集匯聚。

實(shí)現(xiàn)過(guò)程：

· 協(xié)調(diào)多方軟件廠商工程師到場(chǎng)，了解所有系統(tǒng)業(yè)務(wù)流程以及數(shù)據(jù)庫(kù)相關(guān)的表結(jié)構(gòu)設(shè)計(jì)等，細(xì)節(jié)推敲，確定可行性方案；

· 編碼

· 測(cè)試、調(diào)試階段

· 交付使用

接口對(duì)接方式的數(shù)據(jù)可靠性與價(jià)值較高，一般不存在數(shù)據(jù)重復(fù)的情況；數(shù)據(jù)通過(guò)接口實(shí)時(shí)傳輸，滿足數(shù)據(jù)實(shí)時(shí)性的要求。

接口對(duì)接方式的缺點(diǎn)是接口開(kāi)發(fā)費(fèi)用高；協(xié)調(diào)各個(gè)軟件廠商，協(xié)調(diào)難度大、投入人力大；擴(kuò)展性不高，如：由于業(yè)務(wù)需要各軟件系統(tǒng)開(kāi)發(fā)出新的業(yè)務(wù)模塊，其和大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)接口也需做相應(yīng)修改和變動(dòng)，甚至要推翻以前的所有數(shù)據(jù)接口編碼，工作量大、耗時(shí)長(zhǎng)。

二、開(kāi)放數(shù)據(jù)庫(kù)方式

實(shí)現(xiàn)數(shù)據(jù)的采集匯聚，開(kāi)放數(shù)據(jù)庫(kù)是最直接的一種方式。

兩個(gè)系統(tǒng)分別有各自的數(shù)據(jù)庫(kù)，同類型的數(shù)據(jù)庫(kù)之間是比較方便的：

1. 如果兩個(gè)數(shù)據(jù)庫(kù)在同一個(gè)服務(wù)器上，只要用戶名設(shè)置的沒(méi)有問(wèn)題，就可以直接相互訪問(wèn)，需要在from后將其數(shù)據(jù)庫(kù)名稱及表的架構(gòu)所有者帶上即可。select * from DATABASE1.dbo.table1

2. 如果兩個(gè)系統(tǒng)的數(shù)據(jù)庫(kù)不在一個(gè)服務(wù)器上，建議采用鏈接服務(wù)器的形式處理，或者使用openset和opendatasource的方式，這個(gè)需要對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)進(jìn)行外圍服務(wù)器的配置。

而不同類型的數(shù)據(jù)庫(kù)之間的連接就比較麻煩，需要做很多設(shè)置才能生效，這里不做詳細(xì)說(shuō)明。

開(kāi)放數(shù)據(jù)庫(kù)方式可以直接從目標(biāo)數(shù)據(jù)庫(kù)中獲取需要的數(shù)據(jù)，準(zhǔn)確性高，實(shí)時(shí)性也能得到保證，是最直接、便捷的一種方式。

但開(kāi)放數(shù)據(jù)庫(kù)方式也需要協(xié)調(diào)各個(gè)軟件廠商開(kāi)放數(shù)據(jù)庫(kù)，難度大；一個(gè)平臺(tái)如果同時(shí)連接多個(gè)軟件廠商的數(shù)據(jù)庫(kù)，并實(shí)時(shí)獲取數(shù)據(jù)，這對(duì)平臺(tái)性能也是巨大挑戰(zhàn)。不過(guò)，出于安全性考慮，軟件廠商一般不會(huì)開(kāi)放自己的數(shù)據(jù)庫(kù)。

三、基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式

通過(guò)獲取軟件系統(tǒng)的底層數(shù)據(jù)交換、軟件客戶端和數(shù)據(jù)庫(kù)之間的網(wǎng)絡(luò)流量包，基于底層IO請(qǐng)求與網(wǎng)絡(luò)分析等技術(shù)，采集目標(biāo)軟件產(chǎn)生的所有數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換與重新結(jié)構(gòu)化，輸出到新的數(shù)據(jù)庫(kù)，供軟件系統(tǒng)調(diào)用。

技術(shù)特點(diǎn)如下：

1. 無(wú)需原軟件廠商配合；

2. 實(shí)時(shí)數(shù)據(jù)采集，數(shù)據(jù)端到端的響應(yīng)速度達(dá)秒級(jí)；

3. 兼容性強(qiáng)，可采集匯聚Windows平臺(tái)各種軟件系統(tǒng)數(shù)據(jù)；

4. 輸出結(jié)構(gòu)化數(shù)據(jù)，作為數(shù)據(jù)挖掘、大數(shù)據(jù)分析應(yīng)用的基礎(chǔ)；

5. 自動(dòng)建立數(shù)據(jù)間關(guān)聯(lián)，實(shí)施周期短、簡(jiǎn)單高效；

6. 支持自動(dòng)導(dǎo)入歷史數(shù)據(jù)，通過(guò)I/O人工智能自動(dòng)將數(shù)據(jù)寫入目標(biāo)軟件；

7. 配置簡(jiǎn)單、實(shí)施周期短。

基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式，擺脫對(duì)軟件廠商的依賴，不需要軟件廠商配合，不僅需要投入大量的時(shí)間、精力與資金，不用擔(dān)心系統(tǒng)開(kāi)發(fā)團(tuán)隊(duì)解體、源代碼丟失等原因?qū)е孪到y(tǒng)數(shù)據(jù)采集成死局。

直接從各式各樣的軟件系統(tǒng)中開(kāi)采數(shù)據(jù)，源源不斷獲取精準(zhǔn)、實(shí)時(shí)的數(shù)據(jù)，自動(dòng)建立數(shù)據(jù)關(guān)聯(lián)，輸出利用率極高的結(jié)構(gòu)化數(shù)據(jù)，讓不同系統(tǒng)的數(shù)據(jù)源有序、安全、可控的聯(lián)動(dòng)流通，提供決策支持、提高運(yùn)營(yíng)效率、產(chǎn)生經(jīng)濟(jì)價(jià)值。