自從比特幣將世界引入加密貨幣之后的十年中，該行業的發展方式甚至可能是Satoshi無法想象的。以太坊區塊鏈于2015年7月出現，借助于以太坊虛擬機（EVM）-開發和執行智能合約的環境，開啟了一個新的可能性世界。

我們引入ethvm：基于Apache Kafka的以太坊的第一個開放源代碼塊資源管理器和數據處理引擎。

ethvm的起源：evm的指南針

瀏覽器幫助用戶驗證交易和智能合約的執行情況，檢查余額，并監控天然氣價格。

對于開發者來說，區塊瀏覽器為DAPPs和開源錢包檢索區塊鏈數據的新可能性，在不斷增長的以太坊生態系統中激勵創新，同時提供分散網絡中至關重要的透明度。

當我們的團隊第一次開始開發ethvm alpha時，最初的想法是創建一個易于使用的區塊鏈瀏覽器，前端由Vuejs構建，后端由RethinkDB提供支持的實時更新。

作為一個開發人員，您只需要三個基本的東西來構建一個瀏覽器，這就是我們開始使用的：

1. 與網絡同步的以太坊節點；

2. 存儲信息的數據庫；

3. 一個顯示信息的網站；

然而，這些并不是唯一需要考慮的因素。通常，當區塊鏈增長到一定規模時，您需要處理的信息量是非常巨大。不僅完全同步節點-還是一個復雜的過程。它需要大量的時間和資源，同時對CPU和磁盤也有相當大的需求。

滿足對開源以太坊塊資源管理器的需求

在我們致力于解決這些挑戰的過程中，我們的團隊意識到，現有的Block Explorer Options Limited-大多是閉源的，這意味著只有一小部分開發人員可以為這一重要工具的創新做出貢獻。

在技術進步的協作性的另一個證明中，ethvm最重要特性的靈感來自一個意想不到的來源。Boerge Svingen在Confluent博客上寫了一篇名為“在紐約時報上與Apache Kafka一起出版”的文章，描述了標志性的紐約時報如何從一大堆API、服務、生產者和消費者轉變為Apache Kafka支持的基于日志的架構。

傳統上，數據庫已被用作許多系統的真實來源。盡管有很多明顯的好處，但從長遠來看，數據庫很難管理。

基于日志的體系結構通過使日志成為事實的來源來解決這個問題。雖然數據庫通常存儲某些事件的結果，但日志存儲事件本身，因此日志成為系統中發生的所有事件的有序表示。

使用日志存儲，您可以創建任意數量的自定義數據存儲空間。這些存儲成為日志-的物化視圖，它們包含派生的而不是原始的內容。如果您想更改數據存儲中的模式，您可以創建一個新的模式，讓它從一開始就使用日志模式，直到它恢復正常，然后扔掉舊的模式。

Boerge上面解釋的意義非凡

如果體系結構是基于日志的，則可以使用和處理Kafka日志，并將信息輸出到其他位置 - 例如，數據庫或PDF報告。

另外，作為一個額外的好處，根據主題的建模和配置方式，您可以多次重放日志。這意味著您可以隨時“返回”時間并重新處理數據。

EthVM和kafka生態系統

讓我們看看這些工具是如何在ethvm環境中使用的：

官方項目將Kafka Connect描述為：

Apache Kafka和其他系統之間可伸縮且可靠地傳輸數據的工具。它使得快速定義將大量數據集合移入和移出Kafka的連接器變得簡單。Kafka Connect可以接收整個數據庫，或者將所有應用服務器的指標收集到Kafka主題中，從而使數據以較低的延遲用于流處理。導出作業可以將來自Kafka主題的數據傳遞到輔助存儲和查詢系統或批處理系統中進行脫機分析。

這就是我們捕獲塊的方法（為了本文的目的而簡化）

對于ethvm，我們創建了一個paritysource連接器，它允許我們從rpc/websocket端點讀取所有必需的信息，并將數據轉儲到特定的主題。

通過Kafka Connect，我們有一套標準化的API來向Kafka提取數據。這種方法的優點在于，將來我們將能夠創建更多基于相同原理的連接器（以支持Geth和其他客戶端）。

kafka stream

一旦重要數據在Kafka主題內，第二步是解釋數據以獲得有意義的信息。這就是Kafka Streams的用武之地：

Kafka Streams是一個用于構建應用程序和微服務的客戶端庫，其中輸入和輸出數據存儲在Kafka集群中。它結合了在客戶端編寫和部署標準Java和Scala應用程序的簡單性以及Kafka服務器端集群技術的優勢。

在ethvm上，我們創建了專門的“處理器”，利用kafka streams實用程序執行聚合、縮減、過濾和其他有用的操作。

例如，一個專用處理器分析并提取可替換的令牌傳輸，如ETH或ERC20。另一個專門研究不可替代的產品，如ERC721上的產品。其他處理器關注有用的塊指標-，其中包含與平均天然氣價格、成功或失敗交易數量-和交易費用相關的信息。事實上，我們可以創建盡可能多的處理器來“鉤住”具體的主題，以便接收最相關的數據。

使用Kafka Connect創建一個接收器，用于存儲處理器的數據輸出。目前，我們正在轉向Postgres / Timescale，但我們最初是從MongoDB開始的。

塑造ethvm的未來

我們很高興地分享生態系統的Alpha版本目前正在使用 - 使用Mongo作為主存儲數據庫的初始處理器設置。繼續進入Beta版本，我們希望使EthVM更加穩定并實現許多功能，包括：

· 遷移到NestJS API

· 從MongoDB遷移到Postgres/Timescale

· 對Kafka處理的改進（消除錯誤并提高速度）

· 讓TerraForm提供程序在AWS上正確部署代碼

我們的首要目標是盡可能快速地同時處理以太坊鏈，最終在混合中添加更多鏈。有了一個好的Kafka集群，我們將能夠同時處理多個鏈。此外，塊瀏覽器只是查看區塊鏈數據的眾多方法之一！

EthVM由MyEtherWallet提供支持 - 該公司致力于開發有利于以太坊生態系統整體的開源項目。我們共同構想了一個全球金融未來，加密將在為已經建立的市場帶來新機遇方面發揮重要作用。