NiFi術(shù)語

一、DataFlow Manager

DataFlow Manager(DFM)是NiFi用戶，具有添加，刪除和修改NiFi數(shù)據(jù)流組件的權(quán)限。

二、FlowFile

FlowFile代表NiFi中的單個數(shù)據(jù)。FlowFile由屬性(attribute)和內(nèi)容(content)組成。內(nèi)容是FlowFile表示的數(shù)據(jù)，屬性由鍵值對組成，提供有關(guān)數(shù)據(jù)的信息或上下文的特征。所有FlowFiles都具有以下標(biāo)準(zhǔn)屬性：

uuid：一個通用唯一標(biāo)識符,用于區(qū)分各個FlowFiles。

【資料圖】

filename：在將數(shù)據(jù)存儲到磁盤或外部服務(wù)時可以使用的可讀文件名

path：在將數(shù)據(jù)存儲到磁盤或外部服務(wù)時可以使用的分層結(jié)構(gòu)值,以便數(shù)據(jù)不存儲在單個目錄中。

三、Processor

處理器是NiFi組件,用于監(jiān)聽傳入數(shù)據(jù)、從外部來源提取數(shù)據(jù)、將數(shù)據(jù)發(fā)布到外部來源、路由,轉(zhuǎn)換或從FlowFiles中提取信息。

四、Relationship

每個處理器都有零個或多個關(guān)系。這些關(guān)系指示如何對FlowFile進行處理：處理器處理完FlowFile后,它會將FlowFile路由(傳輸)到其中一個關(guān)系。DFM能夠?qū)⒚恳粋€關(guān)系連接到其他組件,以指定FlowFile應(yīng)該在哪里進行下一步處理。

五、Connection

Connection可以將不同的Processor連接在一起創(chuàng)建自動的數(shù)據(jù)處理流程。

六、Controller Service

控制器服務(wù)是擴展點,在用戶界面中由DFM添加和配置后,將在NiFi啟動時啟動,并提供給其他組件(如處理器或其他控制器服務(wù))需要的信息。

七、Reporting Task

報告任務(wù)在后臺運行,以提供有關(guān)NiFi實例中發(fā)生情況的統(tǒng)計報告。

八、Funnel

漏斗是一個NiFi組件,用于將來自多個Connections的數(shù)據(jù)合并到一個Connection中。

九、Process Group

當(dāng)數(shù)據(jù)流變得復(fù)雜時,在更高,更抽象的層面上管理數(shù)據(jù)流是很有用的。NiFi允許將多個組件(如處理器)組合到一個Process group 中。可以通過界面查看組和操作組中的組件。

十、Port

一般用于遠程連接NiFi組使用。

十一、Remote Process Group

遠程組可以實現(xiàn)將數(shù)據(jù)從一個NiFi實例傳輸?shù)搅硪粋€NIFI實例。雖然NiFi提供了許多不同的機制來將數(shù)據(jù)從一個系統(tǒng)傳輸?shù)搅硪粋€系統(tǒng),但是如果將數(shù)據(jù)傳輸?shù)搅硪粋€NiFi實例,遠程進程組實現(xiàn)是最簡單方法。

十二、Bulletin（公告）

NiFi用戶界面提供了大量有關(guān)應(yīng)用程序當(dāng)前狀態(tài)的監(jiān)視和反饋。除了每個組件"黃色三角形"的警告以外，每個組件運行有錯誤時還會報告錯誤公告，這個錯誤會顯示在處理器的右上角，以紅色圖標(biāo)顯示。系統(tǒng)級公告顯示在頁面頂部附近的狀態(tài)欄上。使用鼠標(biāo)懸停在該圖標(biāo)上將提供一個工具提示,顯示公告相關(guān)信息。

十三、Template

DataFlow由許多可以重用的組件組成，NiFi允許DFM選擇DataFlow的一部分(或整個DataFlow)并創(chuàng)建模板，達到復(fù)用的目的。

十四、flow.xml.gz

用戶界面畫布的所有組件內(nèi)容都實時寫入一個名為flow.xml.gz的文件，該文件默認(rèn)位于$NIFI_HOME/conf目錄中。在畫布上進行的任何更改都會自動保存到此文件中。此外,NiFi在更新時會自動備份此文件，您可以使用這些備份來回滾配置,如果想要回滾,先停止NiFi,將flow.xml.gz替換為所需的備份,然后重新啟動NiFi。在集群環(huán)境中,停止整個NiFi集群,替換其中一個節(jié)點的flow.xml.gz,刪除自其他節(jié)點的flow.xml.gz,然后重啟集群，節(jié)點之間會自動同步"flow.xml.gz"備份文件。

關(guān)鍵詞： 編程算法