Piattaforma DeepView – Architettura Macro

DV ArchitectureFigure 1 - DeepView Macro ArchitectureDeepView è una piattaforma ad architettura modulare, dove i moduli base possono lavorare all’unisono al fine di erogare un processo completo e orizzontale per la gestione delle tematiche Big Data. I vari moduli sono inoltre attivabili singolarmente, così da poter sfruttare tecnologie di memorizzazione, analisi e rappresentazione dei Big Data già disponibili presso il cliente finale. La figura 1, di seguito riportata, è una rappresentazione Macro della piattaforma DeepView, utilizzata allo scopo di evidenziare e descriverne i moduli che la compongono.

Management & Security - Modulo DeepView Governance®

DeepView Governance® è il modulo attraverso il quale è possibile avere la governance della piattaforma DeepView in termini di provvisioning e monitoring, ma anche gestirne i criteri di sicurezza ed effettuare le operazioni di schedule, gestione e parametrizzazione dei vari processi. Questo modulo rappresenta il front-end per gli amministratori del sistema, per i Data Architect, per gli Analisti e per chi si occupa della rappresentazione dei dati.

Il modulo di Governance si occupa della pubblicazione verso l’esterno, per l’erogazione nelle modalità "as a Service", di tutte le informazioni relative al funzionamento dei servizi e le pagine di gestione e configurazione dedicate ai clienti. DeepView Governance® rappresenta l'unica reale interdipendenza tra i moduli che compongono la piattaforma, per cui il modulo di governance deve essere sempre presente in tutte le possibili configurazioni.

Data Sources – Modulo DeepView Crawling®

Nella logica DeepView, un data source è una connessione ad una specifica sorgente dati; la piattaforma DeepView è in grado di interagire con molteplici sorgenti dati, sia esse strutturate, semi-strutturate che de-strutturate.

DeepView - GovernanceFigure 2 - DeepView Governance

Le tipologie di connessione verso le svariate possibili sorgenti dati vengono definite per mezzo di un framework proprietario, incorporato nella piattaforma, che tra le varie opzioni di gestione consente di parametrizzare le funzionalità di acquisizione, filtraggio, campionamento e trasformazione dei dati che saranno acquisiti.

Il framework permette inoltre di definire delle politiche di comportamento rispetto a determinati eventi generati dalla sorgente dati e ha la possibilità di lavorare in modalità multithread (su singolo nodo) piuttosto che multiprocessing attraverso Hadoop, oppure attraverso il paradigma MapReduce (computazione distribuita su grandi quantità di nodi).

Standard & Custom Crawlers

I Crawler (o connettori) sono componenti software, gestiti attraverso il framework proprietario, la cui funzione è consentire la comunicazione e la cooperazione fra i moduli della piattaforma verso le fonti dati interne e esterne, spesso incapsulando le dipendenze strutturali e funzionali esistenti tra questi elementi. Attraverso il Modulo di Management della Piattaforma DeepView sarà possibile gestire tutto ciò che concerne la definizione e la configurazione dei Connettori, al fine poi di utilizzarli per la definizione di un flusso di recupero dati da una determinata fonte.

Attraverso un approccio utilizzato anche per i processi NLP, attraverso il framework proprietario, è possibile utilizzare la “Libreria Connettori” (circa 75.000 connettori “standard” definiti durante i precedenti cicli di esercizio della piattaforma) o eventualmente utilizzare la procedura di “Creazione Connettore”, per creare un nuovo connettore di tipologia “Custom”. I connettori definiti “standard” sono quindi dei connettori pre-configurati, distinti in base alla fonte dati, raggruppati in “famiglie” e immediatamente disponibili sulla piattaforma.

Custom Crawler ExampleFigure 3 - Custom Crawler ExampleLa creazione di un di connettore (custom) può avvenire a partire da quelli già implementati e che sono disponibili all’interno della Libreria Connettori: un nuovo connettore sarà, quindi, il frutto di un processo di assemblaggio di moduli già disponibili, assemblabili tra loro al fine di creare un nuovo processo di gestione delle informazioni. Lo sviluppo di una nuova famiglia di Connettori coincide con la definizione grafica dello stesso: attraverso un’interfaccia di design che mette a disposizione una serie di blocchi (che identificano i connettori già implementati) e di frecce, si andranno a definire le relazioni da un blocco e l’altro; il processo che il connettore seguirà sarà rappresentato come un grafo di nodi, dove sarà possibile evidenziare il flusso eseguito per acquisire il dato, gestirlo e storicizzarlo. Al termine della definizione del processo viene prodotto un output in un formato proprietario che rappresenterà il flusso del processo che dovrà eseguire il connettore.

Nella realizzazione del connettore sarà possibile andare a definire quelle che sono le attività necessarie per il processo di acquisizione come:

  • attività di filtraggio;
  • attività di campionamento;
  • attività di trasformazione;
  • attività di pulizia dei dati in ingresso.

Sia che il connettore appartenga alla categoria “standard”, sia che alla categoria “custom”, sarà sempre possibile specificarne i parametri necessari al loro funzionamento. Ad esempio, fanno parte dei parametri dei connettori, quelle informazioni necessarie per l’attività di filtraggio, ovvero tutte le caratteristiche, specificate dalla Committenza, utili a stabilire se l’informazione raccolta potrebbe essere di qualche interesse per l’analisi futura. Un parametro importante per la definizione di un Connettore, è la modalità con cui le informazioni verranno acquisite:

  • acquisizione in modalità “monitoring”;
  • acquisizione in modalità “batch”.

Nella modalità di acquisizione “monitoring”, i dati in ingresso vengono catturati in tempo reale, acquisendo i dati in modalità continua sulla sorgente, mentre nella modalità di acquisizione “batch”, i dati in ingresso vengono catturati a intervalli regolari e pre-definiti. In base alle caratteristiche intrinseche della singola fonte, possono essere applicate anche le modalità push – pull (acquisizione a campione). Terminata la costruzione del connettore, questo potrà essere salvato nella libreria dei connettori, e successivamente utilizzato per avviare il processo di acquisizione dei dati a partire dalla specifica fonte.

Scopri gli altri Moduli di DeepView >

Scegli il Tuo Modello di Business

On-Premise

Gestisci la piattaforma DeepView in piena autonomia installandola direttamente sulla tua infrastruttura hardware!

Scopri di più

Hybrid

Decidi come dislocare i moduli della piattaforma DeepView sulla base delle tue disponibilità hardware o delle tue necessità!

Scopri di più

Saas

Svicolati dalla gestione Hardware utilizzando DeepView, interamente o in parte, attraverso il modello Software as a Service.

Scopri di più

IaaS

Scegliendo il modello Infrastructure as a Service, potrai utilizzare DeepView su una infrastruttura esterna completamente dedicata.

Scopri di più

PaaS

Utilizzando il modello Platform as a Service, potrai utilizzare DeepView come servizio attraverso un Cloud dedicato!

Scopri di più