Per la prima volta Kiratech ha partecipato all’Elastic{On}, la User Conference Elastic che ha luogo in questi giorni a San Francisco, ed è lieta di annunciare tutte le novità apprese!
Partiamo con la Keynote del Day 1.
Questa è iniziata con un intervento del CEO Elastic, Steven Schuurman, che ha subito comunicato i seguenti traguardi raggiunti:
- Più di 1.800 i partecipanti all’Elastic{On}
- Più di 51.000 gli utenti registrati alla Community Elastic
- 500 Meetup organizzati nel 2015 (con 138 gruppi che li gestiscono)
- 50 milioni di download raggiunti
Schuurman ha poi proseguito ringraziando Avalon e Search Technology, partner storici di Elastic, e IBM, nuovo big partner strategico che ha deciso di puntare molto sulla loro tecnologia.
Ricordando cosa Elastic ha fatto finora non ha potuto fare a meno di citare alcune Case Study significative come:
- HotelTonight, che utilizza Elasticsearch per estrarre milioni di documenti ed analizzare i diversi dati in millisecondi - dai sistemi di inventario albergo ai dati sui viaggi desiderati dei singoli utenti (data, durata, luogo, prezzo, brand, giudizi, ecc.) - mantenendo una security intelligence e al fine di aiutare i propri clienti a trovare un hotel in breve tempo.
- Giant Oak ed i suoi partner, che utilizzano Elastic per aiutare la lotta al commercio di esseri umani, alle frodi finanziarie, all'abuso di farmaci da prescrizione, e il commercio delle specie in via di estinzione. Elastic ha inoltre consentito di migliorare la cura dei pazienti attraverso il processo decisionale clinico in tempo reale.
- Goldman Sachs, che utilizza e gestisce centralmente Elasticsearch per risolvere i problemi di business ed ottimizzare i flussi di reclutamento delle risorse umane.
Introducendo poi gli sviluppi futuri di vision lo slogan utilizzato è stato “More than search”, infatti Elastic vuole andare oltre, creando un prodotto per persone “non tecniche”, centralizzando la distribuzione.
Schuurman ha poi passato la parola al CTO Elastic, Shay Banon, che ha cominciato ad annunciare le novità da un punto di vista più tecnico. Innanzitutto è stato introdotto il Nuovo Elastic Stack, formato da tutti i prodotti open source Elastic: Elasticsearch, Logstash, Kibana e Beats. “Andando avanti - riferisce Banon - creeremo, testeremo e realizzeremo insieme tutti i componenti dell’Elastic Stack, che avranno tutti lo stesso numero di versione – iniziando dalla Version 5.0.0”.
L’obiettivo è quello di accelerare le implementazioni, semplificare i test di compatibilità, e rendere ancora più facile per gli sviluppatori aggiungere nuove funzionalità all’interno dell’intero Stack.
Andando nel dettaglio delle novità dei singoli componenti:
- Elasticsearch - il motore di ricerca ed analisi distribuito e basato su JSON, progettato per la scalabilità orizzontale, affidabilità e facilità di gestione – prevede ora: il columnar store, l’inverted index, un miglioramento nella Java security ( grazie all’introduzione del Java security Manager). L’aggiunta del cluster state diffs permette di monitorare lo status di tutti i cluster nodes; l’API profiling permette di profilare le performance delle query e capirne i motivi e fornire un report digest leggibile. E’ inoltre migliorata la geolocalizzazione, e inserita una Pipeline Aggregation di livello superiore aggiunge alcune funzionalita’ avanzate.
- Kibana – il componente che dà forma ai tuoi dati, l'interfaccia utente estendibile per la configurazione e la gestione di tutti gli aspetti dello Stack Elastic – prevede ora un Colour picker per migliorare la qualità dei report, un nuovo tema total black; una Heat map agganciata a GEO, pubblicabile quindi sulle mappe e pluggabile con tile servers customizzati. E’ stata aggiunta inoltre la Global Timezone per fornire coerenza alle visualizzazioni.
- Logstash – la pipeline di raccolta dati dinamica con un ricco ecosistema estensibile e in forte sinergia con Elasticsearch – prevede una nuova architettura delle pipeline, completamente ridisegnate e molto più performanti; il configuration reload automatico, senza necessità di riavvio; un aumento dei plugin supportati; importanti performance su filtri grok. Parti di Logstash sono state re-implementate in Java e riassemblate in JRuby per aumentare le performance.
- Beats - piattaforma per l'invio di dati da macchina a Logstash, Elasticsearch, e Kibana – prevede ora un packet beat network e una packet capture solution centralizzati per l’esplorazione in Kibana; inoltre ha visto l’implementazione di libbeat per creare lightweight data shipper e framework per la creazione e l’aggiunta di nuovi agent. Il passo successivo è stato l’aggiunta del monitoraggio dei file. Winlogbeat, Filebeat e Metricbeat, rispettivamente per il monitoraggio nativo di Windows, per la raccolta di dati da file, e per quello delle metriche dei diversi sistemi applicativi (Mysql, Redis, Apache,…).
Per quel che riguarda le versioni dei singoli prodotti:
L’obiettivo è aggiornare tutti i componenti dell’Elastic Stack alla versione 5.0.0, di fatto una semplificazione delle release numbers che include la matrice delle compatibilità. Le novità della release 5 saranno:
- Ingest – indicizzazione di un file: secondo Elastic “Simple things should be simple”, quindi è stato rivisto il modo di raccogliere dati da un file ed è stato reso più semplice. E’ stato aggiunto quindi Ingest direttamente in Elasticsearch, rendendo l’infrastruttura molto più semplice.
- Kibana 5 integra le funzioni discover, visualise, dashboards e plugin come Marvel 2 e Timelion in unica finestra: diventa quindi una vera e propria piattaforma. Introduce inoltre una nuova interfaccia per gli sviluppatori che semplifica il tutto; rimane 100% compatibile con Kibana 4; aumenta del 20% lo spazio dati disponibile. Sono state aggiunte funzionalità come intelligence caching, fields stat API condivise con Elasticsearch e real time access a Elasticsearch.
Sono state poi introdotte le estensioni:
- Packs: questo è un unico zip (pacchetto) che contiene estensioni plug and play per uno o più dei prodotti dell’Elastic Stack. Ogni estensione può quindi avere una verticalizzazione specifica. Le estensioni commerciali non sono Opensource e funzionano con qualunque versione di Elasticsearch. Le singole estensioni sono:
- In ambito Security: Shield, che include ora una maggiore sicurezza a livello di file e documenti.
- In ambito Alerting: Watcher, che include ora alerts, notification via e-mail, slack, lira, hip chat quando vengono rilevate modifiche sui dati.
- In ambito Security in Kibana: nuova sessione management; login e logout capabilities.
- X-Pack: è stato annunciato questo pacchetto interamente di Elastic che fornisce tutte le estensioni commerciali in una; un Bundle unico per tutti i componenti dell’Elastic Stack che include security, alerting, monitoring per l’intero Elastic Stack. Sono state inoltre annunciate, nell’ambito di quest’ultimo: le nuove metodologie di reportistica che permettono agli utenti di generare, schedulare, ed inviare via e-mail le dashboards di Kibana come report PDF; una nuova visualizzazione API e UI in Grafici (Gephi), che permette di esplorare, visualizzare ed analizzare dati esistenti in nuove modalità, relazionandoli tra di loro ed eliminando il rumore di fondo.
L’ultimo annuncio ha riguardato l’Elastic Cloud Enterprise, un pacchetto che permette a chiunque in un’azienda di orchestrare facilmente le istanze dello Stack Elastic e dell’X-Pack, di gestire centralmente Elastic come un servizio, e di eseguire i prodotti Elastic su qualsiasi tipo di infrastruttura (private o pubblica).
La General session del 1° giorno si conclude qui; le novità sono davvero tante! Stay tuned per avere tutti gli aggiornamenti sul Day 2!
