Ricercando costantemente negli anni soluzioni innovative, un pò per curiosità, un pò per gioco ed un pò per esigenze professionali ci siamo imbattuti nel progetto Ceph.
Inizialmente parlare di Software Defined Storage sembrava la solita soluzione fantascientifica di fronte a colossi dello storage quali EMC2, IBM, NetApp, Oracle e simili, senza contare le infinite convention e meeting di popolari aziende software ed hardware che denigravano sempre le soluzioni open source (ma ogg sappiamo come sta andando..).
Questo successe quando decidemmo di utilizzare Linux come sistema operativo per le aziende all'inizio degli anni 2000, per poi seguire lo stesso trend con la virtualizzazione grazie a Kvm (alternativa open a VMware e Xen di Citrix).
Oggi possiamo dire che Linux è il sistema operativo più utilizzato al mondo nell'ambito della produzione enterprise e Kvm un hypervisor molto apprezzato [fonte 1, 2].
E molto probabilmente questo avverrà anche per Ceph in ambito storage.
Indice:
La verità è che un buon prodotto open source nasce dalla massa, dalla necessità di inventare e cambiare radicalmente il mondo (solo software?), gettando nelle fauci affamate dei nerd delle iperboliche novità, dando loro la possibilità di scrivere del buon codice.
Poi alcuni progetti si concretizzano e necessitano di avere un supporto professionale.
Ora tralasciando prodotti o veri e propri brand che già hanno segnato la strada (Linux, Red Hat, Kvm, Suse, Mariadb, Apache, etc) mi focalizzerei su una rivoluzione che è in atto e sta cambiando radicalmente il concetto di storage o meglio di archiviazione dei dati.
Negli anni in cui stiamo vivendo siamo circondati da informazioni, segnali elettrici ed impulsi elettromagnetici che ci incasellano, tracciano, controllano ed aiutano quotidianamente.
Avere dati è sinonimo di potere, e di questo forse adesso se ne stanno accorgendo un pò tutti.
Quell'apparato che si utilizza per memorizzare i dati è definito imperativamente con una parola inglese: “storage".
Fino a qualche anno fa questo “storage” era per lo più una parola che troneggiava nelle infrastrutture enterprise, e ci si avvicinava ad esso con un certo sentimento di meraviglia, timore e rispetto.
Lo storage era un argomento serio solo per gli eletti del mondo business enterprise, principalmente per gli annessi costi e le operazioni di manutenzione ad alta professionalità necessarie, concetti che oggi stridono con gli investimenti che impongono, vista l’obsolescenza rapidissima delle soluzioni odierne di archiviazione dei dati.
Questo impero, da tanti considerato intoccabile fino a ieri, oggi non lo è più, si è fatto strada un movimento dal basso, un prodotto open source che può essere il game changer in questo regno: il suo nome è Ceph.
Ceph viene definito il Linux dello storage, cerchiamo di capire il perché con un esempio.
Nessuno oggi pensa a quale sistema operativo Unix-like usare, perché quello open source è il migliore, quindi tutti lo usano di default e si tratta di Linux.
Anche e probabilmente proprio grazie a questa diffusione Linux è in continuo miglioramento.
Bene, Ceph si sta muovendo nello stesso modo nel mondo dello Storage.
Inizialmente risultava un prodotto di nicchia, relegato a grandi ambiti di virtualizzazione (Openstack e simili).
Successivamente a seguito della continua necessità di spazio di archiviazione e alle
e altre funzionalità richieste insistentemente il mondo IT ha capito che si deve guardare alle soluzioni Software Defined Storage.
E il re indiscusso di questo ambito è risultato Ceph, motivo per il quale oggi molte aziende contribuiscono allo sviluppo del prodotto ed alla sua manutenzione.
Ne è prova il fatto che anche IBM ha comunicato in data 09.10.2022 che il prodotto Red Hat Ceph Storage Enterprise diverrà IBM cloud Storage [fonte: 1].
Seguendo da anni lo sviluppo di Ceph abbiamo notato l'ingresso nel mondo "Linux dello Storage" di aziende come Nvidia, GoDaddy, Canonical, SUSE, IBM e sopratutto alla nascita della Ceph Foundation.
Questo come naturale evoluzione di un progetto assolutamente fondamentale e necessario.
Ceph è open source ed è software defined, è studiato per funzionare su hardware commodity, ovvero su hardware da riutilizzare indipendentemente che sia nuovo o di un particolare brand, che sia affidabile o meno, indipendentemente anche dal brand del network e da come sono interconnessi tra loro i vari elementi, perché è completamente software defined.
Ovviamente questa libertà di scelta ed indipendenza, classiche caratteristiche nel mondo open source, si traducono in una certa complessità di gestione del sistema.
L'approccio non convenzionale allo storage fa si che vi siano nuovi concetti da affrontare e che funzioni fuori dagli schemi tradizionali, quindi è fondamentale avere le skills ed i tecnici giusti per mettere in funzione Ceph.
Questo aspetto può in prima battuta intimorire, ma del resto quello che vale oggi più che mai sono la conoscenza, le skills e la disponibilità ad interoperare tra aziende e persone.
Sicuramente rispetto ad una soluzione "boxata" richiede uno sforzo economico che si sposta sulla progettazione ed assistenza (o supporto), ma ne vale di gran lunga la pena.
Ceph apre la strada a nuove figure professionali e a nuove soluzioni
Ceph a nostro parere apre un mercato nuovo, dove si creeranno degli specialisti per la gestione dei dati distribuiti su larga scala, così come si creeranno prodotti nuovi che appoggiano le loro basi proprio su Ceph.
Il poter utilizzare uno Storage Software Defined elimina i lock-in dei vendor di hardware prettamente dediti allo storage, permette la realizzazione di sistemi di storage clusterizzati sia in ambito fisico che virtuale ed anche on-demand in modo automatico (Kubernetes).
Inoltre l'open source permette di implementare sopra a Ceph (Software Defined Storage) tutti i protocolli di accesso ai dati che sono normalmente utilizzati: SMB, NFS, RBD, ISCSI, CephFS, S3, Swift.
Così facendo questi protocolli ereditano la scalabilità, ridondanza, affidabilità, auto riparazione, distribuzione e replica che Ceph intrinsecamente prevede e che magari non erano previsti all'implementazione dello specifico protocollo.
Anche l'avvento dei container e di Kubernetes ha accelerato queste richieste.
L'utilizzo di ambienti a micro servizi richiede comunque la gestione di uno storage persistente, che può essere attivato e disattivato a piacimento, modificato nella forma e dimensione senza l'intervento manuale.
Ceph si integra in modo perfetto in questi ambienti.
L'industria dei datacenter sta sperimentando un’esplosione delle richieste di capacità in termini di spazio, consumi, affidabilità e ridondanza da parte di molti mercati emergenti.
Settori come il 5G, l’IoT, l'intelligenza artificiale, il machine learning, cold storage oppure edge computing stanno versando benzina sul fuoco già acceso dalla necessità di exabyte di spazio disponibili per salvare dati.
La notizia è che Ceph è già pronto! E voi?
ITServicenet vi supporta per la consulenza, progettazione e manutenzione della soluzione Ceph.
Ing. Alessandro Bolgia - Linkedin
Ceph e il DR per tutte le tasche
Ceph Octopus, note di una evoluzione
ITServicenet = Kubernetes + Ceph + Nextcloud
Ceph per lo storage software defined
Oggi è possibile realizzare un DR (disaster recovery) di macchine virtuali su una infrastruttura open e closed, (Es: Vmware) in modo semplice ed efficiente.
Per fronteggiare questa esigenza avanzata da svariati clienti nel tempo, la scelta del prodotto è ricaduta sul sistema di storage distribuito open source Ceph.
Realizzando 2 cluster storage in 2 posizioni geografiche distanti diversi km, è possibile replicare i dischi delle virtual machine (anche Vmware appunto) da un sistema ad un altro e così avere la continuità operativa.
Inoltre è possibile pensare di migrare tutti i servizi di un datacenter privato da una regione all’altra.
Questa attività ci ha coinvolto in diverse occasioni, per consentire di spostare le virtual machines asservite ad alcuni clienti da un datacenter ad un altro.
Il tutto conoscendo il prodotto ed avendo l’opportuno team a supporto e quindi non acquistando licenze software e basta.
Per noi la cosa che maggiormente conta è il supporto tecnico!
Ogni giorno affrontiamo le problematiche dei nostri clienti che cercano di avere sempre di più dal supporto IT.
La scelta del prodotto è fondamentale per poter risolvere i propri problemi in termini di infrastruttura.
Possiamo legarci ad un rinomato prodotto commerciale che ci fa brillare gli occhi offrendo supporto tecnologico mirabolante e demandando a noi solo l’acquisto e la facile gestione, oppure capire come funzionano le cose e scegliere in modo oculato ed opportuno.
Per poter consigliare i nostri clienti ed essere certi della soluzione al loro problema serve una quantità enorme di tempo (tante volte non pagato) per valutare, conoscere e gestire una tecnologia, quindi abbiamo scelto la strada più impervia, ma abbiamo ottenuto ben diverse soddisfazioni, sia in termini di conoscenza che economici.
Questo modo di operare a nostro avviso è possibile soprattutto con i prodotti open source e la nostra associazione Enterprise OSS ci permette di avere un confronto tra più professionisti, al fine di evolvere velocemente in questo mondo informatico sempre più complesso.
Proprio per questo nel corso degli anni mi sono dedicato a capire come funzionassero i sistemi di storage per gli ambienti di virtualizzazione.
Parlando con molteplici aziende che vendevano tecnologie di questo tipo in diverse occasioni mi sono imbattuto in prodotti non maturi, banali o peggio, che non svolgevano il compito per cui erano stati concepiti come si deve.
Questo per sottolineare che anche il mondo closed non è affatto perfetto. Un prodotto anche se ne paghi la licenza di utilizzo, non è detto che sia ben funzionante… Purtroppo.
Il mondo Open invece ha un grande vantaggio, ci permette di valutare in modo più approfondito il prodotto e con le opportune capacità tecniche intuirne la bontà e lo stato di evoluzione.
Vi riporto un’esperienza personale, partendo da sistemi tradizionali che tutti voi conoscete mi sono avventurato nel mondo dello storage distribuito nel 2013.
Il prodotto in questione era Sheepdog, l’idea era buonissima, abbiamo partecipato anche al primo meeting ad Hong Kong e conosciuto gli sviluppatori.
Il sistema era ancora immaturo per alcuni aspetti, ma nonostante tutto per due anni ci ha fatto lavorare egregiamente in un piccolo datacenter.
Da qui l’evoluzione tecnologica e l’impegno personale ci hanno portato alla conoscenza di Ceph.
Ora il prodotto Ceph è indiscutibilmente il leader nel settore open source e non solo, ne abbiamo parlato qui, qui e qui.
Per chi ha poco tempo per la lettura consigliamo il podcast del nostro blog e vi rimandiamo a questo link: https://www.spreaker.com/user/enterpriseoss.
L’evoluzione sistemistica personale mi ha portato a poter gestire nodi e cluster anche geografici senza dover avere grandi software house alle spalle. Il vero business lo fanno il supporto ed i tecnici che seguono questo sistema.
Non vorrei addentrarmi nella descrizione della tecnologia, ma quello che voglio riportarvi, esperienza maturata sul campo, è che adottando questa tecnologia di storage opensource gratuito è possibile realizzare con poco sforzo DR geografici in ambiente Vmware e Kvm.
E cosa di non trascurabile rilevanza: il tutto è spesso alla portata delle proprie risorse, anche economiche.
Al contrario la scelta di uno storage “classico” comporta spesso un lock-in e la completa revisione della infrastruttura IT, per poter pensare ad un DR sicuro, efficiente e di facile implementazione e gestione.
Spero con questo breve articolo di aver stimolato la curiosità di chi ha necessità di implementare infrastrutture simili.
Per approfondimenti:
le tecnologie menzionate sono Ceph, Kvm, Vmware, Proxmox, iSCSI, Rbd.
Ing. Alessandro Bolgia
Indice
Nel nostro lavoro quotidiano entrando in aziende di ogni tipo constatiamo la continua ed esasperata creazione di Virtual Machine anche solo per far eseguire semplici programmi dedicati ad una specifica attività.
Questo esubero di VM alla lunga appesantisce l’infrastruttura di virtualizzazione (sia essa HyperV, Vmware o Kvm, tanto per citare le più famose). Infatti una VM include l’astrazione hardware ed il sistema operativo in modo completo, quando invece in molti casi non sarebbe strettamente necessario avere tutto a disposizione.
Consapevoli di questa situazione e complice il fatto che le infrastrutture IT devono scalare e dimensionarsi in modo dinamico, senza dimenticare la necessità di avere sempre più servizi in cloud, gli IT Manager hanno iniziato a convergere verso il concetto di Container e di Kubernetes, uno tra gli orchestratori più famosi.
Dunque questa tecnologia ha iniziato a diffondersi in modo inesorabile.
Il container, elemento portante della infrastruttura Kubernetes rappresenta l’astrazione dell’applicativo fine a se stesso.
I container sono simili alle macchine virtuali, ma presentano un modello di isolamento più leggero, condividendo il sistema operativo (OS) tra le applicazioni. Pertanto sono considerati più leggeri.
Analogamente a una macchina virtuale, un container dispone di una segregazione di filesystem, CPU, memoria, PID e altro ancora.
Poiché disaccoppiati dall'infrastruttura sottostante, risultano portabili tra differenti cloud e diverse distribuzioni.
I container sono diventati popolari dal momento che offrono molteplici vantaggi, ad esempio:
I container sono un buon modo per distribuire ed eseguire le tue applicazioni. In un ambiente di produzione, è necessario gestire i container che eseguono le applicazioni e garantire che non si verifichino interruzioni dei servizi. Per esempio, se un container si interrompe, è necessario avviare un nuovo container. Non sarebbe più facile se questo comportamento fosse gestito direttamente da un sistema?
È proprio qui che Kubernetes viene in soccorso!
Ti fornisce un framework per far funzionare i sistemi distribuiti in modo resiliente.
Si occupa della scalabilità, del failover, della distribuzione delle tue applicazioni.
E per esempio può facilmente gestire i rilasci con modalità Canary deployment.
Inoltre Kubernetes offre anche:
Ci siamo sempre impegnati a rendere i sistemi IT semplici ed affidabili.
La nostra ambizione è poter offrire un sistema scalabile, flessibile, sicuro utilizzando quello che oggi è il massimo offerto dal mercato Open Source Professionale.
Ci siamo voluti specializzare nelle tecnologie che fanno uso della distribuzione del dato e che in forme più o meno elaborate lavorano in modo autonomo ed automatico per permetterci di erogare servizi in alta affidabilità e alta persistenza del dato (self healing).
Quindi oggi possiamo installare un sistema full-stack di gestione container partendo dallo storage CEPH, che ci dà accesso a block device, filesystem e storage S3, quindi Kubernetes per tutti i punti sopra elencati e l’erogazione di servizi Web style come Nextcloud di cui siamo partner ufficiali per l’Italia - https://nextcloud-italia.it/
Il nostro ambiente così istanziato permette di erogare il servizio Nextcloud in modalità altamente scalabile, clusterizzata e di facile manutenzione.
Tutti gli applicativi Web Style possono essere erogati con la medesima modalità dalla infrastruttura Kubernetes + Ceph.
Si parlerà ampiamente di questo ad Open Source Week 2021 - https://opensourceweek.it/
Per registrarsi all’evento è possibile cliccare qui: registrazione open source week.
Per consulenze, preventivi o dettagli contattateci qui: https://www.itservicenet.net/contattaci/
o scriveteci direttamente a m.marcato@itservicenet.net.
Ing. Alessandro Bolgia
Bibliografia:
https://kubernetes.io/it/docs/concepts/overview/what-is-kubernetes/
Il mese scorso ci siamo imbattuti in un articolo che al di là della tecnica tocca interessanti tematiche.
Non si parte con la più descrittiva delle immagini a dire il vero ma, approfondendo solo un poco emerge subito qualcosa di utile.
Dove stanno andando i dati, qual è il trend del mondo dell’archiviazione?
La linea blu tratteggiata ci risponde in modo molto chiaro, il mondo dello storage si sta spostando sempre più da archivi delocalizzati - Endpoint - a grandi archivi centralizzati - Core.
Qui la fonte:
https://ceph.io/community/diving-into-the-deep/
Non è detto che siano solo su cloud pubblici, potrebbero essere anche on premise, quindi datacenter realizzati “in casa”.
Quindi grandi spazi dedicati allo storage e ci riferiamo sia a data lake (per semplificare: grossi archivi di dati grezzi) che a data warehouse (grossi archivi di dati più filtrati e strutturati).
Un link ad un articolo che ne elenca le principali differenze qui:
https://www.talend.com/it/resources/data-lake-vs-data-warehouse/
Un altro trend interessante in evidenza è dove vengono generati i dati, molto semplicemente nello stesso posto, sempre nel core, e nelle organizzazioni private ed aziendali.
“..Dove ci sono dati, ci sarà anche potenza di calcolo per estrarre informazioni. Nel core ci sono grandi volumi di dati ed è lì che questi dati vengono anche aggregati, filtrati, indicizzati e catalogati..”
E da qui emerge un altro dato di rilievo:
“Il disaccoppiamento di elaborazione e archiviazione è già comune nei core, sia quando parliamo di cluster di storage locali che di quelli ospitati in un cloud pubblico. La tendenza verso elaborazione e archiviazione disaccoppiati dovrebbe accelerare con la proliferazione di hardware di elaborazione specializzato come GPU, FPGA e TPU. In un'architettura dati disaccoppiata, i dati sono prevalentemente persistenti in sistemi o servizi di storage di oggetti dedicati.”
Quello che si intende raccontare è la scelta che viene operata dagli addetti ai lavori e dagli ingegneri di separare i cluster dedicati allo storage da quelli dedicati al calcolo.
L’iperconvergenza per esempio, tecnologia interessante da molti punti di vista, in primis quello della condivisione di risorse, che porta a notevoli economie di scala, non è più adeguata nell’ambito dei Big Data e delle successive elaborazioni cui sono sottoposti questi dati grezzi.
Si pensi al machine learning, all'intelligenza artificiale ecc.
Quindi quale può essere la scelta architetturale che permetta di soddisfare sia i necessari requisiti di flessibilità ed espandibilità che quelli di integrazione con sistemi di calcolo già esistenti, mantenendo anche i piedi saldi a terra dal punto di vista dell’affidabilità e degli economics, voce di progetto quest’ultima non trascurabile?
“..In un'intervista del 2018 riguardante l'archiviazione di oggetti per i big data, Mike Olson, ex CTO di Cloudera, ha usato il termine "luci spente" per descrivere le persone che lavoravano su Ceph. Oggi, ci sono organizzazioni e iniziative come Massachusetts Open Cloud che sfruttano lo storage di oggetti Ceph nel core, fungendo sia da data lake che come parte di un data warehouse disaccoppiato..”
E qui si giunge al nocciolo della questione, come rendere economica una soluzione simile?
Ceph è nato per aggregare risorse, dischi di diversa natura in pool gestiti in modo differente, quindi non solo ssd o nvme quando il dato non lo richiede, ma anche rotativi di grandi dimensioni.
Si sposta il focus dall’esigenza di prestazione e di sicurezza, dalla caratteristica hardware spinta al numero di elementi hardware presenti.
Con Ceph in pratica più nodi ci sono meglio è, da lì derivano prestazioni e affidabilità superiori.
Quindi è possibile spingersi fino a valutare l’utilizzo di server refurbished in taluni casi e sicuramente il fatto che sia un prodotto open source senza necessità di licenze da applicare a seconda delle macchine sulle quali il software va ad operare lo rende ancora più interessante.
Cosa si può fare lo abbiamo raccontato in articoli precedenti citando illustri utilizzatori di Ceph ma anche dal link citato all’inizio di questo contributo si può estrapolare quanto segue:
“..L’archiviazione delle funzionalità offline può spingere molti sistemi di archiviazione al limite e per assicurarci che sia all'altezza del compito, abbiamo superato i limiti di Ceph (throughput aggregato raggiunto in lettura: 79.6 GiB/s). Nel febbraio del 2020, abbiamo caricato un cluster Ceph a 7 nodi con 1 miliardo di oggetti e , a settembre, avevamo ridimensionato i nostri sforzi di test per archiviare 10 miliardi di oggetti in un cluster Ceph a 6 nodi. Ceph utilizza il posizionamento algoritmico, quindi il numero di oggetti che il cluster è in grado di memorizzare è relativo al numero di nodi. Scalando fino a centinaia di nodi e utilizzando formati come Parquet e TFRecord, Ceph è in grado di proteggere e fornire un accesso ad alta velocità a trilioni di oggetti e funzionalità..”
Dunque per concludere la scelta di questa tecnologia può essere decisiva per chi ha la necessità di realizzare un cluster di storage dedicati alla gestione di grandi quantità di dati, ma sorprendentemente anche richieste più modeste, a partire da un numero minimo di 4 nodi, sono ormai perfettamente in linea con architetture Ceph (anche in configurazione di iperconvergenza), che è dunque diventato “una soluzione hi-tech” da tenere in grande considerazione per quasi ogni esigenza.
Enterprise OSS Staff
Notizia di questa settimana da fare accapponare la pelle:
Per chi non ha voglia di leggere l’articolo al post qui sopra riassumiamo in poche righe cosa è accaduto:
“..Ieri è andato a fuoco uno dei più grandi datacenter europei: una intera ala di OVH è stata devastata dalle fiamme e tutto quello che era sui server è andato in fumo. Chi non aveva previsto un disaster recovery plan ha quasi sicuramente perso tutto. Può succedere, vediamo perché.”
La frase finale è inquietante ma reale e nell’articolo si argomenta proprio del perché, seppur di rado, questo evento possa accadere.
Noi però vorremmo concentrarci su un altro tema.
Prendo a prestito la metafora della “mela marcia”, che uso spesso dal giorno in cui un mio caro amico e maestro di comunicazione me la espose per la prima volta.
Tutti noi veniamo attirati da luci e cotillons, almeno quanto dai prezzi da urlo, dai servizi all in one per un tozzo di pane o dalle promesse di performance invidiabili in offerta, ma non ci ricordiamo mai di guardare il retro di questa offerta, nella metafora della mela.
Bella, rossa, irresistibile quando guardata di fronte.
Come una Biancaneve digital dei nostri tempi vogliamo mordere il frutto che ci viene offerto, ma non ci preoccupiamo delle conseguenze, non pensiamo che possa essere avvelenata o più semplicemente marcia sul retro.
Naturalmente lungi da noi fare dei paragoni così poco lusinghieri con i servizi offerti da OVH ai propri clienti, il nostro intento è far riflettere su quale sia il costo di un dato perduto o di un disservizio prolungato.
La questione è quanto siamo disposti a rischiare pur di risparmiare?
Ma abbandonando le metafore e le prediche facciamoci una domanda più importante.
La risposta è sì e vogliamo aggiungere che si può fare senza spendere un patrimonio in licenze, software proprietari hypertech e ferro mega carrozzato.
Mi rivolgo all’IT manager che vede lontano e che vuole davvero offrire un servizio di livello ai propri clienti, senza disservizi, senza perdita di dati.
Oggi con tecnologie come Ceph e Proxmox, entrambi prodotti open source, supportati e assistiti da professionisti è possibile crearsi un datacenter personale, ridondato geograficamente e a prova di incendi e bombe.
“Dice, la fai facile, come al solito è solo una questione di soldi”.
No non si tratta di questo, è una questione di competenze e professionalità e di assistenza e di test di disaster recovery ecc.. ecc..
Mettere in piedi un sistema del genere con il vantaggio dei prodotti open e addirittura di hardware refurbished per certe tipologie di dati, (che non necessitano della prestazione spinta per essere acceduti), può davvero essere alla portata anche di tasche non particolarmente piene.
Naturalmente non ci si può improvvisare, serve una consulenza mirata, quello che si pagherà sarà il know how di chi ci aiuterà e la successiva assistenza.
Vorresti avere un sistema informativo ridondato che ti faccia dormire sonni tranquilli, anche a fronte di eventi catastrofici?
E avere qualcuno da chiamare in caso di necessità, non solo per la manutenzione ordinaria, che fa già i 3/4 del lavoro, ma anche per “tirare su tutto” nel momento del bisogno?
Oggi puoi averlo grazie al team di Enterprise OSS.
(Estratto da un articolo di Sage Weil: https://ceph.io/ceph-management/introducing-cephadm)
Negli anni è emersa un'ampia varietà di strumenti di distribuzione Ceph con l'obiettivo di rendere lo storage Ceph più facile da installare e gestire. La maggior parte di questi ha sfruttato strumenti già esistenti come Ansible, Puppet e Salt, portando con sé un ecosistema esistente di utenti e un'opportunità per allinearsi a un investimento esistente da parte di un'organizzazione che utilizza un particolare strumento. Di conseguenza, tuttavia, l'investimento della comunità di Ceph è stato frammentato in molti sforzi diversi, i nuovi utenti devono affrontare una difficile scelta di strumenti all'inizio e i tentativi di semplificare l'esperienza e l'integrazione con Ceph stesso sono stati difficili.
Come molti altri, mi sono personalmente attaccato al datato strumento ceph-deploy, che ha il vantaggio di essere estremamente semplice da usare e capire (almeno per qualcuno che ha familiarità con Ceph), e ha la bella proprietà di non richiedere un investimento iniziale nell'installazione e nell'apprendimento di un altro strumento. Tuttavia, oggigiorno il ceph-deploy non è più manutenuto e non funziona nemmeno con alcune distribuzioni più recenti come RHEL / CentOS 8.
Soprattutto, tuttavia, nessuno di questi strumenti ha svolto un ottimo lavoro nel risolvere il problema principale: rendere Ceph molto facile da installare per un nuovo utente e rendere un cluster Ceph facile da manutenere nel tempo grazie alla perfetta integrazione con Ceph CLI e GUI . Una nuova API dell'orchestrator è stata introdotta per la prima volta in Ceph Nautilus per fornire un modo generico a Ceph - la CLI e il dashboard - di interagire con il suo ambiente di distribuzione, sia che si tratti di Rook o ceph-ansible o DeepSea, ma solo con Octopus questo ha raggiunto un livello di maturità in cui fornisce un'astrazione significativa su più backend: Rook per gli ambienti Kubernetes e Cephadm per tutti gli altri.
L'obiettivo di Cephadm è fornire un livello di installazione e gestione completo, robusto e ben manutenuto che può essere utilizzato per chiunque non utilizzi Ceph in Kubernetes. Gli obiettivi che ci siamo prefissati includono:
L'obiettivo con tutto ciò è quello di focalizzare l'attenzione degli sviluppatori Ceph e della comunità degli utenti su due sole piattaforme per la distribuzione e la gestione di Ceph - Cephadm per le implementazioni "bare metal" e Rook per l'esecuzione di Ceph in Kubernetes - e per fornire una simile esperienza di gestione per entrambi.
Con la versione iniziale di Octopus, Cephadm ha un solido supporto per i servizi Ceph principali: RADOS, CephFS, RBD e RGW. Un certo numero di servizi secondari sono in fase di sviluppo attivo, incluso il supporto per gateway NFS e iSCSI, e il supporto CIFS (tramite Samba) dovrebbe seguire dopo. Tutte queste modifiche verranno trasferite su Octopus non appena saranno completate.
Nel frattempo, ci aspettiamo anche di migliorare la robustezza e l'intelligenza dell'algoritmo di "pianificazione" che decide dove eseguire i servizi. In questo momento, Cephadm distribuisce semplicemente i daemon di servizio tra gli host, ma (per impostazione predefinita) sceglie questi host a caso. Vorremmo migliorare questo impostando limiti di risorse sui contenitori di daemon (ad esempio, CPU e memoria) e scegliendo la posizione dei daemon in modo intelligente in base alle risorse disponibili su ciascun host.
Infine, ci aspettiamo di dedicare molto tempo nel prossimo ciclo di sviluppo a far emergere più funzionalità dell'orchestrator attraverso la dashboard Ceph per semplificare l'esperienza utente complessiva, in particolare per operazioni comuni come la distribuzione iniziale, l'espansione del cluster e la sostituzione di dispositivi di archiviazione guasti.
Oggi vi raccontiamo di un grande evento, l’Open Source Week.
Sì, in un anno tanto sfidante abbiamo deciso di usare aggettivi che ci diano piena soddisfazione per una volta, niente giri di parole.
Enterprise OSS qualche mese fa è entrata a far parte di RIOS e grazie a ITServicenet si è proposta come solution provider tecnico per due prodotti di punta della sua offerta
Al board RIOS è piaciuto il nostro approccio come system integrators aperti e flessibili e la nostra natura distribuita è stata percepita come un plus.
Da qui sono nate le prime collaborazioni con alcune colonne portanti del gruppo RIOS che stanno già portando i primi frutti:
call, incontri (nel limite del possibile offerto dal periodo storico in cui viviamo) e soprattutto demo, webinar e confronti virtuali, anche con prospect comuni.
Un’offerta variegata come quella di Enterprise OSS aveva già un appeal interessante sui potenziali clienti, ma ora il ventaglio di soluzioni è letteralmente esploso entrando a far parte di un gruppo così poliedrico.
Per avere un’idea più definita si parla di 9 aziende specializzate che portano in dote più di 200 skills tecniche e sono in grado di erogare decine di soluzioni open source per il business.
Inoltre l’attitudine votata allo sviluppo di alcune di esse permette di integrare diversi prodotti tra loro, al fine di creare un puzzle vincente, molto più adattabile alle esigenze dei clienti.
Soluzioni di questo genere non sono un copia incolla di diverse parti, ma si arricchiscono del valore aggiunto di una consulenza professionale e puntuale su ogni elemento del disegno finale e questo è qualcosa che un’azienda tradizionale può solo sognare di offrire.
Dunque in piena ottica collaborativa ci siamo messi a disposizione anche per contributi video e interviste che presto sfoceranno in un evento vero e proprio.
L’evento
Stiamo parlando dell’ Open Source Week, che si terrà dall’1 al 4 di Dicembre.
Si avvicenderanno talk, workshop, interviste, testimonianze e presentazioni di molti dei prodotti e delle soluzioni che RIOS offre al mondo della pubblica amministrazione e dell’impresa privata, con la partecipazione di alcuni volti noti del mondo dell’open italiano.
Si tratta di un programma fitto che spazia dalla parte più vicina "al ferro" di un sistema informativo, come storage e virtualizzazione e arriva alle applicazioni web based.
Ma non mancheranno argomenti inerenti l’intelligenza artificiale, programmazione, legal, case study, il tutto in salsa open naturalmente.
Questo non significa che per gli affezionati a soluzioni proprietarie non ci siano tematiche interessanti naturalmente, molte delle soluzioni proposte si fondono a meraviglia con questi prodotti e spesso ne arricchiscono le funzionalità.
Inoltre per uno specialista IT è sempre interessante valutare alternative al prodotto preferito o più usato per necessità o opportunità.
Non ci resta che invitarvi ad iscrivervi dunque all’Open Source Week by RIOS, ci sarà da divertirsi, sempre che possediate un’anima nerd, per lavoro o per passione.
Appuntamento a Dicembre.
Questa settimana vi presentiamo un contenuto particolare, si tratta di uno stralcio di una delle mail che in Enterprise OSS ci mandiamo, era così interessante che abbiamo deciso di renderla pubblica, racconta di noi e della forza della community.
“
Ciao Matteo,
si tratta di un caso molto interessante di gestione e troubleshooting di un problema avvenuto il 20/02/2020 presso l'infrastruttura IT dei laboratori del CERN (Ginevra), in particolare un problema concernente il sistema di storage cluster.
Dal 2013 il sistema di storage distribuito open source CEPH è diventato un punto chiave dell'infrastruttura dati del centro di ricerca, a cui si collegano centinaia di utilizzatori (prevalentemente clusters Openstack) che usufruiscono di 4 PiB (circa 4500 TeraBytes) di dati solo per la virtualizzazione..... (se si contano anche gli archivi web S3 ed i filesystems cephfs la quantità di dati raggiunge i 35PiB).
Dal 2013 non era ancora avvenuto un problema di livello "alto" come questo.
Poco dopo le 10 del mattino di giovedì 20 febbraio il 25% del sistema storage dedicato alla virtualizzazione simultaneamente non era più online.
Dopo una prima investigazione interna (circa 2 ore) i responsabili tecnici si rivolgono alla community Ceph mediante i canali a disposizione (chat IRC, mailing lists, bug tracker) segnalando il problema.
Evitando i dettagli tecnici, è interessante notare che dopo circa 20 min dalla segnalazione, un utente Ceph indicava via chat un caso analogo a cui riferirsi e di lì a poco (1 ora dopo la segnalazione) i responsabili informatici del Cern avevano in mano una soluzione per risolvere il problema, che in altre 5 ore era completamente risolto...
Nessun dato è stato perso. Che paura!
Ovviamente l'analisi è proseguita a fondo verificando le diverse ipotesi di cause dell'errore, anche col supporto di Sage Weil (giovane inventore di Ceph) e la community Github di LZ4 (un noto algoritmo di compressione) fino a trovare e replicare la causa del problema (raro) legata proprio al comportamento degli algoritmi di compressione LZ4 in determinate condizioni sui sistemi CentOS7 ed Ubuntu 18.04.
È stata introdotta una fix al sistema LZ4 e si è verificato che nelle stesse condizioni l'errore non si è più ripetuto.
I responsabili informatici del Cern avevano attivato la compressione su Ceph nel 2019 per salvare spazio (molto…).
A loro detta da questa vicenda (direi elettrizzante) hanno imparato diverse cose:
- qualsiasi sistema informatico è fallibile
- non bisogna abituarsi troppo bene quando tutto funziona, anche per tanto tempo
- quando la mole di dati è così elevata l'utilizzo di un UNICO grande cluster storage per i servizi diventa un "single point of failure”, ora stanno introducendo altri nuovi 4 storage cluster CEPH.
Personalmente aggiungerei un'ultima cosa:
la forza della community è importante…
Anche nel nostro piccolo... impariamo dall’esperienza!
Alessandro G.
“
So che non vi basta e vorreste saperne di più se siete arrivati fino a qui, dunque ecco il link che ha originato queste righe
https://www.youtube.com/watch?v=_4HUR00oCGo&feature=youtu.be
Sono 30 minuti tutti da gustare, buon ascolto.
Enterprise OSS Staff
Questa settimana parliamo di una nuova collaborazione in casa Enteprise OSS.
Nonostante la giovane età dell’associazione, nata a fine 2019 dopo qualche anno di incubazione come potete approfondire qui
e nonostante i tempi non semplici in cui tutti ci siamo trovati da marzo 2020, la nostra mission ci ha portato a realizzare molti progetti nell’information technology ed anche a stringere un accordo con RIOS.
Di cosa si tratta?
"Rios è la Rete Italiana Open Source, è un network di aziende creato per promuovere servizi professionali e prodotti Open Source, in grado di offrire soluzioni di livello Enterprise.
La rete è costituita da 8 imprese, fra le principali del settore, che condividono esperienze e risorse assicurando servizi e soluzioni semplici e vantaggiose da utilizzare garantendo un supporto qualificato.
RIOS rappresenta un punto di riferimento in Italia per chiunque voglia sfruttare i benefici dell'Open Source con la sicurezza, la stabilità, il supporto e la garanzia di soluzioni di livello Enterprise."
Questo si legge sulla loro pagina web, che continua
"Obiettivo di RIOS è offrire il supporto necessario ad un utilizzo sicuro ed assistito degli asset più innovativi, permettere ai nostri clienti di usufruire di soluzioni di qualità più elevata a costi minori e offrire la più alta garanzia di integrazione fra i diversi prodotti rappresentati dalla Rete."
Con un background simile non poteva che nascere una relazione tra le nostre due realtà, e così è stato.
Enterprise OSS diventerà partner Educational di Rios e grazie ad ITServicenet, azienda fondatrice di EOSS, sarà un solution provider vero e proprio su due dei nostri prodotti di punta: Nextcloud e Ceph.
Presto l'offerta di EOSS sarà molto più ampia e potrà coprire campi fino ad oggi inesplorati per noi.
Di seguito un'anticipazione tramite case study di alcune tecnologie che potremo proporre grazie a questa nuova partnership.
Naturalmente EnterpriseOSS e RIOS partners significa che in modo del tutto bidirezionale potremo offrire anche noi nuove skills alla Rete Italiana Open Source, creando così opportunità di business fresche per le aziende associate.
Durante il mese appena trascorso in realtà abbiamo dato i natali anche a nuove iniziative, presto vi aggiorneremo anche su questo.
Il consiglio è sempre quello di seguire il nostro blog e i nostri canali, oltre a questa pagina web
dove potrete scoprire gli eventi dedicati agli associati e spesso anche ai curiosi che sono interessati alle tematiche che trattiamo abitualmente.
A tal proposito il webinar in programma per giugno sarà incentrato su
Argomento:
“Information Gathering come primo step di un attacco”
Per ricevere un accesso free all’evento iscrivetevi qui.
A presto.
Enterprise OSS Staff
La cosa che più mi dà soddisfazione del mondo “Open Source” (e che deriva direttamente dalla filosofia ‘free software’) è la possibilità e libertà di selezionare e sfruttare le potenzialità del codice già scritto, integrarlo con alcune funzionalità utili (vedi il caso di cv4pve-toolbox [https://www.cv4pve-tools.com/toolbox-proxmox-monitoring-tools/]) o comporlo con software nati per fare tutt’altro, ma che ad un certo punto della loro “storia” convergono e diventano complementari (ad esempio le dashboard di Grafana [https://grafana.com/grafana/]).
Se poi tale codice si adatta in maniera efficiente e resiliente ai più diversi dispositivi hardware, senza troppe pretese di compatibilità con i relativi software di basso livello
(leggi possibilità di adattare componenti drivers praticamente per qualsiasi piattaforma utilizzata, ad esempio piattaforme distribuite ARM [https://www.ambedded.com/]), allora il senso di potenza che suscita questo codice è necessariamente non trascurabile…
Ma un antico e saggio detto ci ricorda che “la potenza è nulla senza il controllo…”, ed ecco perché nell’attuale periodo di attività mi sto dedicando anche alla selezione ed approfondimento degli strumenti di analisi, controllo e monitoraggio di sistemi in ambito “Open Source”.
Anche i lettori più estranei a questo mondo dello sviluppo software e sistemistico hanno certamente intuito di quale codice software stavo parlando nel paragrafo sopra: necessariamente CEPH [https://docs.ceph.com/docs/master/releases/].
Un sistema di storage del tipo “software defined”, open, distribuito, scalabile, performante, potente, in continua evoluzione ed ampliamento nelle caratteristiche e funzionalità (vedi l’integrazione con le piattaforme di contenerizzazione [https://docs.ceph.com/docs/master/mgr/rook/]) grazie ad una comunità viva di utenti e sviluppatori [https://ceph.io/contribute/].
Non è un caso che proprio nelle ultime versioni del software sia stato potenziato nativamente il sistema di controllo e monitoraggio, utilizzando i migliori strumenti di telemetria, raccolta e visualizzazione grafica e lasciando la libertà allo sviluppatore di personalizzare il sistema sulle esigenze generali o più specifiche dei suoi interlocutori…
… direi MUSICA per le nostre orecchie!
Firmato: Dott. Alessandro Garbelli - Enterprise OSS founder
Al tempo di covid19 molte sono le persone che nel pieno rispetto delle regole stanno lavorando per preparare un futuro migliore.
Ci sono coloro che hanno trasformato stanze di casa in uffici perfettamente funzionali, a patto di assoldare le "forze dell’ordine" (moglie o marito a seconda dei casi), per fare la guardia contro le incursioni di piccoli teppisti, incuranti delle faccende lavorative quotidiane dei loro genitori.
Viste le webcall che si susseguono a flusso continuo giorno dopo giorno, qualcuno ha dovuto anche improvvisarsi sceneggiatore, posizionando camere e microfoni in modo da far sparire stendibiancheria, ceste piene di giocattoli e attutire rumori di ogni genere che provengono da diversi angoli della casa.
Ma ci sono anche coloro che armati di autocertificazioni sempre più dettagliate vanno su e giù per le provincie d’Italia, qualcuno osa addirittura sconfinare in un’altra regione, e questo è il caso dei nostri due Ale.
La scorsa settimana infatti noi di Enterprise OSS ci siamo recati in datacenter presso Irideos a Verona per preparare delle nuove macchine.
L’obiettivo è quello di offrire a tutti i nostri clienti e a chi ne avrà bisogno una piattaforma per lo smart working completa, capiente e in linea con la riservatezza dei dati aziendali.
Al nostro cluster è infatti stato aggiunto un nuovo nodo, al fine di potenziarne considerevolmente le capacità di calcolo e lo storage.
A proposito di quest’ultimo sono stati aggiunti 8 nodi ARM che erogano storage di tipo S3 su filesystem gestito da Ceph.
Questo lavoro ha generato un più 30 TB di spazio storage utile.
Un numero sempre maggiore di aziende si rivolgerà ai professionisti del mondo ICT per trovare la migliore soluzione che permetta loro di lavorare da remoto, ma emergeranno sicuramente delle esigenze nuove che possiamo identificare in:
In particolar modo l’ultimo punto è spesso trascurato dai più, che si rivolgono ai colossi della Silicon Valley alla ricerca di un pacchetto all in one che non esiste in realtà e dunque sono costretti ad accontentarsi o a sacrificare qualcosa per poter lavorare.
E questo qualcosa è molto spesso proprio la privacy: dati, metadati, informazioni strategiche vengono messe in rete, incuranti del fatto che quando accettiamo le condizioni per utilizzare qualunque software solitamente diamo in cambio il permesso a visualizzare i nostri dati.
Non tutti hanno segreti industriali da tenere sotto chiave, ma crediamo che chiunque preferisca tenersi in casa il frutto dei propri sforzi, per non dare vantaggi competitivi alla concorrenza, ma anche per non permettere di tracciare tutte le proprie abitudini.
Cosa che accade regolarmente con app, motori di ricerca e social media, i quali per essere usati gratuitamente chiedono questo “pizzo”.
Ma mentre l’utente privato può (forse) accettare di perdere un po’ di riservatezza in cambio di servizi, per le aziende la questione è completamente diversa, anche perché non si parla di servizi gratuiti, anzi.
Per questo noi ci siamo fatti un nostro cloud privato, un vero e proprio spazio alla Amazon, e lo offriamo a chi desidera puntare su tutto quello che questo colosso offre, ma mantenendo come pilastro fondamentale la sicurezza del dato, non solo in termini di ridondanza e protezione dello stesso, ma proprio in termini di riservatezza dei dati aziendali.
Utilizziamo per lo più software open source in una combo vincente che parte dall’infrastruttura e arriva fino alle applicazioni di tutti i giorni:
Insomma crearsi un oggetto del genere in datacenter o addirittura on premise all’occorrenza non è più una chimera, noi di Enterprise OSS lo abbiamo già fatto e lo faremo sempre di più, con un occhio di riguardo alla riservatezza del dati aziendali, argomento troppo importante per essere trascurato in tempi come i nostri.
Enterprise Oss Staff
Questi mesi del 2020 ce li ricorderemo per molti anni a venire.
In poche settimane molte cose sono cambiate.
In Enterprise OSS ci siamo lasciati con l’ultimo evento fisico il 19.02 con una buona affluenza di pubblico e nuovi associati che sono entrati a far parte dell’associazione e dopo 2 settimane ci siamo ritrovati a fare i conti con covid-19 con annesse limitazioni e sconvolgimento generale delle vite di tutti noi.
La strada mentre vi scriviamo è ancora lunga, ma come vedete noi siamo sempre attivi, la nostra natura digitale ci sta permettendo di tenere la testa fuori dall’acqua e il nostro pensiero va a chi in realtà non era preparato a tutto ciò ed ora è in grave difficoltà.
Ci sono molte attività, almeno il 50% che non possono fare a meno di lavoro fisico, incontri personali e quindi contatto, tutte cose che in questo momento sono limitate o addirittura vietate.
L’altra faccia della medaglia però è che dobbiamo imparare a cambiare e questa terribile emergenza ci sta insegnando che abbiamo già molti strumenti per facilitare il restante 50%.
Per questo abbiamo iniziato a lavorare in modo più intenso per condividere coi voi alcuni degli strumenti che usiamo noi, da Nextcloud per avere un ufficio completo da remoto a Talk per le videoconferenze ai CV4PVE - TOOLS Proxmox creati da Corsinvest per poter monitorare e manutenere in sicurezza tutti i server da remoto.
A tal proposito ecco la nostra proposta formativa per aprile: vi invitiamo a partecipare al webinar in programma
Si seguito un'anteprima di quello che vi racconteremo.
Riserva un posto per il webinar
Proxmox prende il volo con degli strumenti di grande utilità, Corsinvest dopo anni di sviluppo ha rilasciato la versione grafica dei suoi CV4PVE TOOLS, già liberamente scaricabili da Github.
Dashboard complete con diagnostica su nodi, clusters, singoli servers, virtual machines, storages, metriche puntuali, alert, lo stato dell'arte del monitoraggio dei vostri server, un mare di dati configurabili e consultabili a colpo d'occhio con un click.
Il massimo per la manutenzione delle vostre macchine e dei vostri cluster indipendentemente dal numero e dalla complessità della vostra infrastruttura.
Nel fresco dei primi di febbraio ci sembrava giusto fare una capatina in Olanda per entrare nel cuore pulsante delle tecnologie di storage distribuito (progetto Ceph). Tutto è nato in realtà in una calda estate quando tra installazioni di server in modalità cluster e configurazioni sistemistiche personalizzate abbiamo sentito l’esigenza di “saperne di più”, entrare nei dettagli e nel cuore della filosofia di distribuzione del dato su storage. La proposta di Alessandro B. (sempre lanciato verso i confini della conoscenza) è stata subito allettante:un corso ad Amsterdam da uno dei protagonisti del progetto open source Ceph (Wido den Hollander).
Dopo qualche mese di allineamenti logistici finalmente ci siamo!Partenza da un luminoso pomeriggio veneziano, arrivo in una uggiosa serata olandese (freschino!). Altri trasporti vari e finalmente all’hotel (Italian style) nel ridente borgo di Baarn, con tetti aguzzi ed atmosfera gotica.
Che impressione veder circolare nella fredda serata più biciclette che automezzi!
Dopo la prima nottata poco dormita (complice un termosifone poco funzionante… e un po’ di tensione) una bella due giorni full immersion nella quale ritrovare elementi noti, scoprire caratteristiche e funzionalità di uno storage distribuito basato su Ceph, aprire nuovi scenari di approccio ed utilizzo di questa tecnologia intelligente, open e all’avanguardia.
Il contorno poi dei canali di Amsterdam (da certi scorci sembrava di essere tornati in laguna a Venezia), le casette colorate un po’ inclinate, i dolci zuccherosi, la cordialità nordica.
E poi la sensazione di giovane vitalità ordinata che percepivo nelle strade, nelle piazze, tra la gente, ha riempito questa “trasferta formativa” di toni e colori luminosi ed accesi pur sotto le piogge del mare del Nord!
Si conferma una mia convinzione: uscendo dalle proprie certezze, incontrando gli altri si impara sempre qualcosa di nuovo e si ritorna tutti più ricchi!
Questi sono gli appunti di viaggio che volevo regalarvi oggi.
Buono sviluppo a tutti.
Dott. Alessandro Garbelli
Oggi parliamo di Ceph.
Non tutti lo conoscono, pochi sanno farlo funzionare a dovere, molti si avvicinano ma poi non sanno come metterlo in produzione.
Vi basterà aprire il portale https://ceph.io/ per trasformarvi in un moderno capitano Nemo (l’ultima versione di Ceph si chiama guarda caso Nautilus) ma se doveste decidere di intraprendere un avventuroso viaggio non costruirete uno straordinario sottomarino per solcare i sette mari, ma potrete creare un non meno straordinario cluster a partire da 3 nodi di calcolo o di storage o addirittura iperconvergente.
“Ceph è un archivio oggetti distribuito e un file system progettato per fornire prestazioni, affidabilità e scalabilità eccellenti.”
E ancora
“Nell'informatica, Ceph è una piattaforma di archiviazione software gratuita, implementa l'archiviazione di oggetti su un singolo cluster di computer distribuito e fornisce interfacce per l'archiviazione a livello di oggetto, blocco e file. Ceph mira principalmente al funzionamento completamente distribuito senza un singolo punto di errore, scalabile al livello exabyte e disponibile gratuitamente.
Ceph replica i dati e li rende resistenti ai guasti, utilizzando hardware di base e non richiede alcun supporto hardware specifico. Come risultato della sua progettazione, il sistema è sia autorigenerante che autogestito, con l'obiettivo di ridurre al minimo i tempi di amministrazione e altri costi.”
Fonte: https://en.wikipedia.org/wiki/Ceph_(software)
In questa sommaria descrizione si nota sicuramente la natura completamente open source di questo software, per altro sottolineata sulla home page del prodotto stesso, dove si legge a caratteri cubitali
GET INVOLVED cioè METTITI IN GIOCO, chiaro invito a chi se la sente ad addentrarsi tra i meandri del codice e migliorarlo in caso se ne abbiano le capacità, oppure a partecipare alla community.
Fonte: https://ceph.io/get-involved/
Per la verità è dal 2014 che nomi come Red Hat prima e Suse poi hanno deciso di appoggiare i loro progetti di storage enterprise su questo oggetto, sempre meno misterioso.
Se ne fa chiara menzione in questo stralcio di storia su wikipedia, dove si scopre che l’inventore di Ceph e fondatore della Inktank (l’azienda finanziatrice del progetto) è Sage Weil e che
“..nell'aprile 2014, Red Hat acquistò Inktank per 175 milioni di dollari, portando in casa la maggior parte dello sviluppo di Ceph. Successivamente nell'ottobre 2015, è stato istituito il Ceph-Community-Advisory-Board per guidare la community open dedita allo sviluppo della tecnologia dello storage software defined. Il comitato consultivo include membri della comunità Ceph appartenenti ad organizzazioni IT globali che si impegnano nel progetto, fanno la loro apparizione individui di Canonical, CERN, Cisco, Fujitsu, Intel, Red Hat, SanDisk e SUSE.”
Enterprise OSS da 5 anni ha scoperto questo strumento ed ha voluto fin da subito implementarlo nei propri progetti, in datacenter oppure on premise e grazie ad un tuning sempre più fine è in grado di realizzare cluster Ceph perfettamente stabili e scalabili a partire da 3 nodi fisici.
Questi risultati sono frutto di studio preliminare, svariati test in laboratorio e applicazione sul campo. Ad oggi diversi clienti si avvalgono di queste soluzioni per la loro infrastruttura iperconvergente o di storage software defined.
Insomma questo Ceph sembra un duro anche se l’etimologia del nome sembra raccontare altro.
“Il nome "Ceph" è un'abbreviazione di "cefalopodi", una classe di molluschi che include il polpo. Il nome (enfatizzato dal logo) suggerisce il comportamento altamente parallelo di un polipo ed è stato scelto per associare il file system a "Sammy", la mascotte della lumaca di banana di UCSC.”
Alla prova dei fatti comunque non si parla di Ceph solo in Enterprise OSS, anche alla NASA hanno deciso di presentarlo e di servirsene per archiviare l’immane mole di dati giornaliera che proviene dai satelliti sopra le nostre teste
e al CERN lo si usa in ambiente di ricerca
nel video seguente infatti si può vedere come gli scienziati del CERN utilizzino Ceph in una crescente varietà di modi, dall'archiviazione a blocchi per OpenStack ai filesystem HPC all'archiviazione di oggetti S3.
Il funzionamento di questa infrastruttura da circa 20 petabyte richiede misurazioni continue e ottimizzazione delle prestazioni per garantirne il funzionamento ottimale.
Viene presentata la loro esperienza di ottimizzazione e ridimensionamento di RBD e CephFS,... E dal punto di vista operativo viene presentato il loro approccio alla messa in servizio e alla disattivazione dell'hardware, dimostrando alcune funzionalità avanzate come il bilanciamento Ceph.
In conclusione viene presentato cosa si prevede di implementare per gli storage al CERN, mostrando diversi scenari su come potrebbe svolgere un ruolo in questo progetto.
E a proposito di diffusione è ormai nota l’apertura del mondo dei container, docker e kubernetes su tutti a Ceph, che viene integrato tra gli storage necessari a far girare le micro applicazioni tipiche di questa tecnologia.
Per concludere non posso che invitarvi a visitare i nostri canali e valutare un approfondimento su questa tecnologia grazie ai nostri corsi di formazione, siamo sempre alla ricerca di partner e collaboratori.
Progetti Ceph - https://www.enterpriseoss.com/projects/
Assistenza Ceph - https://www.enterpriseoss.com/assistenza-proxmox/
Partnership EOSS - https://www.enterpriseoss.com/open-source-network/
Alla prossima settimana.
Enterprise OSS Staff
1. Incremento di un sistema di elaborazione con l’aggiunta di nuovi elementi hardware o software che ne migliorano le prestazioni
2. Aggiornamento di un prodotto software che ne migliora le prestazioni
Etimologia: ← voce ingl.; propr. ‘crescita, miglioramento’.
Ecco la definizione di questo termine inglese: upgrade in ambito informatico, come al solito questa lingua globale ci permette di esprimere un intero concetto con una sola parola.
Né il termine anglosassone né la descrizione dello stesso però, ci rivelano quanto sia critica questa operazione.
Tutti noi a fronte di un miglioramento previsto, siamo pronti a mettere mano al sistema informativo, anzi molto spesso auspichiamo un upgrade
“Ho lavorato per anni nei ced di diverse piccole e medie imprese e ogni volta che si rendeva necessario fare un upgrade dei loro sistemi si ripresentavano puntali i soliti problemi
1. Di spazio: “l’armadio rack è pieno", oppure “non abbiamo l’armadio rack e non c’è spazio per mettere i nuovi server”, “il condizionatore non può reggere l’aggiunta di un nuovo hardware”, "l’ups è sottodimensionato per aggiungere altre macchine” etc..
2. Di soldi: “non possiamo permetterci di acquistare dei nuovi dischi per ampliare lo storage”
3. Di tempo: “come facciamo a fermare l’infrastruttura per tutto quel tempo? Noi dobbiamo lavorare, non possiamo permetterci una migrazione dei dati”
Spesso si tende a sacrificare un miglioramento certo della produzione a causa di problemi di vario genere, il cui “ammortamento” potrebbe essere rapido grazie proprio all’implementazione dell’upgrade a cui si rinuncia.
L’avvento della virtualizzazione ha favorito il superamento di alcuni dei problemi suddetti, ma in Enterprise OSS ci è capitato di incontrare uno scenario ancora differente.
Ci contattano realtà che chiedono una consulenza per fare degli upgrade ai loro sistemi, ma hanno l’esigenza di non stravolgere il loro sistema informativo, tipicamente realizzato con prodotti closed, come VMware o Hyper-V.
Un caso tipico è quello in cui si debbano aggiungere nodi di calcolo e farli comunicare sugli stessi dati ai quali puntano i nodi di calcolo già esistenti.
In questi casi la divisione projects si occupa di integrare nell’infrastruttura esistente una soluzione open source realizzando un vero e proprio sistema ibrido, al fine di realizzare un upgrade molto vantaggioso.
Il primo vantaggio è naturalmente il conseguimento dell’obiettivo: l’incremento della potenza di calcolo, principale richiesta del cliente.
Il secondo vantaggio è il risparmio in termini di licenze che una soluzione simile offre: si può continuare a mantenere i nodi preesistenti e “dare gas” dal punto di vista computazionale, senza sobbarcarsi un ulteriore esborso di denaro, atto a soddisfare politiche di licensing spesso opprimenti.
Il terzo vantaggio è la flessibilità: permettere a due diversi cluster di puntare allo stesso storage, tipicamente Ceph (in HA su un minimo di 3 nodi) è un grosso passo in avanti, che potrà permettere in futuro di alleggerire i costi anche nell’eventualità che lo storage vada ampliato.
Insomma, senza stravolgere sistemi già esistenti, si possono fare cose egregie, far coesistere e soprattutto interagire con successo il mondo closed con il mondo open.
Anche perché come gli addetti ai lavori già sanno, grazie alla sua grande diffusione e all’imminente entrata in gioco sulla grande rete dell’universo IoT, da qualche tempo il mondo open e quello closed hanno iniziato a strizzarsi un occhio, o forse due.
Ecco il solito titolo sensazionalistico per attirare l'attenzione! Cosa c’entra il poker con un blog che parla di informatica, di assistenza open source professionale, di software defined storage?
Se il lettore avrà pazienza il tempo di lettura di questa partita sarà breve [3 minuti]
Tutti gli amanti del mondo open conoscono Suse -> https://it.wikipedia.org/wiki/SUSE_Linux
In breve “SUSE Linux è la più longeva distribuzione GNU/Linux commerciale”, come molti progetti open offre la possibilità di avvalersi di assistenza a pagamento se necessario, ma naturalmente mantiene la sua anima originaria sempre intatta.
Si veda qui -> https://it.opensuse.org/Benvenuto_su_openSUSE.org
Ma allora perché parliamo di SUSE e non di qualche altra distribuzione linux?
Lo facciamo perché Suse è indubbiamente un asso nel mondo dell’open source, dunque abbiamo trovato il primo elemento per vincere la mano, ma quali sono gli altri 3?
Avete presente l’architettura ARM? Ok so che la conoscete ma un ripasso si può fare qui -> https://it.wikipedia.org/wiki/Architettura_ARM
“Arm è leader mondiale in ambito di architetture micro scalabili ad elevata efficienza energetica, utilizzate nel cuore delle applicazioni più evolute, come mobile (smartphone, tablet ecc.), ICT (enterprise server, IoT ecc.), industrial (sensoristica, controller ecc.) e ancora telecomunicazioni, medicale, automotive, home ecc”
Vi parlo di processori ARM perché esiste un appliance che ne ospita ben 8, i quali controllano ciascuno un disco e si rivela molto utile per creare “software defined storage” facilmente scalabili, a basso consumo e potenzialmente ibridi (rotativo e ssd) e il tutto condensato nello spazio di 1U.
Ecco un breve video dimostrativo qui -> https://www.youtube.com/watch?v=uTH4x08Ouis
E qualche dettaglio in più qui ->
https://www.ambedded.com/ARM_Server_platform.html#header2-77
Ora, abbiamo parlato di software defined storage .. quindi per costituirlo abbiamo bisogno di un software, è qui che appare il terzo asso.
[ Tradotto dall’inglese ] Nell’ambito dell'informatica, Ceph è una piattaforma di storage di software libero, implementa l'archiviazione degli oggetti su un singolo cluster di computer distribuito e fornisce interfacce per l'archiviazione a livello di oggetti, blocchi e file.
Certamente tutti e tre questi assi meriterebbero una descrizione più articolata e ci riproponiamo di proporla in questo blog, ma qui abbiamo da vincere una partita.
I primi 3 elementi li abbiamo in mano e hanno deciso di collaborare integrando le proprie peculiarità in un unico oggetto tecnologico del quale potete trovare notizia qui
https://www.suse.com/c/ambeddeds-arm-based-ceph-storage-appliance-goes-green/
Manca però un elemento.
Serve qualcuno che
Questo ultimo attore esiste e si chiama Enterprise OSS.
La divisione storage di Enterprise OSS da molto tempo utilizza sia Ambedded che Suse, nonché implementa Ceph abitualmente nei propri cluster, sia in presenza di soluzioni totalmente open iperconvergenti sia in soluzioni ibride basate su piattaforma VMware.
La mano di poker volge dunque al termine e i 4 assi sono sul tavolo, non ci resta che suggerirvi di guardare un video direttamente dal EOSS Lab dove si mostrano alcune delle meraviglie che questi sistemi all’opera possono realizzare.
Poker d’assi.
