“ De cloud-server architectuur van de toekomst, NU”
Cy7/Cy21 ARM Cloud Servers Benelux Introduction A Compatibles2 Paper Part Two ARM Cloud Technology
door Hans Noort compatibles2@gmail.com
Q1 2015 ver 1.3
Contents Executive Summary ................................................................................................................. 3 Cloud Technologie ................................................................................................................... 4 The Bare-Metal Cloud .............................................................................................................. 4 De architectuur van de toekomst ........................................................................................... 5 De architectuur van de toekomst NU ..................................................................................... 6 Solution Overview .................................................................................................................... 7 Conclusions .............................................................................................................................. 8
Q1 2015 ver. 1.3 Part Two
2
Compatibles2 Cloud Servers
Section
1
Executive Summary Om tegemoet te komen aan de groeiende behoefte aan Groene IT oplossingen, in combinatie met Cloud Computing, introduceren wij extreem zuinige Cloud Servers. Met de volstrekt unieke CyOne, Cy7 en Cy21 ARM based servers, met als bijzondere kwaliteit oneindige schaalbaarheid, bieden wij revolutionaire maar zeer betaalbare oplossingen. Server oplossingen op basis van ARM CPU’s, voor o.a. Hostingbedrijven, Datacenters en in-house ICT klanten, die momenteel beperkingen ondervinden op het gebied van energieverbruik en vloerruimte en tevens de kosten willen reduceren. Maar denk ook aan Cloud Test-omgevingen, Research, Educatie, Data Analyse en specifieke nieuwe toepassingen, zoals nieuwe vormen van Social Media. Met een server density van 532 micro servers en 456 HDD en 76 SSD’s = 1844 TB in een Server rack en toch maar een een stroomverbruik van max. 7.04 KWatt bij volledige belasting vormen ARM-based Cloud Servers de meest innovatieve ICT-oplossingen die ook nog eens direct energie besparingen opleveren tot 50% t.o.v. Intel gebaseerde servers. In dit Part Two gaan wij nader in op de oplossingen die ARM based servers geven op de vraag naar schaalbare computing power en storage capaciteit, tegen lagere kosten in aanschaf, minder rackspace, minder onderhoud, halvering van de energiekosten en reductie van de benodigde koelingscapaciteit. (Deels technische inhoud) Verder gaan wij in Part One in op het ontstaan en de ontwikkelingen rond de Cloud, explosieve data groei en de hiervoor noodzakelijk innovatie op cloudserver gebied, om de groeiende data behoefte bij te kunnen benen. (Niet technische inhoud) Daarnaast bieden de afzonderlijk APPENDIX Bijlagen 1 t/m 5 uitleg over veel gebruikte Cloud Servers termen en software. (Vrijwel volledig technische inhoud)
Q1 2015 ver. 1.3 Part Two
3
Compatibles2 Cloud Servers
Section
2
Cloud Technologie In Part One heeft u kunnen lezen over het fenomeen “De Cloud”.In dit Part Two gaan wij over naar wat die Cloud ons gebracht heeft: Cloud Technologie. En dat is eigenlijk heel goed nieuws. Want door de eisen die grote organisaties, overheden en aanbieders van diensten aan De Cloud stelden, heeft er in korte tijd veel innovatie plaatsgevonden. Nu ICT een vorm van “dienstverlening door derden” is geworden, is er veel aan gelegen om aan het verwachtingpatroon van de afnemers te kunnen voldoen. En met de grote concurrentie in een overvolle markt, was er veel aandacht voor: zuiniger, goedkoper, compacter, efficienter en vul de kenmerken maar in om de concurrent op prijs en/of kwaliteit te verslaan. En er is heel veel operationele ervaring opgedaan met live systemen. Ervaringen die terug te vinden zijn in de nieuwste oplossingen op basis van Cloud Technologie die ook binnen organisaties inzetbaar zijn, “The bare-metal Cloud”.
The Bare-Metal Cloud "The next generation of cloud computing could actually be found in a cloud format that has already been around for a while. The bare-metal cloud brings all of the advantages that have become synonymous with the cloud but minus one element — there is no virtualization". Een interessante en realistische gedachte in de wetenschap dat met de komst van IoT (Internet of Things) de behoefte aan extreem veel dataopslag zal ontstaan en snellere toegang dan "via Internet” (voor analyse) noodzakelijk is. En waarbij bovendien de informatie en data security veel beter gegarandeerd moet gaan worden dan Cloud providers "op-afstand" tot nu toe waar konden maken. Zo zie je maar weer hoe trends in de IT een andere wending kunnen nemen en we eigenlijk onverwacht naast toename van Cloud oplossingen ook afstevenen op een toename van In-house ICT. Maar dit keer gebruik makend van geleerde lessen en de nieuwe mogelijkheden van Cloud Technologie.
Q1 2015 ver. 1.3 Part Two
4
Compatibles2 Cloud Servers
Section
2 De Wet van Gordon E. Moore leert ons dat capaciteit van computerprocessoren elke twee jaar zal verdubbelen, een wetmatigheid die nog steeds opgaat. Maar inmiddels is de groei van processorkracht lang niet meer de enige maatgevende factor om de explosieve groei aan data in wereldwijde netwerken te kunnen bijbenen. Er is nu immers sprake van de Big Data revolutie. Het is een veel breder spectrum geworden, waar de benodigde groei ook plaats zal moeten vinden via verhoging van de storage-capaciteit en de netwerk doorvoersnelheid, en tegelijkertijd drastische reductie van het energieverbruik. Wij voorzien dat goedkope non-Intel powered systemen uitgerust met Open Source software, hier een belangrijke rol in zullen gaan spelen. Door het ongelooflijke verkoopsucces van Smartphones en Tablets draaien heel veel nonIntel systemen op een Linux basis (vooral Android). Met als gevolg dat er ook veel expertise op bijvoorbeeld ARM systemen aanwezig is, met de focus op energie efficiency en zo klein en licht mogelijke componenten. Voeg hierbij de snelle productontwikkelingen (we kennen inmiddels al 8-core CPU’s voor mobiel gebruik) en de lage CPU-kosten door de enorme afzet in de mobiele wereld, en het is al snel duidelijk dat de concurrentie voor de dominante Intel multicore server processors uit de hoek van ARM en PowerPC zal gaan komen, en snel ook. Veel Smartphone mogelijkheden komen voort uit het gebruik van een System on a Chip – een geïntegreerd systeem op een enkele chip, een SOC. Gebruik maken van de mogelijkheden van SOC’s voor serverdoeleinden vormt één van de basisprincipes van een ware revolutie op servergebied. Het gebruikmaken van een CPU per Storage module en die microserver/storage combinaties 1:1 met elkaar koppelen via snelle netwerktechnologie is dé servertechniek in opkomst, die geen gebruik meer maakt van virtualisatie technieken. Niet in de laatste plaats omdat virtualisatie voor veel toepassingen helemaal niet nodig of gewenst is, maar eerder een kunstje om te dure processorkracht beter te benutten door de workload te verdelen. De kosten van hard-en software zullen aanmerkelijk lager worden, de “don’t fix it if its broken” principes van oneindig schaalbare micro-servers zullen de onderhoudskosten minimaliseren en de elektriciteitsrekening halveren t.o.v. traditionele servers. Waarmee Cloud Technologie (ook zelfs voor het MKB) een zeer aantrekkelijk alternatief gaat worden voor bijvoorbeeld opslag en data analyse.
De architectuur van de toekomst Om oplossingen te vinden voor de Big Data uitdagingen van nu en in de toekomst, zoeken hardware leveranciers zoals HP en IBM het in een architectuur met uitgangspunten die als volgt samen te vatten zijn: 1) System On a Chip, de vervanging van universele processoren door gespecialiseerde cores die met geheugen en netwerktechnologie in één chip geïntegreerd worden 2) Memristors, nieuwe vormen van permanent geheugen, waarbij de huidige beperkingen van de verschillende lagen direct toegankelijk geheugen, systeem
Q1 2015 ver. 1.3 Part Two
5
Compatibles2 Cloud Servers
Section
2 geheugen en opslag overwonnen worden door ultrasnel geheugen waarbij geen elektriciteit nodig is om de data te (onder)houden. 3) Photonics, gebruik van “glasvezelverbindingen” bij interne dataverbindingen tussen servercomponenten 4) New OS, besturingssoftware die optimaal gebruik maakt van bovenstaande nieuwe componenten en dus ook over heel andere eigenschappen moet beschikken in vergelijking tot de huidige besturingssystemen met conventionele architectuur en bovendien toegang tot veel grotere datasets dan de huidige moet ondersteunen.
De architectuur van de toekomst NU Dat is allemaal mooi, maar vooral toekomstmuziek, die pas (als het meezit) in de komende 5 jaar beschikbaar komt. Big Data, energieverbuik, ruimtegebrek, schaalbaarheid en kostenvraagstukken zijn echter allen een NU-probleem. Dus is het raadzaam om met nu beschikbare technologie dezelfde principes alvast toe te gaan passen. In voorbereiding op datgene wat met de komst van nieuwe technolgische vindingen in een vergelijkbare architectuur mogelijk zal worden. Niet alleen worden op deze wijze hedendaagse Big Data problemen direct aangepakt, het biedt ook de mogelijkheid nu al ervaring op te doen en te profiteren van lineaire en ongelimiteerde schaalbaarheid, tegen lagere aanschaf en energiekosten almede een lagere TCO dan investeringen in traditionele technologie. De momenteel verkrijgbare Cy7 (en zeer binnenkort de Cy21-SSD only) serversysteem maakt bijvoorbeeld nu al gebruik van de volgende technieken: 1) ARM System On a Chip, de vervanging van universele processoren door gespecialiseerde SOC’s waarbij CPU, geheugen en netwerktechnologie in één micro server board geïntegreerd worden. 2) In plaats van Memristors, gebruik maken van de laatste vorm van permanent geheugen: SSD 3) In plaats van Photonics, het gebruik maken van chassis integrated “Ethernet fabric switches on board” voor de interne dataverbindingen tussen servercomponenten, geen interne bekabeling! 4) OS, bestaande standaard(!) Linux besturingssoftware die optimaal gebruik maakt van bovenstaande nieuwe componenten en in vergelijking tot de huidige besturingssystemen met conventionele architectuur toegang tot veel grotere datasets weet te bieden, Gluster Ceph, Hadoop etc. . Op basis van de genoemde 4 elementen is het momenteel al mogelijk om met Cy7 systemen PER SERVER RACK een capaciteit te realiseren van: 76 chassis = 532 micro servers 456 HDD’s and 76 SSD’s: 1844 TB *) 4 x 48-ports Giga bps switch with 2 x 10G bps internet up link Maximum 7.04K Watts power consumption at full load 220V AC, 16A max per zijde Gebruik Standard server rack 60 cm x 120 cm *) 1844 TB Hoeveel data is dat ook alweer? Zie de “What Is?” Section 1 in de Appendix
Q1 2015 ver. 1.3 Part Two
6
Compatibles2 Cloud Servers
Section
3
Solution Overview Het concept van de de Cy7 ARM Server is vergelijkbaar met dat van Hadoop. Het is een 1U hoog chassis met daarin 7 micro servers (CyOne modules). Iedere CyOne module werkt als onafhankelijke en volledige server met 1 GHz ARM v7 CPU, DRAM, NAND flash, 2 Giga LAN and SATA 2.0 interface. Uiteraard heeft iedere CyOne een eigen IP-adres. Per CyOne micro server is 1 storage device zoals een harddisk of een SSD verbonden. De storage capaciteit en de performance is te verhogen door eenvoudigweg meer CyOne’s toe te voegen. De architectuur van het storage systeem is zo ontworpen dat je zoveel Cy7 servers via Ethernet LAN met elkaar kunt verbinden als maar wenselijk is. Er zitten 2 Gigabit Ethernet switches op de server backplane om alle CyOne microservers met elkaar te verbinden en van 2 Gigabit up-links te voorzien. Door Cy7s chassis’s met externe switches onderling te koppelen vorm je het totale cloud storage cluster. De storage capaciteit en computing power is lineair evenredig aan het aantal CyOne’s en Disks in het systeem. De CyOne micro server draait op Linux zodat het eenvoudig is om bestaande Open Source Cloud Software zoals Gluster FS, Ceph, Hadoop of OpenStack te draaien. Maar er is ook support voor Ubuntu, Debian, Red Hat file systems. De redundantie van data en servers is software defined. Alle taken vinden plaats via verdeling over de clusternodes. En dat is dan ook de reden waarom er in deze Cloud Server geen Single Points of Failure (SPOF) aanwezig zijn. Zelfs al valt er een node uit, zal dit geen invloed hebben op de gezondheid van de Server Cloud en weinig invloed op de performance. Direct repareren van een node of disk is dan ook niet nodig. Herstel kan men uitstellen tot een tijdstip van scheduled onderhoud, zodat de onderhoudskosten flink naar beneden gaan.
Q1 2015 ver. 1.3 Part Two
7
Compatibles2 Cloud Servers
Section
4
Conclusions De (r)evolutie naar een op Cloud Technologie en Big Data gebaseerde ITomgeving biedt ongekende mogelijkheden en tevens vele uitdagingen, van o.a. technologische, maatschappelijke en economische aard. ARM Micro Servers gemodelleerd naar de systeem architectuur van de toekomst, bieden een logisch en aantrekkelijk alternatief voor de tot op heden door Intel / Xeon processors en Virtualisatie techniek gedomineerde server markt. ARM based Micro Servers bieden een uitstekende mogelijkheid om op kosteneffectieve wijze invulling te geven aan een groot aantal actuele problemen en behoeften waarin servers en data centers nu en in de toekomst oplossingen voor moeten bieden:
Extreme Reductie Stroomverbruik: tot 50% t.o.v. Intel Servers Ongelimiteerde Schaalbaarheid: van 1e tot oneindig Computerkracht neemt lineair toe met de storage capaciteit Geen SNOF’s (Single Nodes of Failure) Geen urgent en ongepland onderhoud noodzakelijk Voorkomen van virtualisatie overhead Besparing op TCO door: o o o o
Lagere stroomrekening Minder floor- en rackspace Lagere kosten hardware Minder storingen en minder downtime
Typische toepassingen voor ARM based Micro Server zijn:
Exabyte scale object en block Cloud Storage op basis van GlusterFS, Ceph of een ander clustered network filesystem
AWS S3 Compatible Object Store met REST interface
Big Data Analyse met Hadoop
Parallel Computing voor wetenschappelijk onderzoek
Web Serving voor gedistribueerde Cloud omgevingen
In de appendix 1 t/m 5 worden de minder bekende termen uit deze white paper nader uiteengezet. Deels in het Nederlands maar grotendeels in de Engelse taal, omdat de compacte en heldere uitleg, rechtstreeks afkomstig van de websites ven de betreffende organisaties of gelieerde sites, het beste de hoofdpunten van de technologie weergeeft.
Q1 2015 ver. 1.3 Part Two
8
Compatibles2 Cloud Servers