Nakon godinu i po razvoja, izdala je Apache Software Foundation lansiranje nove verzije Apache Hadoop 3.3.0, verzija u kojem je dodao poboljšanja za ARM platforme, podrška za zakazivanje lansiranja kontejnera i druge stvari.
Apache Hadoop se pozicionira kao besplatna platforma organizirati distribuirana obrada velike količine podataka koristeći mapa / redukcija paradigme, u kojoj je zadatak podijeljen na mnogo manjih izoliranih dijelova, od kojih se svaki može izvoditi na zasebnom čvoru klastera.
Pohrana zasnovana na Hadoop-u može se prostirati na hiljade čvorova i sadržavati eksabajte podataka.
O Apache Hadoopu
Hadoop uključuje implementaciju Hadoop distribuiranog sistema datoteka (HDFS), koji automatski osigurava redundanciju podataka i optimiziran je za MapReduce aplikacije.
Ključna funkcionalnost je da za učinkovito raspoređivanje poslova svaki sistem datoteka mora znati i navesti svoje mjesto, naziv stalka (tačnije, prekidača) gdje je radni čvor.
Hadoop aplikacije mogu koristiti ove informacije za pokretanje rada na čvoru gdje su podaci i, ako to ne uspije, na istom nosaču / prekidaču, smanjujući tako mrežni promet.
Pojednostaviti pristup podacima u skladištu Hadoop, Razvijena je baza podataka HBase i jezik svinja sličan SQL-u, što je SQL tip za MapReduce, čiji upiti mogu biti paralelizirani i obrađivani od različitih Hadoop platformi.
Projekt se ocjenjuje kao potpuno stabilan i spreman za industrijski rad. Hadoop se aktivno koristi u velikim industrijskim projektima, pružajući mogućnosti slične Google Bigtable / GFS / MapReduce platformi, dok je Google službeno delegirao Hadoop i druge Apache projekte koji imaju pravo na upotrebu patentom zaštićenih tehnologija povezanih s metodom MapReduce.
Hadoop se nalazi na prvom mjestu među Apache repozitorijumima po broju izvršenih promjena i petoj najvećoj bazi koda (približno 4 miliona linija koda).
Što je novo u Apache Hadoop 3.3?
Ova nova verzija Hadoopa pozicioniran je kao prva verzija koja ima el podrška za platforme zasnovane na ARM-u, pomoću koje će oni koji su zainteresirani za mogućnost implementacije ove platforme moći pronaći binarni format za ARM koji je već dostupan.
Još jedna od glavnih promjena koja je predstavljena u ovoj novoj verziji je implementacija nove verzije protobuf formata (Međuspremnici protokola) koji se koriste za serializaciju strukturiranih podataka je ažuriran na verziju 3.7.1 zbog kraja životnog ciklusa grane protobuf-2.5.0.
Pored toga, takođe mogućnosti priključka S3A su već proširene to ga sada ima dodana podrška za provjeru autentičnosti pomoću tokena, poboljšana podrška za predmemoriranje odgovora s kodom 404, veće performanse S3guard i poboljšana operativna pouzdanost.
Takođe Dodana je usluga DNS rješavača za klijenta da odredi servere putem DNS-a po imenima hostova, što vam omogućava da se odreknete popisa svih hostova u konfiguraciji.
Kao i podrška za zakazivanje pokretanja kontejnera putem centraliziranog upravitelja resursa (ResourceManager), čak i uz mogućnost distribucije spremnika uzimajući u obzir opterećenje svakog čvora.
Od ostalih promjena koje se ističu ove nove verzije:
- Problemi s automatskim podešavanjem riješeni su u sistemu datoteka ABFS.
- Dodana je izvorna podrška za sistem datoteka Tencent Cloud COS za pristup pohrani COS objekata.
- Dodana je puna podrška za Javu 11.
- Stabilizirala je implementaciju HDFS RBF (Router Based Federation). Sigurnosne kontrole dodane su na usmjerivač HDFS.
- Dodan je direktorij aplikacija YARN (drugi pregovarač o resursima).
Napokon, ako želite znati više o tome, detalje nove verzije možete provjeriti na originalni post.
Za one koje zanima mogućnost dobivanja nove verzije, oni mogu preuzeti pripremljene binarne datoteke Na sledećem linku.