Gobernantza Publiko eta Autogobernu Saila

Big Data

Xehetasunak

Plataformaren helburua

Integrazioaren babespean sartutako soluzioaren helburua da informazio masiboaren azterketarako plataforma bat eskura jartzea.  

Funtsean, integrazioak urte asko daramatza bigdata teknologia hainbat osagaitan erabiltzen. Zehazki, fitxategien core nagusia hdfs-ren gainean inplementatutako filesystem banatua da. Bestalde, honako hau da kontsola guztien oinarria: biltegi gisa hbase erabiltzea eta indexazio-motor gisa elasticsearch erabiltzea.

Ikusita teknologia hori integraziorako erabilgarria zela, sailetako aplikazioei teknologia hori erabili ahal izatea planteatu zen. Zehazki, aplikazioen aztarnen datuekin hasi da, eta hori da euskarria ematen dion soluzio teknikoa.

Ikuspegi funtzionala

Soluzioaren oinarria da alde batetik cpd-an sortzen den datua eta bestetik erabiltzailearen postuan sortzen den datua bereiztea.

Datu-ahorakinaren oinarria java liburutegi baten erabilera da; horri esker, isolamendu osoa lortzen da, javaren future-en erabileran oinarritzen delako.

Ustiapenari dagokionez, interfaze batzuk erabiliz honako hau egin daiteke:

  • ikuspegi orokorra: azken orduan konektatutako erabiltzaileak, erroreak, web sarrerak...
  • Online datuak: linean sortutako aztarnak, erabiltzailearen, zerbitzariaren eta abarren arabera iragaziak...
  • Azken hilabetean sortutako datuei buruzko bilaketak. Gaur egun hilabetez gordetzen da, eta datuak apurka ezabatzen dira.
  • Estatistikak: orduen/egunen arabera bateratutako txostenak, aldi bereko erabiltzaileei, sarrerei eta abarri buruz...

Ikuspegi teknikoa

Kanpoaldeari dagokionez, honako hauek dira soluzioaren osagaiak:

  • Java liburutegi bat, datu orokorrak zein aplikazio bakoitzeko datu espezifikoak biltegiratzeko bidea ematen duena
  • XLNets-en bidez babestutako web interfazea, datu-bilduma probatuak zein publikoak eskuratzeko bidea ematen duena. Fitxategien aztarnei buruzko datuak nahiz zerbitzuen datuak gaur egun Bigdata bidez eskuratu ahal dira.

Barnealdeari dagokionez, honako hauek dira soluzioaren osagaiak:

  • HBase, datuen biltegiratzeari dagokionez.
  • Elasticsearch, datuen indexazioari dagokionez.
  • PIG, estatistikak sortzeko yarn prozesuei dagokienez.

Azpimarratzekoa da 2017ko apirilaren 15ean:

  • 3 astean 2TB-tik gora informazio biltegiratu direla.
  • Bigdata erabiltzen duten 10 soluzio/sail daude, gutxi gorabehera.

Prozedura

Soluzioa erabiltzeko, dagokion garapen araudia dago. Araudi horretan honako hau aurki daiteke:

  • Soluzioaren ikuspegi funtzional laburra
  • Osagaien erabilerari buruzko gida, adibideekin
Produktua Bertsio zaharkituta Bertsio eguneratua
Fabrikatzailea Aukera librea
HDP (HortonWorks Data Pllatform) 2.3,2.4.2 Hortonworks
  • 1go Bertsioa: 2017-07-03 (azken bertsioa)