SlideShare a Scribd company logo
1 of 11
Nagy-tejlesítményű, költséghatékony
 adattárolási technológiák könyvtári
            környezetben




                            Szalai Ferenc
                            szferi@niif.hu
Probléma
●
    „Adatot márpedig tárolni kell!”
●
    Rohamosan növekvő digitális tartalom:
    –   folyóirat, könyv digitalizálás, audio, video
●
    Könyvtárak dilemmája:
    –   feldolgozás hosszabb idő, mint a tartalom
        előállítása          növekvő feldolgozatlan, de
        tárolandó digitális tartalom
●
    „Gyorsan valami ütőset, lehetőleg
    olcsón!”
Első gondolatunk - DAS
●
    DAS: Direct Attached Storage: „sok lemez
    egy nagy szerverben”
●
    Probléma:
    –   skálázhatóság: „mi van ha nem tudok több
        lemezt rakni a gépbe?”
    –   hozzáférés: „hogyan férnek hozzá a
        munkatársak az adatokhoz?”
Melyik lemezt szeressem?
Típus      Sebesség (MB/s)   méret (GB) ár 1TB (E Ft) ár 5TB (E Ft)
ATA        20-40                     500         150            450
SATA       40-70                     750         240           560
SCSI       70-90                     500         480          2100
SAS        90-110                    250         980          4200

 ●
     Nagy méretű lemezek lomhábbak
 ●
     Garancia:
     –   1év ATA, 1-3 év SATA, 5 év SCSI/SAS
 ●
     Átlagos meghibásodási idő (óra, mért - Google):
     –   ATA 100-150e, 300e SATA/SCSI/SAS
Hogyan védekezzünk a
             lemezhibák ellen?
●
    RAID: Redundant Array of Inexpensive
    Drives
●
    RAID szintek:
    –   0 (esztelen sebesség hajhászás), 1 türkrözés,
        1+0, 5 (N+1 paritás), 5+0, 6 (N+2 paritás), 6 +
        0
●
    Sok lemeznél,
    minimum 6!
Alakítsuk a DAS-t NAS-á!
●
    NAS: Network Attached
    Storage
●
    állomány megosztó
    protokol: NFS, SMB
●
    Legyen 1GE
    hálózatunk!
●
    problémák:
    –   mi van ha egy NAS nem
        elég?
    –   hogyan kezeljük a NAS
A lemezek felszabadítása - SAN
●
    SAN: Storage Area
    Network
●
    blokk szintű kapcsolat
●
    kliens (initator) –
    szerver (target)
    architektúra
●
    Hálózati kapcsolat:
    –   Ethernet, FC (üveg),
        Infiniband (réz)
IP/Ethernet SAN
●
    IP SAN: iSCSI (USE – Universal Storage Element)
●
    Ethernet SAN: AOE (Ata-over-Ethernet)
●
    AOE: egyszerű protokoll ATA üzenetek natív
    etherneten történő továbbítására
    –   initiator 2.6.11 óta Linux kernel része
    –   célhardver target (Coraid Inc.)
Szegény
     ember EMC-je!
    NONSTOP =
    NONSTOP Network Storage Platform


●
     Moduláris adatkapcsolat,
     igény szerint
●
     Egyszerű elemek
●
     Skálázható a sávszélesség
     és a switchek erejéig
●
     storage virtualizáció
     képesség
Hálózati kapcsolat
Típus        Gb/s Késleltetés switch ár (eFt) kártya ár (E Ft)
Ethernet       0.1 0.1-0.3 ms              20               1
Ethernet         1 0.1 ms                 600               9
Ethernet        10 50 us                 3000             250
FC               4 5 us                  5000             175
Infiniband      10 2 us                  1000             100
Hova tovább?
●
    Objetum alapú tároló: Lustre
●
    Felejtsük el a RAID és volume
    managementet! - ZFS
●
    Klaszterizált adattárolók: Isilon OneFS,
    Rackable iSCSI módosításai
●
    Grid alapú tároló rendszerek

More Related Content

Similar to Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári környezetben

Klaszter és virtualizációs technikák
Klaszter és virtualizációs technikákKlaszter és virtualizációs technikák
Klaszter és virtualizációs technikákFerenc Szalai
 
Gazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoGazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoFerenc GAZDAG
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolásFerenc Szalai
 
Adattároló klaszterek
Adattároló klaszterekAdattároló klaszterek
Adattároló klaszterekFerenc Szalai
 
Valos ideju megoldasok realtime ods és database in memory tapasztalatok
Valos ideju megoldasok realtime ods és database in memory tapasztalatokValos ideju megoldasok realtime ods és database in memory tapasztalatok
Valos ideju megoldasok realtime ods és database in memory tapasztalatokDaniel Sef
 
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokon
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokonVirtualizált szolgáltatás platform kialakítása Xen és AoE alapokon
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokonFerenc Szalai
 
A Redis lehetőségei
A Redis lehetőségeiA Redis lehetőségei
A Redis lehetőségeivvinston
 
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014LogDrill
 
ZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőIstván Pongrácz
 

Similar to Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári környezetben (11)

Klaszter és virtualizációs technikák
Klaszter és virtualizációs technikákKlaszter és virtualizációs technikák
Klaszter és virtualizációs technikák
 
Gazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoGazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelho
 
Xen klaszterek
Xen klaszterekXen klaszterek
Xen klaszterek
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolás
 
Adattároló klaszterek
Adattároló klaszterekAdattároló klaszterek
Adattároló klaszterek
 
Valos ideju megoldasok realtime ods és database in memory tapasztalatok
Valos ideju megoldasok realtime ods és database in memory tapasztalatokValos ideju megoldasok realtime ods és database in memory tapasztalatok
Valos ideju megoldasok realtime ods és database in memory tapasztalatok
 
Grafikus kártyák
Grafikus kártyákGrafikus kártyák
Grafikus kártyák
 
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokon
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokonVirtualizált szolgáltatás platform kialakítása Xen és AoE alapokon
Virtualizált szolgáltatás platform kialakítása Xen és AoE alapokon
 
A Redis lehetőségei
A Redis lehetőségeiA Redis lehetőségei
A Redis lehetőségei
 
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
 
ZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertető
 

More from Ferenc Szalai

Hardware Renaissance
Hardware RenaissanceHardware Renaissance
Hardware RenaissanceFerenc Szalai
 
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Ferenc Szalai
 
CoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanCoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanFerenc Szalai
 
Mesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánMesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánFerenc Szalai
 
Emlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaEmlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaFerenc Szalai
 
Science Meetup bemutató
Science Meetup bemutatóScience Meetup bemutató
Science Meetup bemutatóFerenc Szalai
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolásFerenc Szalai
 
Grid Underground projekt
Grid Underground projektGrid Underground projekt
Grid Underground projektFerenc Szalai
 
Identity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaIdentity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaFerenc Szalai
 
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Ferenc Szalai
 
Budapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkBudapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkFerenc Szalai
 
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Ferenc Szalai
 
Alapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezAlapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezFerenc Szalai
 
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...Ferenc Szalai
 
Kutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásKutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásFerenc Szalai
 
Egy kutató elme mindennapjai
Egy kutató elme mindennapjaiEgy kutató elme mindennapjai
Egy kutató elme mindennapjaiFerenc Szalai
 
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniAmit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniFerenc Szalai
 
NIIF Grid Development portfolio
NIIF Grid Development portfolioNIIF Grid Development portfolio
NIIF Grid Development portfolioFerenc Szalai
 
Delivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCDelivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCFerenc Szalai
 

More from Ferenc Szalai (20)

Hardware Renaissance
Hardware RenaissanceHardware Renaissance
Hardware Renaissance
 
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
 
CoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanCoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdában
 
Mesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánMesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határán
 
Emlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaEmlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikája
 
Science Meetup bemutató
Science Meetup bemutatóScience Meetup bemutató
Science Meetup bemutató
 
Virtualization
VirtualizationVirtualization
Virtualization
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolás
 
Grid Underground projekt
Grid Underground projektGrid Underground projekt
Grid Underground projekt
 
Identity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaIdentity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgya
 
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
 
Budapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkBudapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünk
 
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
 
Alapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezAlapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhez
 
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
 
Kutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásKutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozás
 
Egy kutató elme mindennapjai
Egy kutató elme mindennapjaiEgy kutató elme mindennapjai
Egy kutató elme mindennapjai
 
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniAmit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
 
NIIF Grid Development portfolio
NIIF Grid Development portfolioNIIF Grid Development portfolio
NIIF Grid Development portfolio
 
Delivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCDelivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARC
 

Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári környezetben

  • 1. Nagy-tejlesítményű, költséghatékony adattárolási technológiák könyvtári környezetben Szalai Ferenc szferi@niif.hu
  • 2. Probléma ● „Adatot márpedig tárolni kell!” ● Rohamosan növekvő digitális tartalom: – folyóirat, könyv digitalizálás, audio, video ● Könyvtárak dilemmája: – feldolgozás hosszabb idő, mint a tartalom előállítása növekvő feldolgozatlan, de tárolandó digitális tartalom ● „Gyorsan valami ütőset, lehetőleg olcsón!”
  • 3. Első gondolatunk - DAS ● DAS: Direct Attached Storage: „sok lemez egy nagy szerverben” ● Probléma: – skálázhatóság: „mi van ha nem tudok több lemezt rakni a gépbe?” – hozzáférés: „hogyan férnek hozzá a munkatársak az adatokhoz?”
  • 4. Melyik lemezt szeressem? Típus Sebesség (MB/s) méret (GB) ár 1TB (E Ft) ár 5TB (E Ft) ATA 20-40 500 150 450 SATA 40-70 750 240 560 SCSI 70-90 500 480 2100 SAS 90-110 250 980 4200 ● Nagy méretű lemezek lomhábbak ● Garancia: – 1év ATA, 1-3 év SATA, 5 év SCSI/SAS ● Átlagos meghibásodási idő (óra, mért - Google): – ATA 100-150e, 300e SATA/SCSI/SAS
  • 5. Hogyan védekezzünk a lemezhibák ellen? ● RAID: Redundant Array of Inexpensive Drives ● RAID szintek: – 0 (esztelen sebesség hajhászás), 1 türkrözés, 1+0, 5 (N+1 paritás), 5+0, 6 (N+2 paritás), 6 + 0 ● Sok lemeznél, minimum 6!
  • 6. Alakítsuk a DAS-t NAS-á! ● NAS: Network Attached Storage ● állomány megosztó protokol: NFS, SMB ● Legyen 1GE hálózatunk! ● problémák: – mi van ha egy NAS nem elég? – hogyan kezeljük a NAS
  • 7. A lemezek felszabadítása - SAN ● SAN: Storage Area Network ● blokk szintű kapcsolat ● kliens (initator) – szerver (target) architektúra ● Hálózati kapcsolat: – Ethernet, FC (üveg), Infiniband (réz)
  • 8. IP/Ethernet SAN ● IP SAN: iSCSI (USE – Universal Storage Element) ● Ethernet SAN: AOE (Ata-over-Ethernet) ● AOE: egyszerű protokoll ATA üzenetek natív etherneten történő továbbítására – initiator 2.6.11 óta Linux kernel része – célhardver target (Coraid Inc.)
  • 9. Szegény ember EMC-je! NONSTOP = NONSTOP Network Storage Platform ● Moduláris adatkapcsolat, igény szerint ● Egyszerű elemek ● Skálázható a sávszélesség és a switchek erejéig ● storage virtualizáció képesség
  • 10. Hálózati kapcsolat Típus Gb/s Késleltetés switch ár (eFt) kártya ár (E Ft) Ethernet 0.1 0.1-0.3 ms 20 1 Ethernet 1 0.1 ms 600 9 Ethernet 10 50 us 3000 250 FC 4 5 us 5000 175 Infiniband 10 2 us 1000 100
  • 11. Hova tovább? ● Objetum alapú tároló: Lustre ● Felejtsük el a RAID és volume managementet! - ZFS ● Klaszterizált adattárolók: Isilon OneFS, Rackable iSCSI módosításai ● Grid alapú tároló rendszerek