Pertanyaan Mengapa Penyimpanan Perusahaan begitu mahal?


Ini adalah sebuah Pertanyaan Kanonis tentang Biaya Penyimpanan Perusahaan.
  Lihat juga pertanyaan berikut:

Mengenai pertanyaan umum seperti:

  • Mengapa saya harus membayar 50 dolar per bulan per gigabyte penyimpanan ekstra?
  • File server kami selalu kehabisan ruang, mengapa sysadmin kami tidak hanya membuang drive 1TB ekstra di sana?
  • Mengapa peralatan SAN sangat mahal?

Jawaban di sini akan berusaha memberikan pemahaman yang lebih baik tentang cara kerja penyimpanan tingkat perusahaan dan apa yang memengaruhi harga. Jika Anda dapat memperluas Pertanyaan atau memberikan wawasan tentang Jawaban, silakan posting.


106




Silakan tutup pertanyaan "Mengapa penyimpanan sangat mahal" dan tunjuk di sini. - Mark Henderson♦
Ini tidak dimaksudkan untuk menjadi forum iklan untuk semua orang yang telah menemukan penyedia layanan murah, ini adalah tentang menguraikan biaya "tersembunyi" di penyimpanan tingkat perusahaan. - Mark Henderson♦
Referensi BOFH wajib ("Saya butuh lebih banyak ruang!"): bofh.ntk.net/BOFH/0000/bastard01.php - Massimo
Jim Salter telah memposting uraian ini, menawarkan posting blog Menyedihkan Kalkulator Penyimpanan. Intinya di sana: Anda perlu ketentuan di mana saja antara 10 dan 25 kali jumlah penyimpanan yang terlihat pengguna akhir diinginkan, tergantung pada asumsi dan persyaratan. - α CVn


Jawaban:


  1. Kapasitas hard disk server sangat kecil dibandingkan dengan kapasitas hard disk desktop. 450 dan 600GB bukan ukuran yang tidak biasa untuk dilihat di server baru, dan Anda dapat membeli banyak drive desktop SATA 4TB untuk harga satu Hard disk 600GB SAS (server).

  2. Hard-drive SATA Anda di PC desktop Anda di rumah adalah seperti mobil otot dari Ford, atau GM atau Mercedes atau pabrikan mobil lain untuk orang-orang setiap hari (kapasitas besar V8 atau V12, 5 atau 6 liter). Karena mereka perlu didorong oleh orang-orang yang tidak memiliki lisensi balap, atau memahami cara kerja mesin pembakaran internal, mereka memiliki toleransi yang sangat besar. Mereka memiliki pembatas putaran, mereka dirancang untuk berjalan pada setiap minyak dengan rating tertentu, mereka memiliki interval servis yang berjarak 10.000 km, tetapi jika Anda melewatkan interval servis beberapa minggu, itu tidak akan meledak di wajah Anda. Mereka tidak terbakar ketika Anda berkendara jarak jauh.

    Drive SAS di server lebih mirip dengan mesin Formula 1. Mereka sangat kecil (2,4 liter) tetapi memiliki output daya yang sangat besar karena toleransi kecil mereka. Mereka rev lebih tinggi, dan sering tidak memiliki pembatas rev (yang berarti mereka menderita kerusakan serius jika didorong salah), dan jika Anda melewatkan interval servis (yang setiap beberapa jam) mereka meledak.

    Anda pada dasarnya membandingkan kapur dan keju. Angka dan rincian lengkap dibahas di Whitepaper Intel Hard Disk kelas perusahaan versus Hard Disk Kelas-Desktop

  3. Mari kita bicara beberapa angka yang sulit di sini. Katakanlah Anda meminta 1MB data tambahan (angka bulat yang bagus). Berapa banyak data itu sangat? Nah, 1MB data Anda akan masuk ke array RAID. Katakanlah mereka aman dan mengubahnya menjadi RAID1. Data 1MB Anda dicerminkan, jadi itu sebenarnya 2MB data.

    Katakanlah data Anda ada di dalam SAN. Dalam kasus kegagalan node SAN, data Anda disinkronkan pada tingkat byte ke node SAN 2. Jadi duplikat, dan data 2MB Anda sekarang menjadi 4 MB.

    Anda mengharapkan penyedia Anda untuk menyimpan cadangan di tempat, sehingga data Anda dapat dipulihkan dalam keadaan darurat non-bencana? Setiap penyedia yang layak akan memberi Anda setidaknya 1 cadangan di tempat, mungkin lebih. Katakanlah mereka mengambil foto sekali seminggu selama tiga minggu di tempat. Itu adalah tambahan 3 MB data, jadi Anda sekarang hingga 7 MB.

    Jika ada bencana kritis, operator Anda sebaiknya memiliki salinan yang disimpan di suatu tempat. Bahkan jika itu sudah sebulan, seharusnya ada. Jadi sekarang Anda hingga 8MB.

    Jika itu penyedia tingkat tinggi, mereka bahkan dapat memiliki situs pemulihan bencana yang disinkronkan secara langsung. Disk ini juga akan di-RAID, jadi itu ekstra 2MB, sehingga Anda memiliki data hingga 10 MB.

    Anda harus mentransfer data itu akhirnya. Apa? Transfer itu? Ya, transfer data membutuhkan biaya. Biayanya uang ketika Anda mengunduhnya, mengaksesnya melalui internet, bahkan biaya uang untuk mendukungnya (seseorang harus mengambil kaset itu dari kantor, dan bisa jadi data 1MB Anda berarti mereka harus membeli tambahan mengatur kaset dan mentransfernya di suatu tempat).

  4. Ketika drive SATA Anda gagal, Anda harus menghubungi dukungan teknis dan meyakinkan mereka bahwa drive Anda telah mati. Kemudian, kirim drive Anda ke pabrikan (paling tidak sepeser pun). Tunggu seminggu. Dapatkan drive pengganti kembali dan harus menginstal ulang (hampir pasti tidak panas swappable atau di drive sled sudah).

    Ketika drive SAS gagal, Anda memanggil dukungan teknis. Mereka hampir tidak pernah mempertanyakan pendapat Anda bahwa drive perlu penggantian segera dan drop kapal drive baru; biasanya drive baru dikirimkan kemudian pada hari yang sama, jika tidak hari berikutnya juga sangat umum. Umumnya produsen akan mengirim perwakilan untuk benar-benar menginstal drive jika Anda tidak tahu bagaimana (sangat berguna jika Anda berencana untuk mengambil liburan yang pernah dan perlu untuk tetap bekerja saat Anda pergi).

  5. Drive perusahaan memiliki toleransi ketat, lihat # 2 di atas, dan cenderung bertahan sekitar 10 kali lebih lama daripada drive kelas Konsumen (MTBF). Hard disk perusahaan hampir selalu mendukung kesalahan lanjutan dan deteksi kegagalan, yang menurut laporan Google bekerja sekitar 40% dari waktu, tetapi itu adalah sesuatu yang orang lebih suka komputer tiba-tiba mati.

    Ketika Anda memiliki satu drive di komputer rumah Anda, peluang statistik kegagalannya hanyalah drive. Drive yang digunakan untuk dinilai dalam MTBF (di mana SAS drive masih menikmati ~ 50% lebih tinggi atau lebih), sekarang lebih umum untuk melihat tingkat kesalahan. Drive SAS tipikal adalah 10 hingga 1.000 kali lebih kecil kemungkinannya mengalami kesalahan yang tidak dapat diperbaiki (dengan 100x paling umum yang saya temukan baru-baru ini). (tingkat kesalahan sesuai dengan dokumentasi pabrikan yang disediakan oleh Seagate, Western Digital, dan Hitachi; tidak ada bias yang dimaksudkan; secara tegas tidak menyatakan ganti rugi).

    Tingkat kesalahan sangat penting bukan ketika Anda menjalankan kesalahan yang tidak dapat diperbaiki pada drive, tetapi ketika drive lain dalam array yang sama gagal dan Anda tidak bergantung pada semua drive dalam array untuk dapat dibaca untuk memulihkan disk yang gagal.

  6. SAS adalah turunan dari SCSI, yang merupakan protokol penyimpanan. SATA didasarkan pada ATA, yang itu sendiri didasarkan pada bus ISA (bus 8/16-bit di komputer dari zaman dinosaurus). Protokol penyimpanan SCSI memiliki perintah yang lebih luas untuk mengoptimalkan cara di mana data ditransfer dari drive ke pengendali dan kembali. Peningkatan efisiensi ini akan membuat drive SAS yang dinyatakan setara secara inheren lebih cepat, terutama di bawah beban kerja yang ekstrim, daripada drive SATA; itu juga meningkatkan biaya.

  7. Ada lebih sedikit drive SAS yang diproduksi, skala ekonomis menyatakan bahwa mereka akan menjadi lebih mahal jika semuanya sama.

  8. Drive SAS biasanya datang dalam kecepatan rotasi 10k atau 15k; sedangkan SATA biasanya datang dalam 5.4k atau 7.2k. Drive SAS, terutama ukuran 2,5 "yang menjadi semakin populer, memiliki waktu pencarian yang lebih cepat. Keduanya dikombinasikan secara dramatis meningkatkan IOps yang dapat dilakukan oleh suatu drive, biasanya sebuah drive SAS ~ 3x lebih cepat. Ketika banyak pengguna menuntut data yang berbeda, IOps kapasitas drive / array menjadi indikator kinerja yang penting.

  9. Drive di pusat data biasanya diaktifkan sepanjang waktu. Studi telah menemukan bahwa kegagalan drive dipengaruhi oleh jumlah siklus pemanasan / pendinginan yang dilaluinya (dari berjalan vs dimatikan). Menjaga mereka tetap berjalan sepanjang waktu biasanya meningkatkan kehidupan drive. Konsekuensi dari ini adalah bahwa drive mengkonsumsi listrik. Listrik ini harus dipasok oleh sesuatu (dalam kasus DC besar, penggeraknya sendiri mungkin memerlukan lebih banyak daya daripada lingkungan kecil rumah). Mereka juga perlu membuang panas itu di suatu tempat, membutuhkan sistem pendingin (yang dengan sendirinya mengambil lebih banyak kekuatan untuk beroperasi).

  10. Biaya infrastruktur dan kepegawaian. Drive tersebut berada dalam unit NAS atau SAN kelas atas. Unit-unit itu mahal, bahkan tanpa hard disk mahal di dalamnya. Mereka membutuhkan staf yang mahal untuk menyebarkan dan merawatnya. Bangunan yang dipasang unit NAS dan SAN itu mahal untuk beroperasi (lihat titik tentang pendinginan, di atas, tetapi ada banyak lagi yang terjadi di sana.) Perangkat lunak cadangan biasanya tidak gratis (begitu pula lisensi untuk hal-hal seperti pencerminan) , dan staf untuk menyebarkan dan memelihara cadangan biasanya juga mahal. Biaya menyewakan pengiriman dan penyimpanan kaset di luar lokasi hanyalah satu lagi dari banyak hal yang mulai menumpuk ketika Anda membutuhkan lebih banyak penyimpanan.

Ingatlah bahwa kapasitas hard disk mereka mungkin sebesar 1/10 ukuran drive desktop, dan lima kali lipat harganya, data 1MB Anda sebenarnya 10, dan semua perbedaan lainnya, tidak ada cara Anda dapat menggambar apa pun yang berarti kesimpulan antara harga penyimpanan desktop Anda dan harga penyimpanan tingkat perusahaan.


115



Hari-hari ini 2-4TB SAS / SATA 7.2K drive digunakan untuk penyimpanan massal, sehingga beberapa dari ini tidak lagi berlaku secara universal. - Mircea Chirea
@MirceaChirea 2-4TB drive yang digunakan dalam penyimpanan perusahaan adalah NL atau ML SAS dan berbeda dari disk SATA 2-4TB. Harga per GB masih sangat berbeda antara dua platform. - MDMarra
@MDMarra, sebagian besar tidak jauh berbeda dari varian desktop mereka: selain SAS, mereka memiliki garansi yang lebih baik dan binned untuk keandalan. - Mircea Chirea
Mereka spec'd untuk penggunaan 24x7 dimana paling Drive SATA tidak. Mereka juga gagal dengan anggun dan tidak mau menggantung seluruh larik RAID Anda. Hanya disk SATA yang mendukung TLER akan gagal dengan anggun dan menghindari ini. Juga tidak ada disk SATA dual-port, sedangkan dual-port SAS adalah umum dan akan memungkinkan pengendali failover transparan. Sekali lagi, jika Anda memiliki anggaran yang ramping maka SATA mungkin menjadi satu-satunya pilihan Anda, tetapi ada perbedaan yang cukup besar yang diperhatikan oleh perusahaan antara NL-SAS dan SATA. - MDMarra
Backblaze kata di blog mereka bahwa drive perusahaan tidak kurang cenderung gagal daripada drive konsumen - Bert


Saya tidak menambahkan ini ke jawaban CW atas terutama karena perbedaan pendapat. Jangan ragu untuk menggabungkan / mengedit ini jika Anda mau.

Seringkali, alasan penyimpanan "tingkat perusahaan" begitu mahal bisa jadi penanya tidak memahami persyaratannya, tetapi kadang-kadang juga sysadmin tidak memahami persyaratan, tidak dapat mengomunikasikan persyaratan kepada seseorang dengan otoritas pembelian, atau hanya mendapatkan diabaikan oleh otoritas tersebut.

Rangkaian penyimpanan off-the-shelf pemeliharaan kinerja tinggi, tersedia sangat tinggi mahal. Bagian dari pekerjaan perancang sistem adalah untuk mengetahui di mana ini sesuai, dan di mana desain yang berbeda sesuai.

Saya tidak berpikir biaya relatif dari berbagai jenis disk drive sebenarnya relevan dengan salah satu contoh pertanyaan.

Kenapa saya harus membayar 50 dolar sebulan   per penyimpanan ekstra gigabyte?

Ini jelas ditujukan kepada penyedia layanan semacam itu. Dua kemungkinan jawaban untuk pikiran saya adalah:

  1. Anda memiliki 5 uptime nines, dukungan 24/7, di Manhattan / London / Hong Kong. Piringan berputar hanyalah sebagian kecil dari tumpukan yang Anda bayar.

  2. Anda membayar terlalu banyak. Bernegosiasi, beralih penyedia, atau membawanya di rumah.

File server kami selalu kehabisan ruang, mengapa sysadmin kami tidak hanya membuang drive 1TB ekstra di sana?

Ini hampir pasti desain yang buruk (dan mungkin karena alasan politik). Data pada file server itu berada di suatu tempat dalam spektrum ini:

  • Data layak disimpan pada pengaturan kinerja tinggi, sangat tersedia, dan berbiaya tinggi. Down time yang disebabkan oleh kehabisan ruang mempengaruhi ketersediaan tinggi Anda dan merupakan kegagalan desain atau perencanaan.

  • Data merupakan kinerja yang tidak penting atau lambat atau waktu henti yang lebih lama dapat diterima. Disk murah dan solusi cadangan murah dapat diterima. Downtime reguler karena kurangnya ruang disk masih tampak seperti trade-off aneh, karena sebagian besar biaya Anda dalam hal ini mungkin akan menjadi waktu sysadmin Anda, dan dalam jangka panjang, mereka akan menghabiskan lebih banyak waktu untuk menyelesaikan masalah disk rendah ruang.

Perhatikan bahwa saya mengatakan ini adalah spektrum, dan sebagian besar persyaratan ada di antara keduanya.


31



Layak menunjukkan bahwa apa yang berasal dari sudut pandang pengguna "kehabisan ruang" mungkin "mengisi kuota Anda" dari sudut pandang sysadmin. - Richard Gadsden


Biaya produksi barang apa pun secara langsung terhubung dengan volume unit yang akan dijual dalam lingkaran umpan balik.

Dalam kasus hard disk konvensional, dengan kaca berkarat dan elektronik yang berputar, ada potensi variasi besar dalam biaya komponen mekanik dan elektronik - namun 2 band harga / kualitas yang jelas telah muncul - Enterprise dan Komoditi.

Namun, berkurangnya volume penjualan drive perusahaan sangat merugikan apa yang Anda dapatkan untuk uang Anda - sesuatu yang harganya tujuh kali lebih banyak tidak akan tujuh kali lebih baik.

Unit perusahaan (untuk kapasitas tertentu) sedikit lebih cepat daripada unit komoditas, mis. membandingkan Seagate Barracuda SATA (komoditas) dan Cheetah SAS (enterprise) drive:

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Namun dalam konteks perusahaan, tidak ada administrator sistem yang waras yang akan menyimpan data penting pada satu drive - menggunakan beberapa drive menyediakan keandalan dan bandwidth yang lebih besar, dan secara efektif mengurangi latensi; empat drive Barracuda yang dikonfigurasi sebagai RAID10, akan jauh lebih cepat daripada drive Cheetah tunggal, dengan risiko jauh lebih kecil kehilangan data sekitar 60% dari harga.

Tentu saja Anda akan mendapatkan garansi yang lebih baik dengan drive Enterprise, dan vendor biasanya akan dapat mendapatkan satu untuk Anda pada hari yang sama - tetapi Anda mungkin akan dapat sumber drive komoditas dari pemasok lokal lebih cepat daripada vendor Anda dapat kurir keluar disk pengganti. Di sisi lain, disk perusahaan lebih cenderung menjadi pengganti yang tepat untuk drive yang gagal.

Jadi mungkin Anda mendapatkan lebih banyak keandalan dari drive perusahaan? Sementara orang-orang yang membuat dan menjual drive sering mengatakan ini adalah kasusnya (Seagate agak malu tentang hal ini di situs web mereka - tetapi bahkan jumlah yang tidak jelas yang mereka publikasikan menunjukkan bahwa itu kurang dari faktor 2). Studi independen menunjukkan bahwa ada tidak ada perbedaan yang signifikan.

Set perintah SCSI memang memiliki beberapa keunggulan teknis atas set perintah ATA - terutama dalam hal memungkinkan OS untuk tahu persis apa yang berkomitmen pada disk - namun sekali lagi, ini hanya membuat perbedaan efektif dalam memandang kinerja dan keandalan sistem file diimplementasikan pada satu disk.

Jika penyedia layanan Anda mengoperasikan Fibre Channel SAN, maka biaya per Gigabyte penyimpanan akan setidaknya 8 kali lebih tinggi daripada membeli disk dari rak di toko perangkat keras terdekat Anda. Tapi ada pendekatan lain yang dapat menurunkan biaya secara signifikan.

Perhatikan bahwa ini masih tidak akan pernah lebih murah daripada membeli disk off-the-shelf, karena Anda juga membayar untuk redundansi, daya, AC dan dukungan, tetapi biaya ini harus kecil dalam kaitannya dengan biaya penyediaan penyimpanan.


6





Saya setuju dengan posting lain tentang kualitas apa yang ditawarkan perusahaan hosting. Tapi kami baru-baru ini kembali melakukan kontrak hosting kami dan berbelanja di sekitar dan tidak ada yang kompetitif di ruang penyimpanan, atau harga yang lebih rendah dari kontrak lama kami yang sebelumnya berusia 3 tahun. Drive SAS mengalami penurunan harga, rak disk / array / SAN / FC / switch telah menurun, semuanya telah mengalami penurunan harga. Tapi bukan penyimpanan disk?

Seorang rekan dengan pengalaman yang jauh lebih menunjukkan taktik. CPU, memori, harga bandwidth sangat mempesona! Daftar disini! Daftar sekarang dan abaikan masalah ruang diska! Anda tidak membutuhkan banyak ruang disk. Lihatlah CPU dan memori!

Setelah Anda berkomitmen untuk kontrak mereka, mereka benar-benar mendapatkan Anda, dan mereka membuat pendapatan mereka pada ruang disk. Ya itu RAID-5 dan kinerja tinggi dll tetapi biaya backup ekstra, biaya replikasi di luar lokasi lebih.

Untuk perusahaan hosting, ini adalah model bisnis. Sebagian besar bisnis melakukan sesuatu yang serupa dengan harga mereka - kurangi harga ini di sini, tetapi tingkatkan harga itu di sana untuk mendapatkan pendapatan di tempat lain. Mereka harus membayar sewa dan gaji mereka juga.

Untuk server internal, Anda memiliki masalah yang berbeda. Anda tidak bisa hanya masuk ke ruang server dengan kotak Fedex yang memiliki hard disk 3TB baru Anda. Jika Anda telah merencanakan ekspansi, itu lebih mudah tetapi server / rak / array mungkin sudah pada kapasitas mereka dalam hal slot, I / O, kartu pengontrol, daya.

Ini seperti mencari di bawah batu, Anda akan terkejut apa yang mungkin Anda temukan.


5



Biaya disk mungkin akan turun, tetapi tenaga kerja akan naik. CapEx bukan bagian terbesar dari TCO. - Chris S


Penting juga untuk dicatat bahwa penyimpanan 'lokal' mungkin lebih mahal daripada yang Anda pikirkan.

Sebagai bagian dari latihan untuk memindahkan sebagian data 'arsip' kami ke awan, saya baru saja menyelesaikan latihan penetapan harga yang membandingkan biaya ruang disk yang tersedia (misalnya diformat dan bukan mentah) yang tersedia di SAN terbaru kami dengan biaya penyimpanan di layanan data cloud Amazon.

Hanya mempertimbangkan harga yang dibayarkan untuk SAN itu sendiri termasuk disk, dengan asumsi umur 5 tahun untuk perangkat keras SAN, dan tidak biaya 'overhead' untuk menjalankan ruang server kami, harga kami untuk 150GB penyimpanan lokal adalah $ 31,88 per bulan vs Amazon $ 28,41 (dengan asumsi tingkat lalu lintas per bulan 20% ke atas dan ke bawah).

Sekarang saya tidak akan terburu-buru dan memindahkan semua penyimpanan kami ke cloud karena ada manfaat lain dalam penyimpanan lokal, tetapi saya pikir latihan semacam harga ini berguna: Jika Anda berpikir bahwa penyimpanan awan itu mahal maka berapa banyak Anda sangat membayar penyimpanan lokal Anda?


5





Saya mengambil pertanyaan ini sederhana IO ... file yang duduk di satu hard drive komoditas tanpa serangan dan mungkin tidak ada swapping panas, dan biasanya diakses oleh satu orang & mungkin tidak pernah didukung. Ini adalah metode IO yang murah dan mudah ...

Dalam bisnis kami, saya telah menggunakan salah satu metode penggerebekan paling mahal (penyerangan 10) yang membutuhkan minimal 4 drive, kami menggunakan 6 ... ini memberi kami tingkat IO yang tinggi dan toleransi kesalahan.

Konfigurasi ini telah menyelamatkan $$ saya dalam cara yang besar, dan hasil ini berarti kinerja yang lebih tinggi dan waktu henti yang lebih sedikit bagi pengguna akhir .. karena IO sederhana hanya ada satu orang yang mengecewakan dan kemungkinan ada sedikit nilai finansial yang terkait dengan downtime.

Kami juga memiliki server iSCSI khusus yang digunakan untuk virtualisasi Xen dan yang juga dikonfigurasi untuk menyerang 10 ...

Semakin banyak IO yang dibutuhkan untuk digunakan dan dicadangkan, semakin mahal untuk menerapkan ... jika kebutuhan perusahaan Anda akan menerima kehilangan data, kecepatan sangat lambat, dan tidak ada redundansi - maka penyimpanan kelas bisnis dapat dilakukan pada murah!!! Bersiaplah untuk dipecat ...


4