Pertanyaan Transfer 10 TB file dari pusat data AS ke Inggris


Saya memigrasikan server saya dari AS ke Inggris dari satu pusat data ke pusat data lainnya. Tuan rumah saya mengatakan saya harus bisa mencapai 11 megabyte per detik.

Sistem operasi Windows Server 2008 di kedua ujungnya.

Ukuran file rata-rata saya adalah sekitar 100 MB dan data dibagi menjadi lima hard disk 2 TB.

Apa yang akan menjadi cara yang disarankan untuk mentransfer file-file ini?

  • FTP
  • SMB
  • Rsync / Robocopy
  • Lain?

Saya tidak terlalu peduli tentang keamanan karena ini adalah file publik, tetapi saya hanya ingin solusi yang dapat mendorong laju transfer 11 MB / s penuh untuk meminimalkan total waktu transfer.


91
2017-10-03 20:03




11 MB / dtk atau 11 Mb / dtk? - wim
transfer data ke kartu punch biner dan gunakan merpati pembawa :) - enterzero
Anda harus memberikan detail. Berapa banyak merpati pos yang menurut Anda dibutuhkan? Tunjukkan karyamu. - Evik James
@Evik Eropa atau Afrika? - wim
Sebagai samping, Wolfram Alpha adalah cara paling mudah untuk melakukan perhitungan, "10 TB pada 11MB / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


Jawaban:


Kirimkan hard drive ke seberang lautan.

Dengan kecepatan 11 Mbps dengan pemanfaatan penuh, Anda hanya akan membutuhkan 90 hari untuk mentransfer 10 TB.


11 Mbps = 1,375 MBps = 116,015 GB / hari.

10240 GB / 116,015 GB / hari = ~ 88,3 hari.


171
2017-10-03 20:14



+1 untuk Sneakernet. Juga, Anda lupa overhead TCP / IP. Ini lebih seperti ~ 100 hari dalam keadaan ideal. - Chris S
Seorang bijak pernah berkata, "Jangan pernah meremehkan bandwidth dari station wagon yang penuh dengan kaset meluncur ke jalan raya". Persamaan ini sangat benar dan tidak berubah secara substansial dengan mengubah station wagon untuk sebuah perahu. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
Lebih baik untuk mengirim kaset, atau blueray disk, bukan drive. Jika Anda berkendara dengan drive, pastikan dokumen asli tetap aman dan tersedia untuk berjaga-jaga. Saya akan pergi untuk drive sendiri (kecuali saya memiliki Ultrium 4 drive) karena 10 TB = 410 disk blueray layer tunggal! - Allen
Baru menyadari bahwa saya mengetik 11Mbps, namun yang saya maksud sebenarnya adalah 11MB / s. Saya kira ini membuat perbedaan yang cukup besar, perhitungan saya memilikinya sekitar 11-14 hari kira-kira ... apakah ini benar? - Paul Hinett
masih percaya bahwa mengirim seorang pria mengawasi dengan cadangan 10TB sementara disk resmi masih berfungsi kemudian setelah pengaturan selesai, Anda dapat makan siang rsync untuk memperbarui server baru untuk perubahan apa pun. Anda akan menghidupkan dan menjalankan mesin dalam waktu sekitar sehari. - Loïc Faure-Lacroix


Saya akan mengatakan rsync, pada 11 MB / s Anda akan melihat 10-14 hari dan bahkan jika Anda terganggu, rsync akan dengan mudah memulai di mana ia berhenti terakhir kali.

Pada 11 Mbps saya akan mengirimkan hard disk seperti yang disarankan di atas :)


25
2017-10-03 22:00



Perkiraan Anda sangat berbeda dari yang diposkan orang lain (dan saya tidak tahu siapa yang benar). Bisakah Anda memberikan metodologi Anda untuk tiba di angka-angka itu? - John Gardeniers
Perbedaannya muncul dari OP salah menyatakan 11 Mbps padahal sebenarnya dia berarti 11 MBps - yang 8 kali lebih cepat. BTW, memulai ulang 10 TB rsync dalam kasus gangguan mungkin akan memakan waktu cukup lama, bukan? Jam, atau lebih lama? - Frank Farmer
@FrankFarmer: saya tidak akan khawatir tentang rsync restart; Saya menyimpan salinan offsite ~ 20TB melalui saluran nirkabel 30Mbps, dan restart dalam rentang detik. salinan awal mengambil beberapa minggu, tetapi pembaruan malam biasanya beberapa jam. - Javier
@FrankFarmer - rsync nampaknya skala sangat baik. Saya memiliki ~ 2TB di atas garis ADSL1 pedesaan yang diinisialisasi dengan sneakernet, tetapi membutuhkan waktu ~ 5 menit untuk rsync setiap malam jika tidak ada yang berubah. - Flexo
rsync me-restart skala waktu dengan jumlah file (terutama dari statwaktu, dalam pengalaman saya), tidak dengan data total. Saya berharap tidak ada penantian yang signifikan (paling banyak beberapa menit). Padahal pengalaman saya dengan rsync memuncak sedikit di bawah 5TB. - derobert


Rsync tentu saja.

Setidaknya Anda dapat melanjutkan kapan saja setelah istirahat, dan itu tanpa rasa sakit.


14
2017-10-03 20:07



3+ bulan untuk menyalin pada pemanfaatan 100%. Maaf, tapi itu cara yang mengerikan untuk mentransfer banyak data. - Chris S
Saya harus setuju dengan @ChrisS, menggunakan rsync hanya untuk menyalin file besar tidak efisien. Untuk barang-barang saya akhirnya saya gunakan tar lebih netcat atau ssh untuk transfer awal. Jauh lebih cepat dan mulai mentransfer segera, sementara rsync akan memindai semua file terlebih dahulu yang membutuhkan waktu. Jika ini terganggu Anda masih bisa menggunakannya rsync setelah itu. Bahkan, saya kadang-kadang melakukan hal ini tar toh untuk memastikan semua perizinan, file soket, dll. benar. - Martin Scharrer
Setelah OP mengoreksi bahwa dia mendapat koneksi ~ 100MB, bukan 11 MB, rsync jauh lebih masuk akal. +1 untuk yang pertama kali menyebutkannya. - Chris S


Jangan pernah meremehkan bandwidth station wagon yang penuh dengan kaset

- Trad.

Dalam kasus Anda, disk atau kaset yang dikirim oleh kurir, tetapi prinsipnya masih berlaku. Jika Anda tidak khawatir tentang latensi, ini akan jauh lebih murah daripada bandwidth jaringan untuk mentransfer 10TB data dalam jangka waktu yang wajar.


11
2017-10-04 11:32



Jeff Atwood berlari angka di salah satu posting Horor Coding tua nya .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


Anda harus menggunakan rsync. Itu akan kompres data dan tidak terduplikasi sebelum mengirim. Ini juga dapat melanjutkan transfer parsial, yang sangat penting untuk transfer besar.

Kemungkinan itu tidak mentransfer 10 TB; jika log dan teks dan itu bisa jadi di bawah 1 TB; mungkin jauh di bawah 1 TB.

Ada alat yang melakukan kompresi lebih baik daripada rsync dan kemungkinan menemukan lebih banyak kecocokan. Anda bisa menggunakannya lrzip, dll.

Ada jenis data khusus yang tidak memadatkan dengan baik dan tidak mengandung dupes literal - video dan media lain misalnya. Dalam kasus tersebut, FTP dan rsync melakukan banyak upaya yang sama.


9
2017-10-04 08:02



RSync mendeduksi data? Saya pikir ini hanya melakukan ini pada level file, yang berarti deduplication sebagian besar tidak berguna dalam kasus ini. - devicenull


Saya tahu ini sudah diterima tetapi apakah Anda mempertimbangkan untuk mengambil disk Anda ke pusat data / penyedia / host di mana Anda bisa mendapatkan lebih banyak bandwidth? Mungkin akan dikenakan biaya sejumlah uang, tetapi menyalin 10240Gb ke disk cadangan dan pengiriman juga akan memakan waktu dan uang (2 x uang).

Juga Anda akan memastikan disk Anda tidak putus dalam transportasi.


5
2017-10-04 07:13



Bagaimana jawaban ini berbeda dari jawaban yang diterima? - Chris S
@Chris Jawaban ini menyarankan untuk memindahkan disk ke pipa yang lebih besar di benua yang sama. - Alex Jasmin


11 Mbps? Ini cukup batasan yang Anda miliki di sini. Dalam situasi Anda, saya hanya akan:

  • Menggandakan data
  • Kompres itu
  • Sewa server di kedua ujungnya dengan setidaknya 10 kali lebih banyak bandwidth (di pusat data yang sama atau di ujung Anda di pusat data di dekat Anda).
  • Transfer file
  • Terapkan data ke server baru.

Jika Anda benar-benar tidak memiliki solusi untuk meningkatkan bandwidth ... Maka pengiriman drive fisik akan lebih cepat.

Dari hard drive pengalaman menyakitkan saya cenderung pecah dalam surat ... USB flash drive adalah solusi yang lebih baik untuk transfer data sering. Dalam kasus Anda itu akan membutuhkan beberapa dari mereka :) Jadi mengirim 2 salinan data Anda pada beberapa hard drive.

Mempertimbangkan jumlah data yang Anda miliki, Anda juga dapat mengirim drive dari RAID 5 atau RAID 6 array jika Anda memiliki perangkat keras / perangkat lunak yang sama di sisi lain untuk menyambungkan drive Anda. Tetapi dalam hal ini jangan lupa untuk menandai urutan drive Anda. dan nomor seri mereka jadi ketika mengkonfigurasi ulang mereka tidak ikut campur.


4
2017-10-04 00:15



maaf, 11Mbps salah ketik, itu 11MB / s ... saya menyebutkan di salah satu komentar di atas. - Paul Hinett