Pertanyaan Kecelakaan administrator sistem terbaik [ditutup]


Saya mencari cerita lucu tentang kecelakaan administrator sistem yang Anda miliki. Menghapus email CEO, memformat hard drive yang salah, dll.

Saya akan menambahkan kisah saya sendiri sebagai jawaban.


87
2018-05-13 21:00




Lihat juga serverfault.com/questions/5066 - Zoredache
Ini benar-benar lebih dari sebuah jajak pendapat kemudian sebuah pertanyaan. Ini mungkin harus disetel ke wiki komunitas. - Zoredache
Yup, ini pasti harus menjadi komunitas wiki. Namun, dalam maksud pertanyaan, cerita favorit saya adalah email sejauh 500 mil - ibiblio.org/harris/500milemail.html - meskipun, jelas, itu bukan aku. - Mihai Limbăşan
500 mil itu sangat indah - Hubert Kario
Ini harus disebut "kecelakaan administrator sistem yang lebih buruk." - Rilindo


Jawaban:


Saya senang menemukan perbedaan antara perintah linux "killall" (membunuh semua proses yang cocok dengan nama yang ditentukan, berguna untuk menghentikan zombie) dan perintah "killall" solaris (membunuh semua proses dan menghentikan sistem, berguna untuk menghentikan server produksi di tengah jam sibuk dan mengajak rekan kerja Anda untuk menertawakan Anda selama seminggu).


133
2018-05-13 23:20



Berada di sana, melakukan itu. Kami alias killall-command pada solaris-boxes setelah itu: alias killall = 'echo ORLLY?' =) - Commander Keen
Ada juga perbedaan penting pada Solaris antara 'ifconfig -a4' (tampilkan semua informasi IPv4 interface) dan 'ifconfig -a 4' (set semua antarmuka ke 0.0.0.4). - Zanchey
+1 "oops, angin ini masuk ke solaris?" - Mark Harrison
@Commander, saya akan memberi komentar atas komentar Anda, tetapi ada persis 42 upvotes pada saat ini ... saya hanya tidak bisa. - Massimo
Juga, hostname -f di Linux mencetak nama domain yang sepenuhnya memenuhi syarat di Linux. Pada Solaris, ia menetapkan nama host untuk -f. - 200_success


Saya bertanggung jawab atas proksi web perusahaan kami yang pada saat itu adalah produk Netscape. Saat bermain-main di formulir admin (itu adalah antarmuka berbasis web) ada tombol besar (dan aku bersumpah merah) yang mengatakan Hapus Basis Data Pengguna. Tidak masalah, saya pikir. Mari kita lihat apa pilihan yang diberikannya kepadaku ketika aku memukulnya. Tentunya akan ada konfirmasi jika tidak ada opsi.

Ya, tidak ada konfirmasi. Tidak ada opsi. Tidak ada lagi pengguna.

Jadi, pergi ke Mr. Solaris Sysadmin dan mengatakan bahwa saya sangat membutuhkan pemulihan dari rekaman yang dia jawab, "Saya tidak mendukung kotak itu."

"Uh, datang lagi," aku menjawab.

"Aku tidak mendukung kotak itu. Ada di daftar hal-hal yang harus ditambahkan ke rotasi cadangan, tetapi aku belum sempat melakukannya."

"Server ini sudah diproduksi selama hampir 8 bulan!" Aku berteriak.

mengangkat bahu, dia membalas. "Maaf."


73
2018-05-14 12:26



Ini jelas cerita untuk semua orang yang mengeluh tentang mereka yang sial 'Apakah kamu yakin?' dialog;) - MikeyB
Aku tidak benar-benar yakin kamu harus menjadi orang yang berteriak padanya ... - Mikeage
Ini bukan kecelakaan - Anda menekan tombol Hapus Pengguna Database dengan sengaja, ayo ... - Wayne Koorts
Ya kamu benar. Mendorong tombol itu bukan kecelakaan. Sebenarnya menghapus database adalah bagian kecelakaan. Terserah... - squillman
Tombol itu seharusnya diikuti oleh dua atau tiga prompt konfirmasi. Bagaimana itu fitur yang berguna untuk menghapus database pengguna? Saya benar-benar menyalahkan programmer yang meletakkan tombol di sana. Dan fakta bahwa db tidak didukung. "Jenius mungkin memiliki keterbatasan, tetapi kebodohan tidak cacat." (attr ke Elbert Hubbard). Membangun dengan asumsi bahwa manusia tidak penasaran, kera ceroboh hanya membangun bencana. - Jared Updike


Bertahun-tahun yang lalu perusahaan tempat saya bekerja memiliki klien yang menjalankan pencadangan malam hari dari NT 4.0 Server ke a Jaz drive (seperti disk zip berkapasitas tinggi).

Kami menyiapkan file batch, yang berjalan sebagai pekerjaan yang dijadwalkan dalam semalam. Setiap pagi mereka mengumpulkan disk malam terakhir dari drive, dan sebelum mereka pergi di malam hari mereka memasukkan disk berikutnya dalam urutan.

Bagaimanapun, file batch tampak seperti ini (drive Jaz adalah drive F:) ...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Anyway, suatu malam mereka lupa untuk memasukkan disk. Perubahan untuk mendorong F: gagal (tidak ada disk dalam drive), dan file batch terus berjalan. Direktori kerja default untuk file batch? C :. Pertama kali saya melihat rutinitas cadangan menghancurkan server yang dicadangkan.

Saya belajar sedikit tentang sysadminning (dan penanganan pengecualian) hari itu.

Jim.

PS: Perbaikannya? "deltree / y F: \ *. *".


66
2018-05-13 20:00



... kita harus menjelaskan apa itu drive Jaz? Apakah saya benar-benar tua itu ?? - Spencer Ruport
Itu adalah hal IOMEGA (ingat Zip Drives?) Adalah kakak dari Zip Drives, dan itu seperti hard disk tanpa kepala, hanya piring-piring, yang masuk ke dalam casing plastik dengan jendela kecil, dan ketika dimasukkan pada drive, drive memasukkan header di atasnya. Di mana seperti 1 atau 2GB, mahal, dan cenderung terlalu panas, jadi tidak disarankan untuk meninggalkan kartrid di dalam pembaca (ini dikatakan oleh bos IOMEGA lama) - Andor
Hehe, saya suka bagaimana jaz drive dijelaskan dengan perbandingan ke drive zip yang baru saja mati dan tidak relevan. - Luke
Jika itu membuat Anda merasa lebih tua, ada sysadmins yang belum pernah melihat deltree sebelumnya. - Joseph
Saya harus menjelaskan kepada banyak programmer bahwa ketika Anda mencoba operasi yang mengubah keadaan, namun mungkin gagal dan meninggalkan Anda dalam keadaan sebelumnya, Anda harus memeriksa apakah itu berhasil jika Anda akan melakukan sesuatu yang berbahaya Anda harus berada di negara sebelumnya. Kenapa saya harus menjelaskan ini? - carlito


root @ dbhost # find / -name core -exec rm -f {} \;

Saya: "Anda tidak bisa masuk? OK. Apa nama DB?"

Cu: "Inti."

Saya: "Oh."


61
2018-05-13 18:31



dan sejak saat itu, penggunaan perintah 'file' ditambahkan ke crontab pembersihan ... :) - MikeyB
Ya Tuhan ... - squillman
Astaga ... wow. Saya akan membuat catatan mental untuk yang satu ini, jadi saya tidak pernah melakukannya. - Glenn Willen


Saya suka cara setiap orang memenuhi syarat cerita mereka dengan "ketika saya masih muda / hijau" seolah-olah mereka tidak akan pernah melakukannya lagi. Kecelakaan bisa terjadi bahkan pada pro yang paling berpengalaman.

Momen terburukku sendiri sangat buruk sampai aku masih berdebar-debar memikirkannya ...

Kami memiliki SAN dengan data produksi di atasnya. Sangat penting bagi perusahaan. "Mentor" saya memutuskan untuk memperpanjang partisi untuk membebaskan beberapa ruang disk. Bisakah Anda melihat di mana ini pos? Dia mengatakan bahwa perangkat lunak SAN dapat melakukan ini secara langsung, dalam jam produksi dan tidak ada yang akan memperhatikan. Lonceng alarm seharusnya sudah mulai berdering, tetapi diam secara mencolok. Dia mengatakan dia telah melakukannya "banyak kali sebelum" tanpa masalah. Tapi di sini masalahnya - dia ME untuk mengklik tombol yang mengatakan "apakah Anda yakin?"! Karena saya baru di perusahaan, saya berasumsi orang ini tahu apa yang dibicarakannya. Kesalahan besar. Kabar baiknya adalah bahwa LUN diperpanjang. Kabar buruknya adalah ... saya tahu ada berita buruk ketika saya mulai melihat kesalahan penulisan disk pada kotak Windows.

Saya senang saya memakai celana coklat.

Kami harus menjelaskan mengapa 1TB data hilang saat makan siang. Itu benar-benar hari yang sangat buruk.

Ini adalah prinsip yang baik sebenarnya - sebelum Anda melakukan sesuatu yang Anda memiliki keraguan tentang, bayangkan harus menjelaskan kepada manajemen jika ada masalah. Jika Anda tidak bisa memikirkan jawaban yang bagus untuk menjelaskan tindakan Anda, maka jangan lakukan.


60
2018-05-13 18:22



Beri +1 untuk paragraf terakhir - teknik "duduk di tangan Anda", satu menit penting untuk refleksi - Andy
Ada keterampilan tertentu yang Anda dapatkan setelah bekerja dengan sistem live sementara: rasa laba-laba untuk apa yang berbahaya dan apa yang tidak. Seperti berhenti sejenak ekstra sebelum menekan kembali pada prompt root, atau pastikan pernyataan pembaruan SQL memiliki klausa tempat yang tepat (yang sudah dijalankan dalam hitungan pilih (*)). - jplindstrom
Saya ingin munculan yang mengatakan sesuatu seperti, "Apakah Anda ingin mencetak resume Anda sebelum melanjutkan?" .. dan hanya memiliki satu opsi: "Ya" - warren
Beri +1 untuk saran di paragraf terakhir - Jeroen Huinink
+1, idem. Saya ingat pernah mendengar dari seorang teman sysadmin bahwa ada masalah dalam penilaian kinerja tahunannya tentang kecepatan mengetiknya yang buruk, yang ia banggakan (dan dengan benar) diberhentikan dengan "Saya tidak dibayar untuk mengetik dengan cepat. Saya dibayar untuk menekan masuk sangat perlahan dan penuh pertimbangan. " - MadHatter


Nagios ping kami suatu pagi ketika jam kerja mulai mengatakan bahwa itu tidak dapat terhubung ke server non-kritis. Ok, jalan kaki ke ruang server. Ini adalah server lama, Dell 1650 yang dibeli pada '02, dan kami tahu bahwa 1650 telah mengalami masalah perangkat keras. PFY menusuk tombol power. Tidak ada. Tekan lagi, dan tahan selama lima detik untuk 'memaksa power on' ... yang mengesampingkan perlindungan kesalahan BMC, karena tanpa DRAC tidak ada cara untuk memeriksa log BMC tanpa memiliki daya ke sasis.

Mesin mulai POST, dan kemudian mati lagi. Aku berdiri di atasnya dan pergi, "Aku mencium bau asap." Kami menarik server keluar dari relnya, dan salah satu catu daya terasa hangat, sehingga PFY menariknya dan akan menutup kotaknya kembali. Saya berkata, "Tidak, itu bukan asap pasokan listrik, itu asap motherboard."

Kami membuka kembali kasus ini dan mencari sumber bau yang terbakar. Ternyata kumparan induktor dan kapasitor sesuatu meniup regulator tegangan pada motherboard, dan menyemprotkan lelehan tembaga dan kapasitor ke segala sesuatu, menyingkat banyak barang dan pada dasarnya membuat kekacauan besar.

Bagian terburuk bagi saya adalah mengenali bahwa saya telah mengasapi cukup perangkat keras untuk mengenali perbedaan antara bau motherboard yang terbakar dan catu daya yang terbakar.


54
2018-05-14 14:49



Kriteria pemilihan pekerjaan ini termasuk: indera penciuman yang baik. Cemerlang. - mlp
Sobat saya mengacaukan satu set rel penggerak ke dalam disk sejauh yang mereka pergi ke papan sirkuit dan korsleting. Asap merah muda yang cantik. Sangat bisa dibedakan. - squillman


Tiga hari yang lalu (serius) Saya secara remote login ke server sekolah, menginstal Service Pack 2 pada server file Windows Server 2008.

Saya memutuskan untuk menjadwalkan reboot yang diperlukan untuk larut malam, ketika guru tidak akan masuk untuk menyelesaikan kartu laporan akhir tahun mereka. Saya mengetik sesuatu seperti:

 pada 23:59 "shutdown -r -t 0" 

... yang mungkin berfungsi dengan baik.

Tapi kemudian aku menebak-nebak diriku sendiri. Apakah sintaks 'shutdown' saya benar? Saya mencoba melihat bantuan penggunaan dengan mengetik

 shutdown / h 

... dan langsung kehilangan koneksi RDP saya. Panik, saya menekan Google untuk sintaksnya. Pencarian cepat mengungkapkan bahwa versi shutdown Server 2008 mencakup switch / h, yang (seperti yang Anda duga) hibernate mesin.

Para guru mulai menelepon saya dalam beberapa menit untuk melaporkan bahwa mereka tidak dapat lagi membuka atau menyimpan kartu laporan yang sedang mereka kerjakan. Karena saya berada di luar kantor dan ruang server terkunci, saya harus menelepon kepala sekolah langsung dan membimbingnya melalui proses menghidupkan kembali mesin.

Hari ini saya membawa kue buatan sendiri untuk semua orang sebagai bentuk permintaan maaf.


47
2018-05-13 23:53



Contoh sempurna dari desain antarmuka pengguna yang cacat pada baris perintah: apa yang terjadi pada "Prinsip Kejutan Paling Kejam"? - Mei
di DOS / Windows bukan /? - Jared Updike
Biasanya /? pada Win, tetapi ada banyak utilitas yang porting dari UNIX atau ditulis oleh orang UNIX (termasuk beberapa seperti di MS) yang -h atau / h - Richard Gadsden
..tapi kamu masih SELALU coba /? pertama! - warren
Itu sebabnya saya suka Linux. man shutdown. Saya tahu saya tidak akan menimbulkan masalah man! - Josh


Dalam pekerjaan sebelumnya, kami memiliki sistem homegrown besar yang mencatat dan mengarsipkan setiap surat yang masuk, kiri atau tetap di dalam perusahaan.

Buang seluruh kotak surat Anda? Tidak masalah! Mencari surat yang dikirimkan seseorang kepada Anda seminggu / bulan / tahun yang lalu tetapi Anda tidak ingat siapa yang mengirimnya atau apa subjeknya? Tidak masalah! Kami hanya akan mengirim ulang semuanya mulai Februari untuk Anda ke folder khusus.

Pada titik tertentu, kebutuhan datang bagi CEO perusahaan untuk memantau surat yang masuk antara pesaing dan penjual internal yang dicurigai. Jadi kami menyiapkan skrip daripada berlari setiap malam dan mengirimkan surat yang relevan dari hari sebelumnya ke CEO. Tidak masalah!

Sekitar satu bulan kemudian berita tentang masalah ganda-plus mendesak datang dari tempat tinggi. Sepertinya CEO sedang membaca daftar surat yang dikirim ke $ OTHERCOMPANY, ia menemukan yang satu ini:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Tentu saja, CEO adalah orang yang penting dan semua, dia terlalu sibuk untuk mengklik semua dialog "Kirim Dibaca Tanda Terima" di Outlook dan telah mengonfigurasikan kliennya untuk mengirim semuanya. Salah satu pesan yang tertangkap oleh filter pemantauan memiliki permintaan baca-tanda terima. Coba tebak apa yang dilakukan Outlook? Tentu saja mengganggu pemantauan 'klandestin'.

Tugas kami berikutnya: menambahkan aturan pada filter surat untuk memblokir tanda terima keluar yang dibaca dari CEO ke perusahaan itu. Ya, itu cara termudah. :)


37
2018-05-13 18:35



Itu tidak legal di negara saya. Sama sekali. - mafu
Ah, ya itu anda negara. :) Di Kanada, itu baik-baik saja. - MikeyB
Tidak sah untuk memantau email yang masuk ke atau meninggalkan server perusahaan Anda sendiri? Tinggal di negara mana? - Andrew Ensley
+1 untuk newspeak - Fahad Sadah


Ahhh, milikku sekitar 10 tahun yang lalu, ketika aku masih basah kuyup. Saya memiliki sukacita menginstal cadangan baterai pada semua komputer programer. Mereka juga ingin perangkat lunak dimuat untuk memperingatkan pemadaman listrik dan mematikan dengan benar.

Jadi saya mengaturnya di komputer saya untuk menguji semuanya terlebih dahulu dan memastikan semuanya berfungsi. Jadi saya putuskan kabel listrik dan pesan muncul di layar saya. "Kekuasaan eksternal hilang, mulai sistem shutdown".

Jadi saya pikir, hei keren, itu berhasil. Tapi untuk beberapa alasan aneh, saya bahkan tidak ingat, itu mengirim pesan itu sebagai pesan jaringan sehingga semua 200+ komputer di perusahaan mendapat pesan itu, di mana 100+ pengguna di mana para programmer.

Ya, bicara tentang orang aneh !!

Saya menyimpan kepala saya rendah di tempat itu untuk sementara!


36
2018-05-13 19:00



Haha, terdengar seperti apa yang terjadi pada seorang teman saya di sini dengan "mengirim bersih" dan sekitar 1300 penerima :) - squillman
Ugh Saya melakukan hal "mengirim bersih" di kampus, juga. Saya pikir "mereka harus menonaktifkan ini" ba-ding! ba-ding! di seluruh lab, komputer memiliki pesan. Saya memutuskan untuk meminta maaf kepada admin internet, dan dalam perjalanan saya, setiap komputer yang saya lewati mengirimkan pesan. /mendesah - Matt Simmons
Yup, berjalan malu di sana! Teman saya tidak keluar dari kursinya. Tidak repot-repot menjawab teleponnya juga. - squillman
Haha seorang teman saya mengirim semua orang di sekolah "BANTUAN! Saya terjebak di Kamar 114" dan tentu saja 60 detik kemudian sekelompok kecil orang muncul untuk mencari tahu siapa yang mengirim pesan - Mark Henderson♦
Kami benar-benar menggunakan fitur itu untuk mem-punk admin sys di junior college saya. Membersihkan semua lab komputer dengan pesan AV palsu dan pesan penonaktifan sistem yang tampak seperti berasal dari dia. Dia sangat curiga kami adalah pelakunya tetapi saya dan teman saya masing-masing memiliki alibi (saya mengirim yang pertama ketika dia di kelas dan dia mengirim yang kedua saat saya di kelas) dan komputer memiliki log masuk laboratorium umum - Shial


Saya sering menggunakan perintah "sys-unconfig" pada mesin Solaris untuk mereset layanan Nama mesin, I.P. alamat, dan kata sandi root. Saya berada di sistem pengguna dan saya masuk ke server instalasi gedung dan mencari sesuatu (sebagai root), kemudian lupa bahwa saya telah masuk ke komputer lain (non deskriptif "#" prompt) Saya menjalankan perintah "sys-unconfig".

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

Pesan "koneksi tertutup" itu perlahan berubah menjadi panik ... mesin apa yang saya masuki ketika saya menjalankan perintah itu.

Bagian terburuk dari ini bukanlah waktu yang sulit bagi rekan kerja saya, itu adalah bahwa saya melakukan hal yang sama sebulan kemudian.


35
2018-05-13 23:46



Oh, yang klasik, "mesin apa yang saya pakai ??" saat panik. Aku pernah disana. Aku merasakan sakitmu. - sysadmin1138♦
Saya juga. Siapa pun yang pernah mengalami yang tahu persis apa arti "es darah dingin". - Matt Simmons
Ada alasan shell prompt saya selalu menyertakan nama pengguna dan nama host ... - derobert
Saya pernah mengatur alias untuk masuk ke mesin yang berbeda untuk mendapatkan latar belakang berwarna yang berbeda untuk dapat lebih jelas mengenali mesin mana yang saya gunakan. - Zitrax
Karena saya menggunakan Linux pada kedua server dan mesin lokal saya, saya sering meminta root di server dan PC saya, server memiliki petunjuk merah untuk perbedaan - Hubert Kario