Cara Mempersiapkan Pusat Data Anda untuk Penarikan Daya AI

8 cara untuk mempersiapkan pusat data Anda untuk penarikan daya AI. Kecerdasan buatan membutuhkan kepadatan prosesor yang lebih besar, yang meningkatkan permintaan pendinginan dan meningkatkan kebutuhan daya.

Karena kecerdasan buatan lepas landas dalam pengaturan perusahaan, demikian juga penggunaan daya pusat data. AI adalah banyak hal, tetapi hemat daya bukan salah satunya.

Untuk pusat data yang menjalankan aplikasi perusahaan biasa, konsumsi daya rata-rata untuk rak adalah sekitar 7 kW. Namun lazim bagi aplikasi AI untuk menggunakan lebih dari 30 kW per rak, menurut organisasi pusat data AFCOM . Itu karena AI membutuhkan pemanfaatan prosesor yang jauh lebih tinggi, dan prosesor – terutama GPU – sangat haus daya. GPU Nvidia, misalnya, dapat menjalankan beberapa kali lipat lebih cepat dari CPU, tetapi mereka juga mengonsumsi daya dua kali lebih banyak per chip. Yang memperumit masalah ini adalah bahwa banyak pusat data sudah dibatasi daya.

Pendinginan juga menjadi masalah: server yang berorientasi AI membutuhkan kepadatan prosesor yang lebih besar, yang berarti lebih banyak chip dijejalkan ke dalam kotak, dan semuanya berjalan sangat panas. Kepadatan yang lebih besar, bersama dengan pemanfaatan yang lebih tinggi, meningkatkan permintaan pendinginan dibandingkan dengan server back-office biasa. Persyaratan pendinginan yang lebih tinggi pada gilirannya meningkatkan permintaan daya.

Jadi apa yang dapat Anda lakukan jika Anda ingin merangkul AI untuk alasan kompetitif tetapi kapasitas daya fasilitas yang ada tidak memenuhi persyaratan infrastruktur kepadatan tinggi AI? Berikut ini beberapa opsi.

Pertimbangkan pendingin cair

Pendinginan kipas biasanya kehilangan viabilitas setelah rak melebihi 15 kW. Air, bagaimanapun, memiliki 3.000 kali kapasitas panas udara, menurut CoolIT Systems , pembuat produk cairan pendingin perusahaan. Akibatnya, pembuat kabinet server telah menambahkan pipa cair ke lemari mereka dan menghubungkan pipa air ke heat sink mereka, bukan kipas.

“Pendinginan cairan jelas merupakan pilihan yang sangat baik untuk beban kepadatan yang lebih tinggi,” kata John Sasser, wakil presiden senior untuk operasi pusat data di Sabey , pengembang dan operator pusat data. “Itu menghilangkan masalah aliran udara yang berantakan. Air menghilangkan lebih banyak panas daripada udara, dan Anda bisa mengarahkannya melalui pipa. Banyak HPC [komputasi kinerja tinggi] dilakukan dengan pendingin cair. ”

Sebagian besar pusat data dirancang untuk pendingin udara, jadi pendingin cair akan membutuhkan investasi modal, “tetapi itu mungkin solusi yang jauh lebih masuk akal untuk upaya ini, terutama jika perusahaan memutuskan untuk bergerak ke arah [AI],” Sasser kata.

Jalankan beban kerja AI pada resolusi yang lebih rendah

Pusat data yang ada mungkin dapat menangani beban kerja komputasi AI tetapi dengan cara yang berkurang, kata Steve Conway, wakil presiden penelitian senior untuk Hyperion Research . Banyak, jika tidak sebagian besar, beban kerja dapat dioperasikan pada setengah atau seperempat presisi daripada presisi ganda 64-bit.

Setelah membaca Berita sain dan Teknologi seputar cara mempersiapkan pusat data Anda untuk penarikan daya AI, baca juga: Skimmer kartu pembayaran web menambah kemampuan anti-forensik

“Untuk beberapa masalah, setengah presisi baik-baik saja,” kata Conway. “Jalankan dengan resolusi yang lebih rendah, dengan lebih sedikit data. Atau dengan sedikit ilmu di dalamnya. ”

Perhitungan floating point presisi ganda terutama diperlukan dalam penelitian ilmiah, yang sering dilakukan pada tingkat molekuler. Ketepatan ganda biasanya tidak digunakan dalam pelatihan AI atau inferensi pada model pembelajaran yang dalam karena itu tidak diperlukan. Bahkan Nvidia menganjurkan untuk menggunakan perhitungan presisi tunggal dan setengah dalam jaringan saraf yang dalam.

Bangun segmen penahanan AI

AI akan menjadi bagian dari bisnis Anda tetapi tidak semua, dan itu harus tercermin di pusat data Anda. “Fasilitas baru yang sedang dibangun sedang mempertimbangkan mengalokasikan sebagian dari fasilitas mereka untuk penggunaan daya yang lebih tinggi,” kata Doug Hollidge, mitra dengan Five 9s Digital , yang membangun dan mengoperasikan pusat data. “Anda tidak akan menempatkan semua fasilitas Anda ke kepadatan yang lebih tinggi karena ada aplikasi lain yang memiliki draw yang lebih rendah.”

Hal pertama yang harus dilakukan adalah menilai pasokan energi ke gedung, kata Hollidge. “Jika Anda akan meningkatkan penggunaan energi di dalam gedung, Anda harus memastikan penyedia listrik dapat meningkatkan pasokan listrik.”

Bawa seorang insinyur untuk menilai bagian mana dari pusat data yang paling siap untuk kemampuan kepadatan yang lebih tinggi. Persyaratan beban kerja akan menentukan solusi terbaik, apakah itu penahanan lorong panas atau pendingin cair atau beberapa teknologi lainnya. “Sulit untuk memberikan solusi satu ukuran untuk semua karena semua pusat data berbeda,” kata Hollidge.

Sebarkan sistem AI Anda

Pendekatan alternatif – alih-alih memadatkan semua sistem AI Anda menjadi satu tempat yang lebih panas daripada Death Valley pada bulan Agustus – adalah menyebarkannya di antara rak-rak.

“Sebagian besar aplikasi bukan kepadatan tinggi. Mereka beroperasi pada delapan hingga 10 kilowatt dan hingga 15 kilowatt. Anda dapat mengatasinya dengan udara, ”kata David McCall, kepala petugas inovasi dengan QTS , pembangun pusat data.

Dalam lingkungan heterogen yang dioptimalkan, penyedia kolokasi mungkin memiliki satu atau dua rak di kabinet untuk menampung lingkungan HPC atau AI, dan sisa rak di kabinet didedikasikan untuk menampung aplikasi yang kurang haus daya, seperti database dan back aplikasi-kantor. Itu tidak akan menghasilkan rak 5 kW, tetapi mendapatkan rak lebih dekat ke 12 kW atau 15 kW, yang merupakan lingkungan yang dapat ditangani oleh pendingin udara, kata McCall.

Kontrol aliran udara panas di pusat data

Tata letak pusat data standar adalah lorong panas / lorong dingin, di mana kabinet diletakkan dalam baris bergantian sehingga udara dingin masuk saling berhadapan di satu lorong yang menghadap ke depan, dan knalpot udara panas saling berhadapan di lorong yang menghadap ke belakang. Itu berfungsi dengan baik, tetapi akses bisa rumit jika seorang pekerja TI perlu berada di belakang kabinet untuk bekerja di server.

Masalah lainnya adalah udara itu “berantakan,” seperti kata Sasser. Daya seringkali lebih mudah untuk dimodelkan karena mengalir melalui konduktor, dan Anda dapat mengontrol (dan dengan demikian merencanakan dan memodelkan) ke mana daya mengalir. Udara mengalir ke mana saja dan sulit dikendalikan.

Pelanggan Sabey yang menginginkan lingkungan dengan kepadatan lebih tinggi menggunakan pod penahanan lorong panas untuk mengontrol aliran udara. Perusahaan menempatkan pintu di ujung lorong panas dan pelat plastik di atasnya, sehingga panas diarahkan ke pipa pemasukan langit-langit dan penghalang menjaga udara panas dan udara dingin agar tidak bercampur.

“Dalam dunia server berpendingin udara, saran yang saya berikan adalah pergi dengan lingkungan penahanan lorong panas,” kata Sasser. “Saran lain yang akan saya berikan adalah memastikan pusat data diuji untuk aliran udara, tidak hanya dimodelkan untuk aliran udara . Pemodelan tergantung pada banyak variabel, dan mereka mudah berubah. ”

Pertimbangkan lemari cerobong asap

Cara lain untuk membantu mengelola suhu di pusat data adalah dengan menggunakan kabinet cerobong asap. Alih-alih mengalirkan udara panas keluar dari belakang, kabinet cerobong asap menggunakan konveksi fisika lama yang baik untuk mengirim udara panas ke cerobong asap, yang kemudian dihubungkan ke ventilasi pendingin udara.

Sistem Chatsworth terkenal dengan gaya kabinet ini.

“Jalur udara lebih dibatasi dengan cara ini,” kata Sasser. “Karena jalur udara itu lebih terbatas, kamu bisa mendapatkan kepadatan yang lebih besar ke dalam kabinet daripada dengan pod lorong panas.”

Memproses data di mana ia berada

Memindahkan data ke sekitar memiliki biaya energi yang sangat tinggi: Diperlukan energi hingga 100 kali lebih banyak untuk memindahkan data daripada yang diperlukan untuk memproses data, kata Conway. Segala bentuk pergerakan data memerlukan listrik, dan bahwa pengeringan daya meningkat dengan volume data – masalah signifikan untuk aplikasi AI yang intensif data. “Anda ingin memindahkan data sesedikit dan sesedikit mungkin jarak yang Anda bisa,” kata Conway.

“Solusinya adalah tidak harus memindahkan data lebih atau lebih dari yang mutlak diperlukan. Jadi orang-orang berusaha untuk menempatkan data lebih dekat ke tempat itu diproses. Satu hal yang disetujui oleh penyedia layanan cloud dan orang-orang yang menggunakan layanan cloud adalah tidak masuk akal untuk memindahkan sejumlah besar data ke cloud pihak ketiga, ”katanya.

Pertimbangkan untuk menyewa ruang pusat data

Sebagian besar perusahaan yang ingin menerapkan AI adalah perusahaan yang menyewakan ruang pusat data dari operator pusat data, kata Hollidge. Ada beberapa operator pusat data yang tidak mampu menangani perhitungan AI kepadatan tinggi, tetapi beberapa telah beralih untuk menawarkan sebagian lingkungan kepadatan tinggi untuk AI.

Baca juga: 5 Teknologi Penyimpanan yang Mengganggu untuk Tahun 2020 setelah membaca Berita sain dan Teknologi seputar cara mempersiapkan pusat data Anda untuk penarikan daya AI.

“Anda mungkin harus melalui beberapa penyedia sebelum menemukannya, tetapi ada lebih banyak perhatian diberikan pada sisi operasi pusat data,” kata Hollidge. Dan penyedia pusat data pihak ketiga memberi Anda lebih banyak opsi pertumbuhan. “Sebagian besar waktu Anda lebih baik memasuki sewa fleksibel yang memungkinkan Anda untuk memperluas dan menumbuhkan bisnis AI Anda sebagai lawan membangun dari atas.”

Tunggu server generasi berikutnya

Superkomputer sampai saat ini belum sangat ramah data, kata Conway. Karena superkomputer menjadi lebih besar, desainnya menjadi lebih sedikit data-sentris. Hasilnya adalah bahwa lebih banyak data harus dipindahkan dan dikirim antara prosesor, memori, dan sistem penyimpanan. Dan seperti yang dibahas di atas, biaya lebih banyak daya untuk memindahkan data daripada memprosesnya.

Sistem exascale pertama akan datang dengan lebih banyak akselerator dan interkoneksi yang lebih kuat untuk bergerak di sekitar data. Dan banyak inovasi yang dimulai dalam superkomputer, termasuk GPU dan memori penyimpanan kelas (SCM), akhirnya turun ke server yang lebih utama.

Server mendatang juga akan hadir dengan tata letak chip yang lebih heterogen; alih-alih semua CPU x86, mereka akan menyertakan GPU, FPGA, dan akselerator AI. Dan untuk penyimpanan kecepatan tinggi, NVMe-over-Fabric dan SCM akan menjadi lebih terjangkau. Server diatur untuk berubah di tahun-tahun mendatang, dan banyak dari kemajuan akan menguntungkan lingkungan aplikasi AI perusahaan.

Demikian  Berita sain dan Teknologi seputar cara mempersiapkan pusat data Anda untuk penarikan daya AI.