Saniyede yüz trilyonlarca kayan nokta hesaplaması yapabilen bir makineye mi ihtiyacınız var? Yoksa bodrumunuzdaki süper bilgisayarın nasıl bir devre kesiciyi ters çevirdiğine dair bir bar hikayesine mi ihtiyacınız var? Süper bilgisayar olarak da bilinen kendi Yüksek Performanslı Bilgi İşlem kümenizi oluşturmak, hafta sonu boş zamanı olan ve harcayacak biraz parası olan her uzman inek için zorlu bir iştir. Teknik olarak, modern, çok işlemcili bir süper bilgisayar, bir sorunu çözmek için paralel olarak birlikte çalışan bir bilgisayar ağıdır. Bu makale, donanım ve yazılıma odaklanarak süreçteki her adımı kısaca açıklayacaktır.
adımlar
Adım 1. Önce gerekli donanım bileşenlerini ve kaynakları belirleyin
Bir ana düğüme, en az bir düzine aynı hesaplama düğümüne, bir Ethernet anahtarına, bir güç dağıtım birimine ve bir rafa ihtiyacınız olacak. Elektrik talebini, soğutmayı ve gerekli alanı belirleyin. Ayrıca özel ağlarınız için hangi IP adresini istediğinize, düğümlere ne ad vereceğinize, hangi yazılım paketlerinin yüklenmesini istediğinize ve paralel bilgi işlem yeteneklerini hangi teknolojiyi sağlamak istediğinize karar verin (bununla ilgili daha fazla bilgi ileride anlatılacaktır).
- Donanım pahalı olsa da, bu nasıl yapılır kılavuzunda listelenen tüm yazılımlar ücretsizdir ve çoğu açık kaynak kodludur.
- Süper bilgisayarınızın teorik olarak ne kadar hızlı olacağını görmek istiyorsanız, şu aracı kullanın:
Adım 2. Hesaplama düğümlerini oluşturun
Hesaplama düğümlerini birleştirmeniz veya önceden oluşturulmuş sunucular edinmeniz gerekecektir.
- Alanı, soğutmayı ve enerji verimliliğini en üst düzeye çıkaran bir bilgisayar sunucusu kasası seçin.
- Veya bir düzine kadar kullanılmış, eski sunucu kullanabilirsiniz - bunların tümü, parçalarının toplamından daha ağır basacak, ancak size oldukça büyük bir nakit yığını kazandıracaktır. Tüm sistemin birlikte güzel bir şekilde oynaması için tüm işlemciler, ağ bağdaştırıcıları ve anakartlar aynı olmalıdır. Tabii ki, her düğüm için RAM ve depolamayı ve baş düğüm için en az bir optik sürücüyü unutmayın.
Adım 3. Sunucuları rafa kurun
Alttan başlayın, böylece raf çok ağır olmasın. Bu konuda size yardımcı olacak bir arkadaşa ihtiyacınız olacak - yoğun sunucular çok ağır olabilir ve onları rafta tutan raylara yönlendirmek zordur.
Adım 4. Ethernet anahtarını sunucu kasasının üzerine kurun
Anahtarı yapılandırmak için bu anı ayırın: 9000 baytlık jumbo çerçeve boyutlarına izin verin, IP adresini 1. adımda karar verdiğiniz statik adrese ayarlayın ve SMTP Snooping gibi gereksiz yönlendirme protokollerini kapatın.
Adım 5. PDU'yu (Güç Dağıtım Birimi) kurun
Düğümlerinizin maksimum yükte ne kadar akıma ihtiyaç duyabileceğine bağlı olarak, yüksek performanslı bilgi işlem için 220 volta ihtiyacınız olabilir.
Adım 6. Her şey yüklendikten sonra yapılandırma işlemine başlayabilirsiniz
Linux, HPC kümeleri için fiili işletim sistemidir; yalnızca bilimsel bilgi işlem için ideal ortam olmakla kalmaz, aynı zamanda onu yüzlerce hatta binlerce düğüme kurmanın hiçbir maliyeti yoktur. Tüm bu düğümlere Windows kurmanın ne kadara mal olacağını bir düşünün!
- Tüm düğümlerde aynı olması gereken anakart BIOS'unun ve bellenimin en son sürümünü yüklemekle başlayın.
- Tercih ettiğiniz linux dağıtımını, baş düğüm için bir grafik kullanıcı arayüzü ile her bir düğüme kurun. Popüler seçenekler arasında CentOS, OpenSuse, Scientific Linux, RedHat ve SLES bulunur.
- Bu yazar, Rocks Cluster Distribution'ın kullanılmasını şiddetle tavsiye eder. Bir hesaplama kümesinin çalışması için gerekli tüm araçları kurmanın yanı sıra Rocks, PXE önyüklemesini ve Red Hat 'Kick Start' prosedürünü kullanarak kendisinin birçok örneğini düğümlere çok hızlı bir şekilde 'dağıtmak' için harika bir yöntem kullanır.
Adım 7. Mesaj iletme arayüzünü, kaynak yöneticisini ve diğer gerekli kitaplıkları kurun
Rocks'ı önceki adımda kurmadıysanız, paralel hesaplama mekanizmalarını etkinleştirmek için gerekli yazılımı manuel olarak kurmanız gerekecektir.
- Öncelikle Torque Resource Manager gibi görevleri parçalara ayırmanıza ve birden çok makineye dağıtmanıza olanak tanıyan taşınabilir bir bash yönetim sistemine ihtiyacınız olacak.
- Kurulumu tamamlamak için Tork'u Maui Küme Planlayıcı ile eşleştirin.
- Daha sonra, aynı verileri paylaşmak için ayrı hesaplama düğümlerindeki bireysel işlemler için gerekli olan mesaj iletme arayüzünü kurmanız gerekecektir. OpenMP zahmetsizdir.
- Paralel hesaplama programlarınızı oluşturmak için çoklu iş parçacıklı matematik kitaplıklarını ve derleyicilerini unutmayın. Sadece Rocks yüklemeniz gerektiğini söylemiş miydim?
Adım 8. Hesaplama düğümlerini birbirine ağa bağlayın
Baş düğüm, hesaplama görevlerini hesaplama düğümlerine gönderir; bu düğümler de sonucu geri göndermesinin yanı sıra birbirlerine mesajlar göndermesi gerekir. Ne kadar hızlı o kadar iyi.
- Kümedeki tüm düğümleri bağlamak için özel bir ethernet ağı kullanın.
- Ana düğüm, Ethernet ağı üzerinden bir NFS, PXE, DHCP, TFTP ve NTP sunucusu olarak da hareket edebilir.
- Bu ağı genel ağlardan ayırmalısınız, bu da yayın paketlerinin LAN'ınızdaki diğer ağlarla karışmamasını sağlar.
Adım 9. Kümeyi test edin
Tüm bu bilgi işlem gücünü kullanıcılarınıza sunmadan önce yapmak isteyebileceğiniz son şey, performansını test etmektir. HPL (Yüksek Performanslı Lynpack) kıyaslaması, kümenin hesaplama hızını ölçmek için popüler bir seçimdir. Seçtiğiniz mimari için derleyicinizin sunduğu tüm olası optimizasyonlarla kaynağından derlemeniz gerekecektir.
- Elbette, platformunuz için tüm olası optimizasyon seçenekleriyle kaynaktan derlemeniz gerekir. Örneğin, AMD CPU'ları kullanıyorsanız, -0fast optimizasyon seviyesi ile Open64 ile derleyin.
- Kümenizi dünyanın en hızlı 500 süper bilgisayarıyla karşılaştırmak için sonuçlarınızı TOP500.org'da karşılaştırın!
Video - Bu hizmet kullanılarak YouTube ile bazı bilgiler paylaşılabilir
İpuçları
- Gerçekten yüksek ağ hızları için InfiniBand ağ arayüzlerine bakın. Yine de premium fiyatlar ödemeye hazır olun.
- IPMI, IP üzerinden KVM, uzaktan güç döngüsü ve daha fazlasını sağlayarak büyük bir kümenin yönetimini çok kolay hale getirebilir.
- Düğümlerdeki hesaplama yüklerini izlemek için Ganglia'yı kullanın.
