Fullscreen
Location : EUAsiaGrid-ITB Wiki »
Print

Pre-Instalasi

Table of contents



Desain Site

Kebutuhan minimum

Langkah pertama membangun sebuah Grid Site adalah mempersiapkan perangkat keras yang akan digunakan untuk menjalankan Grid Services. Pada tabel berikut ini dapat dilihat spesifikasi perangkat keras yang disarankan untuk digunakan men-deploy Grid Site. Spesifikasi minimum dapat digunakan untuk situs kecil dengan worker node (WN) yang sangat sedikit, space minimum yang diperlukan untuk gLite Install adalah 10G. Space yang diperlukan tergantung pada aplikasi yang ada di suatu Site. Untuk Site yang dirancang untuk berkembang lebih dari sekedar beberapa WN, dapat mengacu pada spesifikasi yang ditulis di kolom rekomendasi.

SpesifikasiMinimumRekomendasi
CPUPent 4@ 2.0GHzdual core 2.0 GHz
RAM1GB1GB
Disk10GB250GB
Network100Mbps1Gbps

  • Disk: Middleware menggunakan sekitar 1GB, RB memerlukan setidaknya 20GB untuk Storage dari Sandboxes. WN memerlukan ruang awal yang cukup sekitar 5GB untuk setiap pekerjaan (job) yang dijalankan pada waktu yang bersamaan. Ukuran penyimpan untuk Storage Element tergantung pada aplikasi.
  • Untuk kolaborasi WLCG Grid:
    • Kebutuhan hardware untuk meng-install LCG Middleware cukup sederhana. Namum perlu diingat bahwa konfigurasi minimal dapat menjadi sangat lambat saat beban cukup tinggi. Kebutuhan HEP Experiment untuk produksinya jauh lebih tinggi dan bisa dilihat disini: http://ibird.home.cern.ch/ibird/LCGMinResources.doc (external link)


Arsitektur Site

Gambar berikut ini menunjukkan tipikal sebuah Grid Site. Disarankan untuk memiliki dedicated server untuk UI, CE, WN, SE, dan MON. Akan tetapi, untuk Site dengan jumlah server terbatas dimungkinkan untuk melakukan hal berikut untuk mengurangi jumlah server yang diperlukan:

  • Instal UI pada Server dengan Scientific Linux 3 atau 4 atau RHEL compatible di user account space.


User Interface: UI

  • Disinilah user login dan mengakses perintah client untuk menggunakan Grid.

Computing element: CE

  • Server ini bertindak sebagai gateway ke sumber daya komputasi dan mengelola sistem batch-nya. Pada umumnya, disinilah perangkat lunak batch system server diinstall untuk site yang lebih kecil.
  • Shared Filesystem: server kecil untuk shared file system saat ini diperlukan untuk penyimpanan perangkat lunak eksperimental. Kebutuhan ini secara umum dapat dipenuhi dengan meng-install NFS service pada CE yang kemudian dapat di-mount oleh semua node pekerja (worker nodes). Disarankan untuk menyediakan sebuah NFS server yang dedicated untuk site dengan lebih dari 50 worker node.

Worker Node: WN

  • Disinilah pekerjaan (job) sebenarnya dijalankan. Perintah-perintah untuk Grid Client dan libraries diinstall disini.

Storage Element: SE

  • SE bertindak sebagai penyedia sumber daya storage atau penyimpanan pada Grid. Solusi yang umum digunakan adalah perangkat lunak Disk Pool Manager (DPM). Perangkat lunak ini memiliki kemampuan untuk menangani bebrapa disk server untuk membentuk single storage pool.

MON atau R-GMA Server

  • MON Box menjalankan R-GMA server yang bertanggungjawab untuk mendistribusikan data akunting di dalam Grid.

Exclamation Tentang Jaringan

  • Diperlukan IP Publik untuk digunakan pada semua Grid Node.
  • WN dimungkinkan untuk memiliki IP Privat jika NAT tersedia untuk memungkinkan WN mengakses jaringan luar. Untuk konfigurasi ini, CE akan memerlukan network interface ekstra untuk menghubungkan ke jaringan Privat dalam rangka mengelola WN. Akan tetapi, tidak direkomendasikan menggunakan NAT karena dapat menyebabkan terjadinya bottleneck antara layanan WN dan SE.


Informasi lebih lanjut untuk gLite middleware dapat dilihat di http://dgiref.d-grid.de/wiki/middleware:Glite (external link)



Persiapan Server

Setelah persiapan perangkat keras untuk Grid Site telah selesai, saatnya memulai instalasi dan konfigurasi OS.

Instalasi OS

Langkah pertama yaitu meng-instal sistem operasi.

+Sangat disarankan untuk menjalankan gLite middleware pada Sistem Operasi Scientific Linux 5. Versi terbaru yang tersertifikasi oleh CERN adalah Scientific Linux CERN 5 (SLC5). Referensinya dapat dilihat pada website berikut:

Exclamation Yang disarankan saat ini yaitu meng-instal

  • SLC5 untuk semua services inti seperti UI, CE, WN, SE, BDII

Panduan instalasi Scientific Linux dapat dilihat juga di:

Exclamation Perhatian
* Jangan lupa untuk memodifikasi konfigurasi Yum dan update dengan RPM terbaru

Setelah Instalasi OS

  • please disable epel update (enabled=0)
    [root@pps-ui01 yum.repos.d]# cd /etc/yum.repos.d/
    [root@pps-ui01 yum.repos.d]# cat epel.repo 
    [epel]
    name=Extra Packages for Enterprise Linux add-ons, no formal support from CERN
    baseurl=http://linuxsoft.cern.ch/epel/5/$basearch
    gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL
    gpgcheck=1
    enabled=0
    protect=0
  • Anda dapat menggunakan YUM atau APT untuk meng-update dist Sistem Operasi.

Open Yum Update

Jika anda berada di dalam jaringan yang menggunakan proxy untuk akses ke Internet dan anda mengalami kesulitan untuk update menggunakan YUM, perhatikan setting proxy di komputer anda.

  • buat/edit file /etc/profile.d/proxy.sh
  • isi file tersebut dengan setting proxy yang digunakan di tempat anda, contoh:
    export http_proxy='http://proxyserver:port/'
    export ftp_proxy='http://proxyserver:port/'
    export https_proxy='http://proxyserver:port/'
  • simpan file tersebut, kemudian restart sistem.


Install Java

Dikarenakan adanya batasan dalam hal perizinan, Java tidak dapat didistribusikan via repositori yang ada di CERN ataupun ASGC. Dengan demikian, perlu di-download dari website Java dan di-install tersendiri. Java SDK harus sudah diinstall sebelum meng-install middleware agar ketergantungan atau dependency dari middleware dapat terpenuhi. Tambahan lagi, Java harus diinstall dari paket RPM (bukan distribusi tarball) agar muncul resolusi ketergantungan RPM atau RPM dependency. Middleware tidak akan dapat ter-install jika Java tidak di-install dari paket RPM.
Untuk gLite 3.1, anda perlu meng-instal Java JDK 1.5 pada sistem anda sebelum mulai meng-install middleware. Download Java dari website SUN Java (dibutuhkan versi 1.5 atau lebih tinggi). Begitu anda membuka halamanini, SUN akan memanggil vesi ini JDK 5.0 Update 12. http://java.sun.com/javase/downloads/index_jdk5.jsp (external link)
Star Atau instal dua repackaged RPM berikut ini:

glite 3.1 dist mengambil sebanyak mungkin dependency dari jpackage, jadi anda perlu mengatur package manager anda agar mengacu ke jpackage 1.7/5, sebagaimana telah dijelaskan pada bagian 'Configuration of Yum' (konfigurasi Yum) di https://twiki.cern.ch/twiki/bin/view/EGEE/GLite31JPackage (external link).
Star Jika anda menemui permasalahan dalam dependency java dan jpackage bisa mengacu ke https://twiki.cern.ch/twiki/bin/view/EGEE/GLite31JPackage (external link) atau coba ikuti langkah-langkah berikut untuk mengatasi permasalahan:

  • ganti setting jpackage pada file jpackage.repo dengan setting seperti berikut:
    http://grid-deployment.web.cern.ch/grid-deployment/glite/repos/3.1/jpackage.repo (external link)
    [jpackage5-generic]
    name=JPackage 5, generic
    baseurl=http://mirrors.dotsrc.org/jpackage/5.0/generic/free/
    enabled=1
    protect=1
    gpgkey=http://www.jpackage.org/jpackage.asc
    gpgcheck=1
    
    [jpackage5-generic-nonfree]
    name=JPackage 5, generic non-free
    baseurl=http://mirrors.dotsrc.org/jpackage/5.0/generic/non-free/
    enabled=1
    protect=1
    gpgkey=http://www.jpackage.org/jpackage.asc
    gpgcheck=1
  • Coba uninstall semua jdk* dan java-*-sun-compat*:
    # Uninstalled all jdk* and java-*-sun-compat* :
      rpm -e jdk
      rpm -e j2re
  • Instal package jdk-1.5.0_14-fcs menggunakan YUM sebelum menginstal middleware.
    # yum install jpackage-utils

Konfigurasi System Time

Sangat disarankan agar system time di-set ke UTC baik untuk system clock maupun hardware clock. Hal ini akan sangat diperlukan untuk membandingkan node yang melintasi timezone dalam rangka troubleshooting dan penanganan tanggap insiden keamanan.
Setting clock dikontrol oleh /etc/sysconfig/clock

  • UTC: menyatakan apakah hardware clock di-set ke UTC atau lokal.
  • ARC: untuk alpha hardware, abaikan.

Untuk menyetel system clock dan hardware clock menjadi UTC:

  1. Set file clock menjadi seperti berikut:
    vi /etc/sysconfig/clock
    ## contents of clock
    ZONE="UTC"
    UTC=true
    ARC=false
  2. salin UTC ke 'localtime'
    cp /usr/share/zoneinfo/UTC /etc/localtime
  3. Update system clock agar sama dengan system time kemudian set menjadi UTC.
    hwclock --systohc --utc
    # `hwclock` without arguments shows the current hardware clock
    hwclock


Konfigurasi Sinkronisasi Network Time

Harus dipastikan system time di semua node Grid tersinkronisasi. Jika system time tidak tersinkronisasi, GSI security akan gagal. Hal ini seringkali menjadi penyebab permasalahan yang muncul.
Silakan mengacu ke Panduan Konfigurasi NTP untuk siskronisasi System Time.

Open Sinkronisasi System Time untuk Virtual Machine
Untuk instalasi User interface di Virtual Machine, set sinkronisasi system time menggunakan crontab.
Contoh:
$ crontab -l
* * * * * /usr/sbin/ntpdate 117.103.105.129

$ date
Mon Jul 20 06:52:59 UTC 2009


Konfigurasi Firewall

Jika anda bermaksud untuk menambahkan konfigurasi firewall pada grid node, maka anda dapat mengacu kepada tabel gLite Port berikut ini:

Untuk lengkapnya bisa lihat di: https://twiki.cern.ch/twiki/bin/view/LCG/LCGPortTable (external link)
Tabel tersebut menjelaskan akses jaringan yang diperlukan oleh setiap node sehingga anda dapat mengkonfigurasi firewall dengan semestinya. C pada tabel tersebut berarti anda harus mengijinkan akses port 2000 s.d. 25000 pada service tersebut.
Selama tahap troubleshooting middleware service, anda mungkin perlu untuk mematikan firewall service untuk memastikan bahwa penyebabnya bukan dari firewall.
Jika anda tidak memasang firewall, anda harus mengijinkan koneksi ssh antar server-server yang anda miliki. Tambahkan sejumlah IP atau IP tertentu pada setiap server.

# /etc/hosts.allow has to be empty #
vim /etc/hosts.deny 
sshd: ALL EXCEPT 117.103.102.[...]

Konfigurasi DNS

Pastikan bahwa forward service dan reverse service dapat beroperasi dengan normal, terutama pada CE, SE, dan MON. konfigurasi YAIM tidak akan berhasil jika ada masalah dengan DNS, alamat IP dan hostname dari node juga akan diperiksa pada saat job-submission.
Anda dapat menggunakan nslookup atau dig ke server DNS.

  1. forward service
    # nslookup
     > t-op16.grid.sinica.edu.tw
     Server:         140.109.98.230
     Address:        140.109.98.230#53
    
     Name:   t-op16.grid.sinica.edu.tw
     Address: 202.169.171.16
  2. reverse service
    # nslookup
     > 202.169.171.16
     Server:         140.109.98.230
     Address:        140.109.98.230#53
    
     16.171.169.202.in-addr.arpa     name = t-op16.grid.sinica.edu.tw.
     >

Konfigurasi NFS

/opt/exp_soft pada CE harus dibagi-pakai ke WN, sehingga dapat berbagi workspace ke site lain yang berada dalam VO yang sama. Sebagai contoh, software dapat dibagi-pakai oleh NFS berdasarkan classpath berikut ini.
<!> Pastikan package NFS dan Portmap telah ter-install di node anda.

[root@t-op16 root]# rpm -qa |grep nfs
nfs-utils-1.0.6-45EL
[root@t-op16 root]# rpm -qa |grep portmap
portmap-4.0-56
[root@t-op16 root]#

Setting untuk Server(CE)

/etc/fstab berisi informasi mengenai dimana partisi dan perangkat storage harus di-mount dan bagaimana. Kolom pertama berisi nama perangkat (device name). Pada contoh berikut /opt/exp_soft pada CE dengan nama t-op16.grid.sinica.edu.tw dibagi-pakai.Kemudian kolom kedua adalah mount point, kolom ketiga adalah jenis filesystem-nya, kolom keempat adalah pilihan mount, kolom kelima (angka) adalah pilihan dump, dan kolom keenam (angka) adalah pilihan filesystem check.

  1. Tambahkan baris berikut ke /etc/fstab pada node WN untuk me-mount /opt/exp_soft yang di-export dari node CE (misalnya: t-op16 adalah node CE):
    t-op16.grid.sinica.edu.tw:/opt/exp_soft       /opt/exp_soft   nfs     defaults        1 1
  2. Ubah konfigurasi NFS (pada node CE) untuk membagi-pakai direktori /opt/exp_soft ke node WN (misalnya: t-op18):
    [root@t-op16 root]# vi /etc/exports
    #path         #hostname or address of WN(permission)
    /opt/exp_soft  t-op18.grid.sinica.edu.tw(rw,sync)
  3. Jalankan portmap terlebih dahulu, baru setelah itu mulai nfs:
    [root@t-op16 root]# service portmap start
    Starting portmapper:                                       [  OK  ]
    [root@t-op16 root]# service nfs start
    Starting NFS services:                                     [  OK  ]
    Starting NFS quotas:                                       [  OK  ]
    Starting NFS daemon:                                       [  OK  ]
    Starting NFS mountd:                                       [  OK  ]
    [root@t-op16 root]#

Setting untuk Client(WN)

  1. Buatlah file /opt/exp_soft
  2. Tambahkan baris pada /etc/fstab :
    t-op16.grid.sinica.edu.tw:/opt/exp_soft  /opt/exp_soft nfs  defaults 0 0
  3. Jalankan portmap terlebih dahulu, baru setelah itu mulai nfs:
    [root@t-op18 opt]# service portmap start
    Starting portmapper:                                       [  OK  ]
    [root@t-op18 opt]# service nfs start
    Starting NFS services:                                     [  OK  ]
    Starting NFS quotas:                                       [  OK  ]
    Starting NFS daemon:                                       [  OK  ]
    Starting NFS mountd:                                       [  OK  ]
    [root@t-op18 opt]#
  4. mount semua file sistem (pada tipe tertentu) yang disebutkan pada fstab:
    [root@t-op18 opt]# mount -a
    [root@t-op18 opt]# df
    Filesystem           1K-blocks      Used Available Use% Mounted on
    /dev/sda1              9842848   4602488   4740360  50% /
    none                    131072         0    131072   0% /dev/shm
    t-op16.grid.sinica.edu.tw:/opt/exp_soft
                           9842848   4027352   5315496  44% /opt/exp_soft
    [root@t-op18 opt]#

Untuk informasi lebih lanjut dapat mengacu ke http://nfs.sourceforge.net/nfs-howto/ (external link)


Sekarang anda dapat melanjutkan dengan instalasi komponen gLite middleware pada tahap selanjutnya.


Referensi

Halaman ini merupakan saduran bebas dari:
http://lists.grid.sinica.edu.tw/apwiki/Installation/Site_Pre-Installation (external link)
http://wiki.twgrid.org/apwiki/UI_Installation (external link)

-


Last edited by pelita , based on work by admin .
Page last modified on Monday 21 of March, 2011 11:00:23 WIT.