Skip to content

Sun Grid Engine installasjon pa Ubuntu Server.

Slik installerer du, konfigurerer og bruker Sun Grid Engine (SGE) for HPC.

Sist oppdatert 18. mai 2016.

Denne veiledningen hjelper deg med a konfigurere og konfigurere Sun Grid Engine (SGE) pa Ubuntu Server 14.04 LTS.

Normalt vil installasjonsprosessen kreve innspillingen flere ganger, men ved a folge denne veiledningen vil du kunne utfore en uovervaket installasjon, noe som betyr at du kan automatisere oppsettet av klyngen din med et skalskript. Alternativt kan du sette opp SGE manuelt ved a kopiere og Lim inn kommandoer i denne veiledningen i den rekkefolgen de presenteres pa.

SGE er en oppgave eller jobbplanlegger. Du sender inn dine vanligvis lange lopende oppgaver i en ko, og planleggeren vil prove a kjore oppgaven pa en av vertsmaskinens verter nar den er tilgjengelig.

En SGE-klynge bestar konseptuelt av en hovedverten og en eller flere vertshemmere. Mesterv rten kan ogsa fungere som arbeidstaker. Deretter er det ogsa klienter som sender jobber til klyngen.

Kommandoene nedenfor vil utfore en uovervaket installasjon. Hvis du kopierer og limer dem inn i terminalen, ma du huske at apt-get-svaler limte kommandoer som folger den linjen.

Merk at SGE vil ogsa installere postfix (en SMTP-server) som vi vil deaktivere.

Test at det fungerer ved a kjore.

Hvis du ser en feilmelding som dette.

det betyr at SGE forventer 127.0.0.1 a lose for a mestre hvilket er vart vertsnavn, men i dette tilfellet mester loses til 127.0.1.1 siden det er hva Ubuntu pleier a legge inn i / etc / hosts.

I dette tilfellet skal jeg lose dette problemet med.

men hva det betyr er at du ma sorge for at du ikke har problemer med a lose vertsnavn og IP-adresser som du skal bruke med SGE.

Vi ma vite mastervertsnavnet for vi fortsetter.

Folgende kommandoer vil utfore en uovervaket installasjon pa en arbeidstaker.

Fikk feil om / var / lib / gridengine / default / common / act_qmaster?

noe som betyr at installasjonen var vellykket.

Ellers ser du feil om kommunikasjonsfeil.

(For a kvitte seg med denne feilen kan du kjore sudo qconf -ah worker1 pa masterverten for a legge denne arbeideren til som administrator. Les mer i vertsdelen nedenfor.)

V r oppmerksom pa at gridengine-exec er pakken som kreves for a kjore SGE pa en arbeidstaker. gridengine-client installerer kommandolinjeverktoy som qhost og qstat som kan hjelpe med a diagnostisere problemer.

Trenger du a reinstallere SGE?

Du vil kjore disse kommandoene pa masterverten.

Ledere er som rotenbrukere og kan endre SGE-innstillinger. V r oppmerksom pa at sgeadmin og root allerede er pa lederlisten.

Operatorer er mindre privilegerte enn ledere og kan legge til / fjerne arbeidstakere.

Du vil sannsynligvis onske a justere planleggerkonfigurasjonen.

Her bruker vi standardinnstillingene med unntak av schedule_interval. Denne innstillingen angir hvor ofte tidsplanleggeren sjekker for nye jobber. Som standard er verdien 15 sekunder, som kan v re for hoy og forarsaker forsinkelser hvis du sender inn jobber hvert sekund, og de er ferdige raskt.

Kontakt mannens sider for mer informasjon.

Forst oppretter du en vertsliste som jobber i koen skal kjore.

Navnet pa vertslisten vil v re allhosts, men i SGE-konfigurasjon brukes det vanligvis med @ som et prefiks: @allhosts.

Endelig lag en ko for jobbene dine. Det er en konvensjon a legge til .q-suffikset i konavnet ditt. I dette tilfellet lager vi en ko med navnet peteris.q.

Alle innstillinger har standardverdier unntatt qname, vertsliste og load_thresholds.

Tillat en vert a sende inn jobber til SGE.

Tillat en vert til admin SGE, for eksempel for a se jobbstatuser, etc.

Du kan bruke folgende bash-skript for a legge til en arbeidstaker i en ko.

Bruk deretter det som folger.

Du bor na kunne se worker1 i utgangen av qhost.

Men nar du kjorer qstat -f kan du legge merke til at arbeideren1 laste gjennomsnittet er Ikke tilgjengelig og tilstanden er deg som star for uoppnaelig.

For a fikse det, start SBR pa arbeidstakeren igjen.

Og utdataene fra qstat -f skal se ut.

Hvorfor trenger du a kjore sge-worker-add.sh som sudo? Fordi du ellers far tillatelsesfeil som nektet: "vagrant" ma v re leder for denne operasjonen. For a gjore brukeren din til en administrator, kjor sudo qconf -am $ USER.

Du kan bruke folgende bash-skript for a fjerne en arbeidstaker fra en ko.

Bruk deretter det som folger.

Du kan sende inn jobber til SGE med qsub som er installert med gridengine-klientpakken.

Merk at du ma v re pa en vert som har lov til a sende inn jobber til SGE (kjor sudo qconf -as $ HOSTNAME hvis du ikke er).

La oss sende inn en enkel jobb som vil utfore hostname-programmet:

Det vil bli henrettet pa en av arbeiderne. I mitt tilfelle ble arbeider1 valgt:

Standardutgangen ble skrevet til hostname.o1 og stderr ble skrevet til hostname.e1 hvor vertsnavn er navnet pa var kommando og 1 var vart jobb-ID.

Du kan endre stdout / stderr filnavn som dette:

Bade out.txt og err.txt vil fortsatt bli opprettet pa vertsmaskinen, slik at du vanligvis vil kunne bruke en nettverksandel eller noe for dem.

Vi kan redusere produksjonen av qsub til bare jobbnummeret med -terse-flagget:

Det vil generelt v re nyttig a navngi jobber med -N slik at du enkelt kan identifisere dem i koen:

qsub vil som standard returnere umiddelbart. Bruk qsub -synk a vente til jobben er fullfort:

Noen ganger vil du ha en jobb a kjore etter at en annen har fullfort. I dette tilfellet kan du bruke -hold_jid & lt; id & gt;, & lt; id & gt; :

Du kan generere mange jobber med.

qstat -f viser deg de pagaende jobbene:

og qstat -f -u \ * vil ogsa vise ventende jobber:

Merk at asterixen * er nodvendig for a matche alle oppgaver, men med mindre du unnslipper det \ *, vil skallet ditt erstatte det med filnavn i gjeldende katalog.

For a se detaljer om en jobb som fortsatt er i koen, bruk qstat -j & lt; id & gt; :

Det er ogsa mulig a fa utdata som XML som vil gjore det enklere a behandle hvis du bruker et skript eller noe for a analysere statusen til klyngen din, for eksempel a lage et enkelt dashbord.

Hvis ingenting virker, prov a starte SGE pa nytt.

Du kan bruke folgende Vagrantfile som vil spinne opp en hovedknute og to arbeidernoder for dine eksperimenter.

Pass pa at du endrer / etc / hosts til folgende pa alle verter:

Jeg haper du finner denne veiledningen nyttig som det tok meg lang tid a finne ut hvordan du automatiserer og feilsoker alt.

Mannsidene er omfattende, men de tjener som en referanse og en trinnvis oppl ring.

htop forklarte 02 desember 2016 Parsing misdannet JSON 17. november 2016 Min Dell XPS 15 gjennomgang 15. august 2016 OpenStreetMap byblokkene som GeoJSON-polygoner 11. august 2016 Messenger PhantomJS 6. juni 2016.

Siste innlegg.

Vedvarende tilstand mellom AWS EC2 spot instanser 8. oktober 2017 Endre XML, JSON, INI konfigurasjonsfiler uten sed 14 april 2017 Intervju sporsmal 17 februar 2017 Kostnad for a starte en oppstart i Riga, Latvia 8. februar 2017 Apne Firebird innebygd databasefil februar 08, 2017.

&kopiere; 2014, 2015, 2016, 2017 Les mer ... RSS RSS.

All kode skrevet av meg pa denne bloggen er lisensiert under Apache 2.0-lisensen.


Hallo! Vil du spille i det mest populære kasinoet? Vi samlet det for deg. Gå her nå!