VERY IMPORTANT: migration of homes on SP4

[Gerardo Ballabio]

Per migliorare l'utilizzo dei sistemi di calcolo e delle risorse
CINECA, nei prossimi giorni verranno messi a disposizione degli
utenti due nuovi filesystem di grande dimensione, destinati ad essere
condivisi tra TUTTE le piattaforme.

I piu' importanti vantaggi saranno:
- dimensione virtualmente illimitata
- visibilita' da tutti i sistemi di calcolo (potrete lavorare sugli
stessi file da SP4, CLX ecc.)
- persistenza dei dati (non saranno attivate procedure di
cancellazione automatica)
- continuita' di servizio (i filesystem rimarranno disponibili
indipendentemente dai sistemi di calcolo)

Ogni utente avra' quindi a disposizione le seguenti aree di storage:
   $HOME          : "home locale", differente su ciascuna macchina
   $CINECA_HOME   : "home condivisa", soggetta a backup regolari,
condivisa tra tutte le macchine
   $CINECA_DATA   : "area dati", non soggetta a backup (ma
ridondata), condivisa tra tutte le macchine
   /scratch       : rimarra' utilizzabile secondo le modalita'
attuali, differente su ciascuna macchina. Rimane il filesystem piu'
veloce e pertanto DOVRA' ancora essere utilizzato come area dati
temporanea durante l'esecuzione dei job.

La politica di utilizzo di queste aree sara' la seguente:

LA "HOME LOCALE" DOVRA' CONTENERE SOLO I FILE DI CONFIGURAZIONE che
per ragioni tecniche devono essere diversi su ciascuna macchina
(.bashrc, .cshrc, .profile ...). TUTTI GLI ALTRI FILE dovranno
essere  collocati nella "home condivisa" o nell' "area dati".

*** ATTENZIONE ***

Il primo sistema ad essere "migrato" sara' IBM SP4:

LUNEDI' 16 MAGGIO provvederemo a SPOSTARE SULLE HOME CONDIVISE
($CINECA_HOME) TUTTI I DATI PRESENTI SULLE HOME LOCALI ($HOME);
contestualmente LA QUOTA SULLE HOME LOCALI SARA' RIDOTTA A 2 MB.
Anche i file di configurazione saranno spostati; gli utenti dovranno
ripristinarli manualmente.

Saranno migrate tutte le home che si trovano sui seguenti filesystem:
/sp4/usercorsi /sp4/usergrant  /sp4/userinfm /sp4/usermisc
/sp4/usersissa /sp4/userunivts /sp4/userccb  /sp4/userhpe
/sp4/userisc   /sp4/userogs    /sp4/usercin  /sp4/userforfait
/sp4/userinaf  /sp4/userfranc  /sp4/userincm /sp4/useru
Per le altre home per il momento continua la modalita' di utilizzo
attuale.

I JOB IN ESECUZIONE in quel momento CHE LEGGANO O SCRIVANO SULLA
HOME LOCALE molto probabilmente FALLIRANNO. I job che utilizzano
esclusivamente il filesystem scratch continueranno a girare
regolarmente.

I programmi e gli script di sottomissione che riferiscono a directory
nella "home locale" dovranno essere modificati per essere utilizzati
dalla "home condivisa".

LA STESSA OPERAZIONE SEGUIRA' TRA QUALCHE SETTIMANA PER CLX.

Almeno per il momento, non saranno imposte delle quote sui nuovi
filesystem; vi chiediamo pero' di non superare i 10 GB sulla "home
condivisa" e i 100 GB sull' "area dati". Vi raccomandiamo inoltre di
NON USARE QUESTI FILESYSTEM PER ESEGUIRE JOB. Il filesystem da
utilizzare per questo scopo rimarra' lo scratch.

--------------------------------------------------------------------

To improve the usage of computational systems and resources at
CINECA, in the next days will be made available to users two new
filesystems of very large dimensions, planned to be shared among ALL
platforms.

The most important advantages will be:
- virtually unlimited dimension
- visibility from all computational systems (you'll be able to work
on the same files on SP4, CLX etc.)
- persistency of data (no automatical cancellation procedure will be
activated)
- service availability (the filesystems will remain available
independently on the computational systems)

Every user will thus dispose of the following storage areas:
   $HOME          : "local home", different on each machine
   $CINECA_HOME   : "shared home", regularly backed up, shared among
all machines
   $CINECA_DATA   : "data area", not backed up (but redundated),
shared among all machines
   /scratch       : will remain available with the current policy,
different on each machine. It remains the fastest filesystem and thus
MUST be used as temporary storage area for execution of jobs.

The policy of use for these areas will be the following:

THE "LOCAL HOME" MUST CONTAIN ONLY THE CONFIGURATION FILES that for
technical reasons must be different on each machine (.bashrc, .cshrc,
.profile ...). ALL OTHER FILES must be placed in the "shared home" or
in the "data area".

*** PLEASE NOTICE ***

The first system to be "migrated" will be IBM SP4:

on MONDAY 16 MAY we will MOVE TO THE SHARED HOMES ($CINECA_HOME) ALL
DATA PRESENT ON THE LOCAL HOMES ($HOME); at the same time THE QUOTA
ON THE LOCAL HOMES WILL BE CUT DOWN TO 2 MB. Configuration files will
be moved too; users will have to restore them manually.

We will migrate all the homes that reside on the following
filesystems:
/sp4/usercorsi /sp4/usergrant  /sp4/userinfm /sp4/usermisc
/sp4/usersissa /sp4/userunivts /sp4/userccb  /sp4/userhpe
/sp4/userisc   /sp4/userogs    /sp4/usercin  /sp4/userforfait
/sp4/userinaf  /sp4/userfranc  /sp4/userincm /sp4/useru
For other homes for the moment the current policy of use remains in
effect.

JOBS RUNNING at that time THAT READ OR WRITE ON THE LOCAL HOME will
very probably FAIL. Jobs that use only the scratch filesystem will
keep running regularly.

Programs and submission scripts that refer to directories in the
"local home" will have to be modified to be used from the "shared
home".

THE SAME OPERATION WILL FOLLOW IN A FEW WEEKS FOR CLX.

For the moment at least, no hard quotes will be imposed on the new
filesystems; however we ask you not to exceed 10 GB on the "shared
home" and 100 GB on the "data area". We recommend further NOT TO USE
THESE FILESYSTEMS TO RUN JOBS. The filesystem of use for that purpose
will remain the scratch.

--------------------------------------------------------------------

Gerardo Ballabio