<p>10/06/2019<br />
Dear Users,</p>
<p>It is a pleasure for us to announce a further upgrade of our Tier-1 HPC<br />
system (GALILEO) that will lead to a new larger cluster providing support to<br />
national and European research: about 1 thousand Broadwell nodes connected<br />
with a new Intel Omni-Path internal network. We expect to put the new system<br />
into production in about 1-2 months, with minor production interruptions<br />
during the course of the operations. User data in $HOME and $WORK will be<br />
copied to the new storage apparatus. Data in $CINECA_SCRATCH will not be<br />
transferred.</p>
<p>The reconfiguration phase starts today, and the upgrade will be organized in<br />
two subsequent steps:<br />
- in the first one, new (Broadwell) nodes will be set-up on the new network,<br />
and production moved there<br />
- in the second one, the present compute nodes will be upgraded and merged<br />
with the previous partition<br />
 <br />
During the first step the activities will go on using a reduced set of the<br />
present compute nodes; some increase in the waiting time of pending jobs<br />
needs to be accounted for, together with possible disservices on the login<br />
nodes.<br />
In the second step - in a transparent way to users - the activities will<br />
switch to the nodes reconfigured in the first step.</p>
<p>Please note that a stop of about one month is required for the Tesla K80 GPUs<br />
used by the academic users: these nodes will be out of production during the<br />
month of July (the date of the stop will be announced in future<br />
communications).<br />
The rest of the production will instead be stopped only for a few days of<br />
standard maintenance during the course of the operations.<br />
 <br />
Please also note the following remarks:<br />
1) the environment on the new Galileo will remain the same (modules,<br />
scheduler configuration, etc.);<br />
2) the data in the personal $HOME and project $WORK directories will be<br />
copied to the new storage apparatus (and finally synchronized in a few days<br />
stop between the two steps);<br />
3) the data in $CINECA_SCRATCH will not be transferred, and new, empty<br />
scratch directories will be created. The old scratch areas will be accessible<br />
(in read-only mode) on the login nodes, so to allow users to copy all<br />
relevant data on the new storage or to archive it.<br />
 <br />
Additional information on the status of the operation will be regularly<br />
provided during the entire course of the operations. <br />
 <br />
Best regards,<br />
HPC User Support @ CINECA<br />
 </p>
<p> <br />
 </p>