19

CERN ST/DI/SP (99-16) 3 février 1999

Compte rendu de la réunion du

COMITE TECHNIQUE ST (STTC) n° 19

du lundi 15 février à 15 heures

Présents : J.L. Baldy - M. Bätz - D. Blanc - E. Cennini - P. Chevret - P. Ciriani - H. Laeger - P. Ninin - M. Nonis - R. Parker - J. Pedersen - R. Principe - S. Prodon - J. Roche - E. Sanchez-Corral - A. Scaramelli - L. Scibile - M. Wilhelmsson

Excusés : R. Bellone - A. Calderone - R. Charavay - K. Foraz - J. Inigo-Golfin - G. Kowalik - R. Nunes - B. Pirollet - W. Van Cauter - T. Watson

Invités : A. Alvarez - I. Bejar Alonso - S. Poulsen - N. Schionnemann - A. Swift - J. Talsi

1. Approbation du compte rendu n° 18

Le compte rendu n° 18 est approuvé.

2. Matters arising from the last meeting

R.A.S.

3. Opération (N. Schionnemann)

N. Schionemann details the major event of the TCR between 09/11/98 and 15/02/99:

Week 4 (22/01): Pollution of the river

Pollution from BA2 discovered by the firemen (high pH level in reject water).
Inigo-Golfin went to BA2 .
SPS loop is stopped and reject water is led straight into the gutter.

must

quickly

Week 4 (23/01): Power cut Meyrin

General power cut safety network Meyrin.
Diesels stopped.
Building 513 down with no supply.
Problem with equilibrium charge.
R.Cumer is investigating.

Week 6 (04/02): Control problem SIG transformers

CERN is only supplied by SIG.
Low voltage ~17,3 kV.
Faults on pumping station 3-4 and turbo compressors north zone. Several UPS’s at LEP in fault state.
Contact SIG who raises the voltage on the transformers.

4. Point sur les groupes d'intérêt technologique

PLC standard CERN (D. Blanc)

Le champ d'application de ce groupe d'intérêt technologique comprend :

les automates programmables et la conception modulaire,
les réseaux de communication “ de terrain”,
la supervision locale et l’intégration ( réseaux CERN, TCR).

Les objectifs principaux sont de concevoir et mettre en place une architecture et une méthodologie. Il faut organiser l’architecture de contrôle de manière à se donner les moyens d’atteindre nos objectifs. L’architecture doit être souple et capable de suivre les évolutions techniques. Il faut penser à l’amélioration des performances. On parle de conception, d’optimisation et de rationalisation.

La réflexion se concentrera sur 3 points clés :

Accentuer l’effort de cohérence et d’homogénéité dans les architectures de contrôle : établir un (des) modèle(s) de référence.
Il n’y a pas de processus marginaux : les solutions doivent intégrer le modèle de référence, la complexité ne doit pas induire la complication.
Ne pas proposer des solutions pour adapter aux cas par cas : la vision doit être globale.

Quelques règles de base sont rappelées :

Les standards.
Prendre en compte les recommandations des “Working Group”.
Interface(s) commun(s) pour le développement des applications.
Sortir des solutions compatibles pour des solutions INTEGREES.
Utiliser les techniques nouvelles pour rationaliser les architectures.

Tous les besoins doivent être intégrés :

Processus complexes et variés.
Prendre en compte la disposition géographique.
Accroître et renforcer la maîtrise des processus au niveau local.
Permettre l’ intégration dans l’environnement CERN.

D. Blanc détaille ensuite le rôle du groupe d'intérêt technologique :

Organiser les relations “inter-groupes”entre les responsables techniques .
Regrouper les activités communes, rassembler les connaissances, partager l’expérience.
Renforcer l’esprit de participation et susciter la créativité.
Pivot dans la (les) prises de décision pour les choix technologiques.
Offrir à notre hiérarchie (autres divisions) une vison claire et parfaitement cohérente de notre environnement.

The mandate for the PLC's Technology Working Group is the following one :
The objective of the PLC’s Technology working Group is to diffuse information and provide reliable technical solutions for the design of Industrial Process Control systems in view to define standard ST solutions. This is done throughout the use of Programmable Logic Controllers (PLC’s) considering the programming environment as well as Fieldbuses and Ethernet network communication.

These solutions should take into account :

ST division large technical infrastructure,
the diversity of equipment and processes,
the forthcoming large projects,
CERN recommendation on fieldbuses and PLC’s,
software and hardware support,
maintenance costs in term of spare parts.

The WG is the appropriate place where expertise can be shared and common libraries and spares organised.

Schedule:

Interim report : end of June 1999
Final report : end of September 1999

Members

Sponsor : P.Ciriani
Convener : D. Blanc
Members : G. Burdet, T. Riesco, M. Trebulle, E. Lienard, D. Raffourt, L. Scibile. Nobody from TFM group seems to be interested.

The supervision systems and their evolution (S. Poulsen)

The composition of the working group is following one:

ST-AA : Louis Hammouti, Tono Riesco, Luigi Scibile
ST-EL : Søren Poulsen
ST-MO : Pierre Ninin, Carlos Mansilla Cuervo, Peter Sollander

CV and TFM representatives are needed.

S. Poulsen presents then the mandate of the technology interest group:

Document knowledge

Projects
Competence and knowledge

Exchange experience internally in TIG

Tools
Architectures
Methods

Distribute knowledge internally in division

New projects advice
Decide new directions and policies for evolution (?)
Reduce diversification in tools, methods, etc. (?)

Many subjects will be discussed:

Tools

Rtworks, LabView, etc.

Architectures

Modularity, scalability, middleware

Databases

Tools, standards

Methods

CERN development vs. industrial outsourcing.

Integration

Industrial systems integration
CERN systems integration

The working group activities will be:

Internal project presentations

Purpose to document experience, technology, method, competence, etc.

Joint project review

Assist in project review within division

External product presentations

Identify common interests and organize presentation

S. Poulsen give then information on deliverables:

Project Map

Purpose: Document (aspects of) existing supervision projects
Audience: ST-Technical Committee, Anybody else looking for a general overview of the existing projects
Describe

Domain
User
Size
Budget and planning
Architecture and technologies
Developers

Deadline

Summer 99

Competence Map

Purpose: Document TIG and its members
Audience ST-Technical Committee, Anybody else looking for advice for new project, assistance with project reviews, etc.
Describe
Relation to projects (refer to previous)
Experience with or knowledge about methods, products, architectures, etc.

The following media will be used:

ST Technical Committee status report
WWW

A TIG homepage

Other ideas ?

TCR Alarms (M. Bätz & A. Alvarez)

M. Bätz presents the technology interest group members and their field of activities:

Alarm Acceptance: C. Mansilla, E. Lienard, R. Martini, M. Trebulle
WISCON: D. Blanc, V. Camara, P. Sollander
ENS: S. Poulsen, U. Norup, J.-P. Hernandez, J.-C. Gallois
EREM: Project Team
VACUUM: I. Laugier, F. Havart

The objectives of the working group are to:

create a procedure for new alarms,
coordinate projects.

A. Alvarez présente ensuite quelques statistiques sur les alarmes recencées par la TCR en janvier 99.
50'000 alarmes ont été répertoriées au total sur les 4 consoles soit 1,137 par minute ce qui laisse à l'opérateur 53 secondes pour réagir.

Les moyens de communication sont variés :

téléphone,
fax,
Web,
E-Mail

Les opérateurs doivent également mener des tâches d'opération (EJP, IS37, dépannages ....).

Le nombre d'alarmes est manifestement trop élevé, d'autant plus que 95% d'entre elles sont fausses.

D. Blanc reconnaît que les vieilles installations (ex : eau déminéralisée du SPS) sont sources de nombreuses alarmes. Seule l'amélioration du processus local permettra de diminuer le nombre d'alarmes en salle de contrôle.
J. Pedersen explique qu'une coupure électrique haute entraîne des alarmes en chaîne. Il convient alors de faire le tri entre celles qui sont importantes et celles qui ne le sont pas. Mais il est indispensable de garder une trace de chacune de ces alarmes pour l'analyse de l'incident.

A. Scaramelli estime qu'il faudrait aboutir à une seule alarme par équipement. Cette rationalisation des alarmes ne peut être effectuée que par le spécialiste du groupe. Il faut également se demander, pour chaque équipement, si la supervision en TCR est nécessaire.
Une coopération avec les groupes d'équipement pour les nouveaux projets n'est pas suffisante. Il convient également de rationaliser la situation actuelle.
A. Scaramelli suggère de mettre en place un comité qui sera chargé de définir pour la fin de l'année la liste des alarmes qui seront générées en TCR. Les groupes d'équipement qui n'auraient pas proposé une diminution drastique du nombre d'alarmes générées verront toutes leurs alarmes coupées à la fin de l'année.

P. Chevret demande que la TCR communique aux groupes d'équipement des listings des alarmes qu'ils ont générés.

J.L. Baldy souhaite qu'une coordination des alarmes pour le LHC se mette en place rapidement. La TCR attend aussi un retour des expériences sur leurs besoins.

Quality Assurance Plans, associated procedures and CAMMS (I. Bejar Alonso)

The Technology Interest Groups (GIT) want to be a forum where different persons interested in a field can share ideas, opinions and expose their work.
The participation to these groups is in a voluntary basis

The objectives of the working group are to debate the work and the ideas of other persons working in the same field to:

Apply their knowledge to your group.
Create together new strategies or ways to resolve common problems.
Obtain help to resolve specific problems of your group.

I. Bejar Alonso gives the list of the participants: Alvarez Alvaro, Annila Leena, Batz Mario, Bejar Isabel, Boffard Michel, Di Luca Serge, Grillo Fabio, Guthapfel Claude, Jacot Claude, Jacquemyns Yvan, Nonis Mauro, Nunes Rui, Osborne John, Sanchez-Corral Eva, Scalisi Charles, Scibile Luigi, Talsi Jonni.
Nobody from EL group expressed his interest for this working group.

A questionnary has been sent to all the participants to discover their field of interest. Those subjects will be then classified and the technology interest group will focus on few of them.

Meetings should take place every 3 weeks.

I. Bejar Alonso precises in a word that all that information can be found on the quality technology interest group Web page.

5. Politique sur l'emplacement SCADA-TCR (P. Ninin)

P. Ninin fait part de ses deux objectifs pour la TCR :

Assurer la fiabilité des équipements en TCR.
Fiabiliser au maximum la structure de la TCR et centraliser les responsabilités dans la zone TCR.

P. Ninin wonders if the TCR is a reliable operation center.

The main issues are:

TCR must be a reliable operation center
Obsolete cooling and ventilation systems
Hosts several new systems

SCADA, servers

Correlated aspects need consolidation

Power distribution, emergency stops
Building safety, access Control

P. Ninin reminds the basics of a control room design:

Location

Distant from process (30m min)

Construction

Non combustible, Blast resistant,
Windowless (0.2 bar) or protected,
Fire & gas detection, extinguishing,
Pressurized

The control system includes:

failsafe power supply,
emergency stop,
servers, networks,
ventilation.

He details then the TCR cooling and ventilation system:

Building 212 Cooling/heating system (1967)

3 rooms: TCR, Aquarium, Relay-room
No longer maintainable, corroded condenser

20 servers in Aquarium (AL3,TCR,TIS…)

Can no longer cool the equipment (25 kW)
No independent cooling

More computers to be installed

ST/EL (ENS), SL/CO, ST/CV, …

TFM solution to solve this problem is:

Solutions adapted to room functionality

Equipment in relay room and Aquarium
People in TCR

300 KCHF for complete renovation

Heating, cooling, ceiling, light
Which consolidation budget code ?

P. Ninin concludes that:

Urgent action required for cooling & ventilation
Opportunity to check other aspects (project)

Fire/gas detection,
Power distribution, emergency stops,
Access control,
Building itself (blast, cable fire propagation...)

TCR shall be designed and maintained as a reliable operation center !

Une autre idée est lancée : installer un superviseur électrique au 1er étage du bâtiment 54.
A. Swift explique pourquoi il serait judicieux d'installer un serveur SCADA au bâtiment 54 :

autonomie du serveur,
installation du contrôle inviolable,
installation parfaite au niveau électrique,
indépendance maximum par rapport aux liaisons informatiques.

Le concept d'un serveur automome remporte l'adhésion mais la localisation est discutée. P. Ciraini propose de l'installer dans l'ancien local batterie de la salle de relayage, au bâtiment 212, avec bien entendu des systèmes indépendants de la TCR.
Cette solution présente deux avantages majeurs :

toutes les installations de contrôle centralisées au même endroit,
possibilité de redémarrage du serveur par la TCR.

Compte tenu de ces deux propositions, un groupe de travail avec des représentants CV et EL (G. Cumer pour l'arrêt d'urgence) doit se mettre en place pour réaliser une étude de faisabilité. Il s'agira en électricité par exemple de déterminer si un ou deux UPS sont coupés ou non par l'arrêt d'urgence.
Le coordinateur de ce projet est G. Kowalik et l'utilisateur P. Ninin. Le groupe de travail dispose d'un mois pour établir une estimation et un planning des travaux.

6. Quality indicators (J. Talsi)

J. Talsi introduces himself. He is an engineer in CV operation section and also the CV and TFM quality coordinator for Gematec contract. As quality manager, his basic mission is to implement a performance evaluation system. Quality indicators have now been defined and J. Talsi will present today the first trends. He precises that all the figures are unofficial (not approved by Gematec and coming only from CV group).

J. Talsi reminds that bonus/malus factor is based on quality indicators evolution. He shows some graphics illustrating the evolution of maintenance activities between 97 and 98:

corrective maintenance is stable,
preventive maintenance is increasing (from 34% to 46% of the tasks performed by Gematec),
the item "others" has disappeared in 98. In fact, it mainly contained in 97 interventions for LEP that had not been assigned. In 98, they have been split between the other categories.

He details then more precisely the calculation process of the bonus/malus factor. Evolution of quality indicators between 97 and 98 has been the following:

Unavailability of equipment: stable.
Breakdowns: stable.
Planified operation really made: this indicator is based on samples, which can't be performed afterwards. Thus comparison between 97 and 98 can't be made.
Breakdowns in the same equipment: this indicator is decreasing meaning that more breakdowns have occurred on the same equipment.
Respect of the planning: indicator not calculated.
Corrective hours (checked by samples): this indicator is lightly increasing.
Satisfaction rate: indicator not calculated.

J. Talsi explains the difference between non-respect of the planning (e.g. 7 hours instead of 5) and planified operation to be made (tasks to be done). Those 2 indicators are of course linked together.

Satisfaction rate is the most subjective item. It should be motivated by a concrete information concerning the running of the contract. An agreement has been reached with the firm on the principle of a satisfaction criteria. But the real questionnaire should still to be prepared and approved by Gematec.

As a result of this analysis the provisory unofficial bonus/malus factor for Gematec is 0,99.

J.L. Baldy asks for some precisions about financial consequences of this bonus/malus factor. In fact, it is included in the remuneration formula of the contract: a bonus or malus percentage will be applied on the estimates (E value) of the remuneration formula.

Implementation of quality indicators comprise in addition other advantages:

Internal: to oblige people to know what happens with the contract.
External: to oblige the contractor not to be sufficient.

Similar policy has been implemented in the fire detection contract, with the intervention of the fire brigade as indicator. But interventions are not always related to the contract ....That implies many discussions to define if the firm is responsible for fire brigade intervention.
CV group faced the same problem and solved it with the identification of 2 types of breakdowns:

DI: breakdowns from which Gematec is responsible,
DX: breakdowns from an external reason.

The separation between DI and DX is done by Gematec staff and then checked by the equipment responsible.

A. Scaramelli concludes that the two main advantages of the quality indicators system are:

control of the contract,
first step of quality process.

7. Divers

Sujet pour la prochaine réunion

A. Scaramelli souhaite que E. Sanchez-Corral fasse le point sur les préparatifs du "bug an 2000" lors de la prochaine réunion STTC.

Projet Neutron

E. Cennini annonce que l'approbation officielle du projet est prévue pour le 30/03, et le déblocage du financement en Mai.
Certaines nouvelles simulations font apparaître la nécessité d'un espace supplémentaire de 8 m derrière le détecteur.
En ce qui concerne le groupe CV, les discussions en matière de cooling sont prévues pour demain.
Au niveau du groupe AA, la situation est bloquée par la fourniture de beam stoppers. La fabrication doit être lancée au plus vite, dès que le financement sera confirmé.

Projet ELFE

Ce projet n'est pas encore assez avancé pour impliquer les groupes CV et EL.
De nouveaux paramètres seront transmis début mars à J.L. Baldy, qui répercutera l'information aux groupes concernés.
J.L. Baldy rappelle que la question du manpower nécessaire pour mener ces études avant l'approbation du projet est loin d'être négligeable.

Prochaine réunion le 8 mars 1999 à 15h

Sylvie Prodon

Les transparents sont disponibles sur demande auprès de S. Prodon (Tel : 72516)

Back to STTC Meetings Archives Home page.

Comments and suggestions to ST Secretariat - Sylvie Prodon 09/04/99