ΑΞΙΟΛΟΓΗΣΗ ΜΙΑΣ ΕΠΙΣΤΗΜΟΝΙΚΗΣ ΕΡΓΑΣΙΑΣ ΑΠΟ ΚΡΙΤΕΣ (PEER REVIEW)-ΑΠΑΝΤΗΣΗ ΣΤΑ ΣΧΟΛΙΑ ΤΩΝ ΚΡΙΤΩΝ Ευάγγελος Λυμπερόπουλος Ι. ΑΞΙΟΛΟΓΗΣΗ ΜΙΑΣ ΕΠΙΣΤΗΜΟΝΙΚΗΣ ΕΡΓΑΣΙΑΣ ΑΠΟ ΚΡΙΤΕΣ (PEER REVIEW) 1. Διαδικασία της αξιολόγησης μιας επιστημονικής εργασίας (Refereeing process) Η αξιολόγηση μιας εργασίας από κριτές αποτελεί μια κορυφαία επιστημονική διαδικασία
που
εξασφαλίζει
την
ποιότητα
και
εγκυρότητα
των
δημοσιευόμενων άρθρων. Το κάθε περιοδικό αναθέτει σε 2-4 κριτές την αξιολόγηση της εργασίας και τους ζητάει να του υποδείξουν αν η συγκεκριμένη εργασία είναι κατάλληλη για δημοσίευση, καθώς και ποιες αλλαγές και βελτιώσεις πρέπει να γίνουν. Η διαδικασία της κρίσης μίας εργασίας φαίνεται στο σχήμα που ακολουθεί:
REFEREEING PROCESS Paper Editor-in-chief Sectional Editor Referees (2-4)
Rejection
Sectional Editor Authors Revised Paper Όταν υποβάλλουμε μία εργασία αυτή περιέρχεται στη γνώση του διευθυντή σύνταξης του περιοδικού (Editor-in-Chief). Αυτός μπορεί να κρίνει ότι το θέμα 1
της εργασίας δεν ενδιαφέρει το περιοδικό και να την απορρίψει εξαρχής. Στην περίπτωση αυτή λαμβάνουμε άμεσα μια απαντητική επιστολή που ευγενικά μάς λέει ότι η εργασία δεν έγινε δεκτή. Αν ο διευθυντής σύνταξης κρίνει ότι η εργασία έχει ενδιαφέρον για το περιοδικό τότε την προωθεί στον αρμόδιο για το θέμα συντάκτη (Sectional editor). Ο τελευταίος μεριμνά ώστε να βρεθούν 24 κατάλληλοι επιστήμονες να κρίνουν την εργασία. Η επιλογή των κριτών αποτελεί μία περίπλοκη διαδικασία στην οποία λαμβάνονται υπόψη και τα εξής: α) ποιους κριτές έχουν προτείνει οι ίδιοι οι συγγραφείς κατά την υποβολή της εργασίας, β) με ποιους κριτές έχει συνεργασθεί με επιτυχία στο παρελθόν το περιοδικό σε παρόμοιου ενδιαφέροντος θέματα, γ) ποιους ερευνητές σχετικούς με το θέμα θα αναδείξει μία έρευνα π.χ. του PubMed χρησιμοποιώντας τις λέξεις-κλειδιά του άρθρου (συνήθως προτιμώνται ο πρώτος ή ο υπεύθυνος για την αλληλογραφία συγγραφέας σχετικών δημοσιεύσεων) και δ) η αποδοχή της πρόσκλησης να αξιολογήσει το άρθρο ένας συγκεκριμένος κριτής. Γενικά οι κριτές είναι ερευνητές που δουλεύουν στο ίδιο επιστημονικό πεδίο με τους συγγραφείς. Μάλιστα όσο πιο περιορισμένο είναι αυτό το πεδίο τόσο πιο δύσκολη είναι η ανεύρεση κριτών. Οι κριτές δεν είναι καλύτεροι επιστήμονες από τους συγγραφείς αλλά θεωρούνται peers, δηλαδή συνάδελφοι της ίδιας επιστημονικής αξίας. Άλλωστε οι ρόλοι συγγραφέα-κριτή εναλλάσσονται περιοδικά. Η επιλογή ενός κριτή γίνεται με το σκεπτικό ότι αυτός ασχολείται σε βάθος με το συγκεκριμένο επιστημονικό πεδίο και μπορεί να συμβουλεύσει με ορθό τρόπο για την καταλληλότητα ή μη ενός άρθρου. Ο συνήθης χρόνος που δίνεται στους κριτές για την ολοκλήρωση της αξιολόγησης είναι 2 εβδομάδες. Τα περιοδικά είναι ιδιαίτερα απαιτητικά σε αυτό το θέμα δεδομένου ότι υπόσχονται ταχύ χρόνο κρίσης προκειμένου να προσελκύσουν σημαντικά άρθρα. Αν πλησιάζει η ημερομηνία λήξης της κρίσης ο κριτής λαμβάνει υπενθυμητικά μηνύματα με το ηλεκτρονικό ταχυδρομείο. Οι κριτές εκφέρουν τη γνώμη τους για το συγκεκριμένο άρθρο και μπορεί να συστήσουν: α) άμεση αποδοχή της εργασίας χωρίς διορθώσεις (εξαιρετικά σπάνια), β) αποδοχή της εργασίας μετά από ελάσσονος σημασίας διορθώσεις 2
(minor revision), γ) αποδοχή της εργασίας μετά από μείζονος σημασίας διορθώσεις (major revision) ή δ) άμεση απόρριψη της εργασίας. Αυτές οι κρίσεις φθάνουν στον υπεύθυνο συντάκτη, ο οποίος αφού τις λάβει υπόψη του και έχοντας διαμορφώσει και αυτός μία άποψη για το συγκεκριμένο άρθρο λαμβάνει την απόφασή του: είτε απορρίπτει αμέσως το άρθρο είτε το στέλνει πίσω στους συγγραφείς μαζί με τα σχόλια των κριτών για διορθώσεις. Αφού οι συγγραφείς απαντήσουν τότε είτε παίρνει μόνος του την απόφαση αν το άρθρο είναι πλέον αποδεκτό (ιδιαίτερα αν οι διορθώσεις που απαιτούνταν ήταν ελάσσονος σημασίας) είτε στέλνει το διορθωμένο άρθρο πίσω στους κριτές για να λάβουν αυτοί την τελική απόφασή τους. Στο τέλος, ο υπεύθυνος συντάκτης μαζί με τον διευθυντή της σύνταξης παίρνουν την τελική απόφαση για την τύχη του άρθρου με βάση τις απαντήσεις των συγγραφέων και τις προτάσεις των κριτών. Αξίζει να σημειωθεί ότι για προφανείς λόγους η ταυτότητα των κριτών παραμένει μυστική στους συγγραφείς. Ωστόσο, τελευταία ορισμένα περιοδικά έχουν αποφασίσει να κοινοποιούν τόσο την ταυτότητα, όσο και τα σχόλια των κριτών στους συγγραφείς αλλά και σε κάθε ενδιαφερόμενο διαμέσου του διαδικτύου. Στην περίπτωση αυτή το έργο των κριτών γίνεται ακόμη πιο δύσκολο για προφανείς λόγους. 2. Τι πρέπει να προσέξουμε αν μας ζητηθεί να κρίνουμε ένα άρθρο Η πρόσκληση να κρίνει ένα άρθρο αποτελεί μεγάλη τιμή για έναν επιστήμονα και συνήθως γίνεται αποδεκτή εφόσον εκτιμά ότι το θέμα της εργασίας είναι μέσα στο πεδίο με το οποίο ασχολείται και έχει διαθέσιμο χρόνο να κάνει την κρίση εντός του χρονικού διαστήματος που θέτει το περιοδικό. Σε περίπτωση που κρίνει ότι δεν μπορεί να ανταποκριθεί σε αυτές τις δύο απαιτήσεις είναι καλύτερα να αρνηθεί ευγενικά και αν είναι εφικτό να προτείνει κάποιον συνάδερφό του. Πρέπει να σημειωθεί ότι το να έχει κανείς χρηματίσει κριτής είναι ένα από τα πλέον σημαντικά στοιχεία του βιογραφικού σημειώματος και μάλιστα όσο σημαντικότερο είναι το περιοδικό τόσο μεγαλύτερη είναι η αξία αυτού του γεγονότος.
3
Ένα απαραίτητο στοιχείο ενός κριτή είναι η εχεμύθεια. Ο κριτής αποδέχεται αυτό το ρόλο με την προϋπόθεση ότι δεν θα αποκαλύψει σε κανένα το περιεχόμενο του άρθρου κατά τη διαδικασία της κρίσης. Υπάρχουν παραδείγματα κριτών που αποκάλυψαν σε φαρμακευτικές εταιρείες το περιεχόμενο δυσμενών προς αυτές άρθρων και οι οποίοι καταδικάσθηκαν από τη διεθνή επιστημονική κοινότητα. Επιπρόσθετα, ο κριτής πρέπει να είναι αντικειμενικός στο δυνατότερο δυνατό βαθμό. Εάν αισθάνεται ότι τίθεται θέμα σύγκρουσης συμφερόντων εξαιτίας π.χ. ανταγωνισμού στο ίδιο επιστημονικό πεδίο ή για οικονομικούς λόγους τότε πρέπει να αρνηθεί να προβεί στη συγκεκριμένη κρίση. Ορισμένα περιοδικά ζητούν πλέον δήλωση σύγκρουσης συμφερόντων (conflicts of interest) από τους κριτές παρόμοια με αυτήν που υπογράφουν οι συγγραφείς. Ο κριτής δεν πρέπει να επηρεάζεται από τα ονόματα των συγγραφέων ούτε από το κέντρο και τη χώρα προέλευσης της εργασίας. Μάλιστα για αυτό το λόγο πολλά περιοδικά αποκρύπτουν αυτά τα στοιχεία από τους κριτές προκειμένου να εξασφαλίσουν μια όσο το δυνατό πιο αμερόληπτη εκτίμηση. Σε αυτό το σημείο αξίζει να σημειωθεί ότι ο κριτής οφείλει να είναι απόλυτα αντικειμενικός ανεξάρτητα για το εάν πρόκειται για κάποιο «φίλο» ή «εχθρό» συγγραφέα. Άλλωστε όταν ο κριτής κάνει ευνοϊκή πρόταση για ένα άρθρο πρέπει να έχει υπόψη του ότι χρεώνεται όλη την ευθύνη αυτής της πρότασης. Αυτό σημαίνει ότι αν διαπιστωθούν μείζονα σφάλματα σε μια δημοσίευση εκ των υστέρων θα αναζητηθούν και ευθύνες από τους κριτές. Τέλος, υπάρχει διάχυτη η εντύπωση ότι αν κάποιος είναι κριτής για ένα περιοδικό τότε μπορεί εύκολα να δημοσιεύει σε αυτό το περιοδικό. Αυτό δεν είναι γενικά σωστό. Αν οι κριτές που θα αξιολογήσουν το άρθρο είναι αρνητικοί τότε και η στάση του περιοδικού θα είναι απορριπτική. Ενδεχόμενα σε ορισμένες οριακές περιπτώσεις να κλίνει η πλάστιγγα υπέρ της αποδοχής του άρθρου εφόσον ο συγγραφέας είναι γνωστός και αξιόπιστος κριτής για το περιοδικό. Ο κριτής πρέπει να διαβάσει προσεκτικά όλο το άρθρο και να ανασκοπήσει τη σχετική βιβλιογραφία. Στη συνέχεια πρέπει να απαντήσει στις ακόλουθες ερωτήσεις:
4
1) Τίτλος: Είναι ο τίτλος πλήρης, αντικειμενικός και κατατοπιστικός; Ανταποκρίνεται με σαφήνεια στο περιεχόμενο ή/και τα συμπεράσματα του κειμένου; 2) Περίληψη: Η περίληψη αποτελεί ίσως το σημαντικότερο κομμάτι ενός άρθρου δεδομένου ότι πολλοί αναγνώστες θα διαβάσουν μόνο αυτήν και όχι όλο το κείμενο. Η περίληψη πρέπει να περιγράφει σύντομα και με ακρίβεια το σκεπτικό της μελέτης, τον πληθυσμό, τις μεθόδους, τα αποτελέσματα, τους περιορισμούς και τα συμπεράσματα. Αν πρόκειται για μελέτη φαρμάκου πρέπει να δίνεται έμφαση όχι μόνο στην αποτελεσματικότητα αλλά και στην ασφάλεια. 3) Εισαγωγή: Πρέπει με συντομία να περιγράφει την υπάρχουσα γνώση και την ανάγκη να γίνει η παρούσα μελέτη. Ο σκοπός της μελέτης πρέπει να διατυπώνεται με σαφήνεια. 4) Ασθενείς και μέθοδοι: Πρέπει με ακρίβεια να περιγράφεται ο πληθυσμός της μελέτης, η διαδικασία επιλογής του, καθώς και οι εργαστηριακές εξετάσεις που έγιναν. Έχει άδεια η μελέτη από το επιστημονικό συμβούλιο του ιδρύματος; Έδωσαν οι ασθενείς τη γραπτή τους συγκατάθεση για τη συμμετοχή στη μελέτη; Είναι η στατιστική ανάλυση που ακολουθήθηκε σωστή; Έγιναν υπολογισμοί για το αριθμητικό μέγεθος του δείγματος που απαιτείται; Αν πρόκειται για παρεμβατική μελέτη είναι καταχωρημένη σε κάποια βάση δεδομένων (π.χ. clinicaltrials.gov); 5) Αποτελέσματα: Είναι σωστή η παρουσίαση των αποτελεσμάτων; Υπάρχουν παραστατικοί πίνακες και γραφήματα; Υπάρχει σημαντική αλληλεπικάλυψη μεταξύ κειμένου και πινάκων ή γραφημάτων; 6) Συζήτηση: Είναι η συζήτηση των αποτελεσμάτων πλήρης και ολόπλευρη; Χρησιμοποιείται όλη η διαθέσιμη και σύγχρονη βιβλιογραφία για αυτό το σκοπό; Αναγνωρίζονται οι περιορισμοί της μελέτης; Προτείνονται ιδέες για μελλοντική
έρευνα;
Προτείνονται
εναλλακτικοί
τρόποι
ερμηνείας
των
αποτελεσμάτων; Είναι ισορροπημένη η συζήτηση ή υπερτονίζει τη σημασία των αποτελεσμάτων; 5
7) Συμπεράσματα: Δικαιολογούνται τα συμπεράσματα από τα αποτελέσματα και τη συζήτηση; 8) Βιβλιογραφίες: Συμφωνούν με το στυλ του περιοδικού; Είναι οι πλέον πρόσφατες πάνω στο θέμα; 9) Πίνακες και γραφήματα: Είναι σαφή και κατανοητά; Δίνονται οι κατάλληλοι τίτλοι και επεξηγήσεις; 10) Γενικά: Είναι σωστή η χρήση της γλώσσας (αγγλικής); Γίνεται επεξήγηση των συντομογραφιών όταν εμφανίζονται για πρώτη φορά στο κείμενο; Υπάρχει υποψία ότι το κείμενο έχει γραφεί όχι από τους συγγραφείς αλλά από επαγγελματίες που αναλαμβάνουν τη συγγραφή άρθρων συνήθως για λογαριασμό κάποιας εταιρείας (ghost writing); Συνήθως ο κριτής καλείται να γράψει και μία ξεχωριστή παράγραφο που απευθύνεται μόνο στους εκδότες του περιοδικού και δεν κοινοποιείται ποτέ στους συγγραφείς. Εκεί ο κριτής αισθάνεται πιο ελεύθερος να πει τη γνώμη του για το άρθρο. Ωστόσο, η εμπιστευτική γνώμη που θα διατυπώσει πρέπει να συμφωνεί με αυτή που διατυπώνεται και στα σχόλια προς τους συγγραφείς. Παρακάτω δίνεται ένα παράδειγμα κρίσης για ένα άρθρο: MS#:
First author:
MS title: Reviewer:
E. N. Liberopoulos
Date:
28 MAR 2007
Reviewer’s Overall Recommendation: (double click box and select Default value > Checked) Accept (after minor editorial changes)
X Consider for acceptance
after minor revision Reconsider after major revision
Reject outright 6
Comments for the Editors This is a well-written paper on the safety and efficacy of adding prolongedrelease nicotinic acid in statin-treated patients. Although not placebo controlled, this study has the advantage of testing such a combination therapy in ‘real’ clinical practice. Some issues (please see comments for the Authors) should be addressed by the authors before accepting the manuscript for publication. Comments for the Authors Overall/General Comments: This is a well-written paper on the safety and efficacy of adding prolongedrelease nicotinic acid in statin-treated patients. Although not placebo controlled, this study has the advantage of testing such a combination therapy in ‘real’ clinical practice. Major Comments 1. Authors state in the Abstract that one of the secondary endpoints was changes in 10-year cardiovascular risk using the PROCAM score. However, I could not find any analysis on this endpoint in the main text. 2. Abstract/Results: Authors state that ‘flushing occurred in 132 (out of 1053) patients (40.1%)’: this is certainly not 40.1%! In the main text (page 8; line 1 of the 3rd paragraph) it is stated that ‘flushing was reported by 40.1% of patients’. Therefore, it seems that the number ‘132’ in the Abstract is incorrect. 3. Changes in LDL cholesterol should also be reported in the Abstract. 4. Page 4; last paragraph: Authors state that prolonged-release nicotinic acid was administered once daily at bedtime. However, 2 lines below they write that this medication was given at ‘2-times daily dosages of 500 mg from Weeks 4 to 7’. Was prolonged-release nicotinic acid administered once or twice daily?
7
5. Page 5; 1st paragraph: Authors state that ‘Less than one-third of the patients received aspirin for flush prophylaxis’: At what dose and when was aspirin administered to these patients? How were patients selected to be given aspirin? Was there any difference in flushing incidence between those who took aspirin and those who did not? Provided that the study population consisted of high cardiovascular risk individuals, it is rather surprising that less than one-third of patients were receiving aspirin. 6. Page 6; line 3 of the 2nd paragraph: What exactly do the authors mean by saying ‘at baseline’: is it before prolonged-release nicotinic acid initiation (but already on statin treatment) or even before statin initiation? 7. Page 6; Medical ethics: I am quite surprised by the author statement that ‘This was an observational, non-interventional study, which required neither approval by local institutional review boards nor written informed consent by patients’. Nowadays local institutional ethic approval and patient informed consent are required for prospective studies, even for observational ones. Minor Comments 1. Abbreviations should be defined when first used within the text (AIM-HIGH, HPS2, NSAIDs, HbA1C, NAUTILUS) as well as in figures and the footnotes of tables (LDL, HDL). 2. Authors should provide some details on the ongoing studies they refer to in the Introduction (AIM-HIGH and HPS2). ΙΙ. ΠΩΣ ΑΠΑΝΤΑΜΕ ΣΤΑ ΣΧΟΛΙΑ ΤΩΝ ΚΡΙΤΩΝ Η απάντηση στα σχόλια των κριτών του άρθρου μας είναι καθοριστικής σημασίας για το αν αυτό θα γίνει ή όχι αποδεκτό. Επομένως οι απαντήσεις πρέπει να δίνονται με εξαιρετική προσοχή. Ορισμένες χρήσιμες αρχές είναι οι παρακάτω: 1. Ποτέ δεν πρέπει να θεωρείται δεδομένη η αποδοχή της εργασίας όσο και ευνοϊκές να είναι οι κρίσεις αν δεν απαντήσουμε σωστά σε όλα τα ερωτήματα που τέθηκαν. 8
2. Όλα τα ερωτήματα πρέπει να απαντηθούν. Στις περισσότερες περιπτώσεις πρέπει να συμμορφωνόμαστε με τις παρατηρήσεις των κριτών. Μόνες εξαιρέσεις είναι όταν εμφανώς οι κριτές κάνουν λάθος ή όταν οι γνώμες των κριτών διίστανται πάνω σε ένα συγκεκριμένο θέμα. Σε ορισμένες περιπτώσεις έχουμε το δικαίωμα της αιτιολογημένης διαφωνίας ή αδυναμίας απάντησης στις προτάσεις των κριτών. 3. Όλες οι αλλαγές που κάναμε μέσα στο κείμενο πρέπει να είναι υπογραμμισμένες. Παρακάτω φαίνεται ένα παράδειγμα: HF patients than in controls, suggesting a role of adhesion molecules in this setting. This may significantly contribute to the structural deterioration seen in HF, which may be the basis of reduced cardiac function [48]. Statins may decrease the production of TNFa, IL-1, and IL-6 from macrophages and may also inhibit monocyte endothelial cell interactions in the failing myocardium [49-52]. Moreover, statins reduce CRP concentration, which is increased and associated with poorer prognosis in HF patients [49]. Indeed, a significant (p<0.002) reduction in CRP levels following atorvastatin administration in HF patients was noticed in one study [49]. However it is not clear whether CRP is merely a marker of inflammation with no particular role in the development of cardiac disease or directly modulates the disease process [49]. 4. Όλες οι απαντήσεις πρέπει να δίνονται μέσα σε μία προσεγμένη και εξαιρετικά ευγενική απαντητική αποστολή όπου τα σχόλια των κριτών θα απαντώνται ένα προς ένα και με παραπομπές μέσα στο κείμενο. Ακολουθεί ένα παράδειγμα: To the Editorial Office of the …
Dear Editor-in-Chief,
9
Please find attached our manuscript entitled “…” revised according to the reviewers’ comments. All changes are highlighted in yellow in the revised text. At this point we would like to thank the reviewers for their constructive comments.
Specifically:
Comments and replies:
Reviewer #1:
Comment 1: My only major concern is the standard population used in the analysis. The authors used the Greek population in 1961. Using this population, however, limits considerably the comparability of their results with studies conducted in other countries. Therefore, I strongly recommend that they repeat their figures using the European standard population. I imagine that the changes will not be major, but still it will increase the value of the paper to other researchers.
Reply 1: We recalculated all mortality and hospitalization rates using the European standard population. There were slight changes in the joinpoint models, especially in the earlier years, but the overall pattern and the resulting conclusions remain unchanged (page 7; line 3. All numbers, figures and tables have been changed accordingly).
Comment 2: Title: The paper does not cover cause-specific mortality but CVD and total mortality. I recommend changing the title to 'Diverging trend in CVD mortality and morbidity in a low risk population, Greece 1956-2005'. Including the country and period in the title provides valuable information. 10
Reply 2: We have changed the title (page 1; lines 3-7). …. We do hope that the revised manuscript now meets your requirements.
Yours sincerely, 5. Χρειάζεται προσοχή γιατί ορισμένες φορές αυτή η απαντητική αποστολή δεν φτάνει ποτέ στα χέρια των κριτών. Αντίθετα, οι κριτές λαμβάνουν το αναθεωρημένο κείμενο και καλούνται μόνοι τους να δουν αν έχουν απαντηθεί τα ερωτήματά τους. Έτσι, δεν έχουμε τη ευκαιρία σε αυτές τις περιπτώσεις της αιτιολογημένης διαφωνίας ή αδυναμίας και τα πράγματα γίνονται ακόμη πιο δύσκολα. Για αυτό το λόγο είναι σημαντικό μέσα στο κείμενο να υπάρχει πάντα κάποια απάντηση στα ζητήματα που έχουν εγείρει οι κριτές. 6. Τέλος, καλό είναι να λαμβάνουμε υπόψη τις παρατηρήσεις των κριτών ακόμη και αν εξαρχής απορρίφθηκε το άρθρο μας για δύο λόγους: α) ο κριτής πολύ πιθανό έχει δίκιο στα σχόλιά του και β) είναι πιθανό να πέσουμε πάλι στον ίδιο κριτή στο επόμενο περιοδικό που θα στείλουμε το άρθρο και ο οποίος δεν θα εκτιμήσει ιδιαίτερα το γεγονός ότι δεν λάβαμε υπόψη τις παρατηρήσεις του.
11
REFEREE COMMENTS ¾Απαντάμε σε ΟΛΑ τα σχόλια των κριτών ακόμη και αν το άρθρο απορρίφθηκε ¾Προσπαθούμε να συμμορφωθούμε με ό,τι προτείνουν οι κριτές. Ωστόσο, έχουμε το δικαίωμα αιτιολογημένης διαφωνίας ¾Προσοχή γιατί μερικές φορές οι κριτές δεν παίρνουν την απαντητική επιστολή μας
12