Adequacy of risk of bias assessment in surgical vs non-surgical trials in Cochrane reviews

Uvod: Procjena valjanosti RCT-ova uključenih u Cochraneove sustavne preglede temelji se na alatu koji se naziva Cochraneov alat za procjenu rizika od pristranosti. Ranijim je istraživanjima uočeno da Cochraneovi autori često rade pogreške u procjeni rizika od pristranosti (engl. risk of bias, RoB) u objavljenim Cochraneovim sustavnim pregledima. Cilj: Glavni cilj ove disertacije bio je analizirati učestalost različitih procjena RoB kroz prve četiri domene Cochraneovog RoB iz 2011. u RCT-ovima s intervencijama kirurškog tipa. Drugi glavni cilj je analiza podudarnosti procjena Cochraneovih autora s našim procjenama RoB u RCT-ovima s intervencijama kirurškog tipa kroz ove četiri odabrane domene koje su jasnije definirane u Cochraneovom priručniku. Sporedni cilj je analiza i usporedba učestalosti procjena RoB od strane Cochraneovih autora, a i naših procjena RoB između RCT-ova s kirurškim intervencijama i onih s ne-kirurškim intervencijama. Još jedan sporedni cilj je bilo otkrivanje mogućih generaliziranih pogreški u procesima procjene. Metode: Analizirane su metode Cochraneovih sustavnih pregleda koji su uključili randomizirane kontrolirane pokuse, i koji su objavljeni 2015-2016. godine. Analizirani su podatci iz RoB tablica u Cochraneovim pregledima (RoB procjene i prateći komentari s objašnjenjima) za prve četiri RoB domene iz Cochraneova RoB alata iz 2011. godine: generiranje nasumičnog redoslijeda, prikrivanje razvrstavanja, zasljepljivanje ispitanika i osoblja, i zasljepljivanje osoba koje bilježe ishode. Odgovarajuće procjene definirane su kao one koje su u skladu s uputama iz Cochraneova priručnika za sustavne preglede intervencija. Učestalost prikladnih procjena uspoređivana je u kirurškim i ne-kirurškim istraživanjima te za po pojedinim domenama RoB procjene. Rezultati: Usporedba RoB procjena za kliničke pokuse uključene u Cochraneove sustavne preglede koji su analizirali kirurške i ne-kirurške intervencije pokazala je kako se učestalost prikladnih procjena RoB-a koje su donosili autori Cochrane kretala od 87,9, 95% CI (87,3 do 88,6%) za randomizaciju do 70,7, 95% CI (69,8 do 71,5%) za zasljepljivanje ispitanika i osoblja. Za sve analizirane RoB domene, učestalost prikladnih procjena RoB domena bila je veća u kirurškim pokusima nego u ne-kirurškim pokusima. Za dvije RoB domene koje procjenjuju zasljepljivanje, razlika između kirurških i ne-kirurških istraživanja bila je statistički značajna (P <0,001), dok razlika nije bila značajna za RoB domenu s obzirom na randomizaciju (P = 0,124) i prikrivanje razvrstavanja (P = 0,039, β <0,8). U analiziranim Cochraneovim sustavnim pregledima učestalost neprikladnih procjena u analizirane prve četiri RoB domene bila je vrlo visoka. Postotak procjena Cochraneovih autora koje nisu bile u skladu s Cochraneovim priručnikom za izradu sustavnih pregleda u pokusima uključenim u analizirane Cochraneove sustavne preglede bio je 12% za domenu o generiranju nasumičnog redoslijeda, 29% za domenu o razvrstavanju ispitanika, 26% za domenu zasljepljivanja ispitanika i osoblja te 22% za domenu o zasljepljivanju osoba koje bilježe ishode. Zaključak: Procjene rizika od pristranosti bile su češće u skladu s uputama iz Cochraneova priručnika kada su Cochraneovi sustavni pregledi analizirali kirurške intervencije, u usporedbi s onima koji su analizirali ne-kirurške intervencije. Međutim, mnoge procjene RoB-a u Cochraneovim pregledima i kirurških i ne-kirurških istraživanja nisu u skladu s Cochraneovim priručnikom; stoga su potrebni daljnji koraci za detaljnu provjeru i poboljšanje procjene RoB-a u sustavnim pregledima o intervencijama.Background: Risk of bias (RoB) assessment is the crucial part of systematic review methodology. Bias in randomized controlled trials (RCTs) can lead to underestimating or overestimating interventions' actual effects. RCTs of surgical interventions may suffer from RoB that is avoidable in trials of other interventions, and vice versa. Aim: This doctoral thesis aimed to compare RoB assessments' adequacy in surgical versus non-surgical RCTs included in published Cochrane reviews, to assess the most common differences in those RoB assessments, and to analyze the frequency of adequate RoB assessments in the first four domains of the Cochrane RoB tool. Methods: RoB methods of published Cochrane systematic reviews were analyzed. Data were extracted from RoB tables in Cochrane reviews (judgments and accompanying explanatory comment) for the first four RoB domains used in the 2011 Cochrane RoB tool: randomization, allocation concealment, blinding of participants and personnel, and blinding of outcome assessors. We defined adequate assessments as those in line with instructions from the Cochrane Handbook for Systematic Reviews of Interventions. The frequency of adequate assessments was compared in surgical versus non-surgical trials. The most common differences in both groups of reviews were presented. The frequency of adequate assessments in each analyzed RoB domain was presented. Results: In 729 analyzed Cochrane reviews, there were 10537 included RCTs. The frequency of adequate RoB judgments made by Cochrane authors ranged from 87,9% (95% CI 87,3 to 88,6%) for randomization to 70,7% (95% CI 69,8 to 71,5%) for blinding of participants and personnel. For the four analyzed RoB domains, the frequency of adequate RoB judgments was higher in surgical trials than in non-surgical trials. For two RoB domains assessing blinding, this difference between surgical and non-surgical trials was significant (P < 0,001), while the difference was not significant for the RoB domain regarding randomization (P = 0.,124) and allocation concealment (P = 0,039, β < 0,8). In the analyzed Cochrane systematic reviews, the frequency of inadequate judgments in the analyzed first four domains of the 2011 RoB tool was very high. The percentage of Cochrane authors' judgments that were not in line with the Cochrane Handbook was 12% for randomization, 29% for allocation concealment, 26% for blinding of participants and personnel, and 22% for blinding of outcome assessors. Conclusions: The RoB judgments were more frequently in line with instructions from the Cochrane Handbook when Cochrane reviews assessed surgical trials, compared to those that analyzed non-surgical interventions. However, considering the high frequency of inadequate RoB judgments in published Cochrane reviews, further steps are warranted to scrutinize and improve RoB assessment in systematic reviews of interventions

Adequacy of risk of bias assessment in surgical vs non-surgical trials in Cochrane reviews

Uvod: Procjena valjanosti RCT-ova uključenih u Cochraneove sustavne preglede temelji se na alatu koji se naziva Cochraneov alat za procjenu rizika od pristranosti. Ranijim je istraživanjima uočeno da Cochraneovi autori često rade pogreške u procjeni rizika od pristranosti (engl. risk of bias, RoB) u objavljenim Cochraneovim sustavnim pregledima. Cilj: Glavni cilj ove disertacije bio je analizirati učestalost različitih procjena RoB kroz prve četiri domene Cochraneovog RoB iz 2011. u RCT-ovima s intervencijama kirurškog tipa. Drugi glavni cilj je analiza podudarnosti procjena Cochraneovih autora s našim procjenama RoB u RCT-ovima s intervencijama kirurškog tipa kroz ove četiri odabrane domene koje su jasnije definirane u Cochraneovom priručniku. Sporedni cilj je analiza i usporedba učestalosti procjena RoB od strane Cochraneovih autora, a i naših procjena RoB između RCT-ova s kirurškim intervencijama i onih s ne-kirurškim intervencijama. Još jedan sporedni cilj je bilo otkrivanje mogućih generaliziranih pogreški u procesima procjene. Metode: Analizirane su metode Cochraneovih sustavnih pregleda koji su uključili randomizirane kontrolirane pokuse, i koji su objavljeni 2015-2016. godine. Analizirani su podatci iz RoB tablica u Cochraneovim pregledima (RoB procjene i prateći komentari s objašnjenjima) za prve četiri RoB domene iz Cochraneova RoB alata iz 2011. godine: generiranje nasumičnog redoslijeda, prikrivanje razvrstavanja, zasljepljivanje ispitanika i osoblja, i zasljepljivanje osoba koje bilježe ishode. Odgovarajuće procjene definirane su kao one koje su u skladu s uputama iz Cochraneova priručnika za sustavne preglede intervencija. Učestalost prikladnih procjena uspoređivana je u kirurškim i ne-kirurškim istraživanjima te za po pojedinim domenama RoB procjene. Rezultati: Usporedba RoB procjena za kliničke pokuse uključene u Cochraneove sustavne preglede koji su analizirali kirurške i ne-kirurške intervencije pokazala je kako se učestalost prikladnih procjena RoB-a koje su donosili autori Cochrane kretala od 87,9, 95% CI (87,3 do 88,6%) za randomizaciju do 70,7, 95% CI (69,8 do 71,5%) za zasljepljivanje ispitanika i osoblja. Za sve analizirane RoB domene, učestalost prikladnih procjena RoB domena bila je veća u kirurškim pokusima nego u ne-kirurškim pokusima. Za dvije RoB domene koje procjenjuju zasljepljivanje, razlika između kirurških i ne-kirurških istraživanja bila je statistički značajna (P <0,001), dok razlika nije bila značajna za RoB domenu s obzirom na randomizaciju (P = 0,124) i prikrivanje razvrstavanja (P = 0,039, β <0,8). U analiziranim Cochraneovim sustavnim pregledima učestalost neprikladnih procjena u analizirane prve četiri RoB domene bila je vrlo visoka. Postotak procjena Cochraneovih autora koje nisu bile u skladu s Cochraneovim priručnikom za izradu sustavnih pregleda u pokusima uključenim u analizirane Cochraneove sustavne preglede bio je 12% za domenu o generiranju nasumičnog redoslijeda, 29% za domenu o razvrstavanju ispitanika, 26% za domenu zasljepljivanja ispitanika i osoblja te 22% za domenu o zasljepljivanju osoba koje bilježe ishode. Zaključak: Procjene rizika od pristranosti bile su češće u skladu s uputama iz Cochraneova priručnika kada su Cochraneovi sustavni pregledi analizirali kirurške intervencije, u usporedbi s onima koji su analizirali ne-kirurške intervencije. Međutim, mnoge procjene RoB-a u Cochraneovim pregledima i kirurških i ne-kirurških istraživanja nisu u skladu s Cochraneovim priručnikom; stoga su potrebni daljnji koraci za detaljnu provjeru i poboljšanje procjene RoB-a u sustavnim pregledima o intervencijama.Background: Risk of bias (RoB) assessment is the crucial part of systematic review methodology. Bias in randomized controlled trials (RCTs) can lead to underestimating or overestimating interventions' actual effects. RCTs of surgical interventions may suffer from RoB that is avoidable in trials of other interventions, and vice versa. Aim: This doctoral thesis aimed to compare RoB assessments' adequacy in surgical versus non-surgical RCTs included in published Cochrane reviews, to assess the most common differences in those RoB assessments, and to analyze the frequency of adequate RoB assessments in the first four domains of the Cochrane RoB tool. Methods: RoB methods of published Cochrane systematic reviews were analyzed. Data were extracted from RoB tables in Cochrane reviews (judgments and accompanying explanatory comment) for the first four RoB domains used in the 2011 Cochrane RoB tool: randomization, allocation concealment, blinding of participants and personnel, and blinding of outcome assessors. We defined adequate assessments as those in line with instructions from the Cochrane Handbook for Systematic Reviews of Interventions. The frequency of adequate assessments was compared in surgical versus non-surgical trials. The most common differences in both groups of reviews were presented. The frequency of adequate assessments in each analyzed RoB domain was presented. Results: In 729 analyzed Cochrane reviews, there were 10537 included RCTs. The frequency of adequate RoB judgments made by Cochrane authors ranged from 87,9% (95% CI 87,3 to 88,6%) for randomization to 70,7% (95% CI 69,8 to 71,5%) for blinding of participants and personnel. For the four analyzed RoB domains, the frequency of adequate RoB judgments was higher in surgical trials than in non-surgical trials. For two RoB domains assessing blinding, this difference between surgical and non-surgical trials was significant (P < 0,001), while the difference was not significant for the RoB domain regarding randomization (P = 0.,124) and allocation concealment (P = 0,039, β < 0,8). In the analyzed Cochrane systematic reviews, the frequency of inadequate judgments in the analyzed first four domains of the 2011 RoB tool was very high. The percentage of Cochrane authors' judgments that were not in line with the Cochrane Handbook was 12% for randomization, 29% for allocation concealment, 26% for blinding of participants and personnel, and 22% for blinding of outcome assessors. Conclusions: The RoB judgments were more frequently in line with instructions from the Cochrane Handbook when Cochrane reviews assessed surgical trials, compared to those that analyzed non-surgical interventions. However, considering the high frequency of inadequate RoB judgments in published Cochrane reviews, further steps are warranted to scrutinize and improve RoB assessment in systematic reviews of interventions

Adequacy of risk of bias assessment in surgical vs non-surgical trials in Cochrane reviews

Uvod: Procjena valjanosti RCT-ova uključenih u Cochraneove sustavne preglede temelji se na alatu koji se naziva Cochraneov alat za procjenu rizika od pristranosti. Ranijim je istraživanjima uočeno da Cochraneovi autori često rade pogreške u procjeni rizika od pristranosti (engl. risk of bias, RoB) u objavljenim Cochraneovim sustavnim pregledima. Cilj: Glavni cilj ove disertacije bio je analizirati učestalost različitih procjena RoB kroz prve četiri domene Cochraneovog RoB iz 2011. u RCT-ovima s intervencijama kirurškog tipa. Drugi glavni cilj je analiza podudarnosti procjena Cochraneovih autora s našim procjenama RoB u RCT-ovima s intervencijama kirurškog tipa kroz ove četiri odabrane domene koje su jasnije definirane u Cochraneovom priručniku. Sporedni cilj je analiza i usporedba učestalosti procjena RoB od strane Cochraneovih autora, a i naših procjena RoB između RCT-ova s kirurškim intervencijama i onih s ne-kirurškim intervencijama. Još jedan sporedni cilj je bilo otkrivanje mogućih generaliziranih pogreški u procesima procjene. Metode: Analizirane su metode Cochraneovih sustavnih pregleda koji su uključili randomizirane kontrolirane pokuse, i koji su objavljeni 2015-2016. godine. Analizirani su podatci iz RoB tablica u Cochraneovim pregledima (RoB procjene i prateći komentari s objašnjenjima) za prve četiri RoB domene iz Cochraneova RoB alata iz 2011. godine: generiranje nasumičnog redoslijeda, prikrivanje razvrstavanja, zasljepljivanje ispitanika i osoblja, i zasljepljivanje osoba koje bilježe ishode. Odgovarajuće procjene definirane su kao one koje su u skladu s uputama iz Cochraneova priručnika za sustavne preglede intervencija. Učestalost prikladnih procjena uspoređivana je u kirurškim i ne-kirurškim istraživanjima te za po pojedinim domenama RoB procjene. Rezultati: Usporedba RoB procjena za kliničke pokuse uključene u Cochraneove sustavne preglede koji su analizirali kirurške i ne-kirurške intervencije pokazala je kako se učestalost prikladnih procjena RoB-a koje su donosili autori Cochrane kretala od 87,9, 95% CI (87,3 do 88,6%) za randomizaciju do 70,7, 95% CI (69,8 do 71,5%) za zasljepljivanje ispitanika i osoblja. Za sve analizirane RoB domene, učestalost prikladnih procjena RoB domena bila je veća u kirurškim pokusima nego u ne-kirurškim pokusima. Za dvije RoB domene koje procjenjuju zasljepljivanje, razlika između kirurških i ne-kirurških istraživanja bila je statistički značajna (P <0,001), dok razlika nije bila značajna za RoB domenu s obzirom na randomizaciju (P = 0,124) i prikrivanje razvrstavanja (P = 0,039, β <0,8). U analiziranim Cochraneovim sustavnim pregledima učestalost neprikladnih procjena u analizirane prve četiri RoB domene bila je vrlo visoka. Postotak procjena Cochraneovih autora koje nisu bile u skladu s Cochraneovim priručnikom za izradu sustavnih pregleda u pokusima uključenim u analizirane Cochraneove sustavne preglede bio je 12% za domenu o generiranju nasumičnog redoslijeda, 29% za domenu o razvrstavanju ispitanika, 26% za domenu zasljepljivanja ispitanika i osoblja te 22% za domenu o zasljepljivanju osoba koje bilježe ishode. Zaključak: Procjene rizika od pristranosti bile su češće u skladu s uputama iz Cochraneova priručnika kada su Cochraneovi sustavni pregledi analizirali kirurške intervencije, u usporedbi s onima koji su analizirali ne-kirurške intervencije. Međutim, mnoge procjene RoB-a u Cochraneovim pregledima i kirurških i ne-kirurških istraživanja nisu u skladu s Cochraneovim priručnikom; stoga su potrebni daljnji koraci za detaljnu provjeru i poboljšanje procjene RoB-a u sustavnim pregledima o intervencijama.Background: Risk of bias (RoB) assessment is the crucial part of systematic review methodology. Bias in randomized controlled trials (RCTs) can lead to underestimating or overestimating interventions' actual effects. RCTs of surgical interventions may suffer from RoB that is avoidable in trials of other interventions, and vice versa. Aim: This doctoral thesis aimed to compare RoB assessments' adequacy in surgical versus non-surgical RCTs included in published Cochrane reviews, to assess the most common differences in those RoB assessments, and to analyze the frequency of adequate RoB assessments in the first four domains of the Cochrane RoB tool. Methods: RoB methods of published Cochrane systematic reviews were analyzed. Data were extracted from RoB tables in Cochrane reviews (judgments and accompanying explanatory comment) for the first four RoB domains used in the 2011 Cochrane RoB tool: randomization, allocation concealment, blinding of participants and personnel, and blinding of outcome assessors. We defined adequate assessments as those in line with instructions from the Cochrane Handbook for Systematic Reviews of Interventions. The frequency of adequate assessments was compared in surgical versus non-surgical trials. The most common differences in both groups of reviews were presented. The frequency of adequate assessments in each analyzed RoB domain was presented. Results: In 729 analyzed Cochrane reviews, there were 10537 included RCTs. The frequency of adequate RoB judgments made by Cochrane authors ranged from 87,9% (95% CI 87,3 to 88,6%) for randomization to 70,7% (95% CI 69,8 to 71,5%) for blinding of participants and personnel. For the four analyzed RoB domains, the frequency of adequate RoB judgments was higher in surgical trials than in non-surgical trials. For two RoB domains assessing blinding, this difference between surgical and non-surgical trials was significant (P < 0,001), while the difference was not significant for the RoB domain regarding randomization (P = 0.,124) and allocation concealment (P = 0,039, β < 0,8). In the analyzed Cochrane systematic reviews, the frequency of inadequate judgments in the analyzed first four domains of the 2011 RoB tool was very high. The percentage of Cochrane authors' judgments that were not in line with the Cochrane Handbook was 12% for randomization, 29% for allocation concealment, 26% for blinding of participants and personnel, and 22% for blinding of outcome assessors. Conclusions: The RoB judgments were more frequently in line with instructions from the Cochrane Handbook when Cochrane reviews assessed surgical trials, compared to those that analyzed non-surgical interventions. However, considering the high frequency of inadequate RoB judgments in published Cochrane reviews, further steps are warranted to scrutinize and improve RoB assessment in systematic reviews of interventions

Assessment and diversity of risk of bias in clinical trials with surgical interventions in Cochrane systematic reviews

Doctoral thesis - raw datasets used during researc

Smjernice za liječenje benignih bolesti anorektalne regije

Benigne bolesti anorektalne regije, u koje ubrajamo analne apscese, analne fistule, analne fisure i hemoroidalnu bolest, česta su stanja koja susreću liječnici obiteljske medicine kao i bolnički specijalisti. Unatoč rasprostranjenosti patologije, još uvijek ne postoje jasne smjernice za adekvatno liječenje navedenih stanja, koje se još uvijek često svodi na preporuke koje nemaju uporište u medicini temeljenoj na dokazima. Zbog toga je ekspertna skupina, u kojoj su sudjelovali članovi Hrvatskog društva za digestivnu kirurgiju kojima je uže područje interesa koloproktologija, odlučili sastaviti ove smjernice s namjerom da se standardizira liječenje benignih bolesti anorektalne regije, kako na primarnoj tako i na tercijarnoj razini