ISSN 2667-7466 | E-ISSN 2667-7474
Original Article
Adaptation of “Objective Structured Assessment of Technical Skills” for Adenotonsillectomy into Turkish: A Validity and Reliability Study
1 Department of Otorhinolaryngology, Pamukkale University School of Medicine, Denizli, Turkey  
2 Department of Biostatistics, Pamukkale University School of Medicine, Denizli, Turkey  
Turk Arch Otorhinolaryngol 2019; 57: 7-13
DOI: 10.5152/tao.2019.3681
Key Words: Surgical skills, tonsillectomy, adenoidectomy, workplace-based assessment, residency training
Abstract

 

Objective: To adapt an objective surgical assessment tool (OSATS) for adenotonsillectomy/tonsillectomy to Turkish.

 

Methods: A prospective longitudinal validation study was planned. Adenoidectomy items were added to the tonsillectomy OSATS. Data were collected from 80 real-time observed surgical performances. To examine interrater reliability, 25 performances were simultaneously scored by two evaluators. In total, 105 test forms were filled, and reliability and validity studies were conducted.

 

Results: Regarding reliability, Cronbach's alpha values were found to be >0.95, indicating very high internal consistency. For interrater reliability, a statistically significant positive correlation was found between the two evaluators’ task-specific checklist (TSC) (p=0.0001; r=0.969) and global rating checklist (GRC) (p=0.0001; r=0.957). Between the TSC and GRC, there was a statistically significant positive correlation (p=0.0001; r=0.951). A model was developed using the generalizability theory, and the highest variances belonged to surgical processes. Regarding validity, the trainers’ scores were significantly higher than the trainees’ scores (p=0.0001). As surgical experience increased, both the TSC and the GRC scores significantly increased (p=0.0001). A trainee’s first-ever 34 adenotonsillectomy performances were scored. A scatter plot of the obtained data showed that the trainee had gained more scores as the number of operations increased.

 

Conclusion: The results indicate that adenotonsillectomy OSATS is a reliable and valid tool for the assessment of residents’ surgical skills. This is the first OSATS developed for adenotonsillectomy in the Turkish literature. It is ready to be used in the operating room to provide constructive feedback and monitor the development of trainees’ surgical skills in adenotonsillectomy.

 

 

Amaç: Adenotonsillektomi/tonsillektomi operasyonları için objektif yapılandırılmış teknik beceriler  değerlendirme aracını Türkçeye uyarlamak.

 

Yöntemler: İleriye dönük boylamsal bir geçerlilik çalışması planlandı. Adenoidektomi ile ilgili maddeler tonsillektomi cerrahi beceri cetveline eklendi. Veriler 80 canlı cerrahi performans izlenerek toplandı. Değerlendiriciler arası güvenirliğin gösterilmesi için 25 ameliyat iki değerlendirici tarafından eş zamanlı olarak izlendi. Toplamda 105 test formu dolduruldu. Geçerlilik ve güvenirlik çalışmaları yapıldı.

 

Bulgular: Güvenirlik için Cronbach alfa değerleri 0.95 üzerinde bulundu. Bu sonuçlar çok yüksek iç tutarlığı gösterdi. Değerlendiriciler arası güvenirliğin incelenmesinde, değerlendirici sonuçları arasında göreve özgü kontrol listesi (p=0.0001; r=0.969) ve genel kontrol listesi için (p=0.0001; r=0.957) istatistik olarak anlamlı pozitif korelasyon bulundu. Göreve özgü ve genel kontrol listeleri arasındaki ilişki incelendiğinde istatistik olarak anlamlı, pozitif korelasyon bulundu (p=0.0001; r=0.951). Genellenebilirlik teorisi ile bir model oluşturuldu ve en yüksek varyanslar cerrahi işlemlere aitti. Geçerlik için eğiticilerin cerrahi performans puanları öğrencilerin puanlarından istatistik olarak anlamlı seviyede yüksek bulundu (p=0.0001). Cerrahi deneyim arttıkça göreve özgü ve genel kontrol listesinden alınan puanların istatistik olarak anlamlı olacak şekilde arttığı görüldü (p=0.0001). Bir uzmanlık öğrencisinin ilk 34 adenotonsillektomi performansı puanlandırıldı. Elde edilen verilerden saçılma grafiği yapıldığında, gerçekleştirilen ameliyat sayısı artıkça uzmanlık öğrencisinin aldığı puanların da arttığı görüldü.

 

Sonuç: Bu sonuçlar, objektif yapılandırılmış teknik beceriler değerlendirme aracının uzmanlık öğrencilerinin cerrahi becerilerini değerlendirmede geçerli ve güvenilir bir ölçme yöntemi olduğunu gösterdi.  Bu cerrahi beceri cetveli literatürde adenotonsillektomi için geliştirilmiş ilk cerrahi beceri cetvelidir. Sonuç olarak bu test ameliyathanede uzmanlık öğrencilerine, yapılandırılmış geri bildirim vermek ve adenotonsillektomide cerrahi beceri gelişimini izlemek için kullanıma hazırdır.

 

Cite this article as: Kara CO, Mengi E, Tümkaya F, Ardıç FN, Şenol H. Adaptation of “Objective Structured Assessment of Technical Skills” for Adenotonsillectomy into Turkish: A Validity and Reliability Study. Turk Arch Otorhinolaryngol 2019; 57(1): 7-13

Key Words
Authors
All
Author’s Corner
Survey
AVES | Copyright © 2018 Turkish Otorhinolaryngology Head and Neck Surgery Society | Latest Update: 08.04.2019