Objective:

To assess the experience on using direct observation of procedural skills (DOPS) by trainees and trainers and to evaluate its use during the training process of Otorhinolaryngology (ORL) residency.

Methods:

This study was designed as a prospective educational research. For the quantitative assessment, the "construct validity" of the assessment tool was examined. For the qualitative assessment, the trainees and trainers’ experiences regarding the use of DOPS in training process were investigated.

Results:

A total of 55 DOPS assessment forms were filled during the study. The mean observation time was 7.14±4.83 (range: 1-20) minutes, and the mean feedback time was 2.11±2.01 (range: 0.5-10) minutes. A significant difference was detected between the first year trainees and the older ones, whereas no significant difference was observed between the third, fourth, and fifth year trainees. A statistically significant, positive correlation was found between the years of education and the average score. According to the results of the qualitative assessment, the trainees stated that they realized their technical inadequacy in some procedures and it helped them to improve their skills during their residency training. The trainers confirmed that they gave feedback after each assessment. Both the trainers and trainees suggested that specific guidelines should be prepared for every procedure.

Conclusion:

DOPS is a useful, valid, and fair tool for assessing Otorhinolaryngology trainees. The data obtained from the DOPS forms can be used for demonstrating the success of a training clinic and to evaluate the training program.

ÖZET

Amaç:

Bu çalışmada Kulak Burun Boğaz (KBB) uzmanlık eğitiminde uzmanlık öğrencileri ve eğiticilerinin “İşlem Becerilerinin Doğrudan Gözlemi” (İBDG) kullanım deneyimleri ve İBDG’nin KBB Hastalıkları uzmanlık eğitim sürecinde uygulanabilirliği araştırılmıştır.

Yöntemler:

Çalışma ileriye dönük eğitim araştırması olarak planlanmıştır. Nicel değerlendirmede ölçme aracının “yapı geçerliği” incelenmiştir. Nitel değerlendirmede ise araştırmanın sonunda uzmanlık öğrencileri ve eğiticilerinin, İBDG uygulamasının eğitim süreçlerine katkısı ve uygulanabilirliği konusundaki deneyimleri araştırılmıştır.

Bulgular:

Araştırmada 55 İBDG formu doldurulmuştur. Ortalama gözlem süresi 7.14±4.83 dakika (Maks: 20-Min: 1), geribildirim süresi ise ortalama 2.11±2.01 (Maks: 10-Min: 0.5) dakikadır. Uzmanlık öğrencilerinin aldıkları puanlara göre ilk yıl ile diğer kıdemler arasında istatistiksel fark saptanırken, 3. 4. ve 5. yıl kıdemler arası istatistiksel fark saptanmamıştır. Kıdem yılları ile ortalama puan değerleri arasında istatistiksel olarak anlamlı, pozitif yönde bir korelasyon saptanmıştır. Nitel değerlendirme sonuçlarında ise; öğrenciler İBDG sayesinde eksikliklerini fark ettiklerini, İBDG’nin uzmanlık eğitimine pozitif katkı sağladığını belirtmişlerdir. Eğiticiler her değerlendirme sonrasında geri bildirim verdiklerini belirtmişlerdir. Hem eğiticiler, hem de öğrenciler “işlemler için rehberler oluşturulmalıdır” önerisinde bulunmuşlardır.

Sonuç:

İşlem becerilerinin doğrudan gözlemi KBB hastalıkları uzmanlık öğrencilerinin değerlendirmesi için kullanışlı, geçerli ve adil bir ölçme değerlendirme aracıdır. Bu süreçte elde edilecek veriler eğitim verilen kliniğin eğitim sürecindeki başarısını göstermek ve eğitim programını değerlendirmek için de kullanılabilir.

TR PDF

Keywords: Direct observation of procedural skills, workplace-based assessment, residency training, supervised learning events, feedback