Elektronik Belge Yönetim Sistemlerinin Sezgisel Değerlendirme Yöntemi ile Kullanılabilirlik Açısından Değerlendirilmesi

Electronic Records Management Systems (ERMS) have become the basic need of modern and democratic institutions today with the functions of creating, editing, querying, classifying, authorizing access and archiving processes. Minimum capabilities and functions of an ERMS is specified by TS 13298 standard in Turkey. However, this standard does not include the required criteria for usability. ERMS softwares are managed and used by humans, so the usability should be considered from the beginning of software development life cycle by IT professionals and ERMS should be tested periodically in terms of usability in the development, purchasing, certification and usage process. The purpose of this research is to explain how the “Heuristic Walkthrough” test method, which is frequently applied in the field of software usability, can be applied on ERMS, the types of information that can be gathered via this method and the benefits of the test. The method described in this research can be used by software developers, institutions and certification authorities to identify factors affecting the usability of the ERMS, to correct problematic interface elements and to provide input for purchasing decisions.Elektronik Belge Yönetim Sistemleri (EBYS), kurumsal hafızanın temel çıktıları olan belgelerinoluşturulması, düzenlenmesi, korunması, mekân ve zamandan bağımsız olarak yetkili kişilerinerişimine sunulması ve arşivlenmesi gibi işlevleriyle günümüzde birincil kurumsal ihtiyaç haline gelmiştir. Bir EBYS yazılımının sahip olması gereken özellikler ve işlevler, Türkiye’de TS 13298 standardında belirlenmiştir. Ancak bu standartta kullanılabilirlik ölçütleri gerekli oranda yer almamaktadır. Bu sistemler insanlar tarafından yönetilmekte ve kullanılmaktadır, bu nedenle kullanılabilirliğin göz ardı edilemeyecek derecede önemli olduğu bilinmeli, bu konu yazılım geliştirme süreçlerine en baştan dâhil edilmelidir. Ayrıca iş verimliliği açısından, EBYS’ lerin, geliştirme, satın alma, sertifikalandırma ve kullanım sürecinde kullanılabilirlik açısından belirli aralıklarla test edilmesi gerekmektedir. Bu araştırmanın amacı, “Sezgisel Değerlendirme” kullanılabilirlik test yönteminin EBYS üzerinde nasıl uygulanabileceğini, kullanılabilirliğe dair elde edilebilecek bilgi türlerini ve faydalarını açıklamaktır. Araştırmada literatür taraması sonucu elde edilen kullanılabilirlik ölçütleri listesi (sezgiseller) referans alınarak, Hacettepe Üniversitesi EBYS sistemi Sezgisel Değerlendirme yöntemi ile analiz edilmiştir. Bu araştırmada açıklanan yöntem yazılım geliştiriciler, kurumlar ve sertifika otoriteleri tarafından EBYS’ lerin kullanılabilirliğini etkileyen faktörleri tespit etme, sorunlu ara yüz öğelerini düzeltme ve satın alma kararlarına girdi sağlama amacıyla kullanılabilecektir

Evaluation Of Electronic Records Management Systems In Terms Of Usability And Human - Computer Interaction: The Example Of Hacettepe University

In today's era of digital transformation, organizations are not able to achieve the efficiency and competitiveness they need without electronic records management systems. Electronic records management, which is the lifeblood of modern business world, contributes to the management of information and records in institutions through the processes of creating records according to standards, signing and distributing records in accordance with the workflow, protecting the confidentiality of the records with the authorization mechanism, providing access independent from time and location, maintaining the corporate memory, providing an organized work environment with paperless office, eliminating postal costs by digitally transmitting records, archiving according to business rules, and destroying expired records. While dozens of electronic records management systems (ERMS) around the world are introduced to the market with many new functions and features, usability feature of ERMS directly affects the efficient and effective use of all other functions and features. Because when the users cannot perform their current work with less effort by using the system, the systems remain idle and work efficiency decreases. Electronic Records Management Systems should be tested periodically to uncover improvement points on adaptation to changing user profile, business rules and technology in software development process, in the certification process, before the software purchase decision is made and after the use of the software. However, the usability factor is under-represented in the selection and certification processes of ERMS and user-oriented software development and usability tests are still ignored. The reason for this negligence is that while the functional criteria can be easily formulated, ERMS stakeholders do not have the necessary competence and enough awareness about usability tests. In this thesis, 4 different usability assessment methods (Heuristic Evaluation, Server Log Analysis, Path Analysis Through Server Logs and User Test) were applied on Hacettepe University ERMS and application techniques, strengths and weaknesses of methods, recommendations for making methods more efficient, kinds of information that can be reached with each test method, the extent to which these information can be improved, the factors affecting the usability of the ERMS and the benefits of usability tests for different roles were revealed. In the Heuristic Evaluation method, a list of usability criteria was developed via literature review and 30 pages which are important for ERMS were tested in 2 iterations in the light of these criteria. Statistical log information was obtained because of log analysis on 16 days log records and 8064 error log record which were stored on the ERMS server with server log analysis method. In Path Analysis Through Server Logs method, the path/route frequencies were determined in all sessions by following the steps of clearing the data, coding the page addresses, identifying the user sessions, determining the routes (URL sequences) in all sessions and revealing all sub-routes. Within the scope of the User Test method, user tests were carried out with 5 experienced, 5 inexperienced 10 subjects for problematic processes and pages that were pointed out by Server Log Analysis and Heuristic Evaluation methods. Through the tasks performed during the test, various quantitative information has been obtained regarding efficiency and efficiency measurement showing the user interface performance and qualitative data obtained by video recording and think-aloud technique. At the end of the research, when all the findings are brought together, the fact that record creation screens are far from simplicity and lack of router, record search is not effective, access to information needed to perform operations difficult to access, feeling lost due to lack of navigation capabilities, non-router and non-instructional error messages and software design that allows non-standard record processing has been the most challenging factors that affect users most. In addition, a model has been developed for the usability assessment of the ERMS, and it has been explained how, in the model, the test methods can be used to benefit in three different categories, namely, ERMS usability assessment, the acquisition of decision support information on the ERMS, and the monitoring of the user trends in the ERMS.İÇİNDEKİLER KABUL VE ONAY ......................................................................................................... i YAYIMLAMA VE FİKRİ MÜLKİYET HAKLARI BEYANI .............................................. ii ETİK BEYAN ............................................................................................................... iii TEŞEKKÜR .................................................................................................................. v ÖZET ........................................................................................................................... vi ABSTRACT ............................................................................................................... viii İÇİNDEKİLER ............................................................................................................... x KISALTMALAR DİZİNİ ............................................................................................... xv TABLOLAR DİZİNİ .................................................................................................... xvi ŞEKİLLER DİZİNİ .................................................................................................... xviii GİRİŞ ............................................................................................................................ 1 1. BÖLÜM: METODOLOJİK ÇERÇEVE ...................................................................... 2 1.1. KONUNUN ÖNEMİ......................................................................................... 2 1.2. ARAŞTIRMANIN AMACI ve HİPOTEZ .......................................................... 7 1.3. ARAŞTIRMANIN ALANI, KAPSAMI VE VERİ TOPLAMA TEKNİKLERİ ...... 9 1.4. ARAŞTIRMA DÜZENİ .................................................................................. 13 1.5. KAYNAKLAR ............................................................................................... 14 2. BÖLÜM: ELEKTRONİK BELGE YÖNETİM SİSTEMLERİ .................................... 16 2.1. ELEKTRONİK BELGE YÖNETİM SİSTEMLERİ .......................................... 16 2.2. EBYS’LER HAKKINDA STANDARTLAR, REHBERLER, KANUNİ VE İDARİ DÜZENLEMELER ................................................................................................... 18 2.2.1. Uluslararası Standartlar .............................................................................. 19 2.2.2. Ülkelerin Geliştirdiği Ulusal Standartlar ....................................................... 20 2.2.3. Uluslararası Projeler ................................................................................... 22 2.2.4. Türkiye'de Mevzuat Çalışmaları ve Standartlaşma ...................................... 23 2.2.5. Elektronik İmza Kanunu .............................................................................. 24 2.2.6. TS 13298 Elektronik Belge Yönetimi Standardı ........................................... 25 2.2.7. Resmi Yazışma Usul ve Esasları ................................................................ 29 2.3. BELGE ÖZELLİKLERİ ve BÖLÜMLERİ ...................................................... 30 xi 2.4. BELGENİN ÇOĞALTILMASI, GÖNDERİLMESİ, ALINMASI VE İADE EDİLMESİ ............................................................................................................... 30 2.4.1. Belgenin Çoğaltılması ................................................................................. 30 2.4.2. Belgenin Elektronik Ortamda Gönderilmesi ve Alınması ............................... 2 2.5. DOSYALAMA İŞLEMLERİ............................................................................. 2 2.6. HACETTEPE ÜNİVERSİTESİ ELEKTRONİK BELGE YÖNETİM SİSTEMİ ... 4 3. BÖLÜM: KULLANILABİLİRLİK DEĞERLENDİRME YÖNTEMLERi ...................... 7 3.1. GİRİŞ ............................................................................................................. 7 3.2. KULLANILABİLİRLİK DEĞERLENDİRMESİ ............................................... 14 3.2.1. Biçimlendirici Testler ................................................................................... 15 3.2.2. İnceleme Yöntemleri ................................................................................... 15 3.2.3. Sorgulama Yöntemleri ................................................................................ 16 3.2.4. Göz İzleme Yöntemler ................................................................................ 17 3.2.5. Log Analizi İle (Uzaktan) Kullanılabilirlik Değerlendirmesi ........................... 19 3.2.6. İstemci Taraflı Loglama ............................................................................... 20 3.2.7. Sunucu Taraflı Loglama .............................................................................. 25 4. BÖLÜM: HACETTEPE ÜNİVERSİTESİ EBYS UYGULAMASI ÜZERİNDE KULLANILABİLİRLİK DEĞERLENDİRME YÖNTEMLERİNİN GELİŞTİRİLMESİ ..... 29 4.1. GİRİŞ ........................................................................................................... 29 4.2. SEZGİSEL DEĞERLENDİRME .................................................................... 29 4.2.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 29 4.2.1.1. Literatür Taraması ve Değerlendirme Kriterlerinin Belirlenmesi .......... 30 4.2.1.2. H.Ü. EBYS İncelemesi ve Değerlendirmeye Tabi Tutulacak Ekranların / İşlemlerin Belirlenmesi ..................................................................................... 33 4.2.1.3. Sezgisel Değerlendirmenin Uygulanması ve Raporlanması ............... 35 4.3. SUNUCU LOG ANALİZİ .............................................................................. 35 4.3.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 36 4.3.1.1. Log Dosyası Analizi ........................................................................... 36 4.3.1.2. Veri Tabanı Tablolarının Tasarımı ..................................................... 37 4.3.1.3. Veri Aktarım Yazılımının Geliştirilmesi ve Veri Aktarımı ..................... 37 4.3.1.4. Analiz Sorgularının Geliştirilmesi ....................................................... 39 4.3.1.5. Sorguların Test Edilmesi ve En İyileştirilmesi ..................................... 42 4.3.1.6. Bulguların İncelenmesi, Raporlanması ............................................... 42 4.4. SUNUCU LOGLARI ÜZERİNDE ROTA ANALİZİ ........................................ 42 4.4.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 43 4.4.1.1. Veri Temizleme .................................................................................. 44 4.4.1.2. Sayfa Adreslerinin Kodlanması .......................................................... 44 xii 4.4.1.3. Oturum Tespiti ................................................................................... 45 4.4.1.4. Tüm URL Dizilimlerinin Belirlenmesi .................................................. 46 4.4.1.5. Tüm Alt URL Dizilimlerinin Belirlenmesi ............................................. 47 4.4.1.6. Alt URL Dizilimlerinin Oturumlarda Görülme Sıklığını Belirleme ......... 47 4.4.1.7. URL Dizilerini Görülme Sıklıklarına Göre Sıralama ve Yorumlama .... 47 4.5. KULLANICI TESTİ ....................................................................................... 47 4.5.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 48 4.5.1.1. Kullanılabilirlik Testinde Görevlerinin Belirlenmesi ............................. 49 4.5.1.2. Deneklerin Belirlenmesi ..................................................................... 49 4.5.1.3. Test Ortamının Belirlenmesi .............................................................. 50 4.5.1.4. Test Verilerinin Hazırlanması ............................................................. 51 4.5.1.5. Kullanılabilirlik Testi Görevlerinin Hazırlanması ................................. 51 4.5.1.6. Test Provası ...................................................................................... 51 4.5.1.7. Kullanıcı Testinin Uygulanması .......................................................... 52 5. BÖLÜM: BULGULAR ve DEĞERLENDİRME ....................................................... 55 5.1. SEZGİSEL DEĞERLENDİRME YÖNTEMİ ................................................... 55 5.1.1. Bulgular ...................................................................................................... 55 5.1.1.1. Kısa Yollar ve İpuçları İçerme ............................................................ 56 5.1.1.2. Kullanıcı Kontrolü ve Özgürlük ........................................................... 57 5.1.1.3. Hata Mesajları ................................................................................... 58 5.1.1.4. Genel Kullanıma Aykırı Tasarım ........................................................ 59 5.1.1.5. Hataları Önleme................................................................................. 59 5.1.1.6. Estetik ve Sade Tasarım .................................................................... 60 5.1.1.7. Farklı Durumlar İçin Ayırıcı Sinyaller Vererek Karışıklığın Önlenmesi 60 5.1.1.8. Sistem Durumunun Görünürlüğü ....................................................... 61 5.1.1.9. Tutarlılık ............................................................................................. 61 5.1.1.10. Ekrandaki Öğelerin Okunaklılığı ......................................................... 61 5.1.1.11. Kullanılan Resim ve İkonların Temsil Ettikleri Nesneye Benzemesi ... 62 5.1.1.12. Kullanıcıya Fazla Seçenek ve Bilgi Sunulmaması .............................. 62 5.1.1.13. Tıklanması Beklenen Öğelerinin Geniş ve Bir Arada Olması ............. 63 5.1.1.14. Esneklik ve Kullanım Verimliliği .......................................................... 63 5.1.1.15. Yardım ve Dokümantasyon ................................................................ 63 5.1.1.16. İşlemleri Geri Almaya İzin Verme ....................................................... 63 5.1.1.17. Bilgiye Ulaşma Maliyetinin Minimize Edilmesi .................................... 64 5.1.1.18. Formlar Arasında Uyum Olması ve Kullanıcının Hızlı Öğrenmesi ...... 64 5.1.2. Çıkarımlar ................................................................................................... 64 5.1.3. Yöntem İle İlgili Öneriler .............................................................................. 65 xiii 5.2. SUNUCU LOG ANALİZİ YÖNTEMİ ............................................................. 66 5.2.1. Bulgular ...................................................................................................... 66 5.2.1.1. Mobil ve Sabit Sayfa Erişim Sayıları .................................................. 66 5.2.1.2. İstemci Tarayıcı Türleri ...................................................................... 66 5.2.1.3. Saat Aralıklarına Göre Kullanıcı Yoğunluğu ....................................... 67 5.2.1.4. Sayfa Görüntüleme İstatistikleri ......................................................... 68 5.2.1.5. Yardım Sayfası Görüntüleme İstatistikleri .......................................... 69 5.2.1.6. Kullanıcı Bazlı Kullanım Frekansı ...................................................... 69 5.2.1.7. Sayfada Geçirilen Ortalama Süre ...................................................... 70 5.2.1.8. Hata Mesajları ................................................................................... 71 5.2.2. Çıkarımlar ................................................................................................... 73 5.2.3. Yöntem İle İlgili Öneriler .............................................................................. 74 5.3. SUNUCU LOGLARI İLE ROTA ANALİZİ YÖNTEMİ .................................... 74 5.3.1. Bulgular ...................................................................................................... 74 5.3.1.1. 15 Dakikalık Oturumlarda En Çok Kullanılan Rotalar ......................... 74 5.3.1.2. 10 Dakikalık Oturum Süresinde En Çok Kullanılan Rotalar ................ 76 5.3.2. Çıkarımlar ................................................................................................... 78 5.3.3. Yöntem İle İlgili Öneriler .............................................................................. 79 5.3.4. KULLANICI TESTİ YÖNTEMİ ..................................................................... 80 5.3.5. Bulgular ...................................................................................................... 80 5.3.5.1. Görev Tamamlama İstatistikleri .......................................................... 80 5.3.5.2. Son Anket Verileri .............................................................................. 81 5.3.5.3. Kullanıcı Sesli Düşünme Verileri ........................................................ 82 5.3.6. Çıkarımlar ................................................................................................... 83 5.3.7. Yöntem İle İlgili Öneriler .............................................................................. 84 5.4. EBYS KULLANILABİLİRLİĞİNİ DEĞERLENDİRMEK İÇİN BİR MODEL ... 85 6. BÖLÜM: SONUÇ VE ÖNERİLER .......................................................................... 90 6.1. EBYS KULLANILABİLİRLİĞİNİ ETKİLEYEN FAKTÖRLER ....................... 90 Belge Yaratma ..................................................................................................... 91 Belge Arama ........................................................................................................ 92 Gerekli / İlgili Bilgiye Erişim Maliyeti ..................................................................... 93 Hızlı Veri Girişine Engel Tasarım ......................................................................... 93 Kaybolma Hissi .................................................................................................... 93 Yönlendirici Olmayan Hata Mesajları ................................................................... 94 EBYS Standardına Aykırı Tasarım ....................................................................... 94 6.2. KULLANILABİLİRLİK TEST YÖNTEMLERİNİN KARŞILAŞTIRILMASI ..... 94 6.3. PAYDAŞLAR AÇISINDAN KULLANILABİLİRLİK DEĞERLENDİRME ..... 100 xiv Yazılım Geliştiriciler ........................................................................................... 101 Kurumlar ............................................................................................................ 103 Otoriteler ............................................................................................................ 104 6.4. SINIRLILIKLAR VE GELECEK ÇALIŞMALAR .......................................... 107 KAYNAKÇA ............................................................................................................. 108 EK 1. Orijinallik Raporu .......................................................................................... 121 EK 2. Etik Kurul/Komisyon İzni .............................................................................. 122 EK 3. SEZGİSEL DEĞERLENDİRME KRİTERLERİ LİSTESİ .................................. 124 EK 4. KULLANICI TESTİ - GÖNÜLLÜ KATILIM FORMU ....................................... 125 EK 5. KULLANICI TESTİ ÖN ANKET ...................................................................... 126 EK 6. KULLANICI TESTİ GÖREVLERİ .................................................................... 127 EK 7. KULLANICI TESTİ SON ANKET .................................................................... 128Bugünün dijital dönüşüm çağında kuruluşların ihtiyaç duyduğu verimlilik ve rekabet gücüne erişmeleri, kurumsal bilginin organizasyonunu sağlayan elektronik belge yönetim sistemleri olmadan mümkün değildir. Modern iş dünyasının can damarı olan elektronik belge yönetimi, standartlara uygun belge oluşturma, düzenleme, dosyalama, iş akışına uygun olarak imzaya ve dağıtıma çıkarma, yetkilendirme mekanizması ile belge gizliliğini koruma, zaman ve konumdan bağımsız olarak belgelere erişim sağlama, iş kurallarına göre arşivleme ve yaşam süresi dolan belgeleri imha etme süreçleriyle, kurumlardaki bilgi ve belge yönetimine sürat, güvenlik, maliyet, verimlilik bakımından önemli katkılar sağlar. Dünya genelinde onlarca elektronik belge yönetim sistemi, birçok yeni işlev ve özellik ile piyasaya sürülürken EBYS’lerde kullanılabilirlik özelliği, diğer tüm işlev ve özelliklerin verimli ve etkili kullanılabilmesini doğrudan etkilemektedir. Zira kullanıcı sistemi kullanarak mevcut işlerini daha az çaba ile gerçekleştiremediğinde sistemler atıl kalmakta ve iş verimliliği düşmektedir. Elektronik Belge Yönetim Sistemleri, yazılım geliştirme sürecinde, sertifikasyon sürecinde, yazılım satın alma kararı verilmeden önce ve yazılım kullanılmaya başlandıktan sonra belirli aralıklarla kullanılabilirlik bakımından test edilerek, kullanıcı profili, teknoloji ve iş kurallarına uygun olmayan özellikleri tespit edilmelidir. Oysa günümüzde halen EBYS seçim ve sertifikalandırma süreçlerinde kullanılabilirlik faktörü yetersiz temsil edilmekte, kullanıcı odaklı yazılım geliştirme ve kullan

Usability Testing of Digital Libraries: The Experience of EPrints

AbstractDigital libraries should provide a qualified service in allowing their users to access data within a well-organized format. It is critical to enrich interaction among users and the interface. To measure the level of interaction, common analyses such as usability tests or socio-technical analyses are practiced throughout the literature. The interfaces can be enhanced with the data gathered from these types of analyses. The main aim of this study is to realize a qualitative usability test for the users of the Digital Archive of Hacettepe University Department of Information Management. The archive in question was exclusively created by this paper's authors who have participated in the project. In our case, a formal usability test was chosen for the analysis and a total of 5participants -not only from library staff or those who practiced information sciences- but also from different areas have participated in the study. The test was divided into three sections; pre-test, usability test and post-test. A total of 4questions were identified which aimed at measuring the ease of finding an article, accessing full texts, signing up for a new account and finding a given author. The preliminary findings showed that the most convenient option that EPrints software provided was in finding an article, as all of the participants have managed to answer this question fairly easy and quick. On the other hand, the most challenging situation proved to be signing up for a new account. The main reason behind this was discovered to be the sending and receiving of the confirmation e-mails in the activation procedure. There are a few papers in the literature which evaluates EPrints through utilizing usability test. Consequently, the results from this study can be considered important in not only improving the quality of the tested archive, but also the EPrints software itself