[Lecture] [Resume] Dari Sinyal Otak Hingga Antarmuka Adaptif: Penggunaan fNIRS Dalam HCI

1. Pendahuluan

Disaat kebanyakan BCI (Brain-Computer Interface) menggunakan EEG (Electroenchephalogram) untuk mengukur aktifitas otak, ada sebuah teknik yang relatif kurang di eksplorasi yakni functional Near-Infrared Spectroscopy (fNIRS), sebuah pengukuran non-invasif dari perubahan pada oksigenasi darah, yang dapat digunakan untuk meramalkan tingkat kemungkinan dari aktivasi otak. Idealnya, untuk penelitian HCI (Human-Computer Interface), sinyal fNIRS cukup kuat untuk tidak terpengaruh oleh aktifitas non-mental lainnya, seperti mengetik, yang terjadi selama partisipan sedang melakukan tugasnya. Faktanya, salah satu keuntungan utama dari fNIRS adalah peralatan yang digunakan ini memberlakukan beberapa pembatasan secara fisik maupun perilaku terhadap partisipan. Karenanya akan coba diidentifikasi dua pertanyaan penelitian di bab ini, yaitu (1) kondisi seperti apa saja kah yang dapat diukur dengan menggunakan fNIRS dan (2) bagaimana seharusnya kita menggunakan informasi ini sebagai input untuk sebuah tampilan antarmuka yang adaptif.

fnirs

2. Latar Belakang fNIRS

fNIRS menyediakan pengukuran konsentrasi oksigen dalam darah, indikatif dari aktifitas otak ketika diukur pada kepala. Cahaya yang mendekati inframerah di denyutkan pada dahi yang mana ini kemudian dibiaskan dari jaringan cortex hingga kedalaman 1-3cm. Hemoglobin oksigenasi dan deoksigenasi adalah penyerap utama cahaya pada panjang gelombang ini sehingga pantulan cahaya yang menyebar ini dicatat oleh detektor, dan untuk yang berkaitan dengan konsentrasi oksigen pada darah juga total keseluruhan darah pada jaringan. Ada banyak kemungkinan untuk peletakan dari alat fNIRS ini, yang memungkinkan studi terhadap banyak wilayah otak. Tempat peletakan yang paling umum adalah di motor cortex dan prefrontal cortex, walaupun untuk wilayah lain juga telah di eksplorasi.

3. Pertimbangan fNIRS Terhadap Penelitian HCI

Akhir-akhir ini, fNIRS telah digunakan di bidang HCI karena memiliki banyak karakteristik yang membuatnya cocok untuk penggunaan di luar pengaturan klinis. Kelebihan ini termasuk penggunaannya yang mudah, waktu pengaturan yang singkat dan portabilitas, menjadikannya sebuah tool yang menjanjikan untuk peneliti HCI. Sebagai tambahan,tidak ada batasan teknis untuk penggunaan EEG dan fNIRS secara bersamaan dan kedua teknologi ini dapat saling melengkapi. Jika EEG mengukur aktifitas neural yang cepat, maka fNIRS mengukur kadar oksigen dalam darah yang hasilnya relatif lebih lambat untuk berubah daripada sinyal EEG.

3.1 Pergerakan Kepala

Beberapa peneliti fNIRS menaruh perhatian pada pergerakan dalam sensor data fNIRS, khususnya dari pergerakan kepala. Mereka mencatat bahwa masalah ini signifikan jika pergerakan kepala tidak di batasi, dan akan menjadi semakin lebih signifikan pada keadaan benar-benar bergerak. Akan tetapi peneliti lain mengindikasikan bahwa sistem fNIRS dapat memonitor aktifitas otak dari subjek yang sedang bergerak bebas di luar laboratorium. Karena kurangnya kesepakatan dalam hal ini, maka dilakukan penelitian terkait pergerakan kepala pada saat penggunaan komputer untuk menentukan pengaruhnya pada sensor data fNIRS dalam pengaturan HCI khusus. Dari percobaan ini, disarankan bagi partisipan untuk mengurangi pergerakan kepala yang terlalu banyak, walaupun mungkin hal ini dapat dikoreksi dengan menggunakan teknik filtering.

3.2 Pergerakan Wajah

Sensor fNIRS seringkali ditempatkan pada dahi, dan sebagai akibatnya, ada kemungkinan pergerakan wajah yang dapat mengganggu pengukuran secara akurat. Pergerakan pada dahi ini dapat disebabkan karena berbicara, tersenyum, cemberut atau karena kondisi emosional lainnya dan banyak peneliti yang kemudian meminta partisipannya untuk menahan diri dari menggerakkan wajahnya, termasuk untuk berbicara. Pergerakan mata dan berkedip dapat menyebabkan artefak (sesuatu yang terjadi) pada data EEG, yang dapat menyebabkan percobaan ditolak, sehingga peneliti sering meminta partisipan untuk menahan dari berkedip atau berkedip hanya pada saat-saat tertentu saja. Hal ini berbeda dengan fNIRS yang tidak terlalu sensitif terhadap pergerakan otot dan tidak menghasilkan artefak di sekitar area otak. Sehingga disimpulkan bahwa artefak pada mata dan kedipan tidak akan menjadi masalah pada fNIRS.

3.3 Cahaya di Sekitar

Karena fNIRS adalah teknik optikal, maka cahaya di lingkungan sekitar dapat menyebabkan gangguan terhadap data. Cahaya selain dari sensor harus dicegah agar tidak mencapai detektor. Kewaspadaan terhadap cahaya yang berlebihan harus dijaga pada level minimun pada saat menggunakan fNIRS, atau sensor harus ditutup dengan baik untuk menyaring kelebihan cahaya.

3.4 Kebisingan di Sekitar

Banyak studi yang menggunakan sensor otak dilakukan di ruangan kedap suara untuk mencegah agar suara tidak mempengaruhi sensor data. Akan tetapi pengaturan ini tidak realistik untuk kebanyakan penelitian HCI. Karenanya semua penelitian ini kemudian dilakukan dengan setting kantor biasa yang dibuat tenang. Sehingga meskipun sesekali terjadi gangguan karena suara, akan tetapi banyak penelitian fNIRS berhasil dilakukan dengan cara ini.

3.5 Pernafasan dan detak jantung

Sinyal fNIRS mencatat pernafasan dan detak jantung, secara definitif, pada saat melakukan pengukuran terhadap aliran darah dan oksigenasi. Sumber gangguan sistemik ini dapat dihilangkan dengan menggunakan teknik filtering yang telah di validasi.

3.6 Pergerakan otot

Salah satu keuntungan dari fNIRS adalah persiapannya tidak membatasi partisipan secara fisik, memungkinkan mereka untuk menggunakan perangkat eksternal seperti keyboard dan mouse. Sebagai tambahan, artefak gerakan ini hanya memiliki sedikit pengaruh terhadap data hasil sensor otak. Diketahui juga bahwa mengeklik mouse dapat mempengaruhi sinyal fNIRS yang sedang dikumpulkan, meskipun sinyal ini berbeda dengan sinyal ketika sedang melakukan pekerjaan kognitif. Oleh karena itu, hasil ini mengindikasikan ketika kita hendak mengamati pekerjaan kognitif yang mengandung kegiatan menge-klik mouse, kita juga perlu memiliki pekerjaan istriahat yang juga menge-klik mouse. Secara keseluruhan, aktifitas menge-klik mouse masih dapat diterima jika percobaan masih dapat dikendalikan.

3.7 Respon lambat hemodinamik

Perubahan lambat hemodinamik yang diukur oleh fNIRS terjadi dalam rentang waktu 6-8 detik. Ini penting ketika mendesain antarmuka berdasarkan sensor data fNIRS, karena antarmuka harus merespon pada waktu ini. kebanyakan studi mengambil keuntungan dari respon yang lambat ini untuk mengukur kondisi kognitif jangka pendek, daripada yang instan.

3.8 Ringkasan dari panduan dan pertimbangan

Menurut penelitian kami, mengklik mouse dan mengetik tidak bermasalah, tetapi gerakan kepala berskala besar dan gerakan wajah harus diminimalkan, gerakan kecil serta detak jantung dan pernapasan dapat diperbaiki dengan menggunakan teknik filtering. Banyak keterbatasan yang melekat pada penginderaan otak dan perangkat pencitraan lain seperti waktu setup yang lama, posisi sangat terbatas, dan intoleransi terhadap gerakan yang bukan merupakan faktor ketika menggunakan fNIRS. Dengan menggunakan pedoman yang dijelaskan di atas, peneliti dapat mendeteksi aspek kognitif negara pengguna dalam kondisi laboratorium HCI yang realistis.

4. Mengukur Beban Kerja Mental

Mendapatkan pengukuran mengenai kondisi mental dari pengguna komputer merupakan suatu hal yang berharga dalam HCI, baik untuk evaluasi dari antarmuka dan sebagai masukan real-time terhadap sistem komputer. Sebuah studi dilakukan untuk mendemonstrasikan kelayakan dan potensi dari penggunaan fNIRS dalam pengaturan HCI. Beberapa tingkatan beban kerja diskrit yang dialami user ketika menjalankan tugas dibedakan. Tujuan dari percobaan ini adalah untuk menetapkan apakah data fNIRS cukup untuk menentukan tingkat beban kerja dari user ketika melakukan pekerjaan.

5. Memisahkan Beban Kerja Semantik dan Sintaksis Pada Otak

Bagaimana seorang evaluator UI (User Interface) dan desainer sistem adaptif mengetahui bahwa sebuah pengukuran beban kerja yang tinggi itu disebabkan karena UI atau karena pekerjaan yang sedang dilakukan? Untuk menjawab pertanyaan ini akan digunakan teori komponen semantik dan sintatik dari sebuah tampilan antarmuka. Pada teori ini, komponen semantik termasuk usaha yang dikeluarkan oleh seorang user untuk menyelesaikan pekerjaan yang diberikan. Sedangkan untuk komponen sintaksis meliputi usaha yang dibutuhkan untuk memahami dan bekerja dengan antarmuka, termasuk menterjemahkan umpan balik dari antar muka dan merumuskan dan memasukkan perintah ke dalam antarmuka.

6. Penginderaan fNIRS selama permainan game interaktif

Tujuan dari studi ini adalah untuk membendakan antara tingkat kesulitan game dengan menggunakan data fNIRS yang dikumpulkan ketika subjek sedang memainkan game komputer. Studi ini dirancang untuk mengarah kepada permainan adaptif fan antarmuka interaktif lainnya yang merepon pada aktifitas otak dari user secara real-time. Data performa kemudian dikumpulkan dan hasil analisa menunjukkan perbedaan yang signifikan dan jelas antara kedua level. Dari data ini kemudian dilakukan dua analisa untuk memastikan adanya perbedaan dari konsentrasi hemoglobin pada setiap kondisi. Analisa pertama dilakukan secara statistik dan menunjukkan hasil bahwa subjek yang kondisi mentalnya sedang aktif atau pasif dapat diketahui, juga antara level yang berbeda dari tingkat kesulitan permainan. Sedangkan pada analisa klasifikasi juga konsisten dengan hasil tersebut, akan tetapi mengindikasikan kesulitan lebih dalam membedakan level permainan.

7. Melangkah menuju antarmuka fNIRS adaptif

Ada dua prototype yang diajukan untuk mendemonstrasikan bagaimana sebuah antarmuka adaptif yang real-time dan ringan dapat digunakan dengan pengukuran fNIRS.

7.1 Skenario Stockbroker

Di skenariokan seorang stockbroker (broker saham) sedang menulis sebuah email sensitif kepada seorang klien. Pada saat yang bersamaan, di berusaha untuk melacak, informasi saham pada layar yang sama menit demi menit. Sementara emailnya adalah sesuatu yang sangat penting, dia tidak ingin benar-benar kehilangan informasi saham. Bagaimana jika dia seandainya melewatkan sebuah momen penting? Sebagai solusi, stockbroker tersebut menggante visualisasi data tergantung dari beban kerja yang dikaitkan dengan tugas menulis email ini. Jika stockbroker tersebut tidak terlalu terbebani dengan emailnya, maka visualisasi sahamnya akan mampu dia amati secara detail. Sebaliknya jika dia bekerja keras pada emailnya dan tidak boleh sampai terganggu oleh informasi saham maka tingkat kedetailan tadi akan menurun.

Grafik ilustrasi untuk kondisi pertama (kiri) dan kedua (kanan)
Grafik ilustrasi untuk kondisi pertama (kiri) dan kedua (kanan)

7.2 Skenario Many Windows

User sering membuka beberapa jendela aplikasi secara bersamaan, menulis dokumen di satu jendela dan melihat paper di jendela lainnya dan melakukan hal lain di jendela yang lain lagi. Disini fNIRS dapat membantu menebak jendela manakah yang yang paling penting. fNIRS dapat memonitor jumlah beban kerja yang dibutuhkan untuk setiap pekerjaan, dan menyamarkan jendela yang lain menurut hasil tersebut.

7.3 Melihat ke depan

Kedua skenario tadi memberikan uraian singkat mengenai BCI yang dikombinasikan dengan fNIRS. Kedua skenario ini lebih memperhatikan pada beban kerja jangka panjang dan tren daripada sebuah snapshot singkat. Kedepannya, kita dapat membayangkan berbagai maca situasi dimana fNIRS merupaka input yang berharga untuk antarmuka adaptif.

8 Kesimpulan

Kita telah mengeksplorasi pertimbangan praktis untuk menggunakan fNIRS dalam HCI. Kita melihat bagaimana pengaruh gerakan kepala, wajah dan otot terhadap hasil bacaan fNIRS. Kita juga mempertimbangkan faktor lingkungan seperti keramaian dan tingkat cahaya. Selanjutnya kita telah melakukan studi terhadap kelayakan dari penggunaan fNIRS sebagai alat ukur beban kerja sebelum mengukur perbedaan dalam beban kerja sintaksis dan semantik dari otak. Akhirnya kita mengukur sebuah antarmuka yang sesungguhnya, mengidentifikasi pengukuran beban kerja yang meningkat dan menurun menurut kompleksitas dari sebuah pekerjaan. Kita juga telah menuraikan karakteristik umum untuk ruang desain dari antarmuka pengguna yang menyesuaikan pengukuran berdasarkan fNIRS. Kita kemudian menjelaskan dua skenario yang dapat memberikan keuntungan dari desain antarmuka tersebut.

Referensi bacaan:

Tan, Nijholt. 2010. Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction. Springer.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s