這次跟各位讀者分享的作品，是淡江大學電機系CILAB實驗室朱永龍同學發表的專題，CILAB在互動式學習、人機互動、嵌入式系統、影像分析與辨識 、模式識別是主要研究方向，近年在小朋友學習、弱勢族群、MAKE領域發表相當多作品，更多作品可以到這裡看
| 作者/攝影 | 徐豐智/朱永龍 |
本次作品為中文手指閱讀器，希望提供視障者一個輕巧且易於攜帶的閱讀器；將閱讀器穿戴在視障者的食指上，協助他們閱讀紙本書籍上的中文文字。視障者使用手指閱讀器時，系統首先會利用震動提示的方式，來引導視障者將食指移動到適當的閱讀位置(觸覺回饋)。系統辨識書籍上的中文文字完成後，透過朗讀文字提供視障者聽覺上的回饋。
來認識一下視障者的相關資訊吧
一般日常生活中閱讀文字是不可或缺的事情，除了閱讀書籍外，包括閱讀藥物罐上的說明，操作家電（例如微波爐）上的按鈕，閱讀車站內看板上相關訊息（例如位置、樓層）時，都需要辨識這些文字訊息。對視障者來說，理解這些文字訊息是一件困難的任務。對「中途失明者」來說更是如此，所謂的「中途失明者」是指年齡為15歲以上之視障者，他們原本擁有正常的視力，後來因為疾病或意外傷害導致失明。這些視障者未曾接受過特殊教育，他們普遍呈現摸讀速度緩慢、連續性不足、缺乏效率等問題。（*註解[1]-[5]）
為了協助視障者閱讀文字，近年來國內外許多研究者提出許多研究成果。主要可分為穿戴式裝備或是手持式裝置兩大類型的輔具。（*註解[6]-[13]）
- 穿戴式輔具：
將身體當為攝影機或相機的載具，並在攝影機擷取影像後，搜尋影像中可能存在的文字區塊加以辨識。學者Yi與Tain將小型攝影機架設在眼鏡上，並透過影像分析與文字辨識技術，辨識出書寫在物品上的文字。Hanif與Prevost 同樣將小型攝影機架設在眼鏡上的方式，來辨識招牌上的文字，並提供一個震動回饋來與視障者互動。Mattar等人[8]設計一個頭戴式攝影機，來辨識招牌上的文字。Ezaki等人將攝影機架設在肩膀上，來辨識招牌上的文字。
- 手持式輔具：
手持式裝置的特色就是視障者透過PDA或智慧型手機作為影像擷取裝置。學者Peters 等人[10]以PDA的相機擷取影像來辨識鈔票、條碼與商品上的標籤。Shen等人[11]使用智慧型手機辨識門牌或路標，並提供震動回饋來與視障者互動。
現在技術上常遇到的問題
- 在擷取影像時，影像品質容易受到光源、焦距、反光等影響。
- 在複雜背景中尋找文字區域也不容易。
- 需要耗費大量的運算資源(處理時間可能需要數秒至數十秒)。
- 很難辨別出哪些文字資訊才是視障者真正關心的資訊。
由MIT多媒體實驗室Shilkrot等人在2014與2015年所提出的穿戴式手指閱讀器。協助視障者閱讀紙本書籍上的英文文字。當系統辨識書籍上的英文文字後，利用語音朗讀文字的方式，讓視障者得知書籍上的文字內容為何。
這次主題以辨識繁體中文為主，將閱讀器套在食指上並指向書籍，閱讀器將透過震動提示引導視障者閱讀書中文字，閱讀器也將透過攝影機逐一朗讀出書籍上的文字內容，閱讀器也可以幫助外籍人士學習中文字。
裡面的硬體裝置包含（1）小型攝影機、（2）震動馬達、（3）電容式觸控開關，（4）控制馬達的微控制系統。我們利用小型攝影機擷取影像資訊來判斷手指與書本文字的相對位置，並進一步擷取文字字元的影像。
我們來看看硬體
閱讀器裡面安置一個（5）電容式觸控開關，手指可藉由觸摸開關來切換閱讀器的中文閱讀模式、閱讀器內部也安置四個具震動功能之微型馬達，電腦端的控制系統可以即時控制馬達震動，並透過震動的提示資訊，引導食指移動到適當的閱讀位置。（6）LattePanda做我們文字辨識的後端處理系統，配合閱讀器可以隨時做文字處理，並隨時提供給使用者語音回饋。
情景一 單字閱讀模式
閱讀器擁有中文單字閱讀模式，使用者手指指向文字時，閱讀器將只偵測手指上方所指到的中文單字，單字閱讀模式不使用振動馬達，並且關閉其它跳行偵測和引導換行等震動提示功能。
單一字閱讀
情景二 文章閱讀書籍文字
視障者在閱讀文章時並無法順利的將手指指在適當的文字位置上，文章閱讀模式在閱讀書籍時，閱讀器會透過震動馬達的震動來提示視障者，並引導食指移動到適當的文字位置，方便閱讀器做文字辨識。
我們在手指閱讀器內部安置了四個具震動功能之微型馬達。電腦端依據不同的使用情景設計了三種主要的引導機制（A）引導使用者到距離手指最接近的文字段落，並引導手指移至該行文字的開頭位置（圖4(a)）。（B） 當手指出現跳行或偏移到其他橫行文字的情況時，閱讀器透過震動提示的方式，引導手指移回原本的閱讀的位置（圖(b)）。（C） 當手指移動到此橫行文字段落的結尾邊界時，將提示回到行頭並到達下一行從頭開始閱讀（圖(c)）。
(a) 引導至開頭
(b) 跳行提醒
(c) 閱讀至結尾邊界時（震動引導機制）
中文字元切割
當手指閱讀器將指尖前方的影像資訊傳送至電腦端後，CILAB開發一套中文字元擷取與辨識演算法來辨識影像中的文字。下圖是系統流程圖，這個系統利用影像前處理（灰階、Otsu、Opening、Closing）等演算法，找出指尖位置與傾斜角度，再偵測出行高等相關資訊來做文字擷取切割出單一的文字圖，透過中文字元辨識以及文字轉語音讓閱讀器念出中文。
系統流程圖
若是針對整張影像做二色化處理，其二色化結果非常容易受到光源以及其他因素影像，經常出現文字破損的情況，也進一步影響文字切割以及中文字元辨識(OCR)的準確性。設計者採用區域式(local-based)的二色化處理擷取出完整度較好的文字影像，並提升文字切割以及中文字元辨識(OCR)的準確性。
另外採用投影掃描線法來偵測橫行，圖的灰色區域代表掃描線經過文字區塊（圖6a）。當系統偵測橫行並計算出行高後，我們會根據指尖位置，往上方延伸兩倍行高的高度，以及四倍行高的寬度，進行區域影像的切割（如圖(a)之紅色矩形區域），並針對此矩形區域使用Otsu threshold再次進行二色化處理，圖7(b)為此矩形區域進行二色化處理後之結果。
橫向投影掃描線法
接著使用垂直投影的方式來切割中文字元(圖(a))，此種方式相較於切割英文字元會有較為複雜的問題，對於某些中文字來說（例如：化、川），以垂直投影進行文字切割時，一個完整的中文字元會被分割成兩個或三個獨立的文字區塊。
我們發現中文字的外觀都非常接近方正型，我們根據中文字的行高資訊，在做文字切割時，將部分寬度較小的且鄰近的中文字元合併成一個中文字元，圖 (b)為成功切割出一中文字元。
圖(a)垂直投影掃描線
(b)切割獨立元
註解
[1] 柯明期, 中途失明者適應與重建之研究。師範大學特殊教育所碩士論文, 2004。
[2] 李佳玲, 中高齡視障者電腦使用動機及對圖書館電子化資源服務需求之研究。臺灣大學圖書資訊學研究所碩士論文, 2013。
[3] W. Jeong, “Emotions in information seeking of blind people,” in Diane Nahl and Dania Bilal (Eds.), Information and Emotion: The Emergent Affective Paradigm in Information Behavior Research and Theory pp. 267-278, 2007.
[4] 陳怡佩。視覺障礙兒童及青少年的資訊需求。臺灣圖書館管理季刊, 2(3), pp. 32-43, 2006.
[5] K. Carey, “The opportunities and challenges of the digital age: a blind user’s perspective,” Library Trends 55(4): 767-784, 2007.
[6] C. Yi, and Y. Tian, “Assistive text reading from complex background for blind persons,” in Camera-Based Document Analysis and Recognition. Springer, 15–28, 2012.
[7] S. M. Hanif, and L. Prevost, “Texture based text detection in natural scene images-a help to blind and visually impaired persons,” In CVHI, 2007.
[8] M. Mattar, A. Hanson, and E. Learned-Miller, “Sign classification using local and meta-features,” in IEEE CVPR Workshops, pp. 26–26, 2005.
[9] N. Ezaki, M. Bulacu, and L. Schomaker, “Text detection from natural scene images: towards a system for visually impaired persons,” in Proc. of ICPR, vol. 2, pp. 683–686, 2004.
[10] J.-P. Peters, C. Thillou, and S. Ferreira, “Embedded reading device for blind people: a user-centered design.” in Proc. of IEEE ISIT, pp. 217–222, 2004.
[11] H. Shen, and J. M. Coughlan, “Towards a real-time system for finding and reading signs for visually impaired users,” In Proc. of ICCHP, pp. 41–47, 2012.
[12] R. Shilkrot, J. Huber, C. Liu, P. Maes, and S. C. Nanayakkara, “Fingerreader: A wearable device to support text reading on the go,” in CHI EA, ACM, pp. 2359–2364, 2014.
[13] R. Shilkrot, J. Huber, M. E. Wong, P. Maes, and S. C. Nanayakkara, “Fingerreader: A wearable device to explore printed text on the go,” in ACM CHI 2015, pp. 2363–2372, 2015.
相關文章：
- [LattePanda] OpenCV視覺辨識人臉追蹤
- [LattePanda] 使用C# 來做藍牙4.0 iBeacon的門鎖系統
- [LattePanda] 使用Weather API、Google 雲服務打造氣象預報機器人
- [LattePanda] 從零開始教學，在LattePanda上使用Python與Arduino來控制meArm機械手臂
- [LattePanda教學] lattepanda + Azure #2 上傳類比資料到Azure IoT hub
- [LattePanda教學] lattepanda + Azure #1 環境建置
- [LattePanda拿鐵熊貓 ] 簡單使用LettePanda遠端遙控3D列印機不求人
- [LattePanda評測] 哪一些常用軟體可以跑在小電腦LattePanda上