運算伺服器和 APP 整合的
血壓計數值辨識系統

此作品為產學合作計畫

本系統目標為透過行動裝置之相機鏡頭，擷取 2 款目標血壓計螢幕的清晰影像，上傳至伺服器並偵測上數字。縮短使用傳統血壓計時需要雲端紀錄時的手續。

系統特色

• 行動裝置端功能

  • 成像清晰度判定

  • 血壓計型號辨識

• 伺服器端功能

  • YOLOv5 LED 顯示面板定位模型

  • 影像旋轉校正演算法

  • YOLOv5 LED 數字辨識模型

  • 數值位置定位演算法

系統整體架構

行動裝置端功能

成像清晰度判定

使用小型神經網路在手機上執行 Real-time 運算，過濾過暗、過曝、歪斜、變形與反光的血壓計面板照片。經過我們的微調後，使用者能以類似 QR Code 掃描的體驗，拍攝照片。

血壓計型號辨識

使用小型神經網路在手機上辨識 2 款目標血壓計型號（OMRON HEM-732FORA、FORA D40G），於上傳圖片時告知伺服器即將處理之血壓計型號。

伺服器端功能

YOLOv5 LED 顯示面板定位模型

使用 YOLOv5 LED 顯示面板定位模型，剪取顯示面版剔除多於背景，以利於影像旋轉校正和數字定位。

影像旋轉校正演算法

使用 Canny 邊緣檢測(b) 和霍夫直線檢測(c) 找出所有潛在的直線線段。由於螢幕邊框和七段顯示器數字邊緣皆為矩形，因此大多數線段方向會是螢幕的 x 軸或 y 軸方向。計算重複最多的和次多的直線線段角度，就能得到螢幕近似的 x、y 軸(d)，並將其轉正(e)。

YOLOv5 LED 數字辨識模型 & 數值位置定位

使用 YOLOv5 LED 數字辨識模型，得到每個數字的值、預測框、以及位置資訊。最後再將這些資訊轉換為血壓、心跳的數值做輸出。