Tổng quan

Thành phố Hồ Chí Minh đã đối mặt với nhiều khó khăn do đại dịch COVID-19, với mỗi ngày ghi nhận khoảng 8000 ca mắc bệnh, làm quá tải hệ thống y tế1. Trong bối cảnh đó, khi thành phố mở cửa lại các địa điểm và doanh nghiệp địa phương để phục hồi kinh tế và giáo dục, việc quản lý và giám sát nghiêm ngặt quá trình giãn cách là cần thiết để tránh lây nhiễm2. Để đáp ứng tình hình khi đó, một hệ thống Check-in IoT đã được phát triển và triển khai tại các tòa nhà và địa điểm công cộng để giám sát và quản lý người vào ra3. Hệ thống này đã được thử nghiệm tại HCMUT cho thấy hiệu quả trong việc kiểm tra trạng thái ID-nhiệt độ-khẩu trang và thời gian hoàn tất kiểm tra ban đầu là khoảng 18 giây. Sự ra đời của hệ thống này giúp đảm bảo sự giãn cách xã hội và hiệu quả trong quá trình quản lý và giám sát đám đông người vào khu vực đông người theo sơ đồ nguyên lý hoạt động như Figure 1.

Hệ thống iot check-in

Mô tả hệ thống

Tên gọi sản phẩm: Hệ thống IoT Check-in IoT .

Cấu trúc sản phẩm: Khung hình chữ nhật.

Khung sản phẩm: được làm từ 70% tấm nhôm và 30% thép không gỉ có thể chịu được các điều kiện thời tiết.

Phần máy ảnh: nằm ở giữa bên trái của máy, là một máy ảnh 720p30 được sử dụng để đọc mã vạch ID của sinh viên, mã QR tiêm chủng, được sử dụng để xác định một người, cũng như kiểm tra trang thiết bị khẩu trang cho người sử dụng.

Phần cảm biến: là cảm biến dựa trên nhiệt kế thông thường đã được chứng nhận bởi Bộ Y tế Việt Nam.

Phần vòi phun: là một vòi phun tự động phun ra dung dịch rửa tay khi người dùng đặt tay lên.

Phần âm thanh: là một loa Bluetooth báo cho người dùng và các vùng xung quanh khi có nghi ngờ về nhiễm bệnh.

Phần xử lý: sử dụng một máy tính mini đa năng (hiện tại là Raspberry Pi 4 Model B) để lưu trữ và xử lý tất cả các dữ liệu tiềm năng từ các phần khác của hệ thống.

Nguyên lí hoạt động

Để sử dụng máy kiểm tra đeo khẩu trang và xác thực ID, người sử dụng phải tuân theo chuỗi các bước sau đây theo đúng thứ tự (Figure 2 và Figure 3):

• Bước xác thực: Người sử dụng sử dụng thẻ ID hoặc mã QR tiêm chủng và đưa nó vào phần Camera. Sau đó, máy sẽ đọc mã vạch hoặc mã QR để tạo một bản ghi check-in liên kết với người dùng.

• Bước nhận diện khẩu trang (chức năng phụ): Người sử dụng hiển thị khuôn mặt của mình cho máy để kiểm tra trang thiết bị khẩu trang của họ. Nếu trang thiết bị không đủ, máy sẽ cảnh báo qua phần Âm thanh. Phần nhận diện này chứa một mô hình cho phát hiện khuôn mặt và một mô hình cho nhận diện khẩu trang, cho một khuôn mặt được phát hiện.

• Bước đo nhiệt độ cơ thể: Người sử dụng đứng trước cảm biến nhiệt độ. Máy sẽ đo nhiệt độ, nếu kết quả lớn hơn 38 độ C, máy sẽ cảnh báo qua phần Âm thanh để cách ly cần thiết.

• Bước rửa tay: Người dùng sẽ đặt tay của họ lên vòi nước và rửa tay, sau đó được phép vào bên trong khuôn viên.

Table 1 thể hiện thông số kỹ thuật của hệ thống IoT Check in. Hệ thống check in IoT được thiết kế và chế tạo thực tế như Figure 4 dựa trên khung sản phẩm tối ưu kích thước đã thiết kế trước đó (Figure 5).

Điện áp: 5.1V

Màu sắc: Trắng

Phần cảm biến: lấy từ nhiệt kế

Phần vòi phun: Khoảng cách cảm ứng hồng ngoại

Công suất tiêu thụ tối đa: ~ 20W

Phương pháp nghiên cứu

Mô hình thực tế

Hệ thống học cấu trúc sâu

Đối với phần nhận diện khuôn mặt, chúng tôi sẽ sử dụng mô hình mặc định từ OpenCV, đó là bộ nhận diện khuôn mặt ResNet SSD. Mô hình nhận diện này mạnh mẽ hơn đối với việc nhận diện khuôn mặt khi đeo khẩu trang hơn so với bộ phân loại Haar Cascade6.

Đối với phát hiện khẩu trang, chúng tôi sẽ sử dụng một số mô hình học cấu trúc sâu phổ biến cho phân loại như Figure 6, với đầu vào là phần khuôn mặt được phát hiện ở bước nhận diện khuôn mặt phía trên và đầu ra là phân loại nhị phân7 (đeo khẩu trang hoặc không đeo khẩu trang):

• Mạng Nơ-ron Đa Tầng (MLP)

• Mạng Nơ-ron Tích Chập (CNN)

Chúng tôi đã huấn luyện cả hai mô hình bằng cách sử dụng một tập dữ liệu gồm 4000 hình ảnh, gồm 50% được gắn nhãn là “unmasked” (không đeo khẩu trang) và 50% được gắn nhãn “masked” (đã đeo khẩu trang). Trong đó, những trường hợp khẩu trang được đeo sai cách cũng nằm trong số 50% khuôn mặt không đeo khẩu trang. Chúng tôi đã chọn lọc và sử dụng hình ảnh mang nhiều loại khẩu trang khác nhau, bao gồm cả khẩu trang y tế thông dụng, khẩu trang vải,.... Phần cứng được sử dụng để huấn luyện là Intel Core i7 10750H 2.6GHz.

Thuật toán tối ưu hóa là SGD và hàm mất mát là hàm entropy chéo nhị phân:

Trong đó: là nhãn đúng của mẫu dữ liệu, có giá trị là 0 hoặc 1.

là đầu ra dự đoán của mô hình, là một số thực trong khoảng từ 0 đến 1, đại diện cho xác suất mẫu dữ liệu thuộc vào lớp dương.

Chúng tôi sử dụng biểu đồ Training Loss và Training Accuracy để theo dõi và đánh giá hiệu suất của mô hình theo thời gian trong suốt quá trình huấn luyện (Figure 7).

Trong nghiên cứu này, chúng tôi đã đạt được kết quả thích hợp với sự thay đổi hành vi của con người trong giai đoạn ứng dụng hệ thống và đại dịch Covid-19 diễn ra. Ban đầu, khi thói quen đeo khẩu trang chưa rộng rãi do con người chưa nhận thức được tác dụng của việc đeo khẩu trang, chức năng nhận diện khuôn mặt có đeo khẩu trang hay không đeo khẩu trang đóng vai trò quan trọng trong việc nhắc nhở việc đeo khẩu trang. Tuy nhiên, trong thời gian ngắn, khẩu trang trở thành vật bất ly thân và có tác dụng rất tốt trong việc phòng chống Covid-19. Do đó, chức năng nhận diện khẩu trang trở thành chức năng phụ và không sử dụng nữa để tránh lãng phí, vì hầu hết mọi người đeo khẩu trang đầy đủ trong thời gian thực hiện nghiên cứu.

Cơ sở dữ liệu hệ thống

Đối với cơ sở dữ liệu của chúng tôi, chúng tôi sử dụng một cơ sở dữ liệu quan hệ, cụ thể là MySQL (Figure 8), sẽ được đặt trên một máy chủ trung tâm và có thể được truy cập khi cần thiết.

Dưới đây là danh sách chức năng phần mềm và thiết bị được sử dụng trongTable 2 và các dữ liệu ràng buộc của phần mềm trongTable 3 được sử dụng trong hệ thống.

TT	Chức năng	Ghi chú
1	Phần mềm trên máy IoT -Nhận dạng danh tính người vào trường (thông tin cá nhân và vắc-xin) -Kiểm tra tình trạng đeo khẩu trang. (đã loại bỏ chức năng) -Kiểm tra nhiệt độ. -Cảnh báo, thông báo kết quả kiểm tra. -Lưu trữ dữ liệu cục bộ -Reset phần mềm, máy IoT -Module Đồng bộ dữ liệu cục bộ và Cơ sở dữ liệu (CSDL) -Tập trung (cần mạng wifi)	Phần mềm
2	Ứng dụng cho cán bộ quản lý -Xác thực -Giao diện Khai thông tin vacxin -Giao diện Xác nhận thông tin vacxin. -Quản lý cấu hình -Giao diện Tra cứu thông tin ra-vào của Cán bộ/Giảng viên/ Sinh viên (CB/GV/SV) -Các thống kê lưu lượng người ra-vào hằng ngày ở các cổng/vị trí. -Trích xuất dữ liệu thông tin ra-vào của CB/GV/SV	Phần mềm
3	Service APIs đồng bộ dữ liệu (APIs) - APIs đồng bộ dữ liệu check-in giữa MayIoT_Local & IoTDb - APIs đồng bộ dữ liệu check-in giữa IoTDb và CSDL-TT của trường.	Phần mềm
4	Thiết bị trên máy IoT (Accessory) - Máy tính PC-mạch. - Camera (đọc barcode thẻ CB/SV; kiểm tra khẩu trang) - Sensor cảm biến nhiệt độ. - Thiết bị phun kháng khuẩn tay. - Màn hình video hướng dẫn và tương tác. - Hệ thống dây tích hợp các thiết bị.	Phần cứng Thiết bị cứng

TT	Ràng buộc
1	Phần mềm
1.1	Tổng Thời gian kiểm tra danh tính-nhiệt độ không quá 05 giây. + Thời gian lưu trữ dữ liệu check-in xuống IoT_LocalDb: 1-2 giây.
1.2	Module Kiểm tra danh tính-vắc xin + Thời gian kiểm tra danh tính 2 - 3 giây với dữ liệu “Info User” tại IoT_LocalDb đạt 30.000 trừ 150.000 người dùng. + Khi không tìm thấy thông tin CB/GV/SV, module cần xuất ra thông báo qua màn hình và âm thanh. + Khoảng cách từ camera tới thẻ CB/SV: 0.1 trừ 0.5 m
1.3	Module kiểm tra tình trạng đeo khẩu trang (đã loại bỏ chức năng) + Thời gian kiểm tra: 2-3 giây. + Khoảng cách từ camera tới thẻ CB/SV: 0.3 - 1 m + Nhận diện được các tình huống đeo khẩu trang khác nhau.
1.4	Module kiểm tra nhiệt độ + Thời gian kiểm tra: 2-3 giây. + Đo nhiệt độ đúng với các tình huống giả định với sai số cho phép.
1.5	Module Cảnh báo và nhắc nhở + Module cảnh báo nhắc nhở có thể nhận dữ liệu tùy chỉnh từ 3 module check danh tính-nhiệt độ. + Phát ra cảnh báo thông qua tín hiệu đèn-âm than theo đúng bảng cấu hình
2	Thiết bị
2.1	Thiết bị phải đảm bảo các chức năng và cơ động + Quét thẻ, nhận dạng đeo khẩu trang + Cảnh báo và nhắc nhở kết quả kiểm tra + Màn hình hướng dẫn cách sử dụng, hiển thị thông tin + Đo nhiệt độ + Rửa tay tự động + Có bánh xe di chuyển
2.2	Thiết bị phải có khả năng thay thế và bổ sung dung dịch sát khuẩn nhanh chóng. + Thời gian thay thế và bổ sung dung dịch: 5 - 10 phút. + Dung dịch sát khuẩn đạt tiêu chuẩn theo hướng dẫn của Bộ Y tế. Dung dịch sát khuẩn dạng nước, không bỏ phụ gia Glycerin. + Khoảng cách đáp ứng từ bàn tay tới cảm biến: 0,1 - 0,2 m

Kết quả nghiên cứu và thảo luận

Để kiểm tra độ chính xác của mô hình học cấu trúc sâu trên khuôn mặt, chúng tôi đã sử dụng 10.000 hình ảnh không được đánh nhãn và áp dụng cả hai mô hình để suy luận. Sau đó, chúng tôi đã so sánh kết quả với nhãn thực tế. Chúng tôi đã sử dụng tập dữ liệu kiểm định để đánh giá hiệu quả của mô hình sau quá trình huấn luyện và đã ngẫu nhiên hóa trọng số của các mô hình và huấn luyện chúng nhiều lần.

Kết quả cho thấy mô hình CNN có độ chính xác tổng thể tốt hơn so với mô hình MLP, như được thể hiện trong Table 4. Điều này có thể được giải thích bởi vì CNN có khả năng xử lý dữ liệu ảnh phức tạp và có kích thước lớn tốt hơn so với MLP. CNN có khả năng học được các đặc trưng cục bộ trong ảnh qua việc sử dụng các bộ lọc tích chập, giúp nâng cao khả năng đại diện và tổng quát hóa của mô hình trên dữ liệu kiểm tra. Trong khi đó, MLP không có kiến thức về cấu trúc không gian của dữ liệu ảnh, điều này giải thích tại sao mô hình này thường không có khả năng xử lý được dữ liệu ảnh phức tạp.

Máy được thiết kế để hoạt động hiệu quả trong mọi điều kiện thời tiết như mưa, nắng hay ngập lụt mà không ảnh hưởng đến độ chính xác của kết quả đo nhiệt độ. Ngoài ra, thiết kế nhẹ và dễ dàng di chuyển giúp cho việc sử dụng được linh hoạt hơn. Hệ thống cung cấp một ứng dụng để cập nhật thông tin vắc-xin cho người dùng, thông tin này sẽ được kiểm tra và đồng bộ trên cơ sở dữ liệu của HCMUT. Ứng dụng mà hệ thống cung cấp cho phép quản trị viên tra cứu thông tin vào/ra của người dùng và xem thống kê lưu lượng khách thăm quan. Ngoài ra, quản trị viên cũng có thể cấu hình các thông tin hoạt động của máy IoT như đồng bộ dữ liệu thời gian và các nhóm hoạt động của chức năng. Kết quả vận hành thực tế của máy được thể hiện trong Figure 9.

Kết luận

Trong bối cảnh phòng chống Covid-19, việc xác định người vào trường là rất quan trọng. Hệ thống đã được thiết kế để đọc mã vạch trên thẻ nhân viên, sinh viên và khách, kiểm tra tình trạng tiêm chủng, đo nhiệt độ, và xác định việc đeo khẩu trang bằng trí tuệ nhân tạo. Hệ thống cũng lưu trữ thông tin và dữ liệu về lưu lượng người vào ra cổng trường và khuôn mặt của những người vào và ra. Việc sử dụng hệ thống này sẽ giúp quản lý việc vào ra của nhân viên, giảng viên, sinh viên và khách trong thời gian dịch bệnh hiện tại để phục vụ cho công tác giảng dạy và học tập. Trong tương lai, nhóm tác giả sẽ xây dựng một hệ thống phần mềm-thiết bị tích hợp để đáp ứng các yêu cầu này. Máy có khả năng đọc mã vạch trên thẻ, kiểm tra nhiệt độ và tình trạng đeo khẩu trang và cảnh báo khi có trường hợp không hợp lệ. Ngoài ra, máy sẽ được tích hợp với thiết bị phun dung dịch rửa tay và màn hình hiển thị video hướng dẫn để tuyên truyền và hỗ trợ các nhân viên, giảng viên, sinh viên và khách. Hơn nữa, hệ thống sẽ có khả năng đồng bộ hoá dữ liệu với cơ sở dữ liệu về thông tin tiêm chủng, thời gian vào-ra, nhiệt độ và tình trạng đeo khẩu trang của người dùng tại HCMUT. Đồng thời, nhóm tác giả sẽ phát triển mô hình học cấu trúc sâu cho những chức năng của hệ thống và đưa ra kết luận về độ chính xác và khả năng tổng quát hóa của mô hình.

DANH MỤC TỪ VIẾT TẮT

IoT: Internet of things

ID: Identification

QR: Quick Response

MLP: Multilayer perceptron

CNN: Convolutional neural network

APIs: Application Programming Interface

SGD: Stochastic gradient descent

MySQL: My Structured Query Language

ResNet: Residual neural network

SSD: Single Shot MultiBox Object Detector

OpenCV: Open Computer Vision

Xung đột lợi ích

Nhóm tác giả xác nhận không có xung đột lợi ích liên quan đến công trình nghiên cứu.

Đóng góp của tác giả

Nhóm tác giả lập trình bằng C++ với OpenCV trên phần cứng Raspberry Pi 4 để xử lý hình ảnh và sử dụng phần mềm Autodesk Inventor để thực hiện thiết kế. Các thành viên đều có đóng góp như nhau trong nghiên cứu này.