Проект "Life Guard Asisstant"

Задача проекта:

Что из себя представляет помощник

Это система, имеющая модуль распознавания голосовых команд, с помощью которых выполняются все действия в системе, без какого либо физического вмешательства. В состав также входит возможность вызова номера 112 и голосовая связь. Также возможно подключение с задействованием телемоста. Помимо первой помощи – система также может использоваться в качестве системы «Умный дом», где голосовыми командами включается или выключается свет в помещении, включается телевизор, обогреватель. Тем самым упрощает процесс рутинных занятий и облегчает жизнь пользователю.

(На фото: аппаратный комплекс «LGA»)

(На фото: программная часть «LGA»)

Программное обеспечение

Система состоит из трех основных модулей, обеспечивающих взаимодействие с человеком и аппаратурой.

Модуль #1: Прослушивание различных звуков и настройка порога срабатывания от голоса.
Модуль #2: Запись звука в специальном формате для последующего распознавания.
Модуль #3: Распознавание команды из звуковой дорожки.
Модуль #Х: База данных команд и их применение

За основу разработки взят язык C# и Java Processing. Проект использует Open Source код, который можно найти на образовательных просторах Интернета. Распознавание голосовых команд идет через API сервисы Google. Взаимодействие железа и программы осуществляется через терминальное программное обеспечение, в котором пользователь может заранее внести настройки работы системы по своему усмотрению, а также добавить другие задачи.

Комплектующие

За функционирование ПО отвечает операционная система Windows, и установленные аппаратные модули:

Плата с микропроцессором Arduino UNO
GPS-GPRS-GSM плата
Беспроводная bluetooth гарнитура
Мобильный 3G-модем
Микрофон
Коммутаторы-реле 220V

Как работает

В помещении устанавливается автономно работающий ПК с установленным и подключенным к нему оборудованием. Пользователь может подавать голосовые команды в любой момент, когда посчитает нужным, а система, прослушав входящие команды – выполнит то или иное действие.

Например: Пользователь говорит «Компьютер» — «Включить телевизор». Если в базе команд есть подобная фраза или ее варианты – включится телевизор. Точно также можно включит свет, заварить кофе, набрать номер экстренных служб.

Отличительная особенность системы в том, чтобы пользователь, ограниченный в своем передвижении, мог не только направлять команды технике, но и сделать тревожный звонок на пост скорой помощи, или точно также вызвать к себе соседа по площадке. Это особенно важно в чрезвычайной ситуации.

Состав аппаратного комплекса:

Материнская плата Asus
БП портативный
Портативная батарея
ЖД
Wi-Fi камера
Wi-Fi адаптер
3G модем
USB хаб
Микрофон
Bluetooth адаптер
Web-камера
Динамики
Реле 220V

Мобильный комплекс, состоящий из портативного компьютера, и периферийных устройств, таких как камера, микрофон, устанавливается в помещении, подключается внешний источник питания либо задействуется внутренний. Запускается система, происходит развертывание всех служб и терминалов, обеспечивающих функционирование и связь комплекса с внешним миром.

После небольшого промежутка времени, комплекс входит в рабочий режим и начинает свою работу.

С микрофонов, подключенных к устройству через кабель или через беспроводную связь, начинается непрерывное считывание сигналов, всяческих шумов. При возникновении шумов (*далее речевых команд), превышающих установленное пороговое значение – срабатывает регистратор записи. Регистратор производит запись звуковой дорожки в специальном формате, который в последующем будет анализироваться на предмет голосовых команд и поиск их по базе.

Записанная звуковая дорожка отправляется на распознавание.

Если в базе голосовых команд не найдено такой команды, или ее аналогов, работа системы продолжается в штатном, фоновом, режиме.

Если команда была распознана, то будет выполнено соответствующее действие.

Экстренные случаи

Бывают ситуации, когда все идет не по плану – происходит отключение электроэнергии, неполадки с телекоммуникационными каналами связи, Интернетом.

В таких случаях системы использующие для связи Интернет становятся уязвимыми, и не функциональными. В нашем случае задействованы резервные каналы связи, такие как GSM-связь, определение местоположения по GPS-каналам, а также обеспечение бесперебойной работы комплекса от встроенного источника питания в течении 1-2 часов.

В случае отключения электропитания система будет автоматически(планируется) производить отправку информации (SMS-сообщения) о состоянии на указанные диспетчерские пункты. Диспетчер сможет своевременно среагировать на возникшую ситуацию, либо вызвать на место специалистов той или иной службы.

(Контролирование датчиков и сенсоров)

Помимо случаев с неполадками связи, существуют более важные, такие как утечка газа, задымление или пожар в помещении, затопление и другие. Для своевременного реагирования на эту опасность, существуют и уже широко используются специализированные датчики, сенсоры. Они могут быть включены в эту систему. Для этого потребуется только изменить частично программный код и включить оповещение при срабатывании.

Плюсы системы