Задача проекта:
Что из себя представляет помощник
Это система, имеющая модуль распознавания голосовых команд, с помощью которых выполняются все действия в системе, без какого либо физического вмешательства. В состав также входит возможность вызова номера 112 и голосовая связь. Также возможно подключение с задействованием телемоста. Помимо первой помощи – система также может использоваться в качестве системы «Умный дом», где голосовыми командами включается или выключается свет в помещении, включается телевизор, обогреватель. Тем самым упрощает процесс рутинных занятий и облегчает жизнь пользователю.
(На фото: аппаратный комплекс «LGA»)
(На фото: программная часть «LGA»)
Программное обеспечение
Система состоит из трех основных модулей, обеспечивающих взаимодействие с человеком и аппаратурой.
- Модуль #1: Прослушивание различных звуков и настройка порога срабатывания от голоса.
- Модуль #2: Запись звука в специальном формате для последующего распознавания.
- Модуль #3: Распознавание команды из звуковой дорожки.
- Модуль #Х: База данных команд и их применение
За основу разработки взят язык C# и Java Processing. Проект использует Open Source код, который можно найти на образовательных просторах Интернета. Распознавание голосовых команд идет через API сервисы Google. Взаимодействие железа и программы осуществляется через терминальное программное обеспечение, в котором пользователь может заранее внести настройки работы системы по своему усмотрению, а также добавить другие задачи.
Комплектующие
За функционирование ПО отвечает операционная система Windows, и установленные аппаратные модули:
- Плата с микропроцессором Arduino UNO
- GPS-GPRS-GSM плата
- Беспроводная bluetooth гарнитура
- Мобильный 3G-модем
- Микрофон
- Коммутаторы-реле 220V
Как работает
В помещении устанавливается автономно работающий ПК с установленным и подключенным к нему оборудованием. Пользователь может подавать голосовые команды в любой момент, когда посчитает нужным, а система, прослушав входящие команды – выполнит то или иное действие.
Например: Пользователь говорит «Компьютер» — «Включить телевизор». Если в базе команд есть подобная фраза или ее варианты – включится телевизор. Точно также можно включит свет, заварить кофе, набрать номер экстренных служб.
Отличительная особенность системы в том, чтобы пользователь, ограниченный в своем передвижении, мог не только направлять команды технике, но и сделать тревожный звонок на пост скорой помощи, или точно также вызвать к себе соседа по площадке. Это особенно важно в чрезвычайной ситуации.
Состав аппаратного комплекса:
- Материнская плата Asus
- БП портативный
- Портативная батарея
- ЖД
- Wi-Fi камера
- Wi-Fi адаптер
- 3G модем
- USB хаб
- Микрофон
- Bluetooth адаптер
- Web-камера
- Динамики
- Реле 220V
Мобильный комплекс, состоящий из портативного компьютера, и периферийных устройств, таких как камера, микрофон, устанавливается в помещении, подключается внешний источник питания либо задействуется внутренний. Запускается система, происходит развертывание всех служб и терминалов, обеспечивающих функционирование и связь комплекса с внешним миром.
После небольшого промежутка времени, комплекс входит в рабочий режим и начинает свою работу.
С микрофонов, подключенных к устройству через кабель или через беспроводную связь, начинается непрерывное считывание сигналов, всяческих шумов. При возникновении шумов (*далее речевых команд), превышающих установленное пороговое значение – срабатывает регистратор записи. Регистратор производит запись звуковой дорожки в специальном формате, который в последующем будет анализироваться на предмет голосовых команд и поиск их по базе.
Записанная звуковая дорожка отправляется на распознавание.
Если в базе голосовых команд не найдено такой команды, или ее аналогов, работа системы продолжается в штатном, фоновом, режиме.
Если команда была распознана, то будет выполнено соответствующее действие.
Экстренные случаи
Бывают ситуации, когда все идет не по плану – происходит отключение электроэнергии, неполадки с телекоммуникационными каналами связи, Интернетом.
В таких случаях системы использующие для связи Интернет становятся уязвимыми, и не функциональными. В нашем случае задействованы резервные каналы связи, такие как GSM-связь, определение местоположения по GPS-каналам, а также обеспечение бесперебойной работы комплекса от встроенного источника питания в течении 1-2 часов.
В случае отключения электропитания система будет автоматически(планируется) производить отправку информации (SMS-сообщения) о состоянии на указанные диспетчерские пункты. Диспетчер сможет своевременно среагировать на возникшую ситуацию, либо вызвать на место специалистов той или иной службы.
(Контролирование датчиков и сенсоров)
Помимо случаев с неполадками связи, существуют более важные, такие как утечка газа, задымление или пожар в помещении, затопление и другие. Для своевременного реагирования на эту опасность, существуют и уже широко используются специализированные датчики, сенсоры. Они могут быть включены в эту систему. Для этого потребуется только изменить частично программный код и включить оповещение при срабатывании.
Плюсы системы
- Сравнительно небольшие габариты
- Мобильность
- Возможность расширения аппаратных средств
- Внедрение новых периферийных устройств
- Человеко-понятный терминальный интерфейс
- Работа от резервного источника питания в 12V
- Возможность внедрения в другие сферы быта
Минусы
- Использование Интернет каналов.
- Чувствительные микрофоны
- Временное отсутствие offline-распознавания
Фотоархив