Компания Samsung разработала приложение для смартфонов и планшетов, позволяющих использовать любую поверхность в качестве виртуальной клавиатуры. Пользователь может набирать текст привычным образом, нажимая пальцами на соответствующие клавишам области, а камера устройства считывает эти движения и превращает их в символы, сообщается в пресс-релизе Samsung.
Несмотря на то, что в последние годы средний размер экрана смартфонов значительно вырос, он все равно намного меньше, чем размер стандартной компьютерной клавиатуры. Из-за этого пользователям приходится набирать текст только одним или двумя большими пальцами, а также использовать две отдельные техники набора при работе со смартфоном и компьютером.
В качестве решения этой проблемы инженеры уже достаточно давно предлагают использовать для ввода необычные носимые устройства, такие как клавиатура-кастет. Кроме того, ранее исследователи из Fujitsu уже создали подобную виртуальную клавиатуру, считывающую «нажатия» с помощью камеры и алгоритмов компьютерного зрения, однако для этого приходилось использовать отдельная камера и компьютер. Разработчики из Samsung смогли реализовать виртуальную клавиатуру, используя только смартфон или планшет со встроенной камерой.
Во время набора текста кисти рук пользователя должны располагаться на плоской поверхности, например, на столе, а смартфон или планшет должны быть расположены так, чтобы руки попадали в поле зрения фронтальной камеры. Пользователю необходимо нажимать пальцами на поверхность так же, как и на кнопки клавиатуры, используя метод слепой печати. Алгоритм в реальном времени создает модель сегментов кисти, определяет соприкосновения кончиков пальцев с поверхностью, сопоставляет текущее положение пальцев с виртуальной клавиатурой и выдает приложению тот или иной символ.
Пока программа является прототипом, однако разработчики заявили, что планируют развивать проект. Например, они планируют добавить новые языки помимо английского, а также возможность адаптации клавиатуры к конкретному пользователю.
От редактора
Во флагманских смартфонах Samsung начиная с Galaxy S8 есть функция DeX, позволяющая использовать смартфон вместо системного блока компьютера. При этом к смартфону необходимо подключить монитор, а также клавиатуру с мышкой. Потенциально новую разработку можно было бы использовать вместе с DeX, благодаря чему единственным необходимым внешним устройством останется монитор.
В прошлом году корейские разработчики создали и протестировали виртуальную клавиатуру без фиксированного расположения клавиш. Вместо этого алгоритм анализирует последовательность нажатий пальцев на сенсорную поверхность и распознает введенные символы с точностью выше 95 процентов.