Рабочие интерфейсы сенсорного экрана

Уровень техники

Многие устройства, такие как персональные цифровые помощники (PDA), гибриды мобильных телефонов с PDA и сверхмобильные персональные компьютеры (UMPC) используют ввод на основе пера, чтобы помочь пользователю четко определить точку выбора на экране, и кроме того, они также поддерживают сенсорный ввод. Перо или стилус обычно является тонким и также позволяет создать вертикальное смещение между рукой пользователя и экраном так, что цели, появляющиеся на экране, не загорожены пальцем или рукой пользователя. Однако извлечение стилуса занимает время и может быть неудобным, например, в контексте работы одной рукой, или может быть неэффективным, например, в контексте коротких/прерывистых взаимодействий.

Когда использование стилуса неэффективно или неудобно, пользователи иногда используют свой палец или другое "устройство сенсорного ввода", чтобы выбрать объекты, отображенные на экране устройства. Например, это происходит часто при прерывистых или коротких взаимодействиях, таких как подтверждение времени встречи, навигация по карте или управление мультимедийным проигрывателем.

Сущность изобретения

Предоставляется методика смещения указания, которая предназначена, чтобы помочь пользователям работать с пользовательским интерфейсом с помощью объекта выбора, такого как пальцы, предотвращая загораживания и определяя четкую точку выбора, когда пользователь использует прикосновение для работы с устройством с сенсорным экраном. Когда пользователь пытается выбрать небольшую цель, отображенную на экране устройства с дисплеем, чувствительным к прикосновению, методика смещения указания создает и отображает выноску, показывающую представление загороженной экранной области, и помещает представление загороженной экранной области в незагороженное местоположение на экране. Загороженной областью является область сенсорного экрана, загороженная пальцем пользователя или другим объектом выбора. Выноска также показывает указатель, представляющий текущую точку выбора пальцем пользователя или другим объектом выбора. С помощью визуальной обратной связи, обеспеченной посредством выноски, пользователь может направлять указатель в цель, перемещая (например, перетаскивая или перекатывая) свой палец или другой объект выбора по поверхности экрана. Пользователь может затем подтвердить захват цели (например, выбрать небольшую цель), подняв свой палец или другой объект выбора с экрана устройства. Наоборот, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном, выноска не создается, и пользователи имеют полную функциональность неизмененного сенсорного экрана.

Таким образом, в дополнение к смещению указателя методика смещения указания смещает содержимое экрана, чтобы предоставить значительно более лучшую эффективность указания цели. Эти методики могут позволить выбирать небольшие цели с гораздо более низкой частотой ошибок, чем на лишенном помощи сенсорном экране, и могут снизить число ошибок, вызванных загораживанием цели пальцем пользователя (или другим объектом выбора) и неопределенностью того, какая часть пальца (или другого объекта выбора) задает точку выбора на дисплее или экране. По существу, частота ошибок может быть уменьшена при использовании сенсорного ввода в устройстве с сенсорным экраном.

Эта сущность изобретения предоставлена, чтобы представить выбор концепций в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Эта сущность не предназначена для того, чтобы идентифицировать ключевые признаки или существенные признаки заявляемого объекта изобретения, а также не предназначена для того, чтобы быть использованной в качестве помощи при определении объема заявляемого объекта изобретения.

Краткое описание чертежей

Более полное понимание примерного варианта осуществления может быть получено посредством ссылки на подробное описание и формулу изобретения, когда рассматривается вместе со следующими чертежами, на которых одинаковые номера ссылок ссылаются на похожие элементы на всех чертежах.

Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы согласно одному примерному осуществлению.

Фиг.2 является упрощенным схематическим представлением вида спереди устройства с сенсорным экраном согласно одному примерному осуществлению.

Фиг.3 является примерной блок-схемой технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.

Фиг.4(a)-4(e) являются последовательностью примерных схем, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.

Фиг.5(a)-5(b) являются последовательностью примерных схем, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.

Фиг.6(a) является схемой, которая иллюстрирует область контакта пальца пользователя, когда пользователь пытается выбрать цель.

Фиг.6(b) является графиком, показывающим, как соотношение S_F/S_T может быть сопоставлено с тайм-аутом задержки с помощью логистической функции.

Фиг.7(a)-(d) являются схемами, которые иллюстрируют примерное размещение выноски и указателя относительно других местоположений пальца пользователя на экране устройства с сенсорным экраном.

Фиг.8(a) является схемой, показывающей цель, палец пользователя и точку ввода с позиции пользователя.

Фиг.8(b) является схемой, показывающей цель, область соприкосновения пальца пользователя и точку ввода с позиции аппаратных средств; и

фиг.9 является схемой, иллюстрирующей увеличение масштаба, которое может быть применено к выноске, когда пользователь пытается выбрать небольшую цель.

Подробное описание

Следующее подробное описание является просто примерным по своему характеру и не предназначено, чтобы ограничивать изобретение или применение и использование изобретения. Когда используется в данном документе, слово "примерный" обозначает "служащий в качестве примера, отдельного случая или иллюстрации". Любое осуществление, описанное в данном документе как "примерное", необязательно должно быть истолковано как предпочтительное или выгодное по сравнению с другими осуществлениями. Все осуществления, описанные ниже, являются примерными осуществлениями, предоставленными, чтобы позволить специалистам в данной области техники сделать или использовать изобретение, и не предназначены, чтобы ограничивать рамки изобретения, которые определены формулой изобретения.

Примерные варианты осуществления могут быть описаны в данном документе в терминах компонентов функциональных и/или логических блоков и различных этапов обработки. Должно быть понятно, что такие компоненты блоков могут быть реализованы любым числом аппаратных, программных и/или программно-аппаратных компонентов, сконфигурированных, чтобы выполнять конкретные функции. Например, вариант осуществления может применять различные компоненты интегральных схем, например элементы памяти, элементы цифровой обработки сигналов, логические элементы, поисковые таблицы или т.п., которые могут выполнять множество функций под управлением одного или более микропроцессоров или других устройств управления. Кроме того, специалисты в данной области техники поймут, что практические варианты осуществления могут быть применены на практике вместе с любым числом протоколов передачи данных, и что система, описанная в данном документе, является просто одним примерным вариантом осуществления.

Ради краткости, традиционные технологии, связанные с работой вычислительного устройства, работой сенсорного экрана, визуализацией графики на элементе отображения и другими функциональными аспектами систем (и отдельными рабочими компонентами систем), могут быть не описаны подробно в данном документе. Кроме того, соединяющие линии, показанные на различных чертежах, содержащихся в данном документе, предназначены, чтобы представлять примерные функциональные связи и/или физические соединения между различными элементами. Следует отметить, что многие альтернативные или дополнительные функциональные связи или физические соединения могут быть представлены в примерном варианте осуществления.

Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы 100 для осуществления устройства с сенсорным экраном. Вычислительная система 100 является только одним примером подходящего операционного окружения и не предназначена для того, чтобы предлагать какое-либо ограничение относительно рамок использования или функциональности осуществлений, описанных в данном документе. Другие хорошо известные вычислительные системы, окружения и/или конфигурации, которые могут быть подходящими для использования с такими осуществлениями, включают в себя, но не только, персональные компьютеры, серверные компьютеры, карманные или портативные устройства, персональные цифровые помощники, мобильные телефоны, компьютеры на основе общественного терминала, такие как банкоматы (ATM) и системы бортового окружения, системы предоставления информации о продуктах розничной торговли, навигационные устройства системы глобального позиционирования (GPS), схемы расположения, справочники сооружений, переносные мультимедийные проигрыватели, электронные книги, общественные терминалы городского транспорта, дисплеи с музейной информацией, многопроцессорные системы, микропроцессорные системы, программируемую бытовую электронную аппаратуру, сетевые PC, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеуказанных систем или устройств, и т.п.

Вычислительная система 100 может быть описана в общем контексте машиноисполняемых инструкций, таких как программные модули, исполняемые одним или более компьютерами или другими устройствами. Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и/или другие элементы, которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Типично, функциональность программных модулей может быть объединена или распределена, как требуется в различных вариантах осуществления.

Вычислительная система 100 типично включает в себя, по меньшей мере, некую форму машиночитаемых носителей. Машиночитаемые носители могут быть любыми доступными носителями, к которым можно обратиться посредством вычислительной системы 100 и/или приложений, исполняемых вычислительной системой 100. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители хранения и среду передачи. Компьютерные носители хранения включают в себя энергозависимые, энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Носитель хранения данных компьютера включает в себя, но не только, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные устройства хранения, или любой другой носитель, который может быть использован для сохранения требуемой информации и который может быть доступен посредством вычислительной системы 100. Среда передачи данных типично реализует машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированных сигналах данных, таких как волновая несущая или другой механизм передачи, и включает в себя любую среду доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не в качестве ограничения, среда связи включает в себя проводную среду, такую как проводная сеть или прямое проводное соединение, и беспроводную среду, такую как акустическая среда, RF, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.

Обращаясь опять к фиг.1, в своей самой базовой конфигурации вычислительная система 100 типично включает в себя, по меньшей мере, один процессор 102 и подходящий объем памяти 104. В зависимости от точной конфигурации и типа вычислительной системы 100 память 104 может быть энергозависимой (такой как RAM), энергонезависимой (такой как ROM, флеш-память и т.д.) или некоторой комбинацией обеих. Эта самая базовая конфигурация идентифицирована на фиг.1 ссылочным номером 106. Дополнительно, вычислительная система 100 может также иметь дополнительные признаки/функциональность. Например, вычислительная система 100 может также включать в себя дополнительное запоминающее устройство (съемное и/или несъемное), включающее в себя, но не только, магнитные или оптические диски или ленту. Такое дополнительное запоминающее устройство иллюстрировано на фиг.1 посредством съемного запоминающего устройства 108 и несъемного запоминающего устройства 110. Память 104, съемное запоминающее устройство 108 и несъемное запоминающее устройство 110 - все являются примерами компьютерных носителей хранения, которые определены выше.

Вычислительная система 100 может также содержать соединение(я) 112 связи, которые позволяют системе связываться с другими устройствами. Соединение(я) 112 связи может быть ассоциативно связано с управлением средой связи, которая определена выше.

Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 114 ввода, такими как клавиатура, мышь или другое указывающее устройство, устройство голосового ввода, перо, стилус или другое устройство ввода и т.д. В примерном варианте осуществления, описанном ниже со ссылкой на фиг.2, вычислительная система 100 включает в себя экран, дисплей или другой пользовательский интерфейс (UI), который может принимать сенсорный ввод и позволяет пользователю выбрать определенные объекты, отображенные на экране. Хотя примерный вариант осуществления, описанный в данном документе, использует сенсорный ввод, варианты осуществления, описанные в данном документе, могут быть эквивалентно выполнены с возможностью также поддерживать любой эквивалентный ввод на основе прикосновения, такой как тот, который происходит с помощью пера или стилуса. Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 115 вывода, такими как дисплей, динамики, принтер или т.п. Все эти устройства хорошо известны в области техники, и нет необходимости обсуждать их долго здесь.

Обзор

Хотя и является удобным, использование сенсорного ввода может увеличить время указания цели и частоту ошибок. К несчастью, пользовательские интерфейсы, предназначенные для ввода пером или стилусом, часто содержат небольшие цели, и в таких случаях выбор с помощью пальца может стать медленным и подверженным ошибкам. Например, использование пальца или другой формы "сенсорного ввода" загораживает небольшие цели, заставляя делать выбор цели и захват без визуальной обратной связи. Это сопровождает выбор и захват с ошибками.

В то время как пальцы являются отчасти менее точными, чем стилус в терминах точного управления, не только точность является причиной высокой частоты ошибок, связанных с сенсорным вводом. Другие причины высокой частоты ошибок, связанных с сенсорным вводом, возникают из-за неопределенной точки выбора, созданной областью соприкосновения пальца в комбинации с загораживанием цели. Например, пользователи с трудом определяют, захватили ли они цель, при выборе целей, меньших чем размер области соприкосновения пальца. К несчастью, палец пользователя также загораживает цели, меньшие чем область соприкосновения пальца, таким образом, мешая пользователям увидеть визуальную обратную связь.

В широком смысле предоставлены технические приемы и технологии, которые могут улучшить работу устройств с пером или сенсорным экраном, таких как PDA или UMPC. Эти технические приемы и технологии могут предоставить возможность сенсорного ввода, когда палец пользователя или другой объект выбора (например, другая часть тела) прикасается к экрану устройства с сенсорным экраном, чтобы попытаться выбрать объект, отображенный на экране. Когда пользователь пытается выбрать цель, может быть визуализирована выноска в незагороженной области экрана. Выноска включает в себя представление области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора).

В последующем описании технологии расширения или "смещения указания" будут описаны со ссылкой на сценарии, в которых пользователь пытается выбрать цель с помощью своего пальца. Однако будет понятно, что технологии расширения или "смещения указания" могут также, в целом, применяться всякий раз, когда пользователь пытается выбрать цель с помощью любого "объекта выбора". Когда используется в данном документе, термин "объект выбора" может заключать в себе часть тела, такую как палец или ноготь пальца, или другой инструмент для выбора, который блокирует или загораживает область устройства с сенсорным экраном, когда пользователь пытается выбрать цель, которая отображена в загороженной области, с помощью объекта выбора.

Фиг.2 является упрощенным схематическим представлением вида спереди устройства 200 с сенсорным экраном. Устройство 200 с сенсорным экраном может быть осуществлено в любом соответствующим образом сконфигурированном вычислительном устройстве или системе, например вычислительной системе 100.

Устройство 200 с сенсорным экраном содержит сенсорный экран 202 для отображения информации, включающей в себя требуемую цель, которую пользователь хочет выбрать. Когда используется в данном документе, термин "сенсорный экран" ссылается на экран, дисплей или другой UI, который выполнен с возможностью или сконструирован так, чтобы предоставить возможность сенсорного ввода посредством нажатия на область экрана, дисплея или другого UI, чтобы выбрать объект, отображенный на экране, дисплее или другом UI. Например, пользователь может нажать на экран с помощью устройства, такого как стилус или перо, или прикоснуться к экрану с помощью пальца пользователя или другой конечности. Устройство с сенсорным экраном может быть осуществлено в любом числе электронных устройств, включающих в себя, например, портативные приборы, такие как сотовые телефоны, PDA, переносные компьютеры, видеоигры, электронные игрушки, клавишные панели электронного управления для любого числа других применений, фиксированные киоски для распространения информации, такие как ATM.

Когда пользователь пытается выбрать требуемую цель (не показана на фиг.2), отображенную на сенсорном экране 202, пользователь может поместить его или ее палец поверх требуемой цели на сенсорном экране 202. Область сенсорного экрана 202, которая закрыта пальцем пользователя, может называться загороженной экранной областью 204 сенсорного экрана 202. Эта загороженная экранная область 204 содержит область экрана 202, которая закрыта пальцем пользователя и которая включает в себя требуемую цель, которую пользователь пытается выбрать. Требуемая цель занимает первую площадь на экране 202, которая находится в загороженной экранной области 204.

Когда палец пользователя прикасается к поверхности сенсорного экрана 202 в попытке выбрать требуемую цель, отображенную на экране 202, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы определить, является ли загораживание проблемой для требуемой цели (под пальцем пользователя).

Когда определено, что загораживание вероятно должно быть проблемой относительно требуемой цели под пальцем пользователя, может быть отображена или визуализирована выноска 206 или указатель 208. Решение отобразить или визуализировать выноску 206 и указатель 208 может называться "расширением". Примерные технологии определения того, отображать или нет или визуализировать ли выноску 206 и указатель 208 (или "расширять"), могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии определения того, выполнять ли расширение, будут описаны более подробно ниже.

Когда используется в данном документе, термин "выноска" ссылается на смещенное представление загороженной экранной области (что типично включает в себя представление требуемой цели). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых осуществлениях выноска может двигаться в ответ на перемещение ввода, обновления экрана или по другим причинам, и, таким образом, необязательно должна располагаться статически. Выноска, как правило, может быть любого подходящего размера и любой подходящей формы. В отдельном примере, показанном на фиг.2, показана скопированная часть выноски 206, имеющей круглую форму или рамку, однако, скопированная часть может иметь прямоугольную форму или рамку, квадратную форму или рамку, эллиптическую форму или рамку, форму или рамку анимированного пузырька или любую их комбинацию. Выноска 206 также может быть помещена или располагаться в (или транслироваться) в любое подходящее местоположение в незагороженной экранной области (показанной штриховкой на фиг.2). Примеры размещения выноски будут предоставлены ниже относительно фиг.7. Более того, выноска 206 может иметь такой же размер, что и загороженная область, меньший, чем загороженная область, или больший, чем загороженная область, в зависимости от осуществления. В одном примерном варианте осуществления "масштабирования", описанном ниже со ссылкой на фиг.9, выноска 206 больше, чем загороженная область. Это осуществление особенно полезно в ситуациях, где требуемая цель очень мала, и ее трудно выбрать.

Когда используется в данном документе, термин "указатель" ссылается на текущую координату системного ввода, определенную устройством ввода, таким как палец пользователя, и представляет точку фактического соприкосновения или выбора на экране. В одном осуществлении смещенный указатель 208 и точка фактического соприкосновения под пальцем соединены штриховой линией, как показано на фиг.2. Точка фактического соприкосновения представляет точку фактического текущего соприкосновения или точку выбора пальцем пользователя в загороженной экранной области 204. Таким образом, в дополнение к смещению указателя 208 выноска 206 смещает представление загороженного экранного содержимого, что может привести к значительно более лучшему выполнению указания цели.

Когда решение о расширении принято, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы выполнить компьютерные инструкции для отображения или визуализации выноски 206 и указателя 208 в незагороженной экранной области (показанной штриховкой на фиг.2) сенсорного экрана 202.

Указатель 208 движется, когда пользователь пытается выбрать требуемую цель, так, что указатель 208 может двигаться посредством перемещения пальца по поверхности экрана 202. Визуальная обратная связь, обеспеченная пользователю с помощью выноски 206, позволяет пользователю двигать указатель 208 поверх представления требуемой цели, отображенной в выноске 206. Например, пользователь может направлять указатель 208 поверх представления требуемой цели, отображенной в выноске 206, удерживая свой палец на загороженной экранной области 204 сенсорного экрана 202, и направляя указатель 208, двигая или прокатывая свой палец по поверхности сенсорного экрана 202 (в загороженной экранной области 204) до тех пор, пока указатель 208 не будет находиться поверх представления требуемой цели.

Чтобы выбрать требуемую цель, пользователь совершает захват цели, поднимая свой палец с поверхности экрана 202, когда указатель 208 находится над представлением требуемой цели, отображенной в выноске 206. В одном осуществлении успешный захват цели может быть подтвержден звуковым щелчком, в то время как неудачные попытки захвата цели могут закончиться звуком ошибки. Модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы перемещать выноску 206 и указатель 208, когда пользователь поднимает свой палец с поверхности сенсорного экрана 202.

Фиг.3 является примерной блок-схемой 300 последовательности операций технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.3 будет описана со ссылкой на фиг.4(a)-4(e) и фиг.5(a)-5(b), чтобы проиллюстрировать то, как технологии на фиг.3 могут быть применены в одном примерном осуществлении. Фиг.4(a)-4(e) являются последовательностью примерных схем 400, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.5(a)-5(b) являются последовательностью примерных схем 500, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.

На этапе 310 пользователь пытается захватить или выбрать требуемую цель, отображенную на дисплее или экране устройства с сенсорным экраном, посредством прикосновения к поверхности устройства отображения (например, поверхности устройства) с помощью своего пальца. Например, как показано на фиг.4(a) и фиг.5(a), пользователь нажимает на поверхность экрана с помощью своего пальца 401, 501 (или другого объекта, включающего в себя другие части тела или устройства), чтобы попытаться выбрать требуемую цель 410, 510. На фиг.4(a) требуемая цель 410 занимает первую, небольшую область, отображенную на экране под пальцем 401 пользователя. Требуемая цель 410 находится близко с некоторым числом других возможных целей (показанных как маленькие прямоугольники). Область экрана, которая закрыта пальцем 401 пользователя (и включает в себя требуемую цель 410 и другие возможные цели), ниже называется "загороженной" областью, которую пользователь не может видеть. На фиг.5(a) требуемая цель 510 занимает относительно большую область, отображенную на экране, которая не полностью закрыта пальцем 501 пользователя. Другими словами, на фиг.5(a) требуемая цель 510 только частично загорожена, тогда как некоторые части требуемой цели 510 все еще видимы.

Условное расширение преодолевает проблемы загораживания и позволяет пользователям легко выбирать небольшие цели. Технология расширения или смещения указания может гарантировать то, что дополнительные усилия по взаимодействию ограничены ситуацией, в которой они реально необходимы (например, небольшие цели), что может сэкономить значительное количество времени. На этапе 320 процессор или другой модуль в устройстве с сенсорным экраном определяет, необходимо ли "расширение" относительно отдельной требуемой цели. Вообще, процессор или другой модуль в устройстве с сенсорным экраном определяет, является ли загораживание проблемой для данных возможных целей, отображенных в загороженной экранной области под пальцем пользователя. Любое число различных технологий может быть использовано, чтобы определить, должно или нет выполняться расширение (например, чтобы определить, отображать ли или визуализировать или нет выноску и указатель). Эти технологии могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии будут описаны ниже.

Если определено, что расширение не нужно (например, загораживание не является проблемой для требуемой цели под пальцем пользователя), тогда на этапе 325 устройство с сенсорным экраном продолжает работать в своей обычной или нормальной манере подобно немодифицированному сенсорному экрану (например, без вызова расширения). Процесс 300 ожидает следующую требуемую цель и возвращается к этапу 310. В примерном сценарии, изображенном на фиг.5(a) и 5(b), выноска не создается или не отображается, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном. Поднимая свой палец немедленно, пользователь делает выбор как при использовании сенсорного экрана, лишенного помощи. Здесь простота ввода на сенсорном экране, лишенном помощи, делает его адекватным для цели более крупного размера.

Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.

Если определено, что расширение необходимо (например, загораживание является проблемой для требуемой цели под пальцем пользователя), то на этапе 330 выноски и указатель могут быть визуализированы или отображены в незагороженной области экрана.

Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.

Выноска и указатель могут помочь устранить проблемы, связанные с загораживанием, и могут также помочь уменьшить проблемы, связанные с неопределенностью точки фактического соприкосновения или выбора. Например, как показано на фиг.4(b), выноска 406 и указатель 408 могут быть предоставлены или визуализированы в незагороженной области экрана. Выноска 406 отображает представление загороженной экранной области (например, области, закрытой пальцем 410 пользователя) в незагороженной области экрана. Это представление загороженной экранной области может включать в себя, например, копию 401' требуемой цели 401. Указатель 408 представляет точку фактического соприкосновения или выбора пальца пользователя на экране. При первоначальном отображении указателя 408 указатель 408 не совпадает с копией 401' требуемой цели 401.

Более того, должно быть понятно, что в то время как позиция выноски 406 показана отображаемой выше цели и пальца пользователя, как будет описано ниже со ссылкой на фиг.6, выноска 406 может быть расположена в любом удобном местоположении в незагороженной области экрана относительно либо цели, либо пальца пользователя. Размещение выноски и указателя должно быть сделано способом, который может помочь минимизировать загораживание и максимизировать предсказуемость, чтобы ускорить визуальную переориентацию.

На этапе 340 пользователь направляет указатель поверх представления требуемой цели, чтобы выбрать требуемую цель. Например, как показано на фиг.4(c), сохраняя свой палец 410 в соприкосновении с экраном, пользователь в то же время может направлять позицию указателя 408 на основе визуальной обратной связи, обеспеченной с помощью выноски 406. Пользователь может сделать корректирующие движения и точную настройку позиции указателя, перемещая свой палец по поверхности экрана до тех пор, пока указатель 408 не будет находиться над копией 401' требуемой цели 401, отображенной в незагороженной экранной области экрана.

Когда указатель находится поверх представления требуемой цели, на этапе 350 пользователь совершает захват требуемой цели. Например, как показано на фиг.4(d), чтобы выбрать требуемую цель, пользователь совершает захват требуемой цели 401, поднимая свой палец 410 с поверхности экрана (например, выбор по поднятию), в то время как указатель 408 находится поверх копии 401' требуемой цели 401, которая отображена в незагороженной экранной области. В одном осуществлении успешный захват цели может быть подтвержден звуком щелчка, в то время как неудачные попытки захвата цели могут заканчиваться звуком ошибки. В другом осуществлении, после того как правильная позиция визуально подтверждена, поднятие пальца 410 выбирает цель 401, вызывает краткую вспышку и завершает выбор.

На этапе 360 выноска и указатель удаляются, когда пользователь поднимает свой палец с поверхности экрана. Например, как показано на фиг.4(e), выноска 406 и указатель 408 удаляются, когда пользователь поднимает свой палец (не показан) с поверхности экрана, и требуемая цель выбрана.

Технологии определения того, должно ли быть выполнено расширение

В одном варианте осуществления триггер на основе пользовательского ввода может использоваться, чтобы запустить расширение или "технологию смещения указания". Например, пользователь может нажать кнопку или выбрать другое устройство ввода, чтобы запустить расширение.

В другом варианте осуществления может использоваться триггер на основе размера цели, чтобы запустить расширение или "технологию смещения указания". Процессор или другой модуль может определить, является ли загораживание проблемой для требуемой цели, на основе размера требуемой цели относительно области соприкосновения объекта выбора (например, пальца пользователя). Например, так как загораживание может быть проблемой, когда самый маленький размер требуемой цели меньше, чем диаметр соприкосновения типичного пальца, процессор или другой модуль может определить, присутствуют ли цели, которые являются достаточно небольшими, чтобы быть загороженными пальцем (например, требуемая цель содержит небольшую цель относительно области соприкосновения объекта выбора (например, пальца пользователя)). В одном варианте осуществления существует приблизительный пороговый размер или "порог загораживания", где загораживание делает выбор более маленьких целей подверженным ошибкам. Когда пользователь нажимает на поверхность экрана с помощью своего пальца, чтобы попытаться выбрать требуемую цель (например, касается или применяет нажатие на загороженную экранную область), процессор или модуль в устройстве с сенсорным экраном определяет, является ли требуемая цель меньшей, чем порог загораживания. Если требуемая цель меньше, чем порог загораживания, выполняется технология расширения или смещения указания. Наоборот, загораживание, как правило, не будет проблемой, когда пользователь пытается выбрать более крупную цель на экране. По существу, для целей, больших чем порог загораживания, технология расширения или смещения указания не визуализирует или не отображает выноску на экране, а вместо этого работает подобно немодифицированному сенсорному экрану.

Еще в одном варианте осуществления может использоваться триггер на основе таймера задержки, чтобы запустить расширение или "технологию смещения указания". Например, процессор или другой модуль определяет, был ли палец пользователя в соприкосновении с дисплеем в течение времени, большего чем пороговое время. Если палец пользователя был в соприкосновении с дисплеем в течение времени, большего чем пороговое время, тогда процессор или другой модуль определяет, что должно быть выполнено расширение или смещение указания. Если палец пользователя был в соприкосновении с дисплеем в течение времени, менее или равного пороговому времени, процессор или другой модуль определяет, что расширение или смещение указания не должно выполняться, и что должен быть осуществлен обычный сенсорный экран без помощи.

Расширение на основе колебания и неопределенности выбора

Еще в одном варианте осуществления вместо обоснования решения о расширении только на основе триггера на основании размера цели или только на основе триггера на основании таймера задержки идеи из обоих вариантов осуществления могут быть объединены при принятии решения выполнять или нет расширение и использовать ли технологии "смещения указания" в попытке предстоящего целеуказания.

Используя время задержки, окончательное решение о том, выполнять или нет расширение, оставляется пользователю. Например, при полном отсутствии дополнительных знаний о размере и местоположениях цели может использоваться фиксированный тайм-аут задержки (например, 300 миллисекунд). Когда фиксированный тайм-аут задержки истекает, должно быть выполнено расширение или смещение указания. Однако когда устройство с сенсорным экраном предоставляет информацию, касающуюся размеров и местоположений цели, технология смещения указания может определить или вычислить тайм-аут задержки на основе "неопределенности выбора". В одном варианте осуществления, описанном ниже со ссылкой на фиг.6(a) и 6(b), может быть определен тайм-аут задержки между соприкосновением с экраном и расширением. Продолжительность тайм-аута задержки может изменяться согласно размеру целей под пальцем пользователя, а неопределенность выбора может быть определена или оценена посредством сравнения наименьшего размера цели, найденной под пальцем пользователя, с порогом загораживания.

Когда цель является небольшой по сравнению с порогом загораживания, неопределенность выбора относительно высока, и тайм-аут задержки может быть установлен в очень короткую продолжительность, и расширение происходит почти немедленно. Однако если цель гораздо больше, чем порог загораживания, тогда загораживание не является проблемой. В этом случае расширение необязательно, таким образом, тайм-аут задержки может быть установлен в более продолжительное время, позволяющее пользователю получить преимущество простого, непосредственного прикосновения. По существу, для относительно более крупных целей тайм-аут задержки относительно долог, и пользователь может захватить цель без расширения, имея в результате ту же эффективность, что и немодифицированный сенсорный экран.

Для целей приблизительно того же размера, что и порог загораживания, степень неопределенности выбора сама является неопределенной (пользователю может быть нужно расширение или нет в зависимости от его уверенности в своем выборе). В этом случае тайм-аут задержки случается после короткой задержки, как раз достаточно продолжительной для того, чтобы управлять инициированием расширения при сомнениях. Если пользователь хочет расширить или вызывать технологию смещения указания, тогда пользователь может колебаться, удерживая свой палец на поверхности экрана в течение периода времени. Чтобы избежать расширения, пользователь может немедленно поднять свой палец с поверхности экрана.

Фиг.6(a) является схемой, которая иллюстрирует область 605 соприкосновения пальца 610 пользователя, когда пользователь пытается выбрать цель 601. Фиг.6(a) также показывает пороговую величину (S_F) загораживания и наименьший размер (S_T) наименьшей цели 601, найденной под пальцем 610 пользователя. В одном варианте осуществления пороговая величина (S_F) загораживания является наибольшим размером области 605 соприкосновения пальца 610 пользователя. Пороговая величина (S_F) загораживания и наименьший размер (S_T) наименьшей цели 601 могут использоваться, чтобы вычислить отношение пороговой величины (S_F) к наименьшему размеру наименьшей цели, найденной под пальцем (S_T).

Фиг.6(b) является графиком, показывающим, как соотношение S_F/S_T может быть сопоставлено с тайм-аутом задержки с помощью логистической функции. Логистическая функция определена математической формулой:

для действительных параметров a, m, n и τ.

Отношение пороговой величины (S_F) загораживания к наименьшему размеру наименьшей цели, найденной под пальцем (S_T), может быть сопоставлено со временем задержки с помощью логистической функции. В одном варианте осуществления, действительные параметры могут быть установлены в a=1, m=0, n=4 и τ=3. Как показано на фиг.6b, когда эти действительные параметры используются в логистической функции, это создает плавную кривую, сопоставляющие небольшие цели с ~0 мс, большие цели - с ~1500 мс и цели рядом с пороговой величиной загораживания - приблизительно с 300 мс. Другими словами, кривая достигает минимального времени задержки, близкого к 0 мс, для каждой маленькой цели; она достигает максимального времени задержки около 1500 мс для больших целей; и для целей, близких по размеру с пороговой величиной загораживания, она достигает времени задержки, близкого к 300 мс.

Оценка пороговой величины загораживания

Пороговая величина (S_F) загораживания приблизительно связана с областью соприкосновения пальца, но чувствительные к прикосновению экраны, обычно используемые в PDA и UMPC, сообщают только одну точку ввода, а не область соприкосновения пальца. Оценка пороговой величины (S_F) загораживания по времени может быть определена на основе размеров целей, для которой используется расширение, и на основе размеров целей, для которых расширение не используется. Мы начнем с начального предположения S_F, затем увеличивая пороговую величину (S_F) загораживания, если пользователь выполняет расширение, когда S_F<S_T, и уменьшая пороговую величину (S_F) расширения, если пользователь не делает расширение и S_F>S_T, где s=w|S_F-S_T| и где w является вручную настроенным весовым коэффициентом, чтобы сгладить оценку по времени. В одном варианте осуществления, весовой коэффициент (w), равный 0,125, может быть использован, чтобы обеспечить хороший баланс между гладкостью и скоростью изучения.

Потенциальным преимуществом этой схемы является то, что, если пользователь предпочитает использовать свой ноготь (в противоположностью своему пальцу или кончику пальца), чтобы выбрать цель, пороговая величина (S_F) загораживания будет сокращена так, что расширение является немедленным только для очень небольших целей. Для устройств, которые могут ощущать прикосновение, если стилус находится в кобуре устройства, этот подход позволит изучать независимые пороговые величины (S_F) загораживания для ввода с помощью пальца и пера соответственно. В отсутствие этих данных обнаружения установка весового коэффициента (w) в относительно высокое значение позволяет быстро изучить новую пороговую величину (S_F) загораживания в ответ на измерения в стиле пользовательского ввода.

Фиг.7(a)-(d) являются схемами, которые иллюстрируют примерное размещение выноски 706 и указателя 708 относительно других местоположений пальца 710 пользователя на экране устройства с сенсорным экраном. Фиг.7(a)-(d) иллюстрируют, что расширение или технология смещения указания не имеет в результате каких-либо недоступных экранных областей. Позиция выноски может быть отображена в любом местоположении в незагороженной области экрана относительно требуемой цели 701 и/или пальца 710 пользователя. Например, в схеме, показанной на фиг.7(a), выноска 706A смещена непосредственно выше пальца 710A пользователя и требуемой цели 701A в незагороженной области экрана. На фиг.7(b), чтобы избежать обрезания по краям экрана, выноска 706B смещена вправо и выше от пальца 710B пользователя и требуемой цели 701B в незагороженной области экрана. Размещение выноски 706B дополнительно по направлению к середине экрана может помочь избежать обрезания рядом с краями. На фиг.7(c), чтобы избежать обрезания с верхнего края экрана, требуемая цель 701C находится рядом с верхним краем дисплея. По существу, чтобы избежать обрезания, выноска 706C может быть смещена влево от пальца 710C пользователя и слегка ниже требуемой цели 701C в незагороженной области экрана. Будет понятно, что если невозможно сместить выноску 706C влево, тогда выноска 706C может быть смещена вправо, как показано на фиг.7(d), где выноска 706D может быть смещена вправо от пальца 710D пользователя и слегка ниже требуемой цели 701D в незагороженной области экрана. Регулируя относительное местоположение выноски 706, технология расширения или смещения указания управляет целями 701 где угодно на экране, и может предотвратить проблемы обрезания, которые иначе могут возникнуть на краях экрана. Кроме того, будет понятно, что "обнаружение доминирования одной из рук" может использоваться, чтобы реверсировать размещение или позиционирование выноски 706 для пользователей-левшей.

Корректировка воспринятой пользователем точки ввода

Фиг.8(a) является схемой, показывающей цель 801, палец 810 пользователя и точку 807 ввода с позиции пользователя. Во многих устройствах с сенсорным экраном одна точка выбора вычисляется и помещается приблизительно в середину области соприкосновения пальца. Фиг.8(b) является схемой, показывающей цель 801, область 809 соприкосновения пальца пользователя и точку 807' ввода с позиции аппаратных средств. У некоторых пользователей точки соприкосновения часто находятся слегка ниже подразумеваемой цели. Технология смещения указания отображает позицию указателя относительно первоначальной точки соприкосновения. В некоторых вариантах осуществления местоположение указателя относительно первоначальной точки соприкосновения может регулироваться, чтобы отразить воспринятую пользователем точку соприкосновения.

Например, в одном варианте осуществления технология смещения указания может регулировать позицию ввода на основе одной точки соприкосновения. Оценка поправочного вектора (V), который сопоставляет аппаратную точку 807' ввода с воспринятой пользователем точкой 807 ввода, может быть вычислена на обычной основе. Например, в одном варианте осуществления оценка поправочного вектора (V) может обновляться посредством добавления взвешенного вектора между исправленной конечной точкой (P₂) поднятия пальца и первоначальной точкой (P₁) соприкосновения: V_t+1=V_t+w(P₂-P₁), где w - вручную настроенный весовой коэффициент. В одном варианте осуществления вручную настроенный весовой коэффициент (w) может быть установлен приблизительно равным 0,33, чтобы сгладить оценку при этом не получая слишком медленное итеративное уточнение. Это уменьшает время точной настройки после того, как оценка V сходится, позволяя пользователям просто подтверждать выбранную цель без дополнительной регулировки. Но в отличие от других пальцев, форма соприкосновения большого пальца имеет склонность изменяться в зависимости от местоположения соприкосновения на экране. Это делает единственный вектор регулировки недостаточным. Линейная интерполяция между местоположением конкретных векторов регулировки может смягчить эту проблему.

Увеличение или "масштабирование" выноски

Одной целью технологии расширения или смещения указания является разрешение пользователям захватывать цели, избегая загораживания цели. В некоторых случаях использования цель может быть очень маленькой. Например, тогда как технологии смещения указания, описанные выше, хорошо работают для захвата целей, которые равны 6 пикселям или более (приблизительно 2,6 мм), в некоторых случаях пользователь может захотеть захватить цели, меньшие чем 6 пикселей. В некоторых вариантах осуществления технология смещения указания может быть улучшена с помощью масштабирования и улучшенного управления соотношением управление/отображение (CD), чтобы улучшить точность указания цели и позволить высокоточную безошибочность указания.

Фиг.9 является схемой, показывающей увеличение масштаба, которое может быть применено к выноске 906, созданной технологией расширения или смещения указания, когда пользователь пытается выбрать небольшую цель. Для очень маленьких целей вышеописанные технологии могут дополнительно осуществлять функциональность масштабирования, увеличивая выноску 906 и увеличивая отношение отображения выноски 906 к загороженной экранной области, которую воспроизводит выноска 906. Когда функциональность масштабирования реализована, воспроизведение загороженной экранной области, в которой отображается выноска 906, больше по размеру, чем фактическая область, загороженная пальцем пользователя, так что выноска 906 представляет увеличенную версию загороженной экранной области.

В некоторых вариантах осуществления выноска 906 может быть модифицирована так, что она теперь перемещается вместе с пальцем подобно сопровождающему меню, так что пользователи могут добраться до содержимого за ней. Так как палец больше не сопоставляется непосредственно с позицией указателя 908, выноска 906 перемещается так, что она не становится загороженной во время исправительной фазы. Первоначальная позиция выноски 906 может быть помещена относительно первоначальной точки соприкосновения. Если точка соприкосновения перемещается за пороговый диаметр, выноска 906 перемещается вместе с пальцем 906 подобно сопровождающему меню. Это предоставляет возможность точной настройки за первоначальной областью, закрытой рамкой, если первоначальная точка соприкосновения была слишком далеко от требуемой цели на данное расстояние увеличенного масштаба (или увеличенное двигательное пространство с высокими CD-соотношениями).

В отдельном примере выполнено расширение, и представление загороженной экранной области, которая отображается в выноске 906, было увеличено. Будет понятно, что любая подходящая кратность увеличения может использоваться в зависимости от размера дисплея, размера загороженной области или размера отдельной цели. Чем выше увеличение выноски, тем меньше содержимого выноски будет видно. В то время как такое увеличение будет обеспечивать видимость цели размером с пиксель, этого может быть недостаточно, чтобы позволить надежный захват цели. В некоторых вариантах осуществления масштабирование может быть дополнено, кроме того, улучшением в соотношении управление/отображение (CD).

Улучшение соотношения управление/отображение (CD)

Соотношение управление/отображение (CD) является сопоставлением между реальным перемещением пальца ("Управление") с перемещением системного указателя по отображению ("Отображение"). Увеличивая CD-соотношение больше 1, пальцу необходимо двигаться больше, чем указателю, чтобы покрыть определенное расстояние указателя. Посредством уменьшения CD-соотношения меньше 1 палец может двигаться на более короткое расстояние, чем указатель, чтобы покрыть определенное расстояние указателя. Эта манипуляция также называется "усилением", которая противоположна CD-соотношению. Усиление увеличивает или уменьшает результирующее перемещение указателя, заданное некоторым перемещением органа управления. Если усиление слабое, то перемещение указателя меньше, чем определенное перемещение органа управления.

Чтобы позволить пользователям прицелиться в цель, многие устройства с сенсорным экраном работают с CD-соотношением, равным 1. Например, позиция указателя может быть сопоставлена 1:1 с позицией ввода пальцем. Однако после того как палец пользователя находится в соприкосновении с экраном, указатель может быть отображен, чтобы обеспечить пользователей визуальной обратной связью. Тогда перемещение пальца может управлять указателем соответствующим образом, при этом указатель движется быстрее или медленнее, чем палец управляет им. Чтобы избежать этого, в улучшенной версии технологии смещения указания, CD-соотношения могут регулироваться вплоть до 8:1 при расширении. Перемещение указателя по экрану замедляется, расширяя 1 пиксель цели до 8 пикселей в двигательном пространстве. В альтернативных вариантах осуществления CD-соотношение может регулироваться с помощью пантографического манипулятора или на основе расстояния от первоначальной точки касания с целью стабилизации.

Как обсуждалось выше, несмотря на первоначальную позицию цели, выноска размещается, чтобы избежать загораживания пальцем. В некоторых случаях перемещение пальца делает первоначальную позицию цели более незагороженной. Так как чувствительный к прикосновению дисплей имеет ограниченную область ввода, увеличение CD-соотношения выше 1 уменьшает диапазон "двигательного пространства" до 1/CD пространства отображения. Перемещение пальца в пространстве управления может называться перемещением в "двигательном пространстве", так как человек управляет этим перемещением с помощью своих когнитивных двигательных процессов. Это может быть проблемой, если первоначальная точка соприкосновения находится в X пикселях от края дисплея и более чем в X/CD пикселей дополнительно далее от цели. Так как технология смещения указания применяет выбор по поднятию пальца, для пользователя не существует способа выбрать цель. Чтобы обойти эту проблему, технология смещения указания может быть модифицирована, чтобы привязаться к точке, более близкой к краю, где промежуточные пиксели выбираются или используют ускорение указателя так, что быстрая последовательность длинных-медленных и коротких-быстрых перемещений может имитировать захват.

В то время как, по меньшей мере, один примерный вариант осуществления был представлен в предшествующем подробном описании, следует понимать, что существует огромное число вариаций. Также следует понимать, что примерный вариант или варианты осуществления, описанные в данном документе, не предназначены, чтобы ограничивать рамки, применимость или конфигурацию систем, способов или устройств каким-либо способом. Скорее, предшествующее подробное описание обеспечит специалистов в данной области техники удобной подсказкой для осуществления описанного варианта или вариантов осуществления. Должно быть понятно, что различные изменения могут быть сделаны в функционировании и размещении элементов без отступления от рамок, определенных формулой изобретения, которая включает в себя известные эквиваленты и поддающиеся предвидению эквиваленты во время регистрации этой патентной заявки.

1. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
условно визуализируют выноску на экране в ответ на попытку пользователя выбрать цель с помощью объекта выбора, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноску не визуализируют, если определено, что область под областью выбора не загорожена, и причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора при попытке выбрать цель, отображаемую на экране под объектом выбора; и
определяют, что область под областью выбора загорожена, если объект выбора соприкасается с дисплеем дольше порогового времени.

2. Способ по п.1, дополнительно содержащий этап, на котором визуализируют указатель, представляющий фактическую точку соприкосновения на экране.

3. Способ по п.2, дополнительно содержащий этап, на котором направляют указатель поверх представления цели, отображаемой в незагороженной области экрана.

4. Способ по п.3, дополнительно содержащий этап, на котором совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.

5. Способ по п.1, причем загороженная область включает в себя область экрана, которая содержит цель и которая закрыта объектом выбора.

6. Способ по п.1, в котором определение, является ли область под областью выбора незагороженной, основано на размере цели.

7. Способ по п.6, в котором выноску не визуализируют, если цель включает в себя цель, которая является относительно большой относительно загороженной области.

8. Способ по п.1, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.

9. Способ по п.1, в котором фактическая точка соприкосновения является текущей точкой выбора объекта выбора на экране и причем визуализация выноски включает в себя этап, на котором отображают выноску в незагороженной области в ответ на соприкосновение с загороженной областью экрана, причем выноска содержит представление загороженной области экрана в незагороженной области экрана.

10. Способ по п.9, в котором этап направления указателя поверх представления цели, отображаемой в незагороженной области экрана, включает в себя этапы, на которых
удерживают объект выбора на экране и
направляют указатель на основе визуальной обратной связи, обеспечиваемой с помощью выноски, поверх представления цели, отображаемой в незагороженной области экрана, посредством перемещения объекта выбора по поверхности экрана.

11. Способ по п.10, в котором совершение захвата цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана, включает в себя этапы, на которых
поднимают объект выбора с поверхности экрана, чтобы определить точку выбора, когда указатель находится поверх представления цели, отображаемой в незагороженной области, чтобы выбрать цель; и
удаляют выноску, когда объект выбора поднят с экрана.

12. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.1.

13. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе периода тайм-аута задержки;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.

14. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.13.

15. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе команды, принятой от пользователя;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.

16. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.15.

17. Устройство сенсорного ввода, содержащее
сенсорный экран для отображения информации, содержащей цель;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для условной визуализации выноски в незагороженной области сенсорного экрана в ответ на попытку пользователя выбрать цель, отображаемую на сенсорном экране, с помощью объекта выбора, причем экран включает в себя загороженную область, которая включает в себя цель и которая закрыта объектом выбора, и причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, и причем выноску не визуализируют, если определено, что область под областью выбора не загорожена;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для визуализации указателя в незагороженной области сенсорного экрана в ответ на попытку выбрать цель, отображаемую на сенсорном экране, причем указатель представляет фактическую точку соприкосновения объекта выбора на экране и причем указатель является перемещаемым поверх представления цели, отображаемой в незагороженной области сенсорного экрана, причем цель выбирают поднятием объекта выбора с поверхности экрана, в то время как указатель находится поверх представления цели, отображаемой в незагороженной области;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для определения того, является ли область под областью выбора загороженной, когда объект выбора нажимает на поверхность сенсорного экрана, чтобы попытаться выбрать цель, отображаемую на экране, дольше порогового времени; и машиночитаемый носитель, содержащий машиноисполняемые инструкции для удаления выноски, когда объект выбора поднят с сенсорного экрана.

18. Устройство сенсорного ввода по п.17, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.

19. Устройство отображения, содержащее экран, предназначенный для отображения, по меньшей мере, одной цели, которая может быть выбрана нажатием на поверхность экрана с помощью объекта выбора, содержащее выноску, условно визуализированную в незагороженной области экрана в ответ на попытку пользователя выбрать цель с помощью объекта выбора, причем выноска содержит представление загороженной области экрана, которая включает в себя цель и которая закрыта объектом выбора, причем представление загороженной области включает в себя представление цели, причем выноска визуализируется, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноска не визуализируется, если определено, что область под областью выбора не загорожена, причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора; и причем определяется, что область под областью выбора является загороженной, если объект выбора соприкасается с дисплеем дольше порогового времени.

20. Устройство отображения по п.19, причем выноска не отображается, когда пользователь пытается выбрать цель на экране устройства отображения, которая больше загороженной области.

21. Устройство отображения по п.19, дополнительно содержащее указатель, представляющий фактическую точку соприкосновения объекта выбора на экране, причем указатель отображается в незагороженной области, и причем фактическая точка соприкосновения представляет фактическую текущую точку соприкосновения в загороженной области, и причем указатель является перемещаемым посредством перемещения объекта выбора по поверхности экрана, и причем визуальная обратная связь, обеспечиваемая пользователю посредством выноски, позволяет пользователю перемещать указатель поверх представления цели, отображаемой в незагороженной области экрана.

22. Устройство отображения по п.19, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.