Quantcast
Channel: 極東極楽 ごくとうごくらく
Viewing all articles
Browse latest Browse all 2435

エアーディスプレイとフィンガージェスチャー

$
0
0



彦根藩二代当主である井伊直孝公をお寺の門前で手招き雷雨から救
ったと伝えられる "招き猫”と、井伊軍団のシンボルとも言える赤
備え(戦国時代の軍団編成の一種で、あらゆる武具を朱塗りにした
部隊編成のこと)の兜(かぶと)を合体させて生まれたキャラクタ
ー。愛称「ひこにゃん」


                   

 

15 衛霊公 えいれいこう
-------------------------------------------------------------
「人、遠慮なければ、必ず近憂あり」(12)
「これをいかん、これをいかんといわざる者は、われこれをいかん
ともするなきのみ」(16)
「君子はこれをおのれに求む。小人はこれを人に求む」(21)
「過ちて改めざる、これを過ちと謂う」(30)
「仁に当たりては、師にも譲らず」(36)
-------------------------------------------------------------
35 人民は、仁の恩恵をこうむってこそ生きていける。仁は、水
や火よりもはるかに大切なものなのだ。水や火は、時に人を殺すこ
ともある。しかし、仁が人を殺したためしがあろうか。(孔子)

子曰、民之於仁也、甚於水火、水火吾見蹈而死者矣、未見蹈仁而死
者也。
Confucius said, "The people need benevolence more than they
need water and fire. I know people who died because of water
or fire. But I don't know any people who died because of
benevolence."
※「仁:benevolence」は孔子の思想の根本を支える概念が、「仁」
とは具体的に何であるかの説明は孔子はしていないが、仁とは、他
者の心中を思いやることであり、深い人間愛を基本とするものとい
える(➲隣人愛)。とくに18世紀のイギリスの道徳家がこの語を
用い、人間の徳性を指すと同時に、教育によって養われる徳の概念
であると教えている。また、德とは精神の修養によってその身に得
たすぐれた品性であり、恩恵。神仏などの加護を意味する。

  

ポストエネルギー革命序論 253:アフターコロナ時代 63
♘ 現代社会のリスク、エネルギー以外も「分散の時代」







フィンガージェスチャーとは何か



【符号の説明】1  筐体 2  空中画像 3  ユーザの手 10  入
力装置 11  内臓ディスプレイ 12  画像表示制御部 20  画
像結像プレート 30  3Dセンサ 40  制御ユニット 41  空間
操作認識部 42  タッチ操作判別部 43  操作制御部 50  他装
置ポインター操作情報送信部 100  非接触遠隔ポインター制御装
置 101~105  遠隔表示制御装置(医療画像表示PC) 111  
実マウス画像 200  システムサーバ(医療システムサーバ)
300  ネットワーク(病院内ネットワーク)

❏ 特開2018-147054 非接触遠隔ポインター制御装置 
【概要】近年では、医療装置のIT化に伴って、患者のCT、MRI、
DSAなどの画像や術前シミュレーション画像情報などのデータを、
病院内ネットワークなどの医療システムに接続されている手術室内
に設置されたコンピュータ(医療画像表示PC)の表示画面に表示
させ、手術中に医師がそのコンピュータ上で患者のデータを閲覧し
たり確認したり、といった操作をしながら手術をする機会が増えて
いる。この場合、手術を行う医師(執刀医)によりそのコンピュー
タのマウス等のポインティングデバイスによるポインターを動かす
細かい作業が必要とされるが、手術室内に設置されたコンピュータ
(医療画像表示PC)は、執刀医から見える位置ではあるがすぐ近
くではない離れた場所に設置されていることが多く、また、手術中
に執刀医がコンピュータのマウス等のポインティングデバイスに触
れるのは衛生上の問題があるため、他の医師や看護師に指示を出し
てその操作を委ねている。一方、非接触で操作を行う端末装置とし
ては、近年では、パソコン等の入力装置に対して、三次元空間にお
けるユーザの手の動き、すなわち、ジェスチャーに基づいて、ユー
ザの非接触操作指令を判別するジェスチャー操作装置が知られてい
る(例えば、特許文献1:特開2011-248606)。☈
------------------------------------------------------------
❏特開2011-248606 表示制御装置および表示制御方法(下図1.2)

図1                     図2
【要点】 複数の画像をディスプレイに配列表示させる表示制御装
置であって、操作者のジェスチャを撮影するジェスチャ入力部と、
前記ジェスチャによって移動する特定部位の軌跡を認識する軌跡認
識部と、前記ジェスチャが移動中に形成する特定部位の形状を認識
する形状認識部と、前記特定部位の軌跡および形状に基づいて、前
記複数の画像を配列方法を決定する配列方法特定部と、前記特定さ
れた配列方法を用いて、前記複数の画像を前記ディスプレイに表示
させる表示制御部とを備えることを特徴とすることで、 検索結果
である画像群を一覧表示させる配列方法を、ユーザの意図に合わせ
て適宜変更できる。特に、その変更をユーザーの直感的な操作で行
う。
------------------------------------------------------------
☈しかしながら、手術中にユーザ(執刀医)がコンピュータのマウ
ス等のポインティングデバイスによる操作を、他の医師や看護師に
指示を出して行わせる場合には、ユーザ(執刀医)にとって思い通
りの操作がスムーズに展開されないこともあり、また、細かい手の
動きまで指示することは難しいという課題があったが、手術中に執
刀医がコンピュータのマウス等のポインティングデバイスに触れる
のは衛生上の問題があるため、結局のところ、他の医師や看護師に
指示を出してその操作を委ねているのが現状である。また、前述の
ようなジェスチャー操作装置を、非接触操作が必要とされる手術室
などの現場に適用することも考えられるが、例えば特許文献1に示
すような従来のジェスチャー操作装置では、様々なマウス操作を行
うための複数の空中ジェスチャーコマンドを新たに定義し、かつ、
操作者がそれを覚えなければ使えないという操作者への負担増加と
いう課題や、空中ジェスチャーを行う際に目標物がないために発生
する操作者個人によるジェスチャー動作の差分(個人差)がジェス
チャー認識の際の認識誤差となり使い勝手が悪い、という課題が考
えられる。
この発明は、上記のような課題を解決するためになされたものであ
り、離れた場所にある遠隔表示制御装置の表示画面に表示されてい
るマウス等のポインターの動きを遠隔かつ非接触で制御することが
できる非接触遠隔ポインター制御装置を提供することを目的とする。
上記目的を達成するため、この発明は、自身の装置とは異なる離れ
た場所にある遠隔表示制御装置の表示画面に表示されているポイン
ターの動きを制御する非接触遠隔ポインター制御装置であって、前
記遠隔表示制御装置を使用するユーザに対して表示させて操作させ
たい対象である前記ポインターを動作させるポインティングデバイ
ス画像を、前記ユーザが視認可能な三次元空間に空中画像として表
示させる画像結像プレートが表面に設置された筐体と、前記三次元
空間における前記ユーザの手の動きを検出する3Dセンサと、前記
ポインティングデバイス画像の表示制御を行う画像表示制御部と、
前記3Dセンサおよび前記画像表示制御部に接続され、前記三次元
空間における前記ユーザの手の動きによるジェスチャー操作を認識
する、NECソリューションイノベータ株式会社製のフィンガージ
ェスチャーを搭載した制御ユニットと、前記制御ユニットにより認
識された前記ユーザの手の動きによるジェスチャー操作による信号
を、前記自身の装置とは異なる離れた場所にある遠隔表示制御装置
へ送信する他装置ポインター操作情報送信部とを備えることを特徴
とする。
【発明の効果】この発明の非接触遠隔ポインター制御装置によれば、
空中結像された、パソコン等の入力装置10の内臓ディスプレイ11
に表示されたポインティングデバイス画像を、ユーザがあたかも指
先で触って操作するような感覚で非接触操作することにより、離れ
た場所にある遠隔表示制御装置101に表示された情報を閲覧した
り確認したりすることが可能である。この結果、ユーザ(手術の執
刀医)自身が離れた場所から、かつ、非接触で遠隔表示制御装置
101を直接操作することができるようになったので、ユーザ(執
刀医)にとって思い通りの操作がスムーズに展開される。また、非
接触操作であるため衛生面でも問題なく操作することができる。

❏ 特許第5665140 入力装置、入力方法、及びプログラム   
【概要】
ユーザの手の動きに基づいてユーザの操作指令を判別する入力装置
が知られている。例えば、特許文献1には、三次元ディスプレイに
よって形成された仮想操作面を操作するユーザの手の動きに基づい
て、ユーザの操作を判別する画像認識装置が開示されている。また、
特許文献2には、撮影されたユーザのジェスチャに基づいて、ディ
スプレイに表示される画像の配列方法を決定する表示制御装置が開
示されている。また、特許文献3には、タッチパネルのタッチ動作
の移動量に基づいて、ユーザのタッチ動作が押下操作かジェスチャ
操作かを判別する情報処理装置が開示されている。
特開2011−175623号公報特開2011−248606号公
報特開2009−151691号公報
ポイント領域が表示された操作画面に撮像画像を対応付け、撮像画
像中のユーザの手の動き(例えば、ポイント領域に相当する位置で
の手の一定時間の停止)に基づいて、ユーザのポイント領域の選択
(以下、「ポインティング操作」という。)を認識する装置がある。
このような入力装置では、操作のバリュエーションを増加させるた
めに、ポインティング操作に加えてジェスチャ操作も認識できるよ
う望まれている。タッチパネルの場合、ポイント領域に移動中のユ
ーザの手はタッチパネルから離間している。そのため、ポイント領
域へ移動中のユーザの手の動きはタッチパネルには検出されない。
その結果、例えば引用文献3に示されているように、入力装置は、
タッチパネルで捉えたユーザの手の移動量の情報のみで、タッチ動
作が押下操作かジェスチャ操作かを容易に区別できる。

しかしながら、タッチパネルではなくカメラを使ってユーザの入力
を判別する場合、ポイント領域へ移動中のユーザの手の動きは、タ
ッチパネルのときとは違いカメラに撮像されてしまう。ポインティ
ング操作に加えてジェスチャ操作を認識するためには、入力装置は、
ポイント領域へ移動中のユーザの手の動きとジェスチャのためのユ
ーザの手の動きとを区別しなければならないが、その区別は極めて
困難である。本発明は、このような問題に鑑みてなされたものであ
り、ポインティング操作に加えてジェスチャ操作を認識できる入力
装置、入力方法、及びプログラムを提供することを目的とする。
本発明の第1の観点に係る入力装置は、ポイント領域が表示された
操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づ
いて、ユーザの入力を判別する入力装置であって、前記手の移動開
始時点および移動停止時点を検出する移動検出手段と、移動開始時
点の前記手の形状と移動停止時点の前記手の形状とを比較して、形
状の相違の度合いを示す形状相違度または一致の度合いを示す形状
一致度を算出する形状比較手段と、移動開始時点の前記手の位置と
移動停止時点の前記手の位置とに基づいて前記手の移動方向を特定
し、移動開始時点の前記手の位置を基準とした前記ポイント領域の
方向を特定し、特定した前記手の移動方向と特定した前記ポイント
領域の方向とを比較して、方向の相違の度合いを示す方向相違度ま
たは一致の度合いを示す方向一致度を算出する方向比較手段と、前
記形状相違度または前記形状一致度と、前記方向相違度または前記
方向一致度と、に基づいて、ユーザの入力が前記ポイント領域の選
択操作かジェスチャ操作かを判別する入力判別手段と、を備える、
ことを特徴とする。本発明の第2の観点に係る入力装置は、ポイン
ト領域が表示された操作画面に対応付けられる撮像画像の中のユー
ザの手の動きに基づいて、ユーザの入力を判別する入力装置であっ
て、 前記手の移動開始時点および移動停止時点を検出する移動検
出手段と、 所定時間間隔毎に、現時点の前記手の形状と前記所定
時間前の前記手の形状とを比較して、形状の相違の度合いを示す形
状相違度または一致の度合いを示す形状一致度を算出する形状比較
手段と、 前記所定時間間隔毎に、現時点の移動方向と前時点の移
動方向とを比較して、方向の相違の度合いを示す方向相違度または
一致の度合いを示す方向一致度を算出する方向比較手段と、前記形
状相違度または前記形状一致度と、前記方向相違度または前記方向
一致度と、を所定の重みで加算し、加算した値を、移動開始時点を
累積開始時点として前記所定時間間隔毎に累積し、その累積値が所
定の閾値を超えた場合、ユーザの入力はジェスチャ操作と判別し、
移動停止時点までに若しくは累積開始後予め定められた時間内に、
前記累積値が前記所定の閾値を超えなかった場合、ユーザの入力は
前記ポイント領域の選択操作と判別する入力判別手段と、を備える、
ことを特徴とする。本発明の第3の観点に係る入力方法は、ポイン
ト領域が表示された操作画面に対応付けられる撮像画像の中のユー
ザの手の動きに基づいて、ユーザの入力を判別する入力方法であっ
て、 前記手の移動開始時点および移動停止時点を検出する移動検
出ステップと、 移動開始時点の前記手の形状と移動停止時点の前
記手の形状とを比較して、形状の相違の度合いを示す形状相違度ま
たは一致の度合いを示す形状一致度を算出する形状比較ステップと、
移動開始時点の前記手の位置と移動停止時点の前記手の位置とに基
づいて前記手の移動方向を特定し、移動開始時点の前記手の位置を
基準とした前記ポイント領域の方向を特定し、特定した前記手の移
動方向と特定した前記ポイント領域の方向とを比較して、方向の相
違の度合いを示す方向相違度または一致の度合いを示す方向一致度
を算出する方向比較ステップと、前記形状相違度または前記形状一
致度と、前記方向相違度または前記方向一致度と、に基づいて、ユ
ーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判
別する入力判別ステップと、を有する、ことを特徴とする。本発明
の第4の観点に係る入力方法は、ポイント領域が表示された操作画
面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、
ユーザの入力を判別する入力方法であって、 前記手の移動開始時
点および移動停止時点を検出する移動検出ステップと、 所定時間
間隔毎に、現時点の前記手の形状と前記所定時間前の前記手の形状
とを比較して、形状の相違の度合いを示す形状相違度または一致の
度合いを示す形状一致度を算出する形状比較ステップと、 前記所
定時間間隔毎に、現時点の移動方向と前時点の移動方向とを比較し
て、方向の相違の度合いを示す方向相違度または一致の度合いを示
す方向一致度を算出する方向比較ステップと、前記形状相違度また
は前記形状一致度と、前記方向相違度または前記方向一致度と、を
所定の重みで加算し、加算した値を、移動開始時点を累積開始時点
として前記所定時間間隔毎に累積し、その累積値が所定の閾値を超
えた場合、ユーザの入力はジェスチャ操作と判別し、移動停止時点
までに若しくは累積開始後予め定められた時間内に、前記累積値が
前記所定の閾値を超えなかった場合、ユーザの入力は前記ポイント
領域の選択操作と判別する入力判別ステップと、を有する、本発明
の第5の観点に係るプログラムは、ポイント領域が表示された操作
画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、
ユーザの入力を判別する入力装置を制御するコンピュータに、前記
手の移動開始時点および移動停止時点を検出する移動検出機能と、
移動開始時点の前記手の形状と移動停止時点の前記手の形状とを比
較して、形状の相違の度合いを示す形状相違度または一致の度合い
を示す形状一致度を算出する形状比較機能と、移動開始時点の前記
手の位置と移動停止時点の前記手の位置とに基づいて前記手の移動
方向を特定し、移動開始時点の前記手の位置を基準とした前記ポイ
ント領域の方向を特定し、特定した前記手の移動方向と特定した前
記ポイント領域の方向とを比較して、方向の相違の度合いを示す方
向相違度または一致の度合いを示す方向一致度を算出する方向比較
機能と、前記形状相違度または前記形状一致度と、前記方向相違度
または前記方向一致度と、に基づいて、ユーザの入力が前記ポイン
ト領域の選択操作かジェスチャ操作かを判別する入力判別機能と、
を実現させる、とを特徴とする。本発明の第6の観点に係るプログ
ラムは、ポイント領域が表示された操作画面に対応付けられる撮像
画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する
入力装置を制御するコンピュータに、前記手の移動開始時点および
移動停止時点を検出する移動検出機能と、所定時間間隔毎に、現時
点の前記手の形状と前記所定時間前の前記手の形状とを比較して、
形状の相違の度合いを示す形状相違度または一致の度合いを示す形
状一致度を算出する形状比較機能と、前記所定時間間隔毎に、現時
点の移動方向と前時点の移動方向とを比較して、方向の相違の度合
いを示す方向相違度または一致の度合いを示す方向一致度を算出す
る方向比較機能と、 前記形状相違度または前記形状一致度と、前
記方向相違度または前記方向一致度と、を所定の重みで加算し、加
算した値を、移動開始時点を累積開始時点として前記所定時間間隔
毎に累積し、その累積値が所定の閾値を超えた場合、ユーザの入力
はジェスチャ操作と判別し、移動停止時点までに若しくは累積開始
後予め定められた時間内に、前記累積値が前記所定の閾値を超えな
かった場合、ユーザの入力は前記ポイント領域の選択操作と判別す
る入力判別機能と、を実現させる、


❏ 実用新案登録第3228939号 非接触タッチパネルユニット
【概要】  
従来より、パーソナルコンピュータやタブレット等の入力装置や、
施設等の案内装置、受付装置、検索装置など、利用者の指や専用の
スタイラスやタッチペンなど、指示体を用いて表示画面上の選択ボ
タン等をタッチするタッチパネル型の表示装置が知られており、特
に近年では、様々な分野においてタッチパネル型の表示装置が用い
られている。
この際、タッチパネルによるタッチ位置座標の検出方式としては、
光学式、電磁誘導式、感圧式、抵抗式、音波検出式、静電容量式な
ど、様々なものが知られているが、ここでは、光学式手段を用いる
場合について説明する。
光学式タッチ位置座標検出装置は、検出面であるタッチパネル上に
置かれた指示体を、少なくとも2つの撮像部により2箇所から撮像
し、指示体のタッチ位置座標を三角測量の原理で求めるものである。
例えば、タッチパネル上に置かれた指示体の形状を画像認識等によ
り検出してタッチ位置座標を出力するものや、入射した光をその入
射した方向に反射させる再帰反射部材を指示体またはタッチパネル
の周囲に設け、それに向けて光源から光を放射することで、光の部
分または影の部分の位置からタッチ位置座標を出力するものなどが
ある(例えば、特許文献1,2等参照)。
一方、新型コロナウイルスの蔓延により、ウイルスの感染リスク低
減のために、人間の様々な行動について「非接触」の要望が強くな
り、これまで不特定多数の人々がタッチ(接触)していたボタン、
スイッチ、タッチパネル型の表示装置等においても、非接触で操作
することができるものが望まれている。
【特許文献1】特開2005-4729号公報
【特許文献2】 特開2007-317235号公報しかしながら、
例えば特許文献1,2等に記載されている従来の光学式タッチ位置
検出装置は、基本的に検出面であるタッチパネルに接触(タッチ)
して操作することを前提としており、できるだけ触らないように操
作したとしても、確実に非接触のまま操作することはできず、ウイ
ルスの感染拡大防止という観点では危険や不安が残る、という課題
があった。また、今まで使用していた既存のタッチパネル表示装置
を、非接触で操作できるタイプの非接触タッチパネル型の表示装置
に変えるには、表示装置ごと交換するしかなく、大変な費用がかか
る、という課題もあった。
この考案は、上記のような課題を解決するためになされたものであ
り、確実に非接触で操作することが可能なだけでなく、既存のタッ
チパネル表示装置やタッチパネルとしての機能を備えていなかった
表示装置にも適用可能な非接触タッチパネルユニットを提供するこ
とを目的とする。
【課題を解決するための手段】
上記目的を達成するため、この考案は、表示部を有する表示装置に
取付可能な非接触タッチパネルユニットであって、前記表示装置の
表示部の周囲を覆うとともに、前記表示部の表面より手前側に2c
m以上かつ5cm以下の厚みを有する四角形の枠(フレーム)を備
え、前記枠(フレーム)には、前記四角形の四辺のうちのいずれか
一辺にコントロール基板が一体に設けられ、少なくとも前記四角形
の四辺のうちのいずれか一辺の両端の2箇所(少なくとも隣り合う
2隅)にセンサーユニットが一体に設けられているとともに、他の
三辺の内側には再帰反射テープが貼られており、前記コントロール
基板には、前記表示部における位置(座標)が指示体により指示さ
れた場合に、前記指示体が前記表示部にタッチ(接触)しない距離
において、前記2つのセンサーユニットおよび前記再帰反射テープ
により、前記指示体が前記表示部におけるどの位置(座標)を指示
したかを検出することができる非接触タッチ位置検出機能が備えら
れているとともに、前記表示装置のUSBポートに接続可能なUS
Bケーブルが接続されており、前記USBケーブルが前記表示装置
のUSBポートに接続されることにより、前記表示装置の表示部を
前記非接触タッチ位置検出機能付きのタッチパネルとして動作させ
ることを特徴とする。
【考案の効果】
この考案の非接触タッチパネルユニットによれば、表示部を有する
表示装置を確実に非接触で操作することが可能なだけでなく、既存
のタッチパネル装置やタッチパネルとしての機能を備えていなかっ
た表示装置にもUSBポートさえあれば適用可能であるため、コス
トをかけずに非接触タッチパネル型の表示装置として使用すること
ができるようになり、不特定多数の人が利用する表示装置であった
としても、その利用によりウイルスの感染が拡大してしまうという      
してしまうという危険を防止することができる。


【符号の説明】1表示部 2 表示装置 3 指示体  10  光学
式タッチ位置検出装置 11,23  赤外線センサーユニット 12,
24  再帰反射テープ 20  枠(フレーム) 21  USBケー
ブル 22  コントロール基板 100  非接触タッチパネルユニ
ット

✔ 新コロナウイルスパンデミックは、すべての端末表示装置及び
操作パネルを非接触式のディスプレイ(パネル)=エアーディスプ
レイ化を、あるいはフィンガージェスチャー化を同時にすすめてい
る。これらは情報電磁波の多様化と高速・大容量化とあいまってデ
ジタル革命にまた1つの新星が誕生する。


風蕭々と碧い時代:魔法の絨毯 川崎鷹也
(作詞・作曲)川崎鷹也



川崎鷹也は、1995年、栃木県生まれ。パンク好きの父の経営するゴ
リゴリのミュージックBARを恐れつつ成長。高校生の時、学祭のカ
ラオケで歌った事で、音楽の道を目指す気持ちが芽生え、高校卒業
後、3年間同じクラスだった親友と上京。ミューズ音楽院に通い始
める。専門学校へ入学後、ローンで6万円のギターをはじめて購入。
2016年に音楽プロジェクト「Bocco.」に参加。YouTubeを中心に活
動し、2017年3月4日に象の鼻テラスにて初のワンマンライブ「Bocco
.から ちょっといいうた始まります。vol 1」を開催し、初のシン
グル「空モヨウ」を発売したが、同年7月3日に解散を発表。ソロ活
動をスタート。 2018年、アルバム『I believe in you』をリリー
ス。2020年8月、TikTokで“魔法の絨毯”が人気となり同曲を使っ
た動画が27,000本以上アップされ、トータルの再生回数は約1億3千
万回となる(2020年9月現在)。Spotify「バイラルTop50」で1位を
獲得。LINE MUSIC「アルバムトップ100」で2位にランクイン。2020
年10月1日、EP『Magic』をニューリリース。 via Wikipedia

●今夜の寸評:ここにパンデミック=ニューディールがある
エアーディスプレイとフィンガージェスチャー一本に絞り特集する。


Viewing all articles
Browse latest Browse all 2435

Trending Articles