POLAR BEAR BLOG

画像認識技術 ＋ Google Sets = 常識の分かる画像認識

前回に引き続き、UC San Diego の Serge Belongie 教授らによる研究についての記事を1つ。知る人ぞ知る？Google のサービス"Google Sets"を応用して、画像認識の精度を上げようという取り組みが行われているそうです：

■ Computers With 'Common Sense' (ScienceDaily)

簡単に言うとこんな感じ。上の画像を見て、「右下にある黄色い丸はレモンだ」という人はいないでしょう。レモンのような形・色をしてるけど、「人間」が「テニスコート」の上で「ラケット」で打とうとしているモノだから、これはテニスボールに違いない……というような判断を、コンピュータによる画像認識でも行わせようという発想です。

では「人間」「テニスボール」「テニスコート」が認識できたとして、その文脈で登場し得るものが何か、を判断するために白羽の矢が立ったのが"Google Sets"。このサービス、既に2002年には登場していたとのことですが、正直言って僕は今回その存在を初めて知りました。これは入力された単語（英語のみ）の関連語を表示するというサービスで、例えば

• John
• George
• Paul

を入力して実行すると、

• Ringo
• Beatles
• Rock

などといった単語が返ってきます。うーん、なかなか賢い。これを応用すれば、例えば「ある画像に4人の人物が写っている。そのうち3人はジョン・レノン、ポール・マッカートニー、ジョージ・ハリスンだと認識できた。それでは認識に失敗した最後の1人は、リンゴ・スターである可能性が高い」というような結果を返すことが可能になるわけですね。さらに個々の人物を判断するだけでなく、「これはビートルズが写っている写真」のようなラベル付けも可能になる、と。

また記事では、その他にも「ある画像の中で『牛』と認識されてしまった物体が、『空』『木』『ビル』『水』という他の要素と組み合わせて判断されることで、最終的に『ボート』という正しい認識に到達することに成功した」などという事例が紹介されています。なるほど、これなら例えば「トラの模様が描かれたバス」があっても、「トラ」ではなく「バス」と認識する可能性が高くなるわけですね。ちなみに今後は「物体の位置関係」も含めて判断できるようにしていくとのこと（ex. ある動物の上に「人間」が乗っていたら、それは「馬」や「ロバ」「ラクダ」などである可能性が高い）。

しかしふと思ったのですが、これだと「非常識」なシチュエーションには対処できないのではないでしょうか。例えばお笑い番組で、芸能人が「ボールの代りにレモンでテニスしたらどうなる！？」みたいな企画にチャレンジしていたとしたら、上記の技術だと「レモンじゃなくてテニスボールだ」と認識してしまうわけですよね。まぁ人間だって、何の補足情報もなしに「ラケットでレモンを打とうとしている人間の写真」を見せられれば、写っているのがテニスボールだと勘違いする確率は高いでしょうが……。そしたら単に「人間」というだけでなく「誰」というレベルまで判断して、「写っているのがビートたけしなら非常識なシチュエーションである可能性が高い（＝Google Sets 等によるコンテクスト判断をOFFにする）」みたいな切り替えをしたらいいのかなぁ。

いずれにしても、「人間が目の前にある光景をどう理解するか」というテーマについても考えさせられる、面白い研究ですね。数年後には、かなりの精度で「何が写っている/どんなシチュエーションの写真か」を判別できるほど、画像認識技術は発展しているのかもしれません。

CAPTCHA で人助けするには？

賛否両論ありますが、CAPTCHA には一定のスパム抑止力があると言えるでしょう。しかし視力に障害のある方々のアクセシビリティが保証されないし、様々な迂回方法があるためスパムを完全に防ぐことができないのも事実…ならばせめて CAPTCHA を突破する労力を、人助けに転用してしまおうというアイデアがこちら：

■ Computer Security Can Double As Help For The Blind (ScienceDaily)

UC San Diego の Serge Belongie 教授らによる提言について。Belongie 教授は視覚障害を持つ人々のために、様々なアプリケーションを開発しているそうなのですが、その1つがカメラ付きウェアラブルコンピュータ。これで画像を拾って、そこに何が写っているのかを目の代りに解析する……とここまで言えば、カンの鋭い方はお気づきかもしれませんね。プログラムで画像解析を行うだけでなく、人間の力を借りる、すなわち CAPTCHA と同じ仕掛けで「提示された画像の中に何が写っているのか」を答えてもらう、というアイデアです。

例えば視覚障害者の方がこれを付けて買い物に行き、画像を「これからブログにコメントを付けようとしている人」に送った上で、「ピーナツバターのビンをクリックしてください」とか「私がいま手に持っているものは何ですか」などと尋ねたりすると。うーん、これって確かに人助けになりそうですが、実行性に問題はないのでしょうか？ブログやSNSなどの普及率を思えば、「これからコメントを付けようとしている人」を瞬時に見つけることはできそうですが（このシステムが全国的に導入されたと仮定した上での話）、答えてもらった内容が正しいかどうか、結局別の誰か/プログラムで確認するしかないですよね。入力された文章が意味をなしているかどうか、という程度の確認はできるんだろうけど、人間の言葉でウソをつかれたらどうしようもないし。まぁ助けを求めている障害者を前にして、ウソを教えるような悪人はそんなに多くないと思いたいですが……。

とここまで聞いて、reCAPTCHA の話を思い出された方も多いのではないでしょうか。事実、Serge Belongie 教授らはカーネギーメロン大学の reCAPTCHA プロジェクトメンバーの研究者たちとも協力を行っているそうです。目的が書籍のデジタル化か、視覚障害者の援助かという違いはありますが、CAPTCHA にかける労力を有効利用しようという視点は同じですね。実用化までにはクリアしなければならないハードルが多そうだけど、ぜひ何らかの形で成果が出ることを願っています。

ちなみにこのシステムの名前は"Soylent Grid"というのだそうですが、これは映画"Soylent Green"から名付けられたとのこと。この映画がどんな映画なのかについては、Wikipedia での記述をご覧いただくことにして、こんな遊び心のある姿勢は好きです。本題と関係ないけど。