本連載では、ISPが独自に開発したセマンティックセグメンテーションのアルゴリズム「REEL SS」と、そのエッジAIにおける活用について3回に渡ってご紹介いたします。 第1回となる本記事では、REEL SSの概要について、その動作の画像と共にご説明いたします。
はじめに：セマンティックセグメンテーションとは
最初に、セマンティックセグメンテーションについて簡単にご説明いたします。 「セマンティック(Semantic)」は日本語で「意味の」という意味で、「セグメンテーション(Segmentation)」は「分割」という意味を持ちます。 セマンティックセグメンテーションが行うのは、画像の全ての画素に対して、その画素が属するクラスを判別するというタスクです。
例えば、ある画像の各画素ごとに「これは犬か？それとも背景か？」を確認していけば、最終的に、画像は犬と背景の2クラスに分割されます（下図）。
このようにして、全画素を分類することによって画像をクラスごとに分割するのがセマンティックセグメンテーションです。
REEL SSの紹介
REEL SSはISPが独自に開発したセマンティックセグメンテーションのアルゴリズムです。ISPで開発・展開している「ひびここ」や「gLupe」 のコアエンジンになっています。 REEL SSは、一般的なセマンティックセグメンテーションのアルゴリズムに比べて以下のような特長を持っています。
- 一枚の画像から学習可能
- 数か所のマーキングで簡単にアノテーションできる
と言われても、おそらくこれだけではピンとこないと思います。以下では3パターンの事例を通して、REEL SSがどのような動作をするのかをご覧いただきたいと思います。
利用例
「gLupe」や「ひびここ」ではひびや傷などを扱うことが多いのですが、REEL SSはもっと幅広い対象を扱うことが可能です。そこで、以下では実験的に様々な題材で学習・推論を行ってみました。
ひび検出
まずは「ひびここ」でも行われているひび検出を見てみます。
今回は、学習用画像に図3を、テスト用画像に図4を用意しました。REEL SSでは、全画素のうちのごく一部にラベル付けを行えば、それで十分な学習が可能です。例えば、今回の場合は図5のようにラベル付けをしてみました。灰色の点は背景の、青色の点はひびのラベルを付けたところです。
図5：ラベル付け（灰色は背景、青色はひびとしてラベル付けしている）
これを用いて学習を行った上で、学習に用いた画像を改めて推論した結果がこちらです。青く塗りつぶされた部分が、ひびとして検出された場所です。ラベル付けしていない部分も含めて、ひびが検出できていることが見て取れるかと思います。
続いて、学習に用いていない画像を推論してみるとこのような結果になります。ご覧の通り、学習に用いていないデータにおいても、正しくひびを検出できていることが見て取れます。
みかんの個数計測
セマンティックセグメンテーションは物体の個数の計測に用いることも可能です。今回は、みかんの個数を数えることを想定してREEL SSを使用してみました。
ご覧のように、みかんが存在する部分が検出できていることが見て取れます。このセグメンテーション画像にノイズ除去やラベリング処理などを行うことにより、個数の計測を行うことができます。
アルファベット
上記3つの検出対象は、おおむねクラスごとに色が共通していました。そのため、慎重な読者の方の中には「単純に色だけ見て判断しているだけでは？」と気になる方もいらっしゃるかもしれません。そこで、色も大きさもフォントもバラバラな「A」と「B」が混在した画像を用意してみました。
検出結果はこのようになります。REEL SSは色だけではなく、形状や模様など、より詳細で多様な情報を元に識別を行っていることがお判りになるかと思います。
終わりに
本記事では、ISPが開発したセマンティックセグメンテーションのアルゴリズム REEL SSについて、その実際の推論結果と共にご覧いただきました。 次の記事では少し寄り道をして、AIの運用システムの一つであるエッジAIについて概説いたします。