stMind

about Arsenal, Arsene Wenger, Tech, Computer vision and Machine learning

OCR用データセットのcoco-textとSynthTextを可視化

bgshih.github.io

OCR用のデータセットでcoco-textがあります。約6万4千枚のCOCO2014の画像に対して、約24万のテキスト領域のバウンディングボックスがアノテーションデータとして提供される大規模なデータセットの一つです。

www.robots.ox.ac.uk

また、画像にテキストを重畳して作られたSynthTextというデータセットもあります。こちらは、8万枚の画像で、約800万のテキスト領域がある超大規模なデータセットです。ただ、残念ながら、現在はダウンロード出来ないようです。

coco-textの可視化

比較的検出の容易な画像から、矩形の傾きが大きかったり、目視でも認識できないようなサイズのテキスト領域も含む難易度の高いデータセットです。

f:id:satojkovic:20200510202535p:plain

f:id:satojkovic:20200510203028p:plain

f:id:satojkovic:20200510203523p:plain

SynthTextの可視化

SynthTextは、テキスト領域をうまく囲めてないアノテーションが結構あって、縦横比を見て事前処理する等の処理が必要そうです。

f:id:satojkovic:20200510204303p:plain

f:id:satojkovic:20200510204530p:plain

検出器の学習に使うにあたって

pre-trainedのSSDを使ってcoco-textで学習してみたけど、なかなか検出率が上がらなかった。また、SynthTextを追加したが、事前処理をやってなかったのもあって、検出率に変化はあまりなかった。

この二つのデータセットは最初に使うデータセットとしては少し扱いにくいと思われるので、もう少し小さいtotaltextStreet View Text Datasetなどのデータセットを使うのが良い気がする。