アノテーション作業における手作業と自動化の使い分けについて

AI開発のために必要となるアノテーション作業ですが、その作業ボリュームの大きさから自動化ができないか検討される方も多いのではないでしょうか。一方で、現時点ではアノテーション作業を完全に自動化することは難しいといえます。

アノテーション作業を人手で実施する場合と自動化する場合で、それぞれどのような強みや弱みがあるのか、またアノテーション作業においてどのように自動化を行うことができるのか、この記事で解説します。

1. アノテーション作業の2つの実施方法

アノテーションを実施する方法は大きく「人手」と「機械による自動化」の2つに分けられます。以下では、両者の強み・弱みについて整理します。

①人手による実施

まず紹介するのは、テキストや音声、画像に対して人手でラベル情報を付与していく方法です。それぞれの強み・弱みは以下のとおりです。

  強み  

品質：

現時点では機械による自動化は十分な品質を担保できないケースが多く、人手で実施した方が品質面を高められます。ダブルチェックの実施やアノテーションルールの整備などにより、さらに品質を高めることも可能です。

対応範囲：

現時点では、機械による自動化は限定的な対応しか行うことができません。人手で実施することで、あらゆるニーズに対応したアノテーション作業が可能となります。

 弱み 

コスト：

人手で実施する以上、どうしても人件費がかかります。

スキル：

アノテーションを実施する上では、実施方法について十分に理解したアノテーター（=アノテーション作業の実施者）が必要となります。また、アノテーションの要件整理やアノテーションルールの整備など、アノテーション作業の進め方やプロジェクトマネジメントに精通した人材も求められます。

②機械による自動化

もう一つは、機械により自動的にアノテーションを行う方法です。具体的には、プログラムを用いて作業を自動化するほか、AI技術である生成モデルを用いる手法も研究されています。

 強み 

作業期間の短縮：

一般的に、大量のデータに対してラベル付けを行わなければならないアノテーション作業には時間が必要となります。自動化することにより、作業時間を短縮することができます。

コスト：

実施方法にもよりますが、自動化によりアノテーションのコストを下げられる可能性もあります。

 弱み

自動化できる範囲は限られる：

基本的に、アノテーションの自動化手法は領域ごとに開発されることになります。このような取り組みを行うためには、領域ごとに個別開発が必要になり、費用と期間が必要となってしまいます。

品質に課題がある：

アノテーションの自動化は現時点では十分に品質を担保できないケースが多いといえます。あるトマトの検知に関する研究（※）では、適切にアノテーションが行われた割合は全体の76.9%という結果でした。人間が行うアノテーションと同水準の作業ができるまでには至っていない状況といえるでしょう。

※参考： Wenli Zhang, Kaizhen Chen, Jiaqi Wang, Yun Shi & Wei Guo　“Easy domain adaptation method for filling the species gap in deep learning-based fruit detection”

2. どのように使い分けるべきか

それでは、人手と機械はどのような使い分けが必要なのでしょうか。

基本的には人手が必要

結論として、技術的に完全にアノテーション作業を自動化することは難しく、どうしても人手が必要といえます。領域ごとに自動化について研究開発が行われているケースもありますが、やはり限られた領域にのみ利用できるのが現状です。

サポート的に自動化を活用する

現時点でアノテーション作業を完全に自動化することはできないものの、人が実施する作業をサポートする形で部分的に機械を活用することはできます。具体的には、アノテーション支援ツールという形で様々なツールが開発されており、たとえばGUIによるアノテーション作業の支援やラベル付け・画像の領域抽出作業の効率化、動画に対するトラッキング機能などが提供されています。

また、複数人で行われるアノテーション作業のプロジェクト管理機能として、作業の進捗状況や作業結果のレビュー状況管理、品質管理などを行う機能を備えているツールも存在します。
このようなツールを人が利用してアノテーション作業を実施することで、作業の効率化や品質の向上が期待できます。

3. アノテーション作業自動化の将来展望

アノテーション作業は負荷が高い作業であり、様々な効率化が検討されているものの、やはり現時点では完全な自動化への道は半ばです。たとえば、アクティブラーニングと呼ばれる手法により、少数の教師データを基に残りのデータに対してAIによりアノテーションを実施する方法も開発されています。

アクティブラーニングでは、十分な根拠をもって判断できる場合は機械により自動化を行い、根拠が不十分の場合は人手で正しいラベル付けを行いますが、いずれにせよ完全なる自動化は難しいのが現状です。アクティブラーニングをはじめとして、アノテーション作業を効率化するための手法やツールは様々開発されており、今後も進歩が続いていくと予想されます。

このような状況を踏まえると、今後アノテーション作業をうまく進めていくためには、アノテーション作業の最新事情やアノテーション作業の進め方を熟知した委託先を探すことが重要と思われます。アノテーション作業の要件定義を実施し、優れたツールやAI技術も活用しながら作業を実施でき、またアノテーション作業のプロジェクト管理もできるような委託先が求められていくでしょう。今後アノテーション作業の委託を検討する際には、このような観点でも各社を比較してみることをおすすめします。

4. まとめ

この記事では、アノテーション作業における人間と機械の住み分けというテーマで両者の強み・弱みや使い分けについてご紹介しました。AI開発のボトルネックとなりやすいアノテーション作業ですが、現状では完全な自動化は難しいといえます。当面はアノテーション作業を効率的かつ高品質に実施できる委託先の選定が重要となるでしょう。