教師データとは？学習データと違う？いくつ必要？内製・外注での作り方・収集時の注意点を解説！

AIモデル作成の王道とも言える教師あり学習には、教師データという「例題」と「正解」がセットになった学習データが必要です。教師データは完成したAIモデルの精度に大きな影響を与えます。

そのため、高精度なAIモデルを開発するには、高品質な教師データが欠かせません。しかし、自社のニーズにマッチした教師データの入手は意外に困難です。また、「質の高い」データを「大量に」準備すると言われても、何から検討すればいいのか手がかりがなさすぎると悩む方も多いでしょう。

本記事では、教師データの概要から作り方、作成時の注意点などを解説します。

教師データとは?

教師データとは、AIモデルの機械学習に用いられる訓練データセットです。教師データは「条件（説明変数）」と「正解、またはラベル（目的変数）」がセットになっており、「教師あり学習」に用いられます。

教師あり学習とは、AIモデルに「条件」と「正解」を結びつけるよう学習させる機械学習です。教師データの質や量、そして選定されたアルゴリズムによって、モデルの性能は大きく変わります。

例えば、2022年から社会現象となっているChatGPTの訓練に用いられた手法にも、教師あり学習が含まれています。ChatGPTの教師データは、大量のテキストデータとそのデータに対する適切な返答や続きのテキストがセットになっています。

AIモデルは「条件」と「正解」の関連性をデータから学習し、未知のデータに対して予測や分類を行います。AIモデルは、どのようなパターンが正解となるのかを学習します。
教師データ有・無の違い
教師あり学習は、正解ラベル付きのデータを利用してAIモデルを訓練し、特定のタスクを達成する能力をモデルに与える方法です。一方、教師なし学習は、正解ラベルのないデータを利用してモデルを訓練し、データ内のパターンや構造を自動的に識別します。

教師あり学習は、明確なタスクを解決するためのモデルを訓練するのに適しており、一方で教師なし学習は、データの探索的な分析や新しい知見の発見に有用です。

例えば、教師あり学習を用いるスパムメールフィルターの開発では、スパムであるか否かのラベルが付けられた多数のメールをAIモデルに供給し、時間の経過とともにモデルはスパムメールをより正確に識別する能力を向上させます。

一方、教師なし学習は主にクラスタリング、次元削減、関連性解析などに用いられます。例として、顧客の購買履歴データから潜在的なパターンを判別し、顧客セグメントを自動的に識別するモデルが挙げられます。ビジネスシナリオやAIモデルの目的、利用可能なデータの量や質によって、教師あり学習と教師なし学習を使い分けます。

教師データと学習データの違い

学習データは、AIの機械学習に用いられる全体のデータセットです。一方、教師データは、「教師あり学習」に用いられるデータのことです。

学習データは顧客の行動履歴やセンサーデータなど多岐の種類にわたり、ラベルが付与されていないものも含みます。一方、教師データは、例えば画像とその分類ラベルなど、特定のタスクに対してラベル付けが行われたデータです。

つまり、教師データは学習データの一部と言えます。学習データはより広範で、教師あり学習だけでなく、教師なし学習や強化学習などでも利用されます。

教師データはいくつ必要？

作りたいAIシステムの目的や必要な精度によって、教師データの必要個数は変わってきます。

基本的な識別タスクや精度が非常に要求されない場合、数百件程度の教師データで十分なケースもあります。しかし、高度な画像認識や自然言語処理といった高精度が要求されるタスクにおいては、一つの対象物に対して数千から数万のデータが必要になることも珍しくありません。

また、教師データの個数だけでなく質とバランスも、必要数に影響を与えます。例えば、異常検知においては、異常ケースと正常ケースのデータバランスが重要であり、これが不均衡であれば高精度なモデルの訓練は難しくなります。

教師データのバランスや質によっても必要数は変わりますが、高い精度が必要な場合は多くのデータが必要です。

オープンデータは基本的に誰でも利用できます。ただし、商用利用可否については各データセットの規約をご確認ください。

オープンデータを活用すれば、労力やコストを全くかけることなくデータ収集が完結します。しかし、全ての業界・分野における適切なオープンデータが存在するとは限らないため、オープンデータが利用できないケースも多々あります。

また、オープンデータのみで自社に最適化したモデルを構築するのは難しいでしょう。そのため、精度の高いモデルを構築するには、独自に収集したデータと合わせて活用するなどの工夫が必要です。

教師データの入手方法

教師データの入手方法は、大きく分けて3つあります。

①自社データを用いる

自社データがある場合は、積極的に活用しましょう。自社に最も適したデータを利用できるため、AIモデルの精度を効率よく上げられます。

ただし教師データとして利用するには、「正解」の付与やデータ整形などのアノテーション処理をして、AIモデルが学習できる状態にしなければなりません。そのまま利用できることはあまりないため、注意が必要です。

②専門会社に外注する

教師データは、専門会社に外注することで収集・作成することもできます。教師データは、全体のバランスや「正解」の質によって性能が大きく変わります。

以下のケースでは内製が難しいため、外注を検討しましょう。

・データ担当やアナリストが社内にいない
・大量のデータセットが必要
・社内に活用できるデータが少ない

③データセットを購入する

自社独自のデータが必要ない場合は、作成済みのデータセットを購入してもよいでしょう。すでに「正解」が付与されたデータが得られるため、そのままAIモデルに学習させることができます。

また、無料で利用できるオープンデータを利用できるかもしれません。
ただし、自社が求めているAIモデルを構築するために必要なデータであるかどうかは正しく見極める必要があります。また、クレジット表記の要求有無や、商用ライセンスの必要性有無も確認しましょう。実際に活用できる場合は、データ収集の手間がなくなるため、労力は大きく削減できます。

教師データの作り方3ステップ

教師データの作り方を、順を追って説明します。

①目的の明確化

まず、AIモデルを開発する目的を明確にしましょう。目的が明確になれば、どのようなAIモデルを作ればよいのかがわかるため、集めるべきデータの種類や個数、学習方法が決まります。

目的が曖昧なままデータ収集に入り、途中で修正となると、収集したデータが無駄になることもあります。データ収集や後続のアノテーションは、非常に大きな労力がかかります。これらを無駄にしないためにも、初めに目的を明確化しておきましょう。

② データ収集

目的が明確になったら、それに応じてデータを収集します。集めるデータ数は、必要な精度や要素数によって異なります。社内のデータ担当か、外注先の専門家に話を聞きつつ、収集する数を決めましょう。

また、データ数が多くても、データの質やバランスが悪ければ精度は高くなりません。データの量だけに囚われずに、質やバランスにも注意しながら収集するようにしてみてください。

③ ラベリング（アノテーション）

ラベリングは、「正解」を作るための作業です。アノテーションとも呼ばれ、教師データの作成ステップのなかで最も重要なステージです。正解が必要とされる教師あり学習をする場合に必要になります。

例えば、画像から自動車を認識するAIモデルを作りたい場合は、自動車の形を教えなければなりません。そこで、ラベリングをしてAIモデルに自動車という「正解」を教えるのです。

ラベリングには、データの種類に応じて以下のように様々な方法があります。

データ収集と同様に、ラベリングの質もAIモデルの性能に大きな影響を及ぼします。近年、専用のツールが開発され、少ない労力でラベリングできると注目されています。しかし、ツールはあくまで効率的に作業できるよう開発されたものです。

精度は作業者の技術によるため、しっかり教育を行ってから取り組むか、専門会社に任せるようにしてみてください。

教師データ作成時の注意点

教師データを作成する際には、以下の点に注意するとスムーズです。

①データの質・量を確保する

教師データの質・量は、AIモデルの性能に大きな影響を与えます。まず、量が足りていないと要素の特徴を捉えることが難しくなり、予測精度が低くなります。次に、質が低いとそれぞれのデータを活かしきれず、量に対して性能が低くなってしまいます。

データの質とは、以下のような要素を指します。

データのバランスが悪いと、データを増やせば増やすほど精度が悪くなることもあります。また、アノテーションの精度が低いと認識精度が低くなります。

AIモデルの性能を最大限引き上げるためにも、データ量・質を確保できるよう、専門家と計画を立て、データを収集するようにしてみてください。

②著作権・プライバシーを侵害しない

教師データ作成時には、著作権・プライバシーを侵害する可能性があります。

AI開発には大量の学習データが必要になります。文化庁の見解によると、原則として「著作物に表現された思想又は感情の享受を目的としない」場合は、著作権者の許諾なくAIに学習させることが可能です。

※文化庁「AIと著作権」
https://www.bunka.go.jp/seisaku/chosakuken/pdf/93903601_01.pdf


しかし、著作物を真似た画像をAIで大量に作り、それらを学習データにしてAIを開発するなど、意図的に著作権を侵害しようとすれば、法律違反になることもあります。AIと著作権の議論はまだ浅いため、明確でない箇所も多くあります。そのため、データの使用許諾を確認し、必要な場合は著作権者から許諾を得るようにしてください。

また、教師データ作成中には、プライバシーを侵害する危険性もあります。特に、アノテーション作業中には注意しましょう。

アノテーションするデータには、個人情報が含まれていることがあります。これが流出すると、個人情報を載せられている方が不利益を被る可能性があります。

このような事態を起こさないためにも、データの取り扱いには十分注意してください。個人情報に関わるデータには特別な注意を払い、関係者に明確なガイドラインを設定します。

③セキュリティ対策をとる

教師データの中には、個人情報や機密情報が含まれていることがあります。これらが流出してしまうと、会社や個人が不利益を被る場合があるため、十分なセキュリティ対策を取り、情報が漏洩しないようにしましょう。

アノテーション専門会社であっても、セキュリティ体制が整っていなければ情報漏洩のリスクがあります。

専門会社の中には、クラウドワーカーにアノテーション業務を依頼していることもあります。機微情報を含むデータの場合は、情報漏洩のリスクを減らすために、社内でアノテーションを行っている会社に依頼したほうが良いかもしれません。

④アノテーション作業ルールの統一

ルールが統一されていると、品質が一定に保たれます。これはAIモデルの精度向上に寄与します。

アノテーションを社内で行う場合には、マニュアルを作るなどして、作業ルールを統一すると良いでしょう。それぞれが別の手順でアノテーション作業に取り掛かっていては、進捗を把握するのが難しくなります。統一されたルールによって、作業者が何をすべきか明確になり、作業の速度が向上します。

また、作業ルールが統一されていると、わからない箇所を社員同士で共有できるため、専門家や有識者に負担がかかりすぎる事態を防げます。円滑に作業を進めるためにも、アノテーションの作業ルールは統一しておいた方が良いでしょう。

⑤アノテーション作業管理体制の構築

アノテーションを行う段階では、ただラベル付けをするだけでなく、進捗や品質を管理する人が必要です。これを怠ると、プロジェクトが期日通りに進まなかったり、品質が低いAIモデルになったりします。

アノテーション作業には膨大な時間がかかります。それを無駄にしないためにも、管理体制をしっかり構築してからアノテーション作業に取り掛かることが重要です。

まとめ

教師あり学習をするには、教師データが欠かせません。教師データの作成には大きな労力が必要ですが、完成したAIモデルを最大限活かすことができれば、それ以上のメリットを得られるでしょう。

しかし、教師データの品質が低ければ、AIモデルの品質も低くなってしまいます。膨大な労力をかけても、目的の精度に達することができなければ、全く意味のないAIになる可能性もあるのです。

もし、データの専門家が社内にいなければ、専門会社に外注する方がより高品質のAIシステムを開発でき、長期的に低コストです。