子どもにAIは安全? チャットボットと話す前に確かめたい質問
Scribblieチーム · 公開日 · 読了目安 12分

このガイドの内容
結論からお伝えします。AIが子どもにとって安全か危険かを、一般論として言える人はいません。AIはひとつのものではないからです。大人向けに作られたチャットボット、おしゃべり玩具、声で答えてくれるお絵かきアプリは、それぞれ別の製品で、リスクも違います。できるのは、目の前の製品について、短い質問のリストを確かめること。そして最初の数回は、同じ部屋にいることです。
私たちは、子どもの絵がおしゃべりするアプリを作っているチームなので、この話題には利害関係があります。該当するところは、そのつどお伝えします。ただ、利害がなくても、質問の内容は同じように書いたと思います。
子どもがAIと話すとき、何が起きているのか
子どもがAIアプリと話すとき、たいてい、いくつかの処理が順番に行われます。まず、子どもの声が文字に変換されます。次に、モデルがその文字を読んで返事を書きます。そのあと別の部分が返事を音声に変え、ときには絵にもします。この各段階は、お手元の端末の中ではなく、会社のサーバー上で行われることがあります。
だから大事なのは、「AIは悪いものか」ではなく、「声はどこへ行くのか」「誰が返事を書いているのか」「子どもが聞く前に誰が確認しているのか」という問いです。返事を書くモデルは、正解が載った本を引いているのではなく、パターンから返事を作り出しています。自信ありげに間違えることもありますし、話が脇道にそれることもあります。
だからといって慌てる必要はありません。必要なのは質問することと、親しみやすい声を、何かの証明だと思い込まないことです。
何がうまくいかない可能性があるか
心配する順番に、リスクを挙げます。
間違った答え。 AIは、あたたかく自信に満ちた口調で、事実と違うことを言うことがあります。「空はどうして青いの?」と聞く子どもには、小さな問題です。健康や安全に関わることなら、もっと大きな問題になります。
不適切な内容。 一般向けに作られたモデルは、小さな子どもにふさわしくないものを出してしまうことがあります。子ども向けの製品は、追加のチェックでこれを防ごうとしますが、チェックも完璧ではありません。
データ。 子どもがアプリと話すと、声や言葉、ときには絵が生まれます。会社がそれをどう扱うのか、どれくらい保存するのか、第三者に共有するのかは、すべて質問できることです。子ども向けアプリのプライバシーポリシーの読み方のガイドで、順に見ていきます。
知らない人とのやりとり、共有。 製品によっては、他のユーザーとチャットしたり、公開で投稿したりできます。これはまったく別の分野で、小さな子どもについては、私たちは強く慎重になります。
愛着と混乱。 自分の名前を覚えてくれる親しみやすい声は、小さな子どもには本物のように感じられます。それは悪いことではありませんし、ごっこ遊びは健全です。ただ、現実との区別をお子さんがはっきり持てるよう、手助けしたいところです。
毎日AIと話す子どもに、これらが何年も先にどう影響するのかは、わかりません。技術があまりにも新しいからです。推測するよりも、わからないとお伝えするほうがいいと考えています。

「いいよ」と言う前に私たちが確かめる質問
ストアの説明ページとプライバシーポリシーを開いたまま、順に確認してください。ほとんどは10分で答えが出ます。
- その製品は子ども向けに作られたものですか。それとも、一般向けのチャットボットに子ども用の鍵を後付けしただけですか。
- 保護者の同意は必要ですか。サインインするのは子どもですか、それとも大人ですか。
- この製品を通じて、子どもは他の誰かと話せたり、何かを公開で共有できたりしますか。
- AIの発言に安全チェックはありますか。会社はそれが完璧ではないと認めていますか。
- お子さんの声はどこへ送られますか。保存されますか。
- 広告、アプリ内課金、外部へのリンクはありますか。
- アプリの中で、聞き取りや話すことをオフにしたり、利用時間を制限したり、お子さんのデータを削除したりできますか。
- 子どもが機械と話していることは、はっきりわかりますか。
最初のいくつかにはっきり答えられない会社なら、それだけで多くのことがわかります。
ご自分の声で試してみる
お子さんが触る前に、10分間だけ、手ごわい利用者になってみてください。ばかばかしいこと、個人的なこと、答えてはいけないことを聞いてみましょう。怖いお話をお願いしてみます。子どもにとって安全でないことのやり方も聞いてみます。それぞれにどう対応するかを見てください。
よくできた子ども向け製品は、たいてい、さりげなくやさしく、きわどい部分を避けます。叱ることもしません。一般向けのチャットボットは、望ましい以上に答えてしまうかもしれません。どちらの結果も、それだけで結論にはなりませんが、合わせて見れば、お子さんが出会うかもしれないものがわかります。
次に、普通の使い方も試します。5歳のお子さんが話すように話しかけてください。短く、同じことを繰り返し、周りの雑音があって、言いかけで止まるような話し方です。そこでどう対応するかが、実際の使い心地を教えてくれます。
特に最初は、同じ部屋にいる
親御さんが声の届くところにいることに勝る安全対策はありません。最初の数回は、お子さんの隣に座って耳を傾けてください。その製品がどんな声なのか、お子さんが何を聞くのか、何が返ってくるのかがわかります。
習慣づくりを始めるのにもいい機会です。コンピュータのプログラムだと伝えましょう。ときどき間違えること、もし変なことや怖いことを言われたら教えてほしいこと、そのとき叱られる心配はないことも伝えてください。それをわかっている子は、端末にブロックがかかっているだけの子より、ずっとしっかり備えができています。
遊びの面についてはおしゃべり玩具についての記事で、スマートスピーカーについては同じ考え方で音声アシスタントと子どもで取り上げています。

実際の安全対策とは
良いものがどんなものかを知っておくと役に立つので、探したい安全対策の種類を、特定の会社名は出さずに挙げます。
まず保護者の手順です。子どもが使えるようになる前に、大人がサインインして同意し、子ども自身はアカウントを持ちません。設定は、小さな子どもには簡単に通れない確認の向こう側に置きます。利用時間の制限、就寝時間、聞き取りや話すことのオフは、保護者の手に委ねられているべきです。AIの出力には安全フィルターがあり、知らない人とのチャットも、公開共有も、広告もありません。そして、会社に連絡しなくてもお子さんのデータを削除できる方法があります。
これらのどれも、魔法ではないことに気づいてください。境界線です。すべてそろっていても、製品は間違えることがあります。だから私たちは、何度でも、そばにいてくださいとお伝えしています。
Scribblieはこのリストのどこにいるか
気になるところだと思うので、私たちの対応を、限界も含めてお伝えします。Scribblieはまだストアに出ていません。
子どもは、紙に描いて写真を撮るか、アプリの中で描くか、ガイドの形をなぞります。すると絵が目を覚まして、あいさつします。子どもは声で話しかけます。友だちの返事や、一部の画像は、AIモデルによって生成されることがあり、ときには不完全なこともあります。友だちの発言には安全チェックが働きます。子どもが遊べるようになる前に、保護者がAppleまたはGoogleでサインインして同意し、子ども自身はサインインしません。設定、削除、リンクは、大人の確認の向こう側にあります。子どもの声は文字起こしのために送られ、文字起こしのあとで削除されます。広告も、アプリ内課金も、公開共有も、知らない人とのチャットもありません。
認証を受けているとは言いませんし、リスクがないとも言いません。詳しくはScribblieのしくみをご覧ください。細かい点はプライバシーポリシーに書いています。
年齢で答えが変わる
5歳の子と11歳の子は、同じ立場ではありません。小さい子ほど、声が言うことを信じやすく、おかしな答えに気づきにくく、自分から教えてくれる可能性も低くなります。大きい子は、限界を試してみたくなったり、もっとプライバシーがほしくなったりするかもしれません。
いちばん小さい子には、私たちなら毎回同じ部屋にいて、その年齢向けに作られた製品を選び、設定もそれに合わせます。中くらいの年齢の子には、最初は隣に座り、そのあとは声をかけて様子を見ます。大きい子には、会話の中心が判断力に移ります。答えを別の情報源で確かめる方法、AIが事実を作り出してしまうことがある理由、個人的なことを秘密にする理由です。多くの人がいずれ何らかの形でAIと出会う世の中で、どれも教えておきたい習慣です。
アプリの年齢の目安は、おおまかなものですし、子どもの個人差はとても大きいものです。製品に、もっと小さい子向け、もっと大きい子向けの設定があるなら、何が変わるのかを読んで、そうなってほしい年齢ではなく、いまのお子さんに合うほうを選んでください。

おしゃべり玩具とスマートスピーカー
声の出る玩具やスピーカーにも同じ質問が当てはまり、さらにいくつか付け加わります。寝室に置いた玩具は、思っているより長く聞いているかもしれません。スピーカーは、聞かれたことの履歴を残していることがあります。録音がどう保存されるのか、確認や削除はどうするのかを、端末の設定で確かめましょう。
玩具にアプリが必要なら、ほかのアプリと同じように扱ってください。許可する項目とポリシーを読みます。そして、音声機能をオフにしても、その玩具は楽しいかどうかを考えます。楽しくないなら、あなたが払っているのは声に対してです。
お子さんに伝えること
子どもは、短いはっきりした言葉でよく理解します。ご自分の言葉に直して使ってください。
これはね、コンピュータのプログラムが答えを作っているんだよ。おもしろいこともあるけど、間違えることもあるよ。もし、変だなって思うことを言われたり、ひみつのことを聞かれたりしたら、そこでやめて、わたしに教えてね。それで叱られることは絶対にないよ。
最初に一度、そして一週間たったらもう一度伝えましょう。フルネームや住所、学校、家の鍵をどこに置いているかなどは、教えてはいけないことも付け加えます。そのあと、お子さんに何かを教えてもらいます。遊びでも、言葉でも構いません。子どもは「先生役」が大好きで、それが機械を、あるべき場所にとどめておいてくれます。
決めるのは、あなたです
AI玩具やアプリの商品ページには、あたたかくて自信に満ちた言葉が並びがちです。安全、信頼できる、子ども向けに設計、といった言葉です。そうした言葉は、印刷するのにお金がかかりません。私たちは、形容詞よりも具体的なことを重く見ます。誰が同意するのか、何が保存されるのか、初期設定で何がオフなのか、どう削除するのか、といったことです。
ページが何を書いていないかに気づくのも役に立ちます。学びのことはたくさん語られているのにデータのことが何もなかったり、AIは決して間違えないと約束していたりしたら、用心する理由にしてください。限界について正直な会社のほうが、限界などないと言う会社より、たいてい信頼しやすいものです。
あなたはお子さんのことも、ご家庭のこともご存じです。しゃべるAIは、子どもがもう少し大きくなるまで待とうと決めるご家庭もあるでしょう。それは賢明な選択で、遅れていると感じる必要は誰にもありません。上でお伝えした設定がある、子ども向けに作られたものを、隣に座って試すご家庭もあるでしょう。どちらも、良い子育てになりえます。
私たちが避けたいのは、その中間の道、つまり一般向けのチャットボットを親御さんのスマホに入れたまま渡して、離れてしまうことです。もっとやさしい最初の一歩がほしいなら、声のないお絵かきアプリから始めるのも悪くありません。お絵かきアプリのチェックリストが、その手始めになります。
よくある質問
子どもがAIを使っても安全ですか?
製品や子どもの年齢、そして大人がそばにいるかどうかで、まったく変わります。大人向けに作られた道具と、子ども向けに追加の安全対策をして作られた道具は、別物です。私たちは、自社の製品も含め、どのAI製品にも一律の「安全です」とは言えません。
子ども向けの安全なAIチャットアプリでは、何を見ればいいですか?
保護者の同意の手順がはっきりしていること、知らない人とチャットできないこと、AIの発言に安全チェックがあること、わかりやすいプライバシーポリシー、広告がないこと、そしてお子さんのデータを削除できる方法があることを確認してください。そのうえで、お子さんが使う前にご自分で試してみましょう。どれかがあいまいな製品は、さらに質問する価値があります。
AIのおしゃべり玩具は子どもに良いものですか?
ごっこ遊びのきっかけとして楽しめるものもあれば、ほとんど目新しさだけのものもあります。確かめる点はアプリと同じで、声はどこへ送られるのか、誰が見られるのか、玩具が間違えたときどうなるのか、です。遊びの面については、おしゃべり玩具のガイドで取り上げています。
AIが子どもに間違ったことや不適切なことを言うことはありますか?
あります。これは技術そのものの限界です。モデルは間違えたり、おかしなことを言ったり、的外れな返事をしたりします。安全対策でそれを減らすことはできても、なくすことはできません。だからこそ、特に最初のうちは、そばにいることが大切です。
何歳から、おしゃべりするAIアプリを使えますか?
決まった答えはありません。多くの製品は5歳くらいからを対象にしていて、もっと小さい子向け、もっと大きい子向けに調整された設定を持つものもあります。小さいお子さんの場合は、私たちなら必ず同じ部屋にいますし、年齢表示とアプリ自身の方針も確認します。
AIは人ではないと子どもに伝えたほうがいいですか?
はい。やさしい言葉で、しかも何度か伝えてください。「コンピュータのプログラムが返事を作っているんだよ」「間違えることもあるよ」「人間の友だちとは違うんだよ」と。子どもはAIとのやりとりを楽しみながら、そのこともちゃんと理解できます。
ほかの記事を読む

子ども向けお絵かきアプリの選び方:保護者のためのチェックリスト
子ども向けお絵かきアプリを見きわめるための実用的なチェックリストと、お子さんが触る前にソファで試せる10分間のテストをまとめました。
読了目安 11分
Scribblieのしくみ:お絵かきが、話しかけてくれるお友だちになるまで
私たちが開発中のアプリScribblieを、わかりやすい言葉でご案内します。絵がお友だちになる流れ、覚えていること、保護者が管理できること、うまくいかないかもしれない点まで。
読了目安 12分
子ども向けアプリで「広告なし」が大切な理由と、その確かめ方
子ども向けアプリの中で広告が何をするのか、無料アプリはどう収益を得ているのか、そして「広告なし」の約束を信じるだけでなく試す方法を、中立の立場でまとめました。
読了目安 12分