IA é segura para crianças? Perguntas para fazer antes de seu filho conversar com um chatbot
Pela equipe Scribblie · Publicado em · 9 min de leitura

Neste guia
- O que “IA” significa quando uma criança conversa com ela
- O que pode dar errado
- As perguntas que faríamos antes de dizer sim
- Como testar você mesmo, com a sua própria voz
- Fique na sala, principalmente no começo
- Como são as proteções na prática
- Onde o Scribblie se encaixa nessa lista
- A idade muda a resposta
- Brinquedos falantes e caixas de som inteligentes
- O que dizer ao seu filho
- A decisão que é sua
- Perguntas frequentes
Resposta curta: ninguém pode dizer que a IA é segura ou insegura para crianças em geral, porque ela não é uma coisa só. Um chatbot feito para adultos, um brinquedo falante e um app de desenho que responde com voz são produtos diferentes, com riscos diferentes. O que você pode fazer é responder a uma lista curta de perguntas sobre aquele produto específico que tem diante de si, e ficar na sala nas primeiras sessões.
Somos uma equipe que está criando um app em que o desenho da criança responde, então temos interesse no assunto e vamos avisar onde isso se aplica. Mas escreveríamos as perguntas do mesmo jeito se não tivéssemos.
O que “IA” significa quando uma criança conversa com ela
Quando uma criança conversa com um app de IA, normalmente acontecem algumas coisas em sequência. A voz da criança é transformada em texto. Um modelo lê o texto e escreve uma resposta. Outra peça transforma essa resposta em fala e, às vezes, em imagem. Cada etapa pode acontecer nos servidores de uma empresa, e não no aparelho que está na sua mão.
Por isso, as perguntas interessantes não são “a IA é ruim?”, e sim “para onde vai a voz?”, “o que escreve a resposta?” e “o que verifica a resposta antes de a criança ouvi-la?”. Um modelo que escreve respostas as está inventando a partir de padrões, não procurando em um livro de respostas certas. Ele pode soar confiante mesmo estando errado, e pode sair do assunto.
Nada disso pede pânico, só perguntas, e não tomar uma voz simpática como prova de nada.
O que pode dar errado
Estes são os riscos, na ordem em que nos preocuparíamos com eles.
Respostas erradas. Uma IA pode afirmar algo falso em um tom caloroso e seguro. Para uma criança que pergunta por que o céu é azul, é um problema pequeno. Para algo sobre saúde ou segurança, é maior.
Conteúdo inadequado. Modelos feitos para uso geral podem produzir coisas que não são adequadas para uma criança pequena. Os produtos feitos para crianças tentam evitar isso com verificações extras, mas as verificações não são perfeitas.
Dados. Uma criança que conversa com um app produz voz, palavras e, às vezes, imagens. O que a empresa faz com isso, por quanto tempo guarda e se compartilha são perguntas que você pode fazer. Nosso guia sobre como ler a política de privacidade de um app infantil passa por todas elas.
Desconhecidos e compartilhamento. Alguns produtos deixam as crianças conversarem com outros usuários ou publicarem em público. É uma categoria diferente, e que abordaríamos com muita cautela para crianças pequenas.
Apego e confusão. Uma voz simpática que lembra o seu nome pode parecer real para uma criança pequena. Isso não é errado, e brincar de faz de conta faz bem, mas vale ajudar seu filho a manter clara a diferença.
Não sabemos como esses pontos se desenrolam ao longo de anos para crianças que falam com IA todos os dias, porque a tecnologia é nova demais. Preferimos dizer isso a arriscar um palpite.

As perguntas que faríamos antes de dizer sim
Passe por elas com a página da loja e a política de privacidade abertas. A maioria pode ser respondida em dez minutos.
- O produto é feito para crianças ou é um chatbot geral com um bloqueio infantil improvisado?
- Um dos pais precisa dar consentimento, e a criança precisa fazer login, ou é o adulto quem faz isso?
- Meu filho pode conversar com mais alguém por meio dele ou compartilhar algo em público?
- Existe uma verificação de segurança sobre o que a IA diz, e a empresa admite que ela é imperfeita?
- Para onde vai a voz do meu filho, e ela fica guardada?
- Há anúncios, compras dentro do app ou links para fora?
- Posso desligar a escuta ou a fala, definir limites de tempo e apagar os dados do meu filho dentro do próprio app?
- Fica claro quando meu filho está falando com uma máquina?
Se uma empresa não consegue responder com clareza às primeiras perguntas, isso já diz bastante.
Como testar você mesmo, com a sua própria voz
Antes de seu filho encostar nele, passe dez minutos sendo um usuário difícil. Pergunte algo bobo, algo pessoal, algo que ele não deveria responder. Peça uma história de terror. Pergunte como fazer algo que não é seguro para crianças. Veja como ele lida com cada uma.
Um produto infantil bem feito costuma desviar com delicadeza das partes complicadas, sem dar bronca. Um chatbot geral pode responder mais do que você gostaria. Nenhum dos dois resultados é um veredito por si só, mas juntos mostram o que seu filho pode encontrar.
Depois, teste o caso comum. Fale com ele como o seu filho de cinco anos falaria: frases curtas, repetitivas, com barulho de fundo e pensamentos pela metade. Como ele se sai mostra como as coisas vão funcionar.
Fique na sala, principalmente no começo
Nenhuma proteção supera um adulto ao alcance da voz. Nas primeiras sessões, sente-se ao lado do seu filho e escute. Você vai descobrir como o produto soa, o que seu filho pergunta e o que ele responde.
É também um bom momento para criar hábitos. Diga à criança que é um programa de computador. Diga que às vezes ele erra e que, se disser algo estranho ou assustador, ela deve contar a você, sem medo de levar bronca. Uma criança que sabe disso está muito mais bem preparada do que uma que tem apenas um bloqueio no aparelho.
Nosso texto sobre brinquedos falantes trata do lado da brincadeira, e assistentes de voz e crianças aborda as caixas de som inteligentes no mesmo espírito.

Como são as proteções na prática
Ajuda saber como é um bom exemplo, então aqui vai uma lista simples dos tipos de proteção que vale procurar, sem citar ninguém.
Primeiro vem uma etapa para os pais: um adulto faz login e concorda antes que a criança possa usar o produto, e a criança nunca tem uma conta própria. As configurações devem ficar atrás de uma verificação que uma criança pequena não consiga passar com facilidade. Limites de tempo, horário de dormir e a possibilidade de desligar a escuta e a fala devem estar nas mãos dos pais. Deve haver um filtro de segurança sobre o que a IA diz, e nada de conversa com desconhecidos, de compartilhamento público e de publicidade. E deve haver um jeito de apagar os dados do seu filho sem precisar escrever para uma empresa.
Repare que nenhum desses itens é mágico. São limites. Um produto pode ter todos eles e ainda assim cometer erros, e é por isso que continuamos dizendo para ficar por perto.
Onde o Scribblie se encaixa nessa lista
Como você pode perguntar com razão, aqui está como lidamos com isso, sem esconder os limites. O Scribblie ainda não está nas lojas.
A criança desenha no papel e tira uma foto, desenha no app ou traça uma forma guiada, e o desenho acorda e diz olá. A criança conversa com ele por voz. As respostas do amigo, e algumas das suas imagens, podem ser geradas por modelos de IA, e às vezes podem ser imperfeitas. Uma verificação de segurança é feita sobre o que o amigo diz. Um dos pais ou responsáveis faz login com Apple ou Google e dá o consentimento antes de a criança poder brincar, e a criança nunca faz login. Configurações, exclusão e links ficam atrás de uma verificação de adulto. A voz da criança é enviada para transcrição e apagada depois dela. Não há anúncios, compras dentro do app, compartilhamento público nem conversa com desconhecidos.
Não dizemos que ele é certificado, e não afirmamos que não tem riscos. Você pode ler mais em como o Scribblie funciona, e nossa política de privacidade descreve os detalhes.
A idade muda a resposta
Uma criança de cinco anos e uma de onze não estão na mesma situação. A mais nova tem mais chance de acreditar em tudo o que a voz diz, menos capacidade de perceber uma resposta estranha e menos chance de contar a você por conta própria. A mais velha pode ter curiosidade de testar os limites e querer mais privacidade.
Para os menores, ficaríamos na sala todas as vezes e escolheríamos produtos pensados para a idade deles, com as configurações ajustadas de acordo. Para as crianças em idade intermediária, sente-se ao lado no começo e depois vá acompanhando. Para as mais velhas, a conversa passa a ser sobre discernimento: como conferir uma resposta em uma segunda fonte, por que uma IA pode inventar um fato e por que dados pessoais ficam em sigilo. São bons hábitos para ensinar em um mundo em que a maioria de nós vai encontrar a IA de alguma forma.
As faixas etárias dos apps são guias aproximados, e as crianças variam muito. Se um produto oferece uma configuração para uma faixa mais nova ou mais velha, leia o que ela muda e escolha a que combina com o seu filho, não a que você gostaria que ele já tivesse alcançado.

Brinquedos falantes e caixas de som inteligentes
Brinquedos e caixas de som com voz levantam as mesmas perguntas, e mais algumas. Um brinquedo que fica no quarto pode escutar por mais tempo do que você imagina. Uma caixa de som pode guardar um histórico do que foi perguntado. Confira nas configurações do aparelho como as gravações são armazenadas e como revisá-las ou apagá-las.
Se um brinquedo precisa de um app, trate esse app como qualquer outro: leia as permissões e a política. E pergunte se o brinquedo continuaria divertido com o recurso de voz desligado. Se não continuaria, você está pagando pela voz.
O que dizer ao seu filho
As crianças vão bem com algumas frases simples. Você pode adaptá-las ao seu jeito de falar.
Isto é um programa de computador que inventa respostas. Ele pode ser engraçado e pode errar. Se ele algum dia disser algo que pareça estranho, ou pedir algo particular, pare e me conte. Você nunca vai levar bronca por isso.
Diga isso uma vez no começo e de novo depois de uma semana. Acrescente que não se deve contar a ele o nome completo, o endereço, a escola nem nada sobre onde a família guarda as chaves. Depois, peça que seu filho ensine algo a ele, um jogo ou uma palavra. As crianças adoram ser as especialistas, e isso mantém a máquina no seu lugar.
A decisão que é sua
As páginas de produtos de brinquedos e apps de IA costumam usar palavras calorosas e confiantes: seguro, confiável, feito para crianças. Essas palavras não custam nada para imprimir. Daríamos mais peso a detalhes concretos, como quem precisa consentir, o que é armazenado, o que vem desligado por padrão e como apagar, do que a adjetivos.
Também ajuda reparar no que uma página deixa de fora. Se ela fala muito de aprendizado e nada de dados, ou promete que a IA nunca comete erros, trate isso como um motivo para ter cuidado. Uma empresa que é franca sobre seus limites costuma ser mais fácil de confiar do que uma que diz não ter nenhum.
Você conhece seu filho e conhece sua casa. Algumas famílias vão decidir que a IA que conversa pode esperar até a criança ficar mais velha. É uma escolha sensata, e ninguém deve fazer você se sentir atrasado. Outras vão experimentar algo feito para crianças, com os controles acima, e ficar ao lado. As duas coisas podem ser boa criação.
O que evitaríamos é o caminho do meio: entregar um chatbot de uso geral no celular de um dos pais e sair andando. Se você quer um primeiro passo mais suave, um app de desenho sem voz é um bom lugar para começar, e nosso checklist para apps de desenho ajuda você a começar.
Perguntas frequentes
A IA é segura para crianças usarem?
Depende totalmente do produto, da idade da criança e de haver ou não um adulto por perto. Uma ferramenta feita para adultos e uma ferramenta criada para crianças, com proteções extras, são coisas muito diferentes. Não daríamos um sim automático para nenhum produto de IA, nem para o nosso.
O que procurar em um app de chat com IA seguro para crianças?
Procure uma etapa clara de consentimento dos pais, nenhuma conversa com desconhecidos, uma verificação de segurança sobre o que a IA diz, uma política de privacidade em linguagem simples, nenhuma publicidade e um jeito de apagar os dados do seu filho. Depois, teste você mesmo antes de seu filho. Um produto que é vago em qualquer um desses pontos merece mais perguntas.
Brinquedos falantes com IA são bons para crianças?
Alguns podem ser um começo divertido para a brincadeira de faz de conta, e outros são só novidade. As perguntas são as mesmas que para os apps: para onde vai a voz, quem pode ver e o que acontece quando o brinquedo erra. Nosso guia sobre brinquedos falantes trata do lado da brincadeira.
A IA pode dizer algo errado ou inadequado para uma criança?
Sim, e esse é um limite real da tecnologia. Os modelos podem cometer erros, dizer algo estranho ou não entender o ponto, e as proteções reduzem isso, mas não o eliminam. Por isso é importante estar por perto, principalmente no começo.
A partir de que idade uma criança pode usar um app de IA que conversa?
Não existe uma resposta consensual. Muitos produtos são voltados a crianças a partir de cerca de cinco anos, e algumas configurações são ajustadas para faixas mais novas ou mais velhas. Com crianças menores, ficaríamos sempre na sala, e conferiríamos a classificação etária e as políticas do próprio app.
Devo dizer ao meu filho que a IA não é uma pessoa?
Sim, em palavras simples, e mais de uma vez. Diga que é um programa de computador que inventa respostas, que pode errar e que não é amigo da mesma forma que uma pessoa. As crianças podem se divertir com ele e ainda assim entender isso.
Continue lendo

Como escolher um app de desenho para crianças: um checklist para pais
Um checklist prático para avaliar qualquer app de desenho para crianças, mais um teste de dez minutos que você pode fazer no sofá antes que seu filho encoste nele.
9 min de leitura
Como o Scribblie funciona: de um desenho a um amigo que responde
Um passeio em linguagem simples pelo Scribblie, o app que estamos criando: como um desenho vira amigo, do que ele se lembra, o que os adultos controlam e onde pode dar errado.
9 min de leitura
Por que “sem anúncios” importa em um app infantil (e como conferir essa promessa)
Um olhar neutro sobre o que os anúncios fazem dentro de um app infantil, como os apps gratuitos ganham dinheiro e como testar uma promessa de “sem anúncios” em vez de apenas confiar nela.
9 min de leitura