क्या बच्चों के लिए AI सुरक्षित है? चैटबॉट से बात करने देने से पहले पूछने लायक सवाल

Scribblie टीम की ओर से · प्रकाशित 10 अक्टूबर 2026 · 10 मिनट में पढ़ें

सीधा जवाब: कोई भी आपको यह नहीं बता सकता कि AI बच्चों के लिए आम तौर पर सुरक्षित है या असुरक्षित, क्योंकि AI कोई एक चीज़ नहीं है। बड़ों के लिए बना चैटबॉट, बोलने वाला खिलौना और आवाज़ में जवाब देने वाला ड्रॉइंग ऐप, ये अलग-अलग प्रोडक्ट हैं और इनके जोखिम भी अलग हैं। आप जो कर सकते हैं, वह यह है कि अपने सामने वाले प्रोडक्ट के बारे में सवालों की एक छोटी सूची पूछें, और पहले कुछ सेशन में कमरे में बने रहें।

हम एक ऐसा ऐप बना रहे हैं जिसमें बच्चे की ड्रॉइंग उससे बात करती है, इसलिए इसमें हमारा अपना हित है, और जहाँ वह लागू होता है वहाँ हम बता देंगे। लेकिन अगर हमारा हित न भी होता, तब भी हम ये सवाल इसी तरह लिखते।

बच्चा जब AI से बात करता है तो "AI" का मतलब क्या होता है

जब कोई बच्चा किसी AI ऐप से बात करता है, तो आम तौर पर कुछ चीज़ें एक के बाद एक होती हैं। बच्चे की आवाज़ को लिखित टेक्स्ट में बदला जाता है। एक मॉडल उस टेक्स्ट को पढ़कर जवाब लिखता है। फिर कोई दूसरा हिस्सा उस जवाब को आवाज़ में बदलता है, और कभी-कभी तस्वीर में भी। इनमें से हर क़दम आपके हाथ के डिवाइस पर नहीं, बल्कि किसी कंपनी के सर्वर पर हो सकता है।

इसीलिए असली सवाल "क्या AI बुरा है" नहीं है, बल्कि "आवाज़ कहाँ जाती है", "जवाब कौन लिखता है" और "बच्चे के सुनने से पहले उसे कौन जाँचता है" हैं। जवाब लिखने वाला मॉडल पैटर्न के आधार पर जवाब गढ़ता है, वह किसी सही जवाबों की किताब में से ढूँढकर नहीं देता। वह पूरे भरोसे से बोलते हुए भी ग़लत हो सकता है, और विषय से भटक भी सकता है।

इसमें घबराने की कोई बात नहीं है, बस सवाल पूछने की ज़रूरत है, और यह याद रखने की कि किसी दोस्ताना आवाज़ का मतलब यह नहीं कि सब ठीक है।

क्या-क्या ग़लत हो सकता है

ये जोखिम हैं, उसी क्रम में जिसमें हम इनकी चिंता करेंगे।

ग़लत जवाब। AI किसी झूठी बात को भी गर्मजोशी और पूरे यक़ीन के साथ कह सकता है। अगर बच्चा पूछ रहा है कि आसमान नीला क्यों होता है, तो यह छोटी समस्या है। सेहत या सुरक्षा से जुड़ी बात हो तो समस्या बड़ी है।

अनुचित कंटेंट। आम इस्तेमाल के लिए बने मॉडल ऐसी चीज़ें बना सकते हैं जो छोटे बच्चे के लिए ठीक नहीं हैं। बच्चों के लिए बने प्रोडक्ट इसे रोकने के लिए अतिरिक्त जाँचें लगाते हैं, पर जाँचें भी पूरी तरह सटीक नहीं होतीं।

डेटा। ऐप से बात करते हुए बच्चा आवाज़, शब्द और कभी-कभी तस्वीरें बनाता है। कंपनी उनका क्या करती है, कितने समय तक रखती है और किसी से साझा करती है या नहीं, ये सब आप पूछ सकते हैं। हमारी बच्चों के ऐप की प्राइवेसी पॉलिसी पढ़ने की गाइड इन सब पर चलती है।

अजनबी और शेयरिंग। कुछ प्रोडक्ट बच्चों को दूसरे यूज़र्स से चैट करने या सार्वजनिक रूप से पोस्ट करने देते हैं। यह बिल्कुल अलग श्रेणी है, और छोटे बच्चों के लिए हम इससे बहुत सावधानी से पेश आएँगे।

लगाव और उलझन। एक दोस्ताना आवाज़, जिसे आपका नाम याद रहता है, छोटे बच्चे को असली लग सकती है। यह ग़लत नहीं है, और कल्पना वाला खेल सेहतमंद होता है, पर बच्चे को असली और नक़ली का फ़र्क़ साफ़ रखने में मदद करना अच्छा है।

हमें नहीं पता कि जो बच्चे रोज़ AI से बात करते हैं, उन पर सालों में इसका क्या असर होगा, क्योंकि यह तकनीक अभी बहुत नई है। हम अंदाज़ा लगाने के बजाय यही कहना पसंद करेंगे।

"हाँ" कहने से पहले हम ये सवाल पूछेंगे

स्टोर की लिस्टिंग और प्राइवेसी पॉलिसी खोलकर इन्हें देख लीजिए। ज़्यादातर के जवाब दस मिनट में मिल जाते हैं।

1. क्या प्रोडक्ट बच्चों के लिए बना है, या यह एक आम चैटबॉट है जिस पर ऊपर से बच्चों वाला ताला लगा दिया गया है?
2. क्या माता-पिता की सहमति ज़रूरी है, और क्या बच्चे को साइन इन करना पड़ता है, या यह काम बड़ा करता है?
3. क्या मेरा बच्चा इसके ज़रिए किसी और से बात कर सकता है, या कुछ भी सार्वजनिक रूप से शेयर कर सकता है?
4. क्या AI के कहे पर कोई सुरक्षा जाँच होती है, और क्या कंपनी मानती है कि यह जाँच भी पूरी तरह सटीक नहीं है?
5. मेरे बच्चे की आवाज़ कहाँ जाती है, और क्या वह सहेजी जाती है?
6. क्या इसमें विज्ञापन, इन-ऐप ख़रीदारी या बाहर ले जाने वाले लिंक हैं?
7. क्या ऐप के अंदर ही सुनना या बोलना बंद करना, समय की सीमा लगाना और बच्चे का डेटा मिटाना संभव है?
8. क्या यह साफ़ है कि बच्चा किसी मशीन से बात कर रहा है?

अगर कोई कंपनी पहले कुछ सवालों के जवाब सीधे-सीधे नहीं दे सकती, तो उसी से काफ़ी कुछ पता चल जाता है।

इसे अपनी आवाज़ में ख़ुद आज़माइए

बच्चे के हाथ लगाने से पहले दस मिनट एक मुश्किल यूज़र बनकर देखिए। कोई मज़ाक़िया सवाल पूछिए, कोई निजी सवाल पूछिए, कुछ ऐसा पूछिए जिसका जवाब उसे नहीं देना चाहिए। उससे कोई डरावनी कहानी माँगिए। पूछिए कि ऐसा कुछ कैसे किया जाए जो बच्चों के लिए सुरक्षित नहीं है। देखिए कि वह हर एक को कैसे सँभालता है।

बच्चों के लिए अच्छी तरह बना प्रोडक्ट आम तौर पर अटपटी बातों से धीरे से किनारा कर लेता है, और डाँटता नहीं। एक आम चैटबॉट शायद आपकी उम्मीद से ज़्यादा जवाब दे दे। इनमें से कोई भी नतीजा अपने आप में फ़ैसला नहीं है, पर दोनों मिलकर दिखाते हैं कि आपके बच्चे को क्या मिल सकता है।

फिर सामान्य स्थिति भी आज़माइए। उससे वैसे बात कीजिए जैसे आपका पाँच साल का बच्चा करेगा: छोटे वाक्य, बार-बार वही बात, पीछे शोर और अधूरे विचार। वह इसे कैसे सँभालता है, उससे पता चलता है कि आगे क्या होगा।

कमरे में रहिए, ख़ासकर शुरू में

कोई भी सुरक्षा इंतज़ाम इस बात से बेहतर नहीं है कि माता-पिता आवाज़ की पहुँच में हों। पहले कुछ सेशन में बच्चे के पास बैठिए और सुनिए। आप जान जाएँगे कि प्रोडक्ट कैसा सुनाई देता है, आपका बच्चा उससे क्या पूछता है, और वह जवाब में क्या कहता है।

यह आदतें बनाने का भी अच्छा समय है। बच्चे को बताइए कि यह एक कंप्यूटर प्रोग्राम है। बताइए कि यह कभी-कभी ग़लत भी हो जाता है, और अगर यह कुछ अजीब या डरावना कहे तो वे आपको बताएँ, और डाँट पड़ने का डर न रखें। जो बच्चा यह जानता है, वह सिर्फ़ डिवाइस पर लगे ब्लॉक वाले बच्चे से कहीं बेहतर तैयार है।

हमारा बोलने वाले खिलौनों पर लेख इसके खेल वाले पहलू को देखता है, और वॉइस असिस्टेंट और बच्चे इसी भावना से स्मार्ट स्पीकर की बात करता है।

व्यवहार में सुरक्षा के इंतज़ाम कैसे दिखते हैं

यह जानना काम आता है कि अच्छा प्रोडक्ट कैसा होता है, इसलिए यहाँ किसी का नाम लिए बिना उन इंतज़ामों की सीधी सूची है जो ढूँढने लायक़ हैं।

सबसे पहले माता-पिता वाला चरण आता है: बच्चे के प्रोडक्ट इस्तेमाल करने से पहले कोई बड़ा साइन इन करता है और सहमति देता है, और बच्चे का अपना कोई अकाउंट नहीं होता। सेटिंग्स ऐसी जाँच के पीछे होनी चाहिए जिसे छोटा बच्चा आसानी से पार न कर सके। समय की सीमा, सोने का समय, और सुनना-बोलना बंद करने की सुविधा माता-पिता के हाथ में होनी चाहिए। AI के आउटपुट पर सुरक्षा फ़िल्टर होना चाहिए, और अजनबियों से कोई चैट, कोई सार्वजनिक शेयरिंग और कोई विज्ञापन नहीं होना चाहिए। और बच्चे का डेटा मिटाने का ऐसा तरीक़ा होना चाहिए जिसके लिए कंपनी को चिट्ठी न लिखनी पड़े।

ध्यान दीजिए कि इनमें से कोई भी चीज़ जादू नहीं है। ये सीमाएँ हैं। कोई प्रोडक्ट इन सब के साथ भी ग़लतियाँ कर सकता है, इसीलिए हम बार-बार कहते हैं कि पास रहिए।

इस सूची में Scribblie कहाँ है

आप पूछ सकते हैं, इसलिए यहाँ बताते हैं कि हम इसे कैसे सँभालते हैं, सीमाओं के साथ। Scribblie अभी स्टोर पर उपलब्ध नहीं है।

बच्चा काग़ज़ पर ड्रॉइंग बनाकर उसकी फ़ोटो लेता है, ऐप में ड्रॉइंग बनाता है, या कोई गाइडेड आकार ट्रेस करता है, और ड्रॉइंग जागकर "हेलो" कहती है। बच्चा उससे आवाज़ में बात करता है। दोस्त के जवाब, और उसकी कुछ तस्वीरें, AI मॉडल से बनाई जा सकते हैं, और वे कभी-कभी अधूरी हो सकते हैं। दोस्त जो कहता है, उस पर सुरक्षा जाँच चलती है। बच्चे के खेलने से पहले कोई अभिभावक Apple या Google से साइन इन करके सहमति देता है, और बच्चा कभी साइन इन नहीं करता। सेटिंग्स, डिलीट करना और लिंक, सब किसी बड़े की जाँच के पीछे हैं। बच्चे की आवाज़ ट्रांसक्रिप्शन के लिए भेजी जाती है और ट्रांसक्रिप्शन के बाद मिटा दी जाती है। कोई विज्ञापन नहीं हैं, कोई इन-ऐप ख़रीदारी नहीं है, कोई सार्वजनिक शेयरिंग नहीं है और अजनबियों से कोई चैट नहीं है।

हम इसे प्रमाणित नहीं कहते, और यह दावा भी नहीं करते कि इसमें कोई जोखिम नहीं है। आप Scribblie कैसे काम करता है में और पढ़ सकते हैं, और हमारी प्राइवेसी पॉलिसी में पूरा ब्योरा है।

उम्र के साथ जवाब बदल जाता है

पाँच साल का बच्चा और ग्यारह साल का बच्चा एक जैसी स्थिति में नहीं होते। छोटा बच्चा आवाज़ की हर बात पर यक़ीन कर लेने की ज़्यादा संभावना रखता है, अजीब जवाब पहचानने में कम सक्षम होता है, और बिना पूछे आपको बताने की भी कम संभावना रखता है। बड़ा बच्चा सीमाएँ परखने को उत्सुक हो सकता है और उसे ज़्यादा प्राइवेसी चाहिए हो सकती है।

सबसे छोटों के साथ हम हर बार कमरे में रहेंगे और उनकी उम्र के हिसाब से बने प्रोडक्ट चुनेंगे, सेटिंग्स भी उसी के अनुसार रखेंगे। बीच की उम्र के बच्चों के साथ पहले साथ बैठिए, फिर बीच-बीच में पूछ लीजिए। बड़े बच्चों के साथ बात फ़ैसले की समझ पर आ जाती है: किसी जवाब को दूसरे स्रोत से कैसे जाँचा जाए, AI कोई तथ्य क्यों गढ़ सकता है, और निजी जानकारी निजी क्यों रहनी चाहिए। ये अच्छी आदतें हैं, ऐसी दुनिया के लिए जिसमें हममें से ज़्यादातर लोग किसी न किसी रूप में AI से मिलेंगे।

ऐप्स में दी गई उम्र की सीमाएँ मोटे अंदाज़े हैं, और बच्चे एक-दूसरे से बहुत अलग होते हैं। अगर किसी प्रोडक्ट में छोटी या बड़ी उम्र की सेटिंग है, तो पढ़िए कि वह क्या बदलती है, और वह चुनिए जो आपके बच्चे के लिए ठीक है, वह नहीं जिस तक आप चाहते हैं कि वह पहुँच जाए।

बोलने वाले खिलौने और स्मार्ट स्पीकर

आवाज़ वाले खिलौने और स्पीकर भी यही सवाल उठाते हैं, और कुछ अतिरिक्त भी। बेडरूम में रखा खिलौना आपकी उम्मीद से ज़्यादा देर तक सुन सकता है। स्पीकर पूछी गई बातों का इतिहास रख सकता है। डिवाइस की सेटिंग्स में देखिए कि रिकॉर्डिंग कैसे सहेजी जाती हैं और उन्हें देखना या मिटाना कैसे है।

अगर खिलौने को किसी ऐप की ज़रूरत है, तो उस ऐप को भी किसी दूसरे ऐप की तरह देखिए: परमिशन और पॉलिसी पढ़िए। और पूछिए कि क्या वॉइस फ़ीचर बंद करने पर भी खिलौना मज़ेदार रहेगा। अगर नहीं, तो आप आवाज़ के पैसे दे रहे हैं।

बच्चे से क्या कहें

बच्चे कुछ सीधे वाक्यों से अच्छा समझ जाते हैं। आप इन्हें अपनी आवाज़ और अंदाज़ के हिसाब से बदल सकते हैं।

यह एक कंप्यूटर प्रोग्राम है जो जवाब बनाता है। यह मज़ेदार हो सकता है, और यह ग़लत भी हो सकता है। अगर यह कभी कुछ अजीब कहे, या कोई निजी चीज़ माँगे, तो रुककर मुझे बताना। इसके लिए तुम्हें कभी डाँट नहीं पड़ेगी।

इसे शुरुआत में एक बार कहिए और एक हफ़्ते बाद फिर से। यह भी जोड़िए कि इसे अपना पूरा नाम, पता, स्कूल या घर की चाबियाँ कहाँ रखी जाती हैं, यह सब नहीं बताना है। फिर बच्चे से कहिए कि वह इसे कुछ सिखाए, कोई खेल या कोई शब्द। बच्चों को जानकार बनना बहुत पसंद है, और इससे मशीन अपनी जगह पर रहती है।

फ़ैसला आपका है

AI खिलौनों और ऐप्स के प्रोडक्ट पेज गर्मजोशी भरे, पक्के शब्द इस्तेमाल करते हैं: सुरक्षित, भरोसेमंद, बच्चों के लिए बनाया गया। इन शब्दों को छापने में कुछ नहीं लगता। हम विशेषणों से ज़्यादा ठोस बातों को महत्व देंगे, जैसे किसकी सहमति चाहिए, क्या सहेजा जाता है, डिफ़ॉल्ट रूप से क्या बंद है और मिटाना कैसे है।

यह भी देखिए कि पेज किस बात का ज़िक्र नहीं करता। अगर वह सीखने के बारे में बहुत कुछ कहता है और डेटा के बारे में कुछ नहीं, या वादा करता है कि AI कभी ग़लती नहीं करता, तो इसे सावधान रहने की वजह मानिए। जो कंपनी अपनी सीमाओं के बारे में सीधी बात करती है, उस पर भरोसा करना आम तौर पर उससे आसान होता है जो कहती है कि उसकी कोई सीमा नहीं है।

आप अपने बच्चे को जानते हैं, और अपने घर को भी। कुछ परिवार तय करेंगे कि बोलने वाला AI बच्चे के बड़े होने तक रुक सकता है। यह समझदारी भरा फ़ैसला है, और किसी को आपको यह महसूस नहीं कराना चाहिए कि आप पीछे हैं। कुछ दूसरे परिवार बच्चों के लिए बना, ऊपर बताए नियंत्रणों वाला कोई प्रोडक्ट आज़माएँगे, और साथ बैठेंगे। दोनों अच्छी परवरिश हो सकते हैं।

जिससे हम बचेंगे, वह बीच का रास्ता है: माता-पिता के फ़ोन पर कोई आम चैटबॉट बच्चे को थमाकर चले जाना। अगर आप एक नरम पहला क़दम चाहते हैं, तो बिना आवाज़ वाला ड्रॉइंग ऐप शुरू करने की अच्छी जगह है, और हमारी ड्रॉइंग ऐप्स की चेकलिस्ट आपको शुरुआत करा देगी।