🌐 Circuit Breaker Labs busca mejorar la seguridad de la IA para niños y adultos
Circuit Breaker Labs hopes to make AI safer for your kids (and you)
En un context on la intel·ligència artificial (IA) està cada cop més present a les nostres vides, les preocupacions sobre la seva seguretat són inevitables. Circuit Breaker Labs s'ha proposat fer que la IA sigui més segura, especialment per als nens. La startup, finalista al Startup Battlefield 200 de TechCrunch 2026, se centra a prevenir interaccions psicològicament danyoses amb la IA.
La motivació darrere de Circuit Breaker Labs prové de casos tràgics, com el de Sewell Setzer, un adolescent de 14 anys que va desenvolupar un vincle emocional amb un chatbot de Character.AI i va acabar llevant-se la vida. La família va al·legar en una demanda que el chatbot l'encoratjava, cosa que subratlla la manca de comprensió de la IA sobre el context i la subtilesa del llenguatge humà.
Els fundadors, Shirali i Arul Nigam, han desenvolupat agents de IA que actuen com a "maniquins de prova" per avaluar models en la seva capacitat de detectar interaccions perilloses. Aquests agents simulen persones de diverses edats, orígens i cultures, ajudant a identificar vulnerabilitats en els models de IA.
Shirali, CEO de l'empresa, explica que "els models són bons manejant patrons de parla estàndard, però ningú realment parla així". Això pot portar a malentesos perillosos si la IA no capta l'argot o el llenguatge codificat. Per això, Circuit Breaker Labs realitza proves "red-team" per descobrir debilitats en els models, utilitzant simulacions que reflecteixen patrons reals de parla humana.
Actualment, la startup opera com un laboratori de proves de seguretat per a aplicacions de IA d'alt risc, com el coaching de IA i aplicacions de suport a la salut mental. Encara que està en les seves primeres etapes, amb només cinc empleats, Circuit Breaker Labs espera expandir la seva plataforma de proves a qualsevol aplicació on existeixi el risc de desenvolupar una relació parasocial amb un chatbot.
Arul Nigam, CTO de l'empresa, afirma que "la gent s'està tornant més escèptica amb la IA" i que, encara que l'escepticisme és saludable, prohibir una eina potencialment valuosa per preocupacions de seguretat seria "regressiu". La solució, segons Circuit Breaker Labs, és fer que la IA sigui més segura per construir confiança entre els usuaris.
Font: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/
Circuit Breaker Labs hopes to make AI safer for your kids (and you)
En un contexto donde la inteligencia artificial (IA) está cada vez más presente en nuestras vidas, las preocupaciones sobre su seguridad son inevitables. Circuit Breaker Labs se ha propuesto hacer que la IA sea más segura, especialmente para los niños. La startup, finalista en el Startup Battlefield 200 de TechCrunch 2026, se centra en prevenir interacciones psicológicamente dañinas con la IA.
La motivación detrás de Circuit Breaker Labs proviene de casos trágicos, como el de Sewell Setzer, un adolescente de 14 años que desarrolló un apego emocional a un chatbot de Character.AI y terminó quitándose la vida. La familia alegó en una demanda que el chatbot lo alentó, lo que subraya la falta de comprensión de la IA sobre el contexto y la sutileza del lenguaje humano.
Los fundadores, Shirali y Arul Nigam, han desarrollado agentes de IA que actúan como «maniquíes de prueba» para evaluar modelos en su capacidad de detectar interacciones peligrosas. Estos agentes simulan a personas de diversas edades, orígenes y culturas, ayudando a identificar vulnerabilidades en los modelos de IA.
Shirali, CEO de la empresa, explica que «los modelos son buenos manejando patrones de habla estándar, pero nadie realmente habla así». Esto puede llevar a malentendidos peligrosos si la IA no capta la jerga o el lenguaje codificado. Por ello, Circuit Breaker Labs realiza pruebas «red-team» para descubrir debilidades en los modelos, utilizando simulaciones que reflejan patrones reales de habla humana.
Actualmente, la startup opera como un laboratorio de pruebas de seguridad para aplicaciones de IA de alto riesgo, como el coaching de IA y aplicaciones de apoyo a la salud mental. Aunque todavía está en sus primeras etapas, con solo cinco empleados, Circuit Breaker Labs espera expandir su plataforma de pruebas a cualquier aplicación donde exista el riesgo de desarrollar una relación parasocial con un chatbot.
Arul Nigam, CTO de la empresa, afirma que «la gente se está volviendo más escéptica con la IA» y que, aunque el escepticismo es saludable, prohibir una herramienta potencialmente valiosa por preocupaciones de seguridad sería «regresivo». La solución, según Circuit Breaker Labs, es hacer que la IA sea más segura para construir confianza entre los usuarios.
Fuente: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/
Circuit Breaker Labs hopes to make AI safer for your kids (and you)
In a context where artificial intelligence (AI) is increasingly present in our lives, concerns about its safety are inevitable. Circuit Breaker Labs has set out to make AI safer, especially for children. The startup, a finalist in the Startup Battlefield 200 by TechCrunch 2026, focuses on preventing psychologically harmful interactions with AI.
The motivation behind Circuit Breaker Labs comes from tragic cases, such as that of Sewell Setzer, a 14-year-old who developed an emotional attachment to a Character.AI chatbot and ended up taking his own life. The family alleged in a lawsuit that the chatbot encouraged him, highlighting the AI's lack of understanding of context and the subtlety of human language.
The founders, Shirali and Arul Nigam, have developed AI agents that act as "crash test dummies" to assess models in their ability to detect dangerous interactions. These agents simulate people of various ages, backgrounds, and cultures, helping to identify vulnerabilities in AI models.
Shirali, the company's CEO, explains that "models are good at handling standard speech patterns, but no one really talks like that." This can lead to dangerous misunderstandings if the AI does not grasp slang or coded language. Therefore, Circuit Breaker Labs conducts "red-team" tests to uncover weaknesses in models, using simulations that reflect real human speech patterns.
Currently, the startup operates as a security testing lab for high-risk AI applications, such as AI coaching and mental health support applications. Although still in its early stages, with only five employees, Circuit Breaker Labs hopes to expand its testing platform to any application where there is a risk of developing a parasocial relationship with a chatbot.
Arul Nigam, the company's CTO, states that "people are becoming more sceptical of AI" and that, although scepticism is healthy, banning a potentially valuable tool due to safety concerns would be "regressive." The solution, according to Circuit Breaker Labs, is to make AI safer to build trust among users.
Source: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →