🌐 Microsoft utiliza datos sintéticos para evaluar la IA de Copilot a gran escala
Des d'avaluacions de dades empresarials sintètiques fins a la confiança real en la IA de Microsoft Copilot
Avaluar Microsoft Copilot a escala empresarial requereix dades de prova que capturin la complexitat total de les organitzacions reals. No obstant això, les dades empresarials reals contenen informació sensible que no pot utilitzar-se per a avaluacions. Per resoldre aquesta tensió, Microsoft ha desenvolupat la Industry Evaluation Data Generation Platform, que crea entorns empresarials sintètics a gran escala basats en fonts de dades del món real, com dades ocupacionals d'O*NET, ofertes de treball en línia i presentacions davant la SEC.
Aquests entorns sintètics imiten els fluxos de treball empresarials reals, ajudant Microsoft a identificar problemes que els punts de referència genèrics podrien passar per alt. La seguretat i la privacitat estan integrades en la plataforma des del seu disseny, garantint que cada entorn sigui totalment sintètic i que les comprovacions automatitzades de seguretat del contingut mantinguin les dades generades lliures de material nociu o identificable personalment.
Milions de treballadors del coneixement a tot el món depenen de Microsoft Copilot per redactar documents, resumir reunions, extreure informació rellevant i accelerar la productivitat. Darrere de l'escena, això és possible gràcies a una xarxa de sistemes d'IA, i assegurar que funcionin com s'espera requereix un enfocament acurat en l'avaluació. A Microsoft, sabem que l'alt rendiment no prové de conjectures, sinó de proves, mesuraments i iteracions constants.
Les organitzacions de salut, per exemple, sintetitzen constantment senyals de seguretat de diversos equips per prendre decisions més ràpides i millors que influeixen directament en els resultats dels pacients i en la confiança reguladora. Poden demanar a Copilot que resumeixi una reunió i extregui elements d'acció per als seus equips. En segons, Copilot lliura un resum estructurat citant punts de discussió específics del transcrit. Però, com assegurem que aquesta resposta sigui precisa, completa i adequadament fonamentada en el contingut de la reunió? Aquí és on entra el nostre sistema d'avaluació.
Hem desenvolupat una estratègia d'avaluació estructurada anomenada Industry Evaluation Data Generation Platform, que inclou conjunts de dades d'avaluació específics de la indústria dissenyats per provar sistemes d'IA en escenaris empresarials realistes, fonamentats en tres pilars fonamentals:
- Entorns empresarials sintètics: entorns simulats de Microsoft Copilot amb usuaris, reunions, correus electrònics, documents i estructures organitzatives realistes que repliquen la complexitat de les organitzacions reals sense utilitzar cap dada del client.
- Pipelines de generació de consultes automatitzades: per a la creació ràpida i reproduïble de conjunts de dades d'avaluació.
- Marcs de qualitat estructurats: per assegurar que les dades sintètiques compleixin amb l'estàndard per a una avaluació significativa.
Aquests pilars ens ajuden a respondre dues preguntes fonamentals: Està Microsoft Copilot realment fent el que els nostres usuaris necessiten que faci, i podem provar-ho sense tocar mai les seves dades?
From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence
Evaluar Microsoft Copilot a escala empresarial requiere datos de prueba que capturen la complejidad total de las organizaciones reales. Sin embargo, los datos empresariales reales contienen información sensible que no puede utilizarse para evaluaciones. Para resolver esta tensión, Microsoft ha desarrollado la Industry Evaluation Data Generation Platform, que crea entornos empresariales sintéticos a gran escala basados en fuentes de datos del mundo real, como datos ocupacionales de O*NET, ofertas de trabajo en línea y presentaciones ante la SEC.
Estos entornos sintéticos imitan los flujos de trabajo empresariales reales, ayudando a Microsoft a identificar problemas que los puntos de referencia genéricos podrían pasar por alto. La seguridad y la privacidad están integradas en la plataforma desde su diseño, garantizando que cada entorno sea totalmente sintético y que las comprobaciones automatizadas de seguridad del contenido mantengan los datos generados libres de material dañino o identificable personalmente.
Millones de trabajadores del conocimiento en todo el mundo dependen de Microsoft Copilot para redactar documentos, resumir reuniones, extraer información relevante y acelerar la productividad. Detrás de escena, esto es posible gracias a una red de sistemas de IA, y asegurar que funcionen como se espera requiere un enfoque cuidadoso en la evaluación. En Microsoft, sabemos que el alto rendimiento no proviene de conjeturas, sino de pruebas, mediciones e iteraciones constantes.
Las organizaciones de salud, por ejemplo, sintetizan constantemente señales de seguridad de diversos equipos para tomar decisiones más rápidas y mejores que influyen directamente en los resultados de los pacientes y en la confianza regulatoria. Pueden pedir a Copilot que resuma una reunión y extraiga elementos de acción para sus equipos. En segundos, Copilot entrega un resumen estructurado citando puntos de discusión específicos del transcripto. Pero, ¿cómo aseguramos que esta respuesta sea precisa, completa y adecuadamente fundamentada en el contenido de la reunión? Aquí es donde entra nuestro sistema de evaluación.
Hemos desarrollado una estrategia de evaluación estructurada llamada Industry Evaluation Data Generation Platform, que incluye conjuntos de datos de evaluación específicos de la industria diseñados para probar sistemas de IA en escenarios empresariales realistas, fundamentados en tres pilares fundamentales:
- Entornos empresariales sintéticos: entornos simulados de Microsoft Copilot con usuarios, reuniones, correos electrónicos, documentos y estructuras organizativas realistas que replican la complejidad de las organizaciones reales sin utilizar ningún dato del cliente.
- Pipelines de generación de consultas automatizadas: para la creación rápida y reproducible de conjuntos de datos de evaluación.
- Marcos de calidad estructurados: para asegurar que los datos sintéticos cumplan con el estándar para una evaluación significativa.
Estos pilares nos ayudan a responder dos preguntas fundamentales: ¿Está Microsoft Copilot realmente haciendo lo que nuestros usuarios necesitan que haga, y podemos probarlo sin tocar nunca sus datos?
From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence
Evaluating Microsoft Copilot at an enterprise scale requires test data that captures the full complexity of real organisations. However, real enterprise data contains sensitive information that cannot be used for evaluations. To resolve this tension, Microsoft has developed the Industry Evaluation Data Generation Platform, which creates large-scale synthetic enterprise environments based on real-world data sources, such as occupational data from O*NET, online job postings, and SEC filings.
These synthetic environments mimic real business workflows, helping Microsoft identify issues that generic benchmarks might overlook. Security and privacy are built into the platform from its design, ensuring that each environment is fully synthetic and that automated content safety checks keep the generated data free from harmful or personally identifiable material.
Millions of knowledge workers worldwide rely on Microsoft Copilot to draft documents, summarise meetings, extract relevant information, and accelerate productivity. Behind the scenes, this is made possible by a network of AI systems, and ensuring they perform as expected requires a careful focus on evaluation. At Microsoft, we know that high performance doesn't come from guesswork, but from constant testing, measuring, and iterating.
Healthcare organisations, for example, constantly synthesise safety signals from diverse teams to make faster, better decisions that directly influence patient outcomes and regulatory confidence. They can ask Copilot to summarise a meeting and extract action items for their teams. In seconds, Copilot delivers a structured summary citing specific discussion points from the transcript. But how do we ensure this response is accurate, complete, and adequately grounded in the meeting content? This is where our evaluation system comes in.
We have developed a structured evaluation strategy called the Industry Evaluation Data Generation Platform, which includes industry-specific evaluation datasets designed to test AI systems in realistic business scenarios, grounded in three fundamental pillars:
- Synthetic enterprise environments: simulated Microsoft Copilot environments with realistic users, meetings, emails, documents, and organisational structures that replicate the complexity of real organisations without using any customer data.
- Automated query generation pipelines: for the rapid and reproducible creation of evaluation datasets.
- Structured quality frameworks: to ensure that synthetic data meets the standard for meaningful evaluation.
These pillars help us answer two fundamental questions: Is Microsoft Copilot really doing what our users need it to do, and can we prove it without ever touching their data?
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →