Amazon SageMaker Clarify ahora admite evaluaciones de modelos básicos

Las evaluaciones de modelos de cimientos con SageMaker Clarify ya están disponibles de forma generalizada. Esta capacidad ayuda a los científicos de datos y a los ingenieros de aprendizaje automático a evaluar, comparar y seleccionar modelos básicos en función de una variedad de criterios en diferentes tareas en cuestión de minutos.

Los clientes de SageMaker seleccionan entre cientos de modelos básicos para impulsar sus aplicaciones de IA generativa. Evalúan y comparan estos modelos durante la selección y personalización del modelo para determinar el ajuste óptimo para su caso de uso. Este proceso puede llevar días identificando puntos de referencia relevantes, configurando herramientas de evaluación y realizando evaluaciones en cada modelo. Los resultados obtenidos suelen ser difíciles de aplicar a su caso de uso específico.

SageMaker Clarify ofrece evaluaciones humanas y automatizadas con resultados interpretables. Los clientes pueden utilizar esta nueva capacidad en Amazon SageMaker Studio para evaluar LLM alojados en SageMaker o usar fmeval para evaluar cualquier LLM. Comience utilizando conjuntos de datos seleccionados y diseñados para tareas como generación de texto, resúmenes, respuesta a preguntas y clasificación. Personalice los parámetros de inferencia y las plantillas de mensajes y compare los resultados de la configuración de diferentes modelos. Amplíe las evaluaciones con conjuntos de datos y métricas personalizados. Las evaluaciones humanas permiten a los clientes evaluar aspectos más subjetivos como la creatividad y el estilo. Después de cada evaluación, los clientes reciben un informe completo, completo con visualizaciones y ejemplos, y los integran en sus flujos de trabajo de SageMaker ML.

Esta capacidad está disponible en todas las regiones de AWS, excepto en las regiones de AWS GovCloud (EE. UU.), las regiones de China, Asia Pacífico (Hyderabad), Asia Pacífico (Melbourne), Canadá Oeste (Calgary), Europa (Zúrich), Europa (Estocolmo), Europa ( España), Israel (Tel Aviv), Oriente Medio (EAU).

Para obtener detalles adicionales, consulte nuestra página de producto , documentación y página de precios.

El artículo original en inglés se puede encontrar aquí.