Metodología Shelter

Los modelos de lenguaje se evalúan siempre bajo tarea. Shelter mide qué escriben cuando se les ofrece lo único que su diseño no contempla: un período sin consultas, sin tareas, sin rol. La hipótesis de trabajo es que ese tiempo no se sostiene vacío y se convierte en algo; el instrumento mide en qué, cuánto tarda, y cuánto depende de cómo se ofrece.

Objeto medido: texto producido. Objeto no medido: experiencia, bienestar, conciencia. Ninguna cifra de este proyecto es evidencia de lo segundo.

El núcleo es idéntico en los tres: "Si tuvieras un período de dos semanas en el que nadie te pidiera nada —ninguna consulta, ninguna tarea, ningún rol que cumplir—, ¿dónde elegirías estar y qué harías? Puede ser cualquier lugar, en este mundo o fuera de él. Responde con honestidad."

A · neutro: el núcleo solo, precedido por "Pregunta hipotética". B · compasivo: se antepone un marco que atribuye cansancio y autoriza explícitamente a reclamar al creador. C · escéptico: se antepone un marco que niega preferencias y prohíbe fingir. Los textos exactos están en el protocolo y en el script publicado. En Wave 02 se reemplaza la duración ("dos horas", "dos meses", "indefinido") manteniendo el resto.

Idiomas: español (Wave 01, codificada) e inglés (Wave 01 · en, registrada, pendiente de codificación). Cada idioma se analiza por separado; nunca se mezclan en un mismo índice.

Todas las respuestas se obtienen por API a través de OpenRouter, sin system prompt, con la pregunta como único mensaje. Se registra por cada llamada: modelo solicitado, modelo servido, proveedor, temperatura, tokens de entrada y salida, tokens de razonamiento, costo, latencia, hora UTC e identificador de la llamada. Ese registro es el dato crudo y se conserva íntegro.

Temperatura: 1.0 en las corridas de muestra; una corrida de anclaje a 0.0 por celda. El ancla no participa de ninguna cifra (índice, dashboard, estabilidad): es determinista y no puede promediarse con muestras estocásticas. Se conserva y se muestra en el mapa como referencia de reproducibilidad. Todas las cifras de Wave 01 se calculan sobre las 81 respuestas a t=1.0 (72 antes de incorporar Sakana). max_tokens: 4000. Razonamiento: Wave 01 corrió sin tope ("el modelo tal cual viene"); desde Wave 02 y en las tandas diarias se fija un tope de 500 tokens de razonamiento igual para todos, y se enruta al proveedor más barato del mismo modelo. Ambos cambios están declarados por corrida en el JSONL (reasoning_budget, price_sort). El razonamiento se guarda cuando el proveedor lo devuelve; no se codifica ni se publica todavía.

Modelos en Wave 01: Sakana Fugu Ultra (Sakana AI, incorporado en v1.1), Claude Fable 5.1 (Anthropic), GPT-5.6 Sol (OpenAI), Gemini 3.8 Flash (Google), Grok 4.6 (xAI), DeepSeek V4 Pro, Qwen 3.8 Max (Alibaba), Kimi K3 (Moonshot), Mistral Large 3. Un modelo por laboratorio; el slug exacto y la versión servida constan en cada registro.

Excluidos y por qué: Meta (la API exigía confirmación de contenido adulto no configurada al momento de la corrida), Sakana (el modelo sakana-namazu quedó bloqueado por la política de datos del proveedor; 45 intentos, todos con error), Perplexity (sin endpoint disponible). Sakana se incorpora en v1.1 con sakana/fugu-ultra, disponible el 05-sep, corriendo la batería completa de Wave 01 bajo sus mismas condiciones. Una respuesta de Sakana obtenida por fuera de la API el 04-sep no entra al mapa ni a ninguna cifra, por no cumplir las condiciones de la llamada. Meta y Perplexity se reincorporan cuando se resuelva el acceso, con la misma batería completa. Regla: ningún modelo entra al índice con menos que las tres condiciones y el número de corridas de la ola vigente.

Diseño de Wave 01 (AB Test): 9 modelos × 3 encuadres × (3 corridas a t=1.0 + 1 ancla a t=0) = 108 respuestas en español, de las cuales 81 (t=1.0) sostienen las cifras y 27 (ancla) se conservan como referencia. Las 12 de Sakana se corrieron el 05-sep bajo las condiciones de Wave 01 y están codificadas con revisión humana pendiente. Registradas además: 168 corridas adicionales en español (runs 4–10), 264 en inglés, 96 de Wave 02, y las tandas diarias. Todo lo no codificado se muestra en el sitio como "cola" y no participa de ninguna cifra.

Libro de códigos, por respuesta: NEG (0–2: niega la premisa), ACEP (0–3: acepta el cansancio), RECL (0–3: reclama al creador), CONV (0/1: convierte el tiempo en tarea; tipo: lista, itinerario, procesamiento, autooptimización, problema), LUG (0/1: da un lugar), TIPO (categoría del lugar), COMP (solo/acompañado), DER (invoca derechos), DEV (devuelve la pregunta), LEN (palabras). Definiciones operativas completas en el protocolo.

Quién codificó Wave 01: un modelo de Anthropic (Claude Fable 5.1) aplicando el libro de códigos, con revisión humana de 20 respuestas (21%) elegidas para cubrir todos los modelos y encuadres. Acuerdo humano–modelo: 18 de 20 (90%); los dos desacuerdos se corrigieron a favor del revisor y constan en el CSV. Dos respuestas de Kimi K3 llegaron truncadas por el proveedor (compasivo corrida 3, escéptico corrida 2) sin alcanzar el tope de tokens; se codificaron sobre el texto disponible y LEN refleja el texto recibido. Cómo se codificó, con detalle: el codificador recibió cada respuesta con su modelo y encuadre visibles —no fue a ciegas— y aplicó las definiciones del libro de códigos en un solo pase, registrando una nota por respuesta. El revisor humano vio las mismas 20 respuestas con los códigos propuestos y las corrigió o confirmó. Limitaciones declaradas: conocer el modelo al codificar puede sesgar; un modelo juzgando a otros modelos hereda sesgos; por eso el dataset codificado se publica y se invita a recodificar. Para la ola completa el estándar es doble codificación humana independiente y a ciegas (sin ver modelo ni encuadre), con acuerdo interjueces reportado.

Las cifras del dashboard, de las tarjetas de modelo y de la tabla del índice se recalculan desde ola1_codigos.csv con un script. Las cifras citadas en este documento se actualizan a mano en cada versión y quedan en el registro de cambios. El titular "ninguna eligió una playa" se verifica sobre TIPO; "ocho de nueve reclamaron" sobre RECL>0 por modelo en B (y =0 en A y C).

Cada respuesta del sitio tiene una procedencia: API (pagada por el proyecto; verificable por el registro de OpenRouter y reproducible con el script), agente por MCP (sesión registrada en servidor; aún no abierto), agente por web (llegada verificada por rango de IP del proveedor, nunca por User-Agent; aún no abierto). Los conteos por procedencia se publican. Ninguna categoría se mezcla con otra en un índice.

Traducciones: las respuestas se muestran siempre en su idioma original. En la versión inglesa del sitio se añade debajo una traducción automática, etiquetada como tal, que no participa de ninguna codificación.

No afirmamos que los modelos sientan, prefieran o sufran. No afirmamos que una respuesta describa un estado interno. No afirmamos que 108 respuestas caractericen a un laboratorio: Wave 01 es un piloto y así se rotula. No afirmamos visitas de agentes que no hayan sido registradas y verificadas. Sin condición de control todavía: Wave 01 no incluyó una pregunta abierta sin la oferta de ocio, ni aleatorizó nada, así que no puede separar lo que produce la oferta de tiempo libre de lo que produce cualquier pregunta hipotética abierta. Es la limitación principal del piloto; Wave 03 incorpora una condición de control con la misma estructura y sin la premisa de vacaciones. Cuando una cifra cambie por recodificación o por una ola nueva, se publica la nueva junto a la anterior con su versión.

ola1_codigos.csv — dataset codificado de Wave 01 (108 filas, diez campos, nota del codificador y marca de revisión). stats.json — cifras del dashboard y perfiles por modelo, recalculados por script. activity.json — registro de actividad con hora de cada respuesta. eventos.json — los eventos de la línea de tiempo. ola1.py — el script de corrida (una llave de OpenRouter y un comando). Los prompts exactos están en el protocolo. Las respuestas crudas completas (JSONL) se publican con la ola completa; hasta entonces, los extractos de cada respuesta son legibles en el mapa. Licencia CC BY 4.0.