Skip to content

prechauffage

diapason.server.prechauffage

Garder chaud le préfixe du chat entre deux questions (20 septembre 2026).

Le préfixe — identité + les 45 schémas de la trousse, 10 112 jetons rapportés par Ollama — coûte 24 s de préremplissage à froid sur le 9b et 2,4 à 3,0 s une fois en cache. Or ce cache meurt avec le runner : keep_alive est de 30 min, et Carlito revient d'une pause plus longue plusieurs fois par jour. « Quelle heure est-il ? » après le déjeuner : 7 s de chargement + 24 s de préremplissage avant un mot, pour un modèle qui n'a rien à réfléchir.

Ce module rejoue le préfixe exact du chat toutes les dix minutes : même identité, même trousse, un « Bonjour » et un seul jeton de sortie. Chaud, la requête coûte ~0,3 s de GPU ; froid, elle paie les 24 s pendant que personne n'attend. Elle passe par l'admission de fond (engine/scheduling.py) : un tour interactif la fait attendre, jamais l'inverse. Dix minutes, parce que trois relances par demi-heure suffisent à tenir le runner résident et qu'une relance de plus par heure ne rendrait rien.

Ce que ce module ne fait pas : charger un modèle que rien n'a demandé (seuls le modèle par défaut et le modèle léger, s'ils sont locaux, sont chauffés — jamais le 27b choisi dans un sélecteur), ni rendre le premier tour chaud quand la trousse change (le préfixe rejoué est celui du bureau, 45 schémas plus celui des questions interactives).

entretenir_le_prefixe(app, *, intervalle_s=INTERVALLE_S) async

Tâche de fond du serveur : rejoue le préfixe au démarrage puis à intervalle.

modeles_a_chauffer(config, modele_du_serveur)

Le modèle par défaut et le modèle léger, une fois chacun, jamais un distant.

moteur_local(app_state)

Le vrai OllamaEngine derrière ses enveloppes, ou None hors Ollama local.

prechauffer(app_state, config)

Rejoue le préfixe sur chaque modèle à chauffer ; rend (modèle, durée en s).

prompt_du_prefixe(app_state, config)

Le prompt du bureau, tel que routes._handle_stream le construit.