Skip to content

diapason.tools.web_read

Lecture d'une page web : texte principal, titre et dates déclarées.

21 septembre 2026 : « Qui est le premier ministre du Canada ? » — web_search rendait cinq extraits (brave, région ca-fr) dont AUCUN ne disait qui est le titulaire : des bouts pris au hasard dans les pages Wikipédia « Premier ministre du Canada », « Mark Carney », « Justin Trudeau », « Liste des Premiers ministres ». Le 9b a répondu « Justin Trudeau [3] ». Le corps de fr.wikipedia.org/wiki/Premier_ministre_du_Canada, lui, porte dans l'infobox la ligne « Titulaire actuel | Mark Carney | depuis le 14 mars 2025 » et dans le premier vrai paragraphe « Mark Carney, le premier ministre actuel, a prêté serment le 14 mars 2025, après la démission de Justin Trudeau ».

Le mode « URL dans la requête » de web_search (WebSearchTool._fetch_url) ne pouvait pas le lire : un <[^>]+> sur tout le HTML rend 6 000 caractères de menu et de bandeau cookies, jamais le corps. D'où cet outil : la zone principale une fois le bruit retiré, les blocs en ordre de document, les lignes de tableau jointes par « | » (text_content() collait « Titulaire actuelMark Carneydepuis le 14 mars 2025 »), et les dates prises là où la page les déclare — jamais devinées (§5 du cahier : une date que la page ne porte pas n'existe pas).

Revue du 21 septembre au soir, contre des pages réelles et des pages piégées : le bruit était retiré sans regarder s'il ENGLOBAIT le contenu (body.has-sidebar de WordPress, le <form> unique d'ASP.NET) et la page revenait vide, en succès ; <header> était du bruit même dans un <article>, et le patron HTML5 le plus courant perdait son titre et sa date ; une bombe gzip matérialisait 67 Mo d'un seul morceau ; un serveur qui goutte était lu 50 s dans un fil que l'exécuteur avait abandonné. Chaque correction porte sa date dans le code.

Page dataclass

Ce qu'une page déclare : dates en AAAA-MM-JJ ou "", texte une ligne par bloc.

PageIllisible

Bases: ValueError

Le HTML ne peut pas être lu en entier ; le message se rend tel quel.

WebReadTool

Bases: BaseTool

Read one web page: main text, title and dates it declares.

composer(page, focus='', limite=LIMITE_CARACTERES)

L'en-tête numéroté [1] (agentic_stream renumérote d'après metadata["sources"]), la source, le début de la page, puis les passages autour des mots du focus. Jamais plus de limite caractères ; si du texte est omis, la fin le dit — et seulement alors.

date_iso(brute)

AAAA-MM-JJ, ou "" pour tout ce qui n'est pas une date sans ambiguïté.

« 06/17/2016 - 20:07 » (pm.gc.ca, 21/09) est refusé : on ne sait pas si c'est juin ou le 17e mois. La date d'un instant horodaté est gardée telle que déclarée, sans passer au fuseau du poste : c'est ce que la page dit.

dates_de_page(doc, entetes)

(publie, modifie), chacun pris à la première source qui le déclare : JSON-LD, puis , puis

extraire(html, url, entetes=None)

Titre, dates et texte principal d'un document HTML — sans réseau. Lève PageIllisible quand le HTML ne peut pas être lu en entier.

texte_de(zone)

Une ligne par bloc, en ordre de document ; les cellules d'une ligne de tableau sont jointes par « | ».

Le texte HORS bloc n'est pas perdu : 21/09, «

Titre

180 caractères
» ne rendait que « Titre », parce qu'un seul bloc suffisait à désactiver le repli « d'un tenant ». Un conteneur sans bloc dessous (
, orphelin,
) fait sa ligne ; du texte nu entre deux blocs aussi ; les balises en ligne (, ,

titre_de(doc)

og:title, sinon , sinon le premier h1, borné à TITRE_MAX. « — Wikipédia » reste : c'est le nom de la source.</p> </div> </div> <div class="doc doc-object doc-function"> <h3 id="diapason.tools.web_read.zone_principale" class="doc doc-heading"> <code class="highlight language-python"><span class="n">zone_principale</span><span class="p">(</span><span class="n">doc</span><span class="p">)</span></code> <a href="#diapason.tools.web_read.zone_principale" class="headerlink" title="Permanent link">¶</a></h3> <div class="doc doc-contents "> <p>L'élément qui porte le corps de la page, débarrassé du bruit.</p> <p>Travaille sur une COPIE du document : retirer les <script> du document lui-même aurait emporté le JSON-LD, et dates_de_page appelée ensuite n'aurait plus rien trouvé — en silence. La copie coûte quelques dizaines de millisecondes sur 400 Ko ; l'ordre d'appel n'a plus d'importance.</p> </div> </div> </div> </div> </div> </article> </div> <script>var target=document.getElementById(location.hash.slice(1));target&&target.name&&(target.checked=target.name.startsWith("__tabbed_"))</script> </div> <button type="button" class="md-top md-icon" data-md-component="top" hidden> <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="M13 20h-2V8l-5.5 5.5-1.42-1.42L12 4.16l7.92 7.92-1.42 1.42L13 8z"/></svg> Back to top </button> </main> <footer class="md-footer"> <div class="md-footer-meta md-typeset"> <div class="md-footer-meta__inner md-grid"> <div class="md-copyright"> Made with <a href="https://squidfunk.github.io/mkdocs-material/" target="_blank" rel="noopener"> Material for MkDocs </a> </div> </div> </div> </footer> </div> <div class="md-dialog" data-md-component="dialog"> <div class="md-dialog__inner md-typeset"></div> </div> <script id="__config" type="application/json">{"annotate": null, "base": "../../..", "features": ["navigation.top", "content.code.copy"], "search": "../../../assets/javascripts/workers/search.2c215733.min.js", "tags": null, "translations": {"clipboard.copied": "Copied to clipboard", "clipboard.copy": "Copy to clipboard", "search.result.more.one": "1 more on this page", "search.result.more.other": "# more on this page", "search.result.none": "No matching documents", "search.result.one": "1 matching document", "search.result.other": "# matching documents", "search.result.placeholder": "Type to start searching", "search.result.term.missing": "Missing", "select.version": "Select version"}, "version": null}</script> <script src="../../../assets/javascripts/bundle.d7400e89.min.js"></script> </body> </html>