🧭 Go-Explore — la mémoire qui ose

1. Le problème : des récompenses rares, et deux façons d'oublier

Dans les jeux qui nous intéressent, la récompense est rare. Pour finir un niveau de Mario, il faut enchaîner des centaines de gestes justes ; le jeu ne dit « bravo » qu'à la toute fin. Un explorateur qui appuie sur des boutons au hasard n'a presque aucune chance d'y arriver — et un apprenti qui n'est jamais récompensé n'apprend rien.

Les algorithmes « à curiosité » (chercher la nouveauté) semblaient la solution, mais ils butaient sur deux maladies jumelles, nommées par les auteurs de Go-Explore :

• le détachement (detachment) — l'algorithme découvre une zone prometteuse, part butiner ailleurs… et ne revient jamais. La nouveauté s'épuise près du point de départ, et le souvenir de la frontière lointaine s'évapore de ses réseaux.
• le déraillement (derailment) — même quand il « veut » retourner loin, il y va en rejouant sa politique bruitée : le hasard le fait dérailler en chemin, bien avant d'atteindre le front.

Autrement dit : on savait explorer près de chez soi, pas tenir un front lointain.

2. L'idée Go-Explore : d'abord revenir, ensuite explorer

En 2019, Adrien Ecoffet et ses collègues (Uber AI Labs) proposent une idée d'une simplicité désarmante, résumée par le titre que prendra leur article dans Nature en 2021 : « First return, then explore » — d'abord revenir, ensuite explorer. Le cœur, c'est une ARCHIVE : chaque situation vécue est résumée en une cellule, un souvenir compact. La première fois qu'une cellule apparaît, on retient comment on y est arrivé. Puis le cycle tourne, sans fin :

        ┌───────────────────────── ARCHIVE (la mémoire) ─────────────────────────┐
        │  cellule A ● connue        cellule F ◍ frontière ← « prometteuse »     │
        └────────────────────────────────────────────────────────────────────────┘
              │ choisir F                    ▲
              ▼                              │ nouvelles cellules découvertes
        retour fidèle jusqu'à F ──► exploration depuis F ─────────────────────────┘

L'archive guérit le détachement (rien ne s'évapore : un souvenir écrit reste écrit) ; le retour fidèle guérit le déraillement (on n'improvise plus sur le trajet). C'est pour cela qu'on peut l'appeler la mémoire qui ose : elle n'oublie rien, et elle ose depuis le bord. Résultat historique : les jeux réputés impossibles à explorer (Montezuma's Revenge, Pitfall) tombent.

3. Ce que Pip y ajoute

Le moteur de Pip n'est pas une copie de l'article de 2019. Trois extensions structurelles, puis une pile d'organes par-dessus.

• Des cellules 100 % perceptives zéro triche — le Go-Explore d'origine lisait volontiers la mémoire interne du jeu (position exacte, numéro de salle). Pip, jamais : ses cellules sont fabriquées uniquement de ce que ses yeux voient — les pixels, hachés en un petit code. Il ne « sait » pas où il est au sens du jeu ; il reconnaît des lieux comme nous reconnaissons une pièce. C'est le fil rouge de tout le projet.
• Le CLIQUET CERTIFIÉ la chance devient savoir — une route n'entre au patrimoine que si elle se rejoue depuis le reset de la console, avec ses propres gestes, jusqu'au même endroit. Pas de sauvegarde magique en cours de partie : la preuve, c'est le rejeu. Une traversée chanceuse qui ne se rejoue pas n'est pas gravée. Et le savoir gravé est vérifiable par n'importe qui : la route qui mène au monde 5 fait 8132 gestes, rejouables de l'écran-titre à la hache.
• Le camp au mur marteler honnêtement — quand un obstacle résiste, le moteur installe un « camp » juste devant : retour quasi instantané (en O(1)) au pied du mur, essai, retour, essai. Sur la porte du château 4-4, on est passé d'environ 5 tentatives par jour à 12 par minute. Rien n'est soufflé : seulement plus d'occasions d'essayer.
• La pile d'organes — Go-Explore fournit le squelette ; au-dessus, des organes nés (et mesurés) un à un : l'œil des ouvertures (voir « on peut descendre ICI » — la batterie d'ablation l'a désigné organe porteur : sans lui, zéro entrée dans le couloir, reproduit sur 3 graines) ; la carte des lieux (un graphe de lieux vécus, l'invariant de babybrain transplanté aux pixels) ; le rêve (pendant les pauses, la valeur diffuse le long de la carte et les frontières lointaines se mettent à briller) ; l'intention (un projet tenu de lieu en lieu, qui s'interrompt sous la menace et reprend) ; le crédit de sorties (« j'ai pris cette sortie cent fois et ça boucle : j'essaie ailleurs » — chaque sortie jugée par le lieu qu'elle atteint).

4. L'exemple vécu : le château 4-4

Le labyrinthe du 4-4 est un piège à explorateurs : deux « portes de hauteur ». Passez à la mauvaise hauteur, le château vous téléporte silencieusement en arrière. La seconde porte offre trois chemins ; le seul correct est celui du bas — et Pip ne l'avait jamais essayé. La mesure a montré pourquoi : chaque essai coûte un tour d'horloge, il variait bien ses chemins mais mourait de time-over avant d'avoir épuisé les trois. Il manquait de temps, pas de curiosité.

Alors le moteur a fait son travail de Go-Explore : camp au bord du trou, cliquet re-certifié pour arriver à la porte avec du chrono, œil des ouvertures allumé — « le bas se voit ». Le 11 juillet, premier pied dans le couloir du bas. Restait le garde de feu : la mesure a cartographié sa fenêtre — s'arrêter environ une seconde vers x≈1870, puis sprinter. Rien n'a été soufflé à Pip : ce sont ses propres organes (l'esquive qui recule, le geste tenu, l'intention qui reprend) qui produisent ce motif — parfois.

Le 12 juillet, à la 34^e plongée dans le couloir, ça passe : le garde franchi, le pont, la hache. Le cliquet grave la route (certifiée à x=2663, 8132 gestes depuis le reset) — MONDE 5. Et le deuxième esprit, l'élève, a franchi le même garde le même jour (2110) : ce n'était pas un coup de dés.

 camp ●──gauche──▼ trou (16 px)   couloir du bas    ⏸ pause ~1 s (x≈1870)   sprint → 🪓 hache
 1588            1520 ────────────────────────────► garde de feu ─────────► pont ──► MONDE 5
                        34 plongées, 2 esprits, route rejouable geste à geste depuis le reset

5. Les limites, honnêtement

• L'aliasing des lieux — le petit code qui résume un lieu confond parfois des endroits distants de centaines de pixels, alors que ses yeux, eux, localisent à ~8 pixels près. Le goulot est la quantification, pas la vision. Chantier ouvert : au labo, la vue-géométrie (l'identité d'un lieu = la forme de la pièce) vient de passer la barre.
• La maladie du checkpoint — un point de reprise peut mentir : croire ramener au bon endroit et déposer ailleurs. Cernée, en cours de soin.
• La perception reste LE mur — plusieurs preuves convergentes montrent que ce qui limite Pip n'est presque jamais la stratégie, mais ce qu'il voit et la manière dont il le résume. Chaque organe de la section 3 est né d'un de ces murs, mesure à l'appui — et chaque non-résultat est publié aussi.