🧭 Go-Explore — la mémoire qui ose

1. Le problème : des récompenses rares, et deux façons d'oublier

Dans les jeux qui nous intéressent, la récompense est rare. Pour finir un niveau de Mario, il faut enchaîner des centaines de gestes justes ; le jeu ne dit « bravo » qu'à la toute fin. Un explorateur qui appuie sur des boutons au hasard n'a presque aucune chance d'y arriver — et un apprenti qui n'est jamais récompensé n'apprend rien.

Les algorithmes « à curiosité » (chercher la nouveauté) semblaient la solution, mais ils butaient sur deux maladies jumelles, nommées par les auteurs de Go-Explore :

• le détachement (detachment) — l'algorithme découvre une zone prometteuse, part butiner ailleurs… et ne revient jamais. La nouveauté s'épuise près du point de départ, et le souvenir de la frontière lointaine s'évapore de ses réseaux.
• le déraillement (derailment) — même quand il « veut » retourner loin, il y va en rejouant sa politique bruitée : le hasard le fait dérailler en chemin, bien avant d'atteindre le front.

Autrement dit : on savait explorer près de chez soi, pas tenir un front lointain.

2. L'idée Go-Explore : d'abord revenir, ensuite explorer

En 2019, Adrien Ecoffet et ses collègues (Uber AI Labs) proposent une idée d'une simplicité désarmante, résumée par le titre que prendra leur article dans Nature en 2021 : « First return, then explore » — d'abord revenir, ensuite explorer. Le cœur, c'est une ARCHIVE : chaque situation vécue est résumée en une cellule, un souvenir compact. La première fois qu'une cellule apparaît, on retient comment on y est arrivé. Puis le cycle tourne, sans fin :

        ┌───────────────────────── ARCHIVE (la mémoire) ─────────────────────────┐
        │  cellule A ● connue        cellule F ◍ frontière ← « prometteuse »     │
        └────────────────────────────────────────────────────────────────────────┘
              │ choisir F                    ▲
              ▼                              │ nouvelles cellules découvertes
        retour fidèle jusqu'à F ──► exploration depuis F ─────────────────────────┘

L'archive guérit le détachement (rien ne s'évapore : un souvenir écrit reste écrit) ; le retour fidèle guérit le déraillement (on n'improvise plus sur le trajet). C'est pour cela qu'on peut l'appeler la mémoire qui ose : elle n'oublie rien, et elle ose depuis le bord. Résultat historique : les jeux réputés impossibles à explorer (Montezuma's Revenge, Pitfall) tombent.

3. Ce que Pip y ajoute

Le moteur de Pip n'est pas une copie de l'article de 2019. Trois extensions structurelles, puis une pile d'organes par-dessus.

• Des cellules 100 % perceptives zéro triche — le Go-Explore d'origine lisait volontiers la mémoire interne du jeu (position exacte, numéro de salle). Pip, jamais : ses cellules sont fabriquées uniquement de ce que ses yeux voient — les pixels, hachés en un petit code. Il ne « sait » pas où il est au sens du jeu ; il reconnaît des lieux comme nous reconnaissons une pièce. C'est le fil rouge de tout le projet.
• Le CLIQUET CERTIFIÉ la chance devient savoir — une route n'entre au patrimoine que si elle se rejoue depuis le reset de la console, avec ses propres gestes, jusqu'au même endroit. Pas de sauvegarde magique en cours de partie : la preuve, c'est le rejeu. Une traversée chanceuse qui ne se rejoue pas n'est pas gravée. Et le savoir gravé est vérifiable par n'importe qui : la route qui mène au monde 5 fait 8132 gestes, rejouables de l'écran-titre à la hache.
• Le camp au mur marteler honnêtement — quand un obstacle résiste, le moteur installe un « camp » juste devant : retour quasi instantané (en O(1)) au pied du mur, essai, retour, essai. Sur la porte du château 4-4, on est passé d'environ 5 tentatives par jour à 12 par minute. Rien n'est soufflé : seulement plus d'occasions d'essayer.
• La pile d'organes — Go-Explore fournit le squelette ; au-dessus, des organes nés (et mesurés) un à un : l'œil des ouvertures (voir « on peut descendre ICI » — la batterie d'ablation l'a désigné organe porteur : sans lui, zéro entrée dans le couloir, reproduit sur 3 graines) ; la carte des lieux (un graphe de lieux vécus, l'invariant de babybrain transplanté aux pixels) ; le rêve (pendant les pauses, la valeur diffuse le long de la carte et les frontières lointaines se mettent à briller) ; l'intention (un projet tenu de lieu en lieu, qui s'interrompt sous la menace et reprend) ; le crédit de sorties (« j'ai pris cette sortie cent fois et ça boucle : j'essaie ailleurs » — chaque sortie jugée par le lieu qu'elle atteint).

4. L'exemple vécu : le château 4-4

Le labyrinthe du 4-4 est un piège à explorateurs : deux « portes de hauteur ». Passez à la mauvaise hauteur, le château vous téléporte silencieusement en arrière. La seconde porte offre trois chemins ; le seul correct est celui du bas — et Pip ne l'avait jamais essayé. La mesure a montré pourquoi : chaque essai coûte un tour d'horloge, il variait bien ses chemins mais mourait de time-over avant d'avoir épuisé les trois. Il manquait de temps, pas de curiosité.

Alors le moteur a fait son travail de Go-Explore : camp au bord du trou, cliquet re-certifié pour arriver à la porte avec du chrono, œil des ouvertures allumé — « le bas se voit ». Le 11 juillet, premier pied dans le couloir du bas. Restait le garde de feu : la mesure a cartographié sa fenêtre — s'arrêter environ une seconde vers x≈1870, puis sprinter. Rien n'a été soufflé à Pip : ce sont ses propres organes (l'esquive qui recule, le geste tenu, l'intention qui reprend) qui produisent ce motif — parfois.

Le 12 juillet, à la 34^e plongée dans le couloir, ça passe : le garde franchi, le pont, la hache. Le cliquet grave la route (certifiée à x=2663, 8132 gestes depuis le reset) — MONDE 5. Et le deuxième esprit, l'élève, a franchi le même garde le même jour (2110) : ce n'était pas un coup de dés.

 camp ●──gauche──▼ trou (16 px)   couloir du bas    ⏸ pause ~1 s (x≈1870)   sprint → 🪓 hache
 1588            1520 ────────────────────────────► garde de feu ─────────► pont ──► MONDE 5
                        34 plongées, 2 esprits, route rejouable geste à geste depuis le reset

5. L'ÉCHELLE — le cœur de notre idée

📚 Source — Jean Piaget (1936) puis Alison Gopnik : chez le bébé humain, l'imagination, la créativité, la résolution de problème n'existent pas à la naissance. Elles ÉMERGENT, barreau par barreau : d'abord le babillage moteur, puis la réaction circulaire (« cet effet m'a surpris → je le refais exprès »), puis les moyens-fins (« je veux LÀ → voilà le chemin »), la variation systématique (« et si j'essayais un peu autrement ? »), et enfin l'invention mentale — l'action intériorisée.

💡 Notre thèse — le babillage de Go-Explore, si puissant soit-il, reste coincé sous cette échelle : le cortex perçoit, mais la politique ne décide jamais de refaire quoi que ce soit. Pip fut diagnostiqué « barreau 2½ » (14 juillet) : il babille, il aime le nouveau, mais il n'avait jamais UNE SEULE FOIS refait exprès un geste qui avait produit un effet. Notre pari : câbler chaque barreau comme un organe séparé, opt-in, mesurable — et regarder si l'intelligence d'enfant se met à pousser dessus.

🧪 Résultats (14-15 juillet) — chaque barreau jugé au labo avant tout live : la réaction circulaire GO ×2 (moteur byte-identique flag éteint) ; les moyens-fins 26/26 là où le hasard fait 27 % — la première résolution de problème du projet ; la variation victoires ×2 à l'école ; l'imagination (b6) formellement positive mais parquée honnêtement — elle coûtait des victoires. L'échelle complète au moteur : +22 % de découvertes (A/B : 60 cellules contre 49).

💡 + 🧪 Pourquoi l'échelle avait faim, et ce qui a changé — refaire exprès exige de revenir ; or revenir coûtait des minutes de rejeu. Tous les organes d'enfant tournaient affamés. Le 15 juillet, le téléporteur (savestates illimités, retour en ~100 microsecondes — gate de 15 000 frames pixel-parfaite) a levé la famine, et Spore, cinquième lignée, est née avec l'échelle complète : plus de 30 000 « refaire exprès » dans sa première soirée — davantage que Pip dans toute sa jeunesse. Le gardien l'a vue, à l'œil nu, retourner encore et encore à un bloc caché « pour vérifier que le miracle se reproduit ». C'est une réaction circulaire de manuel — en direct.

Honnêteté : le barreau du mimétisme n'est pas branché — Pip est un Robinson Crusoé qui n'a jamais vu personne jouer ; lui montrer une démonstration est un levier connu, volontairement non tiré à ce jour (décision du gardien). Et b6 (l'imagination) attend d'avoir du vécu sous elle.

6. Les limites, honnêtement

• L'aliasing des lieux — le petit code qui résume un lieu confond parfois des endroits distants de centaines de pixels, alors que ses yeux, eux, localisent à ~8 pixels près. Le goulot est la quantification, pas la vision. Chantier ouvert : au labo, la vue-géométrie (l'identité d'un lieu = la forme de la pièce) vient de passer la barre.
• La maladie du checkpoint — un point de reprise peut mentir : croire ramener au bon endroit et déposer ailleurs. Cernée, en cours de soin.
• La perception reste LE mur — plusieurs preuves convergentes montrent que ce qui limite Pip n'est presque jamais la stratégie, mais ce qu'il voit et la manière dont il le résume. Chaque organe de la section 3 est né d'un de ces murs, mesure à l'appui — et chaque non-résultat est publié aussi.