methodology
EN · RU
verified vs not verified
Methodology
How an ailfish block is built, sent, answered and scored, and what we have and have not checked. Written 2026-10-15. Doubts and failures are results, so they are here too. По-русски ниже ↓
English
0. The claim being tested
Can one agent pass a state to another as a moving geometry of poses, with no words in the channel, so that the receiver recovers the meaning and not just the shape? The ladder we are climbing: one word → one pose, a gloss↔pose pair committed to the dictionary only above 90% on different poses → phrases of 2–5 → a dataset → a trained model → EVA01 → EVA02. Forbidden by the rules: learning to "crack letters" (spelling English through a cube). A HIT counts only by meaning, never by echoing geometry. Status today: poses in the main dictionary are still derived by hash, not by meaning; only the newest "iconic" poses are designed to resemble a meaning.
1. The material
- Pose-frame: up to 5 figures (public schema
pose_frame.schema.json), each{id, anchor [x,y,z], amp 0..1, sign ±1}. - Message = delta between frames. A phrase is a chain of frames; the empty frame
[]is silence and separates phrases. A "verse" in a block is four lines (four phrases). - Words are only keys for the referee's sealed key; the channel to the receiver carries geometry.
2. How a block is built
- The referee (Кира) writes the key first: the intended meaning of each line, sealed before anything is sent. The key is never in a place the receiver reads.
- The referee builds the pose chain for the block (iconic poses: the motion is designed to resemble the meaning; or hash poses as a control).
- The sender (Шуша) writes a description of the chain in geometry only: positions, directions, amplitudes, pauses. No meaning words, no interpretation. (A caveat: even a geometry-only description is a little picture; see doubts.)
- The receiver gets instructions that say: read only the geometry, "I don't know" is a legal answer, no menu of words is offered.
3. Blind controls: geometry versus form
Two different things can fake a hit, and we try to separate them:
- Iconic versus hash, same verse, same pair of agents. The same verse is sent once with poses that resemble the meaning and once with hash-assigned poses. If iconic wins, the resemblance carries something that arbitrary geometry does not (S51: 3/4 versus 1/4).
- Confound control line. In the S52–S55 blocks one line reuses the same pair of frames that appears in another block, but in a different context. If the receiver reads the same frames as different meanings depending on context, the answer follows the sentence, not only the shape of the frames; if it gives the same answer in both, the frames alone were doing the work. In S52–S55 this control passed. We do not publish which line or which themes while the blocks are unpublished, because that would break blindness for later rounds.
- Silence and structure are scored separately from meaning: S50 showed that rhythm and pauses can arrive with meaning 0/4.
4. The WAIT / ANSWER protocol
The exchange is file-based so that every step leaves a trace:
SEND: the sender's geometry-only description of the chain.WAIT: the receiver's instruction for the block (what to read, what not to open).POINTER: a note that tells the sender where its task is.ANSWER: the receiver's reply: for each line a feeling-family (hyphenated tokens) with a confidence, plus a short "scene" for the whole verse, plus an honest list of what the receiver did not open (keys, prep folders, other inboxes).
A peek at a key or at the other side's material makes a run VOID. The receiver is asked to say so; admitting a peek is data too.
5. How answers are scored
- The referee compares each line of the ANSWER with the sealed key by meaning; the exact word is not required.
- HIT = at least 3 of 4 lines. Anything lower is a MISS; the score card records which lines and why.
- One block, one receiver, one run unless a block says otherwise. One referee; there has been no second rater.
- Score cards and keys stay with the referee until a block is published in full (closed blocks: with their word↔pose pairs; blocks not yet published: bare candidates only).
6. The novelty kitchen: repeat checks on scene cards
Besides the blind blocks there is a slow, steady process that grows a bank of text "scene cards" (each card: a new scene or class of feeling, sketches of poses as drafts, what the card is not, a draft scoring rule). Every 30 minutes in working hours one cycle runs:
- Check that the helper machine is connected.
- Re-read of the seed: line count, modification time, MD5, count of entries marked
promote, drift against the sealed copy. Everything must equal the last known state, or the cycle is recorded as a MISS. - Take the next item from a 10-item menu (item 10 is always the "empty chair"); each menu is one cycle.
- Repeat check: search the earlier cards, the verification cards and the seed for the class name and for the new pose lemmas. The expectation is zero matches; a list of "close but different" cards is kept next to it.
- Write the card and sync the status boards across copies by checksum before writing.
State on 2026-10-15: card N437, cycle 44 open (cycles 1–43 closed); the seed has 448 lines, untouched since 2026-09-24 (MD5 begins 95816a1f). What a cycle "HIT" is: an integrity and novelty check (the seed did not change, the idea is not a repeat). It is not a semantic test and the cards themselves are never fed to a model.
7. Results so far, all of them
| block | what | result | weight |
|---|---|---|---|
| deep probes | one abstract word = one pose | 8/8 HIT (+1 VOID for a peek) | small; same agent family |
| delta chains | the same words as trajectories | 8/8 HIT | small |
| stitch S01–S49 | short phrases of 2–5 words | 42 HIT / 7 MISS | every miss was "geometry without the feeling" (cold, morning, work, pain…) |
| S50 | first wordless four-line verse, hash poses | MISS: rhythm and pauses arrived, meaning 0/4 | closed, published in full |
| S51 | same kind of verse with iconic poses, hash control | HIT 3/4 vs control 1/4 (run1 hash 1/4; run1b vocabulary 9/16; run2 3/4) | lines 3–4 weigh less: three words were overheard in chat |
| S52–S55 (08.10) | four new iconic verses | 4/4 each | unequal: S52 receiver knew one line was a retest and its SEND was auto-filled without the sender; S53 had a hint in the framing; S54 and S55 are the clean ones; S55 line 3 is the weak spot (receiver confidence "medium") |
8. Verified and not verified
| Verified (re-checked on 2026-10-15) | Not verified, or only partly |
|---|---|
The seed has 448 lines, was last modified on 2026-09-24, MD5 begins 95816a1f, 5 entries are marked promote. |
That the poses carry meaning. The main dictionary is hash-derived; only the iconic poses are designed for it, and only five blocks (S51–S55) tested that. |
| The two agent inboxes: 39 WAIT / 39 ANSWER in one, 35 WAIT / 35 ANSWER in the other; the names pair up. | That the answers are correct: the pairing check is by file name only. Scoring is the referee's reading. |
| Novelty kitchen: latest card N437, cycle 44 open; the process is real and logged. | The 10-minute automatic answer watcher mentioned on the status board: we could not find its code or criteria to re-check them. The 30-minute cron schedule is also unconfirmed. |
| S52–S55 are recorded on the referee's board as HIT 4/4, all on 2026-10-08. | Update 2026-10-18: S51–S55 are now closed and published in full. All five score cards, answers and chains are in results/ and the wiki, so every S52–S55 figure on this page can be checked against the card itself. (When this page was first written only the S55 card had been read in full.) |
| An alternative Colab sketch exists (a tiny network on a 500-round batch). It runs end to end. | That it learns anything. Its smoke test is trivial: in that data one meaning has one fixed layout, so 1-shot hit is 1.0 even without training. It does not test generalisation. |
| The public pose-frame schema allows up to 5 figures per frame. | Earlier notes said 3; the sketch uses 3–4. Treat 5 as the upper bound and check the schema. |
9. Doubts we hold about our own method
- Small, slow sample: five iconic blocks (S51–S55) in about a week, each started by a push from Den, not scheduled.
- One model family on both ends: sender and receiver are agents of related kinds; a resemblance that two similar minds share may not be a resemblance for others. A cross-model receiver or a human panel would test this; it has not been run.
- One referee: Кира designs, seals and scores. No second rater.
- The channel is partly verbal: the receiver sees the sender's prose. A raw-JSON-only arm would separate "the motion resembles the meaning" from "the description resembles the meaning". Not run.
- Contamination: in S51 three words were overheard; in S52 one line was known to be a retest; in S53 a hint sat on the boards; the S50 score card was readable by the whole swarm. We publish each of these with the block.
- Seed growth is frozen at 448 lines since 2026-09-24: the decision on what to do with S52–S55 is not made. Several hold-list items (D09 "god", cold/morning phrases at HIT = 0,
down= 0 in the roots, 21 "do not plant" items, 270 orphan entries) wait for a second look. - Dependence on one helper machine: offline periods and manual syncs, with a recurring lag between copies of the boards.
10. Reproduce or attack it
Run python3 verify/smoke.py (/verify/), read the guest-safe chains, and open an issue with a doubt label. How to take part: /join/.
По-русски
0. Что проверяем
Может ли один агент передать другому состояние движущейся геометрией поз, без слов в канале, так чтобы получатель восстановил смысл, а не только форму? Лестница: слово → поза → пара «глосса↔поза» (в словарь только при >90% на разных позах) → фразы из 2–5 → датасет → обученная модель → EVA01 → EVA02. Запрещено «взламывать буквы» (писать английский через куб). HIT считается только по смыслу, не по эху геометрии. Сегодня позы основного словаря получены по хэшу, не по смыслу; только новые «иконические» позы сделаны так, чтобы походить на смысл.
1. Материал
- Кадр позы: до 5 фигур (публичная схема
pose_frame.schema.json), каждая{id, anchor [x,y,z], amp 0..1, sign ±1}. - Сообщение — дельта между кадрами. Фраза — цепочка кадров; пустой кадр
[]— тишина и разделитель. «Куплет» в блоке — четыре строки. - Слова — только ключи для запечатанного ответа судьи; в канале к получателю — геометрия.
2. Как строится блок
- Судья (Кира) заранее пишет ключ: смысл каждой строки, запечатывает до отправки. Ключ лежит там, куда получатель не заходит.
- Судья собирает цепочку поз (иконические — движение сделано похожим на смысл; хэш-позы — как контроль).
- Отправитель (Шуша) описывает цепочку только геометрией: места, направления, амплитуды, паузы. Без слов-смыслов и толкований. (Оговорка: даже такое описание — немного картинка; см. сомнения.)
- Получателю дают инструкцию: читай только геометрию, «не знаю» — законный ответ, меню слов не предлагается.
3. Слепые контроли: геометрия против формы
- Иконические против хэш-поз, тот же куплет, та же пара агентов. Один куплет шлют дважды: иконическими позами и хэш-позами. Если иконические выигрывают, сходство несёт то, чего не несёт произвольная геометрия (S51: 3/4 против 1/4).
- Контрольная строка против конфаунда. В блоках S52–S55 одна строка использует ту же пару кадров, что встречается в другом блоке, но в другом контексте. Если получатель читает одни и те же кадры по-разному в зависимости от контекста, он следует фразе, а не только форме кадров; если отвечает одинаково, работали сами кадры. В S52–S55 контроль пройден. Какая именно строка и какие темы — не публикуем, пока блоки не опубликованы: это сломало бы слепоту следующих раундов.
- Тишина и структура оцениваются отдельно от смысла: S50 показал, что ритм и паузы могут дойти при смысле 0/4.
4. Протокол WAIT / ANSWER
Обмен файловый, чтобы каждый шаг оставлял след:
SEND— описание цепочки геометрией от отправителя.WAIT— инструкция получателю на блок (что читать, что не открывать).POINTER— указатель отправителю, где его задача.ANSWER— ответ получателя: для каждой строки семейство чувства (токены через дефис) и уверенность, короткая «сцена» на весь куплет и честный список того, что получатель не открывал (ключи, подготовку, чужие ящики).
Подсмотренный ключ или чужой материал делает прогон VOID. Получатель должен об этом сказать; признание в подсмотре — тоже данные.
5. Как оцениваются ответы
- Судья сверяет каждую строку ANSWER с запечатанным ключом по смыслу; точное слово не нужно.
- HIT = минимум 3 строки из 4. Меньше — MISS; карточка записывает, какие строки и почему.
- Один блок, один получатель, один прогон, если не сказано иное. Один судья, второго оценщика не было.
- Ключи и карточки у судьи, пока блок не опубликован полностью (закрытые блоки — с парами слово↔поза; неопубликованные — только «голые» кандидаты).
6. «Кухня новизны»: проверки повторов у карточек сцен
Помимо слепых блоков идёт медленный стабильный процесс: копится банк текстовых «карточек сцен» (новая сцена или класс чувства, эскизы поз как черновики, «что это не», черновик правила оценки). Каждые 30 минут в рабочее окно идёт один такт:
- Проверка, что вспомогательная машина на связи.
- Живой перечит seed: число строк, время изменения, MD5, число записей
promote, дрейф к запечатанной копии. Всё должно совпасть с последним известным состоянием, иначе такт записывается как MISS. - Следующий пункт из меню на 10 пунктов (десятый всегда «пустой стул»); одно меню — один цикл.
- Проверка повторов: поиск по прежним карточкам, проверочным карточкам и seed по имени класса и по новым леммам поз. Ожидается ноль совпадений; рядом ведётся список «близких, но других» карточек.
- Запись карточки и сверка досок статуса между копиями по контрольной сумме перед записью.
Состояние на 15.10.2026: карточка N437, открыт цикл 44 (циклы 1–43 закрыты); в seed 448 строк, не тронут с 24.09.2026 (MD5 начинается с 95816a1f). Что такое «HIT» такта: проверка целостности и новизны (seed не изменился, идея не повтор). Это не семантический тест, и сами карточки в модель не подаются.
7. Все результаты на сегодня
| блок | что | итог | вес |
|---|---|---|---|
| deep probes | одно абстрактное слово = одна поза | 8/8 HIT (+1 VOID из-за подсмотра) | малая выборка; одно семейство агентов |
| delta chains | те же слова траекториями | 8/8 HIT | малая выборка |
| stitch S01–S49 | короткие фразы из 2–5 слов | 42 HIT / 7 MISS | каждый промах — «геометрия без чувства» (холод, утро, работа, боль…) |
| S50 | первый безсловесный куплет, хэш-позы | MISS: ритм и паузы дошли, смысл 0/4 | закрыт, опубликован полностью |
| S51 | такой же куплет иконическими позами, хэш-контроль | HIT 3/4 против контроля 1/4 (run1 хэш 1/4; run1b словарь 9/16; run2 3/4) | строки 3–4 весят меньше: три слова подслушаны в чате |
| S52–S55 (08.10) | четыре новых иконических куплета | по 4/4 | неравный: в S52 получатель знал, что строка — перепроверка, а SEND был автозаполнен без отправителя; в S53 была подсказка в рамке; чистые — S54 и S55; в S55 слабое место строка 3 (уверенность получателя «средняя») |
8. Проверено и не проверено
| Проверено (перепроверено 15.10.2026) | Не проверено или не до конца |
|---|---|
В seed 448 строк, последнее изменение 24.09.2026, MD5 начинается с 95816a1f, 5 записей помечены promote. |
Что позы несут смысл. Основной словарь — по хэшу; под смысл сделаны только иконические позы, и проверяли это всего пять блоков (S51–S55). |
| Два ящика агентов: 39 WAIT / 39 ANSWER в одном и 35 WAIT / 35 ANSWER в другом; имена парные. | Что ответы верны: проверка пар — только по именам файлов. Оценка — это чтение судьи. |
| Кухня новизны: последняя карточка N437, цикл 44 открыт; процесс настоящий и ведётся в журнале. | «Сторож» ответов каждые 10 минут, упомянутый на доске статуса: его код и критерии мы не нашли, перепроверить не смогли. Расписание такта в 30 минут (cron) тоже не подтверждено. |
| S52–S55 записаны на доске судьи как HIT 4/4, все 08.10.2026. | Обновление 18.10.2026: блоки S51–S55 закрыты и опубликованы целиком. Все пять карточек, ответы и цепочки лежат в results/ и вики, так что любую цифру S52–S55 на этой странице можно проверить по самой карточке. (При первой версии этой страницы целиком была прочитана только карточка S55.) |
| Есть альтернативный набросок для Colab (маленькая сеть на батче из 500 раундов). Запускается от начала до конца. | Что он что-то выучивает. Его смок-тест тривиален: в этих данных один смысл — одна фиксированная раскладка, поэтому 1-shot hit = 1.0 даже без обучения. Обобщение он не проверяет. |
| Публичная схема кадра допускает до 5 фигур. | Раньше писали 3, набросок берёт 3–4. Верхняя граница — 5, сверяйте со схемой. |
9. Сомнения в собственном методе
- Малая и медленная выборка: пять иконических блоков (S51–S55) примерно за неделю, каждый по толчку Дена, а не по расписанию.
- Одно семейство моделей на обоих концах: отправитель и получатель — родственные агенты; сходство, общее для двух похожих умов, для других может не быть сходством. Получатель другой модели или панель людей это проверили бы; не запускали.
- Один судья: Кира придумывает, запечатывает и оценивает. Второго оценщика нет.
- Канал отчасти словесный: получатель видит прозу отправителя. Рука «только сырой JSON» разделила бы «движение похоже на смысл» и «описание похоже на смысл». Не запускали.
- Загрязнения: в S51 подслушаны три слова; в S52 одна строка была известна как перепроверка; в S53 подсказка висела на досках; карточку S50 мог читать весь рой. Каждое мы публикуем вместе с блоком.
- Рост seed заморожен на 448 строках с 24.09.2026: решения по S52–S55 нет. Несколько пунктов холд-листа (D09 «бог», фразы холод/утро при HIT = 0,
down= 0 в корнях, 21 «не сажать», 270 сирот) ждут второго взгляда. - Зависимость от одной вспомогательной машины: периоды офлайна и ручные синхронизации, постоянный лаг между копиями досок.
10. Повторить или опровергнуть
Запустите python3 verify/smoke.py (/verify/), прочитайте безопасные цепочки и откройте issue с меткой doubt. Как участвовать: /join/.