docs: roadmap B.12-B.15 journal + README rewrite (framed_render canonical, honest metric)

- roadmap: current status header (decomp closed, frame-render model, honest metric), new assets (fraed_render/render_parity/handoff/nls_dasm/rwin tables), journal B.12 (bridge), Phase5 (dB parity 0.268), B.13 (res_power+decomp LUT/IIR), B.14 (Q-dep rp + metric artifact correction), B.15 (joint free-knot LUT, dual mean 0.027). - README: rewrite to framed_render.py as canonical model; 3-line model formula; structure + corpus tables updated; honest-metric warning; next steps focused.
2026-08-19 17:09:21 +03:00
parent 28cd3b7c62
commit 59619e4648
2 changed files with 167 additions and 90 deletions
@@ -3,33 +3,33 @@
 Обратный инжиниринг DSP-ядра **oeksound soothe2** (VST3, Windows x64) → проверяемая
 численная модель и реконструкция на C++.

-Цель — разобраться, как именно плагин считает подавление резонансов, и воспроизвести
-его поведение (в идеале бит-точно, но пока — с точностью ~0.1 dB на формах полос).
+Цель — понять, как именно плагин считает подавление резонансов, и воспроизвести
+его поведение (в идеале бит-точно, но пока — с точностью ~0.03–0.18 dB на формах
+полос и уровнях).

 ---

-## Статус (B.10, август 2026)
+## Статус (B.15, август 2026)

-**Детектор расшифрован структурно и проверен численно на двух независимых наборах
-измерений (31 точка, совместный фит rmse = 0.109 dB).**
+**Полный STFT-рендер** пайплайна работает в `framed_render.py` (N=2048, hop=512,
+sqrt-Hann, per-bin twin-envelope tatt=11ms/trel=80ms). Модель:
+`C(f_k)=g·LUT(log10(A_k/res_k)) + w·warp(f_k)^a`, `gain=(1−C)·res^(rp0·Q^drp)`.

- **Freq-path (форма полосы)** — близнец `FUN_180535880`/`FUN_180536f90` (резонатор
-  2-го порядка). Коэффициенты case8 (mode=1 исполняется как case8!):
-  `w0=2π·fc/fs; p=(sin(w0)·0.5)/Q; A=[p·gain+1, −2cos(w0), 1−p·gain];
-  B=[p/gain+1, −2cos(w0), 1−p/gain]; res(f)=|2·B/A|(f)`.
- **Level-path (глубина)** — per-band маска `= depth·tilt(f)·D0·(L0/res(f))^p`,
-  где `tilt(f)=1−w(f)` — per-bin спектральный вес из `FUN_180530d30`
-  (`w[i] = log10(1/exp(...·exp(2000/f_bin))...)`), `L0` — уровень входа, `p≈0.085`.
- **Ключевые факты**:
-  - `gain ≈ 10^(sens/20)` (sens=12 → gain≈4.1);
-  - частотная селективность — НЕ notch самой маски, а резонанс в знаменателе:
-    врез глубже там, где `L0/res` больше (на центре полосы);
-  - «парадокс dual_b1q» (red@2000 > red@500 при низком Q) решён: это частотный
-    наклон `tilt(f)` (растёт с частотой), а не ширина резонанса;
-  - warp-ось `0x540748` = сигмоида `8.3 − 7/(1+exp((x·20000−120)·(−0.01)))`,
-    а НЕ `f/(f+K)`, как ошибочно предполагалось раньше.
+- **Честная (trimmed) метрика** — длина выхода = длина входа (не-тримнутые замеры
+  давали ложный сдвиг ~0.2 dB, исправлено в B.14). Базлайн для scalar-rp = 0.280 dB.
+- **Q-dependent rp** `rp(Q)=rp0·Q^drp` (rp0=0.0275, drp=0.2159) → **mean=0.175 dB**:
+  q0.1 и q10 почти идеальны, боттлнек q1@2000 (−0.71 dB).
+- **JOINT free-knot LUT** (8 узлов Pchip, G/W/A/rp0/drp) → **dual mean≈0.027 dB**,
+  q1@2000 закрыт до 0.000; остаток al_* lv24 dC=+0.10 (зона xv<−0.3).
+- **Декомп DSP-ядра в основном закрыт**: twin-резонатор, генератор case8, level-weight
+  (0x530d30 — численно НЕ create tilt, подтверждено при N=2048), LUT-кривая FUN_180563440
+  (linear/power-law по флагу), IIR-трекеры FUN_180563ce0, FFT-conv 0x535a70 —
+  всё размаплено, `.dis` в `handoff/nls_dasm/`.

-Подробная история, гипотезы и все промежуточные находки — в [`roadmap.md`](roadmap.md).
+```bash
+# Текущий канон (Q-dep rp, trimmed):
+python3 framed_render.py dual
+```

 ---

@@ -38,89 +38,74 @@
 ```
 re-tools/
 ├── README.md                 ← вы здесь
-├── roadmap.md                ← журнал всех результатов/гипотез (B.1…B.10)
-├── model_dual.py             ← КАНОНИЧЕСКАЯ верифицированная модель (B.10)
+├── roadmap.md                ← журнал всех результатов/гипотез (B.1…B.15)
+├── framed_render.py          ← КАНОНИЧЕСКИЙ frame-рендер (STFT+LUT+warp+res_power)
+├── render_parity.py          ← dB-parity харнесс (Goertzel steady-state замер)
+├── model_lut.py, model_dual.py ← исторические модели B.10/B.11 (collapse-фиты)
+├── model_fir.py              ← bridge-модель B.12 (C=g·LUT+w·warp^a)
+│
+├── handoff/                  ← перекидка между сессиями
+│   ├── SESSION_HANDOFF.md    ← инвентарь декомпа, трансляция, Phase-5 план
+│   ├── NOTES_TWIN.md         ← twin-резонатор + caller + grid
+│   ├── NOTES_LEVEL.md        ← level-path, LUT-нога, res_power протокол
+│   └── nls_dasm/             ← 120+ дизассемблей (f_563440, f_563ce0, f529fe0, twin…)
 │
 ├── dsp/                      ← реконструкция DSP-пайплайна на C++17
-│   ├── rotor_kernel.hpp      ← бит-точное ядро ротора (близнец детектора)
+│   ├── twin{.hpp,.cpp}       ← бит-точный twin-резонатор (FUN_180535880)
 │   ├── spectral.cpp/.hpp     ← WOLA/STFT-обработчик
 │   ├── detect.cpp/.hpp       ← детектор резонансов
 │   ├── filter.cpp/.hpp       ← биквад-фильтры
 │   ├── fft*.cpp, twiddle_*.cpp/hpp, phase_table.*  ← FFT-планы/твилдлы
 │   ├── ms.hpp                ← encode/decode mid/side
-│   ├── cody_waite.hpp        ← быстрый exp/log (Cody–Waite)
+│   ├── cody_waite.hpp        ← быстрый sin/cos (FUN_1801de760/1e3f20)
 │   ├── soothe_constants.hpp  ← константы из дампа
 │   ├── harness.cpp           ← CLI: input.wav → output.wav (24-bit)
 │   └── CMakeLists.txt
 │
 ├── *.java                    ← Ghidra-скрипты (analyzeHeadless, пост-скрипты)
-│   ├── ListFuns / DumpFuns / DumpList    ← списки функций/декомпиляция
-│   ├── DumpVtables / DumpDsp / DumpCandidates
-│   ├── ImportRtti, SearchRefs, Diag      ← RTTI/перекрёстные ссылки
-│   └── ...
-│
 ├── ghidra-proj/              ← Ghidra-проект (soothe2.gpr/.rep), вне git
 ├── soothe_mem.bin            ← дамп памяти плагина (frida), вне git
-├── regions/, regions_*       ← регионы памяти из дампа
-├── phase_table_1024.f64/.json← таблица фаз (FFT)
+├── rwin_{A0,A1,B0,C0}.npy, r_freqaxis.npy ← живые таблицы (48k) из runtime-снимков
 │
-├── Измерение и фиты полосы:
-│   ├── measure.py            ← анализ WAV: глубина вреза, attack/release тау
-│   ├── probe.py              ← спектральный анализ тонов
-│   ├── bandshape.py          ← эмпирическая форма полосы из рендеров
-│   ├── fit_bandshape.py      ← фит формы полосы
-│   ├── fit_curves.py         ← фит кривых (глубина/частота)
-│   ├── fit_maskaxis.py       ← brute-force подбор формулы маски (B.7/B.8)
-│   ├── model_dual.py         ← ВЕРИФИКАЦИЯ модели (dual_b1q + t1kq)
-│   └── notch.py              ← расчёт/проверка notch
-│
-│ ── Поведенческие симуляторы:
-│   ├── sim.py, sim_v5.py     ← STFT-детектор (эволюция гипотез о архитектуре)
-│   └── verify_sim.py
-│
-│ ── Инструменты REAPER-рендеров:
-│   ├── sweep.py              ← генерит .rpp с изменением параметров плагина
-│   ├── run_sweep.py, tt_sweep.py, run_verif*.py
-│   ├── patchparam.py         ← патчит PARAM в base64-блоке состояния
-│   └── addfx.lua             ← добавление soothe2 в проект
-│
-│ ── Живая трассировка (yabridge-host + Frida):
-│   ├── dump_soothe.py        ← дамп всей памяти плагина → soothe_mem.bin
-│   ├── rtall.py / rtscan.py / rtsig.py / rttbl.py / rtver.py
-│   ├── rtone.py / rtsig.py / rtwin.py / rtdeep*.py / rtdump*.py
-│   └── probe.py, procdump.py, ghidra_diag.py, mkbase.py
-│
-├── *.txt / *.log             ← декомпиляции, лямбли-дампы, xrefs (архив)
-├── summary.md, notes_giant_fft.md
-└── curve_fits.npz, depthcurve.npy, consts*.txt
+├── Измерение и фиты полосы: measure.py, probe.py, bandshape.py, fit_*.py,
+│   model_lut.py, notch.py
+├── Поведенческие симуляторы: sim.py, sim_v5.py, verify_sim.py
+├── Инструменты REAPER-рендеров: sweep.py, run_sweep.py, tt_sweep.py,
+│   patchparam.py, addfx.lua
+├── Живая трассировка (yabridge-host + Frida): dump_soothe.py, rtall/rtscan/
+│   rtsig/rttbl/rtver/rtone/rtwin/rtdeep*.py, probe.py, procdump.py
+└── summary.md, notes_giant_fft.md
 ```

 ### Тестовый корпус `/home/m/soothe-bt/` (вне git)

-~600 рендеров REAPER (`.rpp` + `.wav`), сгенерированы скриптами выше. Ключевые наборы:
+~600 рендеров REAPER (`.rpp` + `.wav`). Ключевые наборы:

 | Префикс | Что измеряет |
 |---------|-------------|
-| `burst500_b1` | основной эталон: burst 500 Гц, band1 fc=500 mode=1 sens=12 depth=0.864 |
-| `dual_b1q_*`  | 2 тона (500+2000), q полосы 0.1…10 → **парадокс red2000>red500** |
-| `t1kq_only1_*`| 1 тон 1 кГц, fc-скан → форма полосы (rmse 0.047) |
-| `t1k_b1f_*`, `t1kq_b1f_*` | fc-сканы, другие q/сенс |
-| `tone1k`, `tone1kq`, `dual`, `n5_b1q_*`, `b2*`, `al_*` | уровни/частоты/сенсы |
-
-Входы: `dual.wav` (500+2000 Гц, −7.1 dBFS), `tone1k.wav` (0 dBFS), `tone1kq.wav` (−18 dBFS).
+| `dual_b1q_*` | 2 тона (500+2000), q 0.1…10 → **парадокс red2000>red500** (решён: аддитивный warp) |
+| `al_*` | уровневой свип (fc=1000) → прямое измерение LUT-кривой |
+| `t1kq_*`, `t1k_*` | 1 тон, fc-скан, уровни −18/0 dBFS → форма полосы |
+| `burst500_b1` | основной эталон: burst 500 Гц, band1 fc=500 mode=1 sens=12 |
+| `tone1k`, `tone1kq`, `dual` | входные тоны (0 / −18 / −7.1 dBFS) |

 ---

-## Модель (B.10) в двух строках
+## Модель в трёх строках

 ```python
-red(f) = -20*log10(1 - C(f))
-C(f)   = depth * tilt(f) * D0 * (L0 / res(f))**p
-# res(f) = |2B/A|(f; fc, Q, gain) — case8, tilt(f) = 1 - w(f) — веса 0x530d30
-# p ≈ 0.085, gain ≈ 10**(sens/20), tilt ratio(2000/500) ≈ 1.27
+# per-frame, per-bin (framed_render.py — канон)
+xv   = log10(A_k / res_k)              # A_k = 2|X_k|/wsum (twin-env), res = |2B/A| case8
+C    = G * LUT(xv) + W * warp(f_k)**A  # additive mask (НЕ мультипликация warp·LUT)
+gain = max(1 - C, eps) * res_k**rp     # rp = rp0 * Q**drp  (res_power)
 ```

-Проверить: `python3 model_dual.py` (31 точка, rmse 0.109 dB).
+- LUT — Pchip, узлы из joint-фита (dual+al_*) **или** свободные 8 узлов (B.15 → mean 0.027);
+- warp — эмпирический `0.87·7.942·x/(7.942+x)`, x=f/2000 (аппроксимация runtime-вычисления FUN_180563440);
+- rp(Q)=0.0275·Q^0.2159 (Q-dep rp, B.14);
+- B.15: G/W/A/rp0/drp = 0.9752/0.3394/1.0222/0.0254/0.2231; LUT KX=[−0.8..1.0].
+
+Проверить: `python3 framed_render.py dual` (mean 0.175 для Q-dep rp).

 ---

@@ -132,16 +117,17 @@ C(f)   = depth * tilt(f) * D0 * (L0 / res(f))**p
   -noanalysis -postScript <X>.java` (image_base=0, блок `ram`=[0x180000000,…],
   адреса = RVA; смещение в файле = VA−0x180000000).
 3. **Рендеры**: `sweep.py` генерит `.rpp`, `reaper -renderproject` выдаёт `.wav`.
-4. **Анализ**: `measure.py fx.wav dry.wav --fc 500` → глубина/тау;
-   `bandshape.py` → форма полосы; `model_dual.py` → верификация модели.
+4. **Анализ**: `render_parity.py` / `framed_render.py` сравнивают модель с реальными
+   рендерами (steady-state tone-замер, тримнутая метрика).

 ---

 ## Чего не хватает / следующие шаги

- Бит-точная сверка рендера: собрать `dsp/harness.cpp`, прогнать `burst500_b1.wav`
-  и сверить байт-в-байт (сейчас модель — численная, а не побайтовая).
- Семантика IAT-хелперов `0x181a14xxx` (exp/log/pow) и AVX-ядер (`FUN_18001a5a0`
-  и др.) — целевые адреса вне дампа.
- Точная функция LUT `level→mask` (кривая `param_1+0x188`) вместо аппроксимации `^p`.
- Полный конвейер WOLA/oversample (offline 3×) и sidechain/стерео-путь.
+- **Структурная LUT FUN_180563440** вместо Pchip: закрыть остаток al_* lv24 (dC≈+0.10,
+  зона xv<−0.3) и q1@500 (+0.06).
+- **Бит-точная сверка**: собрать `dsp/harness.cpp`, прогнать `burst500_b1.wav`
+  и сверить байт-в-байт (сейчас модель — численная, rmse 0.03–0.18 dB).
+- C++ порт res_power + Q-dep rp + свободных LUT-узлов (тривиально: `gain *= pow(res, rp0·Q^drp)`).
+- Семантика IAT-хелперов `0x181a14xxx` (exp/log/pow) и AVX-ядер — целевые адреса вне дампа.
+- Полный конвейер WOLA/oversample (offline 3×) и sidechain/стерео-путь.