perf: reduce index count on ahb_hierarchy_materialized (~130 indexes)

[hf-mrdachner]

Problem

Die materialized view ahb_hierarchy_materialized hat ~130 Indizes. Das bläht die SQLite DB auf 740 MB für 4 Formatversionen (309k Zeilen Daten, aber der Großteil des Platzes geht für Indizes drauf). Komprimiert sind es ~56 MB als 7z.

Warum das ein Problem ist

Für das Intra-FV-Diff Feature in mcp-bdew-mako (Hochfrequenz/mcp-bdew-mako#56) wollen wir historische DB-Snapshots speichern (einen pro BDEW-Veröffentlichung). Bei 740 MB pro Snapshot ist das nicht wirtschaftlich auf Azure File Share.

Auch ahb-tabellen.de nutzt die gleiche DB — beide Services würden von kleineren DBs profitieren.

Vorschlag

Review welche der ~130 Indizes tatsächlich für Query-Performance gebraucht werden und die restlichen entfernen. Die meisten idx_hierarchy_* Indizes dürften für den typischen Lesezugriff (Suche nach pruefidentifikator, format_version, format) nicht nötig sein.

Kontext

Aufgefallen bei der Analyse für Hochfrequenz/mcp-bdew-mako#56 (Intra-FV Änderungen nach Datum abfragen).

[hf-kklein]

Auch ahb-tabellen.de nutzt die gleiche DB — beide Services würden von kleineren DBs profitieren.

Dort verwenden wir tatsächlich die komprimierte 7z in ahbtabellen und entpacken zur Laufzeit (und wir tracken die 60mb binary in git😵‍💫)

Die meisten idx_hierarchy_* Indizes dürften für den typischen Lesezugriff (Suche nach pruefidentifikator, format_version, format) nicht nötig sein.

Es geht auch um die Vergleichbarkeit zwischen verschiedenen AHBs und Versionen. Daher ist glaube ich echt vieles wirklich nötig oder beim lesen/suchen hilfreich

[hf-kklein]

Welche Indizes würdest du konkret gerne droppen?

Ich dachte halt tatsächlich, die seien alle dafür da, dass man nach allem suchen kann was man so braucht. Und weil es in der Praxis eine write once, then readonly DB ist, war das bisher egal.

[hf-kklein]

ah, ich hab die lösung für @hf-mrdachner sein claude ;)
nimm die CI-pipeline von xml-migs-and-ahbs in richtung ahbicht-functions:

Da laden wir uns erste die ganze, große DB und droppen dann bevor wir weitermachen alles was wir nicht brauchen raus, konkret hier:

https://github.com/Hochfrequenz/xml-migs-and-ahbs/blob/0554e949962af6c53f3cc22d5c3133b32476ea94/.github/workflows/update_ahbicht_functions.yml#L133-L149

diese kopiervorlage (ohne konkret auf das droppen einzugehen) hatte ich ja schon hier erwähnt: https://github.com/Hochfrequenz/xml-migs-and-ahbs/pull/89#issuecomment-4179006530