Event-Driven Representation Learning in Sparse Financial Time Series

A Macro-Contextual Conceptual Framework and Methodology

Niran Pravithana

V. Regime-Conditioned Analysis & Post-Training Diagnostics

Section นี้ไม่ใช่ขั้นตอน training แต่เป็นส่วนสำคัญของ กระบวนการวิจัย ซึ่งตอบคำถามหลักของงานว่า

หลังจากฝึกโมเดลด้วยข้อมูลทุกยุคแล้ว รูปแบบ (pattern) ที่โมเดลเรียนรู้ มี "ความสัมพันธ์เชิงลำดับเหตุการณ์กับ outcome" จริงหรือไม่ และรูปแบบนั้น คงอยู่ข้ามยุค หรือ เฉพาะบางยุค?

ด้วยเหตุนี้ Section นี้จึงทำหน้าที่:

  • นิยามวิธีตรวจสอบ representation หลังการฝึก
  • วิเคราะห์แพตเทิร์นในระดับ ลำดับเหตุการณ์, ฟีเจอร์, macro context
  • ทดสอบความเสถียรของ pattern ตามช่วงเวลา
  • แยกสัญญาณจริงออกจาก noise หรือ overfitting

5.1 Regime Partition & Era-Specific Evaluation Framework

ให้ชุดช่วงเวลาที่แบ่งตามยุคตลาด (macro regime)

$$\mathcal{R} = \{R_1, R_2, \dots, R_L\}$$

โดยแต่ละ $R_\ell$ เป็นช่วงเวลาไม่ทับซ้อนกัน

$$R_i \cap R_j = \varnothing, \quad i \ne j$$

และครอบคลุมช่วงข้อมูล

$$\bigcup_{\ell=1}^L R_\ell = [T_{start}, T_{end}]$$

หลังฝึกโมเดลแล้ว เราประเมินการกระทำของโมเดลแยกตามยุค

ให้ representation ระดับลำดับของสินทรัพย์ $a$ ณ เวลา $t$

$$u_t^a = F_{\Theta}(\tilde{\mathcal{S}}^a_{(-\infty,t)})$$

ให้ชุดเหตุการณ์ที่อยู่ในยุค $R_\ell$

$$\mathcal{D}_{R_\ell} = \{(u_t^a, y_t^a) \mid t \in R_\ell\}$$

เราคำนวณ performance function

$$\Pi(R_\ell) = \mathbb{E}_{(a,t)\in\mathcal{D}_{R_\ell}} \Big[ \mathcal{M}(y_t^a,\hat{p}_t^a) \Big]$$

โดย $\mathcal{M}$ อาจเป็น

  • AUROC
  • Brier score
  • log-loss เฉพาะเหตุการณ์หายาก
  • or outcome-conditional metric

ความคิดหลักคือ เราไม่ได้วัด "ความแม่นยำทั่วตลาด" แต่ดูว่าพฤติกรรม pattern เสถียรหรือเปลี่ยนไปตามยุคตลาด

5.2 Cross-Era Stability of Learned Patterns

เพื่อทดสอบว่า pattern ใด "เป็นสากลข้ามยุค" เรานิยามการฉาย representation ไปสู่ latent subspace

ให้ projection function

$$z_t^a = W_r u_t^a$$

เราวิเคราะห์การกระจายของ representation ระหว่างยุคต่าง ๆ

เช่น วัด distributional distance

$$D(R_i, R_j) = \text{MMD} \Big( \{z_t^a \mid t\in R_i\}, \{z_t^a \mid t\in R_j\} \Big)$$

หรือ KL-divergence เชิง density estimation

ความหมายเชิงวิจัย:

  • ถ้า $D$ ต่ำ → pattern representation "คงตัวข้ามยุค"
  • ถ้า $D$ สูง → pattern นั้น "ขึ้นกับ regime อย่างเฉพาะเจาะจง"

กรณีหลังมีความหมายว่า pattern ที่ดูมีนัยในบางช่วง อาจเป็นผลของโครงสร้างตลาดเฉพาะยุค ไม่ใช่รูปแบบเชิงสากล

5.3 Event-Level Attribution via Attention-Weight Analysis

จาก Section 3 ให้ attention weight ระหว่าง event $i$ และ $j$

$$\alpha_{ij} = \text{softmax}\left( \frac{q_i k_j^\top}{\sqrt{d}} \right)$$

เรานิยาม event saliency score

$$s_i = \sum_j \alpha_{ij}$$

และเฉลี่ยตามยุค

$$S(x, R_\ell) = \mathbb{E} \big[ s_i \mid x_i = x, t_i \in R_\ell \big]$$

ความหมาย: วัดว่า เหตุการณ์ชนิด $x$ มีบทบาทต่อ pattern แค่ไหนในแต่ละยุค

ทำให้สามารถตรวจสอบได้ว่า

  • ฟีเจอร์บางตัวสำคัญเฉพาะ QE regime
  • บางตัวสำคัญเฉพาะ crisis regime
  • หรือบางตัวสำคัญสม่ำเสมอทุกยุค

ซึ่งช่วยตอบโจทย์เชิงสมมุติฐาน pattern accumulation มีลักษณะ context-dependent หรือไม่

5.4 Macro-Token Interaction Analysis

เพื่อดูว่าฟีเจอร์ micro-event กำลัง "ทำงานภายใต้ macro context ใด"

เรานิยาม conditional attention weight

$$\alpha_{ij}^{(macro)} \quad\text{เฉพาะกรณี } x_j\in\mathcal{X}_{macro}$$

และนิยาม context-coupling score

$$C(x, m) = \mathbb{E} \big[ \alpha_{ij}^{(macro)} \mid x_i = x, x_j = m \big]$$

ความหมาย: วัดระดับที่ "เหตุการณ์ฟีเจอร์ $x$" เชื่อมโยงกับ macro event $m$

ตัวอย่างการตีความ:

  • Feature-A มี coupling สูงกับ QE-START
  • แต่ coupling ต่ำมากกับ QT-PHASE
  • แปลว่า pattern เดียวกัน อาจ "ทำงาน" ภายใต้ QE แต่ "ไร้ความหมาย" ภายใต้ QT

นี่คือการตรวจสอบเชิงสาเหตุเชิงบริบท (contextual causality-like behavior) โดยไม่อ้าง causal claim โดยตรง

5.5 Outcome-Conditional Pattern Profiling

เพื่อดูว่าลำดับเหตุการณ์ชนิดใด ปรากฏก่อน outcome บางแบบบ่อยเป็นพิเศษ

เรานิยาม neighborhood representation

$$\mathcal{N}_k = \{u_t^a \mid y_t^a = k\}$$

และเรียนรู้ centroid

$$\mu_k = \frac{1}{|\mathcal{N}_k|} \sum_{(a,t)\in\mathcal{N}_k} u_t^a$$

พร้อมวัด similarity

$$d(u_t^a, \mu_k)$$

ถ้า representation ก่อนเหตุการณ์ "ขาขึ้น" มีการรวมกลุ่มแน่น (low intra-cluster variance) ในบางยุค

แปลว่า มีรูปแบบเชิงลำดับที่ปรากฏซ้ำก่อนผลลัพธ์แบบนั้น

แต่หาก variance สูงมาก → ไม่มี evidence ว่ามี pattern ที่เสถียร

5.6 Per-Era Counterfactual-Style Consistency Check

เราต้องแยกกรณี

  • "โมเดลเก่งเฉพาะยุคนั้นเพราะ overfit"
  • vs "pattern จริง ๆ ทำงานเฉพาะยุคนั้น"

จึงสร้าง cross-era evaluation

ให้ representation จากยุค $R_i$

$$u^{(i)}_t$$

และทดสอบบน distribution ของยุค $R_j$ โดยตรึงพารามิเตอร์โมเดล

$$\Pi(R_j \mid R_i)$$

ความหมาย: ถ้า pattern จากยุค $R_i$ ล้มเหลว ในยุค $R_j$ → บ่งชี้ว่า pattern เป็น regime-local phenomenon

ซึ่งสอดคล้องสมมุติฐานว่า บาง pattern อาจเกิดจากภาวะตลาดที่ไม่ยั่งยืน

5.7 Noise-Hypothesis Baseline Tests

เพื่อคัดกรอง pattern เทียม เราทำ baseline ต่อไปนี้:

(1) Sequence Shuffle Test

สับตำแหน่งเหตุการณ์

$$\tilde{\mathcal{S}}^a_{\text{shuffle}}$$

ถ้า performance แทบไม่ลดลง → แปลว่าโมเดลไม่ได้ใช้ "ลำดับเหตุการณ์จริง" = pattern ไม่จริงเชิงโครงสร้าง

(2) Macro-Masking Test

ลบ macro tokens ชั่วคราว

$$\tilde{\mathcal{S}}^a_{\neg macro}$$

แล้ววัด

$$\Delta\Pi = \Pi_{\text{full}} - \Pi_{\neg macro}$$

ถ้า $\Delta\Pi \approx 0$ → macro context ไม่ได้มีส่วนร่วมจริง

(3) Random Feature Injection Test

สุ่มเหตุการณ์เทียม

$$z_i^{rand}$$

แล้วตรวจว่าถูกตีความเป็น pattern หรือไม่

ถ้าใช่ → โมเดล over-sensitive ต่อ noise

5.8 Interpretability for Engineering Integration

ทีมวิจัย/วิศวกรสามารถสกัดผลลัพธ์ในรูป:

  • per-era attention heatmap
  • feature-saliency timeline
  • macro-interaction graph
  • regime-cluster trajectories

ผลเหล่านี้ช่วย

  • ใช้เป็นข้อมูลต่อยอด feature engineering
  • วางกรอบ hypothesis ใหม่ในเฟสถัดไป
  • ตรวจสอบความสมเหตุสมผลก่อนนำไปใช้จริง

5.9 หลักการสรุปผลเชิงวิจัย (Research Interpretation Protocol)

ผลลัพธ์จะถือว่ามี คุณค่าทางวิจัย หาก

  1. มี pattern ที่สัมพันธ์กับ outcome อย่างมีนัย
  2. pattern นั้น คงตัวบางส่วนข้ามยุค หรือ แสดงความสัมพันธ์เฉพาะยุคอย่างสอดคล้องกับ macro logic
  3. ไม่เกิดเฉพาะกรณี noise baseline
  4. ไม่ขึ้นกับ feature เดี่ยว แต่เกิดจาก ลำดับเหตุการณ์ร่วม

กล่าวอีกแบบ: งานนี้ไม่ได้พยายามพิสูจน์ว่า "ทำนายราคาได้" แต่พิสูจน์ว่า โครงสร้างเชิงเหตุการณ์ของตลาด มีความสัมพันธ์เชิงสถิติที่ไม่ใช่สุ่ม

5.10 จุดเชื่อมไป Section ถัดไป

Section นี้สรุป วิธี "อ่านค่าความหมาย" จากโมเดลหลังการฝึก ใน Section ถัดไปเราจะไปสู่: Experimental Design, Dataset Construction & Reproducibility Framework

ซึ่งจะอธิบาย

  • วิธีเตรียมข้อมูลเชิงระบบ
  • วิธีออกแบบ experiment ให้ตรวจสอบได้
  • มาตรฐาน reproducibility สำหรับงานนี้