V. Human-in-the-Loop Workflow

Section นี้อธิบายกระบวนการ human review ที่รับประกันการควบคุมคุณภาพเหนือ ontology evolution

5.1 Review Action

เมื่อตรวจสอบ proposal มนุษย์มีสี่ตัวเลือก:

Approve — ยอมรับ proposal ตามที่เป็นสำหรับ application
Reject — ปฏิเสธพร้อม feedback
Modify — แก้ไขแล้วจึง approve
Defer — เลื่อนออกไป รอข้อมูลเพิ่มเติม

แต่ละ action เลื่อน proposal ผ่าน lifecycle ของมัน:

Proposal Lifecycle — Fig. 6. Proposal state transition

5.2 Review Interface

Interface นำเสนอ proposal พร้อม context ที่เกี่ยวข้องทั้งหมด:

ส่วนข้อมูล

Summary — คำอธิบายภาษาธรรมดา
Schema changes — การแก้ไขโดยละเอียด
Data enrichment — Instance ที่จะ insert
Source — Provenance ของเอกสาร
Validation — ผลการตรวจสอบ duplicate

5.3 Feedback Capture

เมื่อ reject ผู้ตรวจสอบให้ structured feedback:

Duplicate — "เหมือนกับ PARTNERS_WITH"
Unnecessary — "Edge case ไม่คุ้มที่จะเพิ่ม"
Incorrect — "OPEC ไม่ใช่ REGION"
Incomplete — "ต้องการ inverse relationship"
Out of scope — "เราไม่ model บุคคล"

Feedback นี้สามารถแจ้งการสร้าง proposal ในอนาคต

5.4 Batch Processing

มนุษย์ไม่ได้พร้อมเสมอ Proposal สะสมระหว่าง review session ระบบรองรับ batch workflow:

มนุษย์เปิด review session
ระบบนำเสนอ queue ที่เรียงตาม priority
มนุษย์ตรวจสอบ proposal ทีละอัน
Proposal ที่ approved รวมเป็น batch
มนุษย์ยืนยัน batch application
ระบบ apply การเปลี่ยนแปลงแบบ atomic

Priority Queue

Proposal ถูกเรียงตาม priority score ตาม:

Confidence level
Gap frequency (พบบ่อยแค่ไหน)
Pending data ที่รอการเปลี่ยนแปลงนี้
เวลาใน queue

Proposal ที่ high-impact, high-confidence จะปรากฏก่อน

5.5 Application Protocol

Proposal ที่ approved ถูก apply แบบ atomic:

Begin transaction
Apply schema change ไปยัง meta-schema
Insert enrichment data
Commit transaction
Update proposal status
Update embedding index
Reprocess pending extraction

หาก step ใดล้มเหลว transaction ทั้งหมดจะ rollback

Pending Data Reprocessing

เอกสารที่รอ schema change จะถูก reprocess โดยอัตโนมัติหลัง approval:

Before PROP-042 approved:
  Doc A: "Qatar joined OPEC" -> PENDING
  Doc B: "UAE is OPEC member" -> PENDING

After PROP-042 approved:
  Reprocess Doc A -> Extract successfully
  Reprocess Doc B -> Extract successfully

5.6 Discussion Support

Proposal ที่ซับซ้อนอาจต้องการคำชี้แจง ระบบรองรับ discussion thread ระหว่างมนุษย์และ AI:

[Human]: Why ORGANIZATION, not extending REGION?

[AI]: ORGANIZATION differs from REGION:
  - Membership is voluntary
  - Not geographically contiguous
  - Has organizational structure
  Different relationship semantics.

[Human]: What about subtypes?

[AI]: Recommend org_type property for now.
  Can evolve to subtypes if needed.

[Human]: Approved with org_type property.

5.7 Cognitive Load

ระบบลดภาระของผู้ตรวจสอบผ่าน:

Priority ordering — Proposal สำคัญก่อน
Pre-validation — Duplicate ที่ชัดเจนถูกกรอง
Clear presentation — Format ที่มีโครงสร้าง scan ได้
Context provision — Source doc ถูก link
AI recommendation — Suggested action เมื่อเหมาะสม

เป้าหมายคือ review session ที่มีประสิทธิภาพที่มนุษย์มุ่งเน้นการตัดสินใจ ไม่ใช่การรวบรวมข้อมูล