AutoML & Self-Improvement

TÓM TẮT

AutoML system gồm 2 components: ImprovementOrchestrator (state machine 8 states) và SelfImprover (LLM-driven suggestions). Tự động huấn luyện lại, backtest, và rollback nếu kết quả xấu hơn.

Kiến trúc

ImprovementOrchestrator

File: automl/orchestrator.py (~379 dòng)

State	Hành động
PROFILING	DataProfiler phân tích data structure, patterns
BACKTEST	BacktestEngine chạy baseline wMAPE
ANALYZE	Extract error patterns (by SKU type, event tier, DOW)
SUGGEST	LLM generate hyperparameter + feature suggestions
APPLY	Mutate Config.CLF_PARAMS / Config.REG_PARAMS in-memory
RETRAIN	Re-run backtest với params mới
VERIFY	So sánh before/after MAPE → keep hoặc rollback
COMPLETE	Persist final metrics + step_log

SelfImprover — 5 LLM Tasks

File: automl/self_improver.py (~658 dòng)

Task	LLM Prompt	Output
analyze_errors()	Root cause diagnosis	Error analysis report
suggest_hyperparameters()	CLF/REG params	Parameter changes
suggest_features()	Feature engineering	Feature additions/removals
discover_events()	Find new events from residuals	New event dates + weights
analyze_cross_audit()	Level trust analysis	Order vs SKU level insights

Convergence & Rollback

Rule	Giá trị
Max iterations	5 (configurable)
Convergence	< 0.5% improvement cho 3 iterations liên tiếp
Rollback trigger	MAPE xấu hơn > 5%
Persistence	Tất cả states + suggestions + metrics → Supabase

BUGS ĐÃ BIẾT

• BUG-05: _rollback() silent failure khi suggestion_id không tìm thấy
• IMP-01: Config mutation không thread-safe
• IMP-04: Không có rate limiting cho LLM calls

Xem Bugs đã biết và Cải tiến đề xuất.

Tài liệu liên quan

• ML Engine — Tổng quan
• Backtester — Walk-forward validation
• Luồng dữ liệu — Sequence diagram AutoML