Analiz tamamlandıProject / 11

Yarışma vakası · Panel zaman serisi tahmini

GridUp Datathon

İzmir ve Manisa’daki 7.036 dağıtım trafosunun günlük tüketimini dört ay ileriye tahmin eden, otuz bir turluk bir yarışma çalışması. Public leaderboard sonucu 1.02974 RMSLE ve 77. sıra.

Kaynak kodu incele Metodolojiye git

GridUp Datathon public leaderboard skor ilerlemesi — ANA GÖRSELÇizgi yalnız kabul edilen sürümleri birleştirir. V13 çizginin dışındadır: gönderildi, geri gitti, çapa olarak alınmadı.

011.02974

Public leaderboard RMSLE

V31 ensemble ile yapılan final gönderim

0277

Public sıralama

Gönderim anındaki public leaderboard sırası

031.94M

Toplam gözlem

1.226.237 eğitim ve 714.688 test satırı

0428.8%

Cold-start seri

7.036 test serisinin 2.024’ü eğitimde hiç yok

ARAŞTIRMA ÇERÇEVESİ

Asıl mesele daha büyük bir model değil, hangi denemenin kabul edileceğine karar veren kuraldı: her sürüm ancak eldeki çapayı geçtiğini bootstrap ve segment kontrolleriyle gösterdiğinde gönderildi.

Veri kaynağı: GridUp Datathon · yarışma verisi, paylaşılamaz
İncelenen dönem: 2025-01 — 2026-07

01 / YÖNTEM

Yöntem ve deney tasarımı

Eğitim verisi 2025-01-01 ile 2026-03-31 arasını, test ise 2026-04-01 ile 2026-07-31 arasını kapsıyor. Yani doğrulama tasarımının tek bir günü bile geleceğe bakmamalıydı; rastgele bölme bu panelde ölçümü olduğundan iyi gösterir.

Paneli tanımak

5.344 seri kadansına göre sınıflandırıldı: 4.125 günlük, 668 çoğunlukla günlük, 539 yetersiz geçmiş, 10 düzensiz. 92 seri kadans değiştiriyor ve 298 seri baştan sona sıfır; bunların 234’ü test döneminde de var.

Özellik ailesi omurgası

Özellikler aileler hâlinde kuruldu ve kapsama oranlarıyla birlikte izlendi: identity 9, calendar 24, history 45, seasonal 14, zero_positive 30, peer_hierarchy 62, schedule 4, weather 50, static_spatial 11. Geçmişe dayalı aileler doğal olarak eksik kalıyor; kapsama, hangi ailenin cold-start satırlarda işe yaramayacağını önceden söylüyor.

Sürüm turnuvası ve kabul kapısı

Her yeni sürüm, eldeki çapaya karşı iki ayrı dönemde (seçim ve denetim) ölçüldü. Kabul için bootstrap dağılımının ve segment bazlı hasarın birlikte olumlu olması gerekiyordu; sıcak, seyrek ve soğuk segmentlerden herhangi biri bozulursa aday reddediliyordu.

Dış veri denemesi ve geri alınması

V11’de dört dış aile eklendi: api_agri_weather 24, api_market_macro 14, regional_consumption_mix 5, domain_proxy 16. Kazanç kabul kapısını geçmedi ve V12 dokuz aileli omurgaya geri döndü. Ayrıca 233 özelliklik tam set, 123 özelliklik yalın sete karşı ölçüldü: yalın set 1.0982, tam set 1.0996 CV verdi.

Nöral hard-shot’lar

Ağaç tabanlı çapa doyduktan sonra iki bağımsız nöral düzeltme denendi: V29 kimlik gömmeleriyle, V30 latent Fourier bileşenli DeepFM ile. İkisi de tek başına değil, V28 çapasına göre fark üreten birer düzeltme olarak tutuldu.

V31 ensemble

Final gönderim log uzayında V31 = V28 + 0,40 × (V29 − V28) + 0,60 × (V30 − V28) olarak hesaplanıyor. Düzeltmeler [−2, 2] aralığında kırpılıp expm1 ile tüketim ölçeğine dönüyor; ağırlıklar sabit, veriye göre yeniden ayarlanmıyor.

02 / BULGULAR

İstatistiksel bulgular

Aşağıdaki dört bulgu, modelleme kararlarını belirleyen ölçümlerden çıktı.

01 / Rejim kırılması7.3% → 2.2%

Sıfır oranı Haziran 2025’te bir günde düştü

Gözlenen satırlardaki sıfır oranı 2025 Haziran’ında yaklaşık %7,3’ten %2,2’ye indi, sonra 2026 Mart’ına kadar kademeli olarak %4,7 civarına döndü. Bu bir mevsimsellik değil; ölçüm ya da kayıt davranışındaki bir değişim. Tek bir doğrulama penceresi seçmek, hangi tarafta durduğunuza göre farklı bir model seçtirir.

02 / Cold-start2,024

Test serilerinin %28,8’i eğitimde hiç görülmedi

5.012 seri her iki dönemde de var, 332 seri yalnız eğitimde, 2.024 seri yalnız testte. Geçmişe dayalı özellikler bu satırlarda tanımsız kaldığı için skorun büyük kısmı, geçmişi olmayan trafolarda ne yapıldığıyla belirleniyor. peer_hierarchy ailesinin test kapsamının (%92,3) eğitim kapsamından (%73,5) yüksek olması tam olarak bu yüzden.

03 / Özellik seçimi123 < 233

Yalın omurga tam omurgayı geçti, ama soğuk segmentte değil

123 özelliklik yalın set genelde 1.0982, 233 özelliklik tam set 1.0996 CV verdi. Fark küçük ama yön nettir. Aynı ölçümde soğuk segment tersini söylüyor: yalın sette 2.9667, tam sette 2.8316. Yani özellik kısmak toplamda iyi, geçmişi olmayan seriler için kötü.

04 / Kabul kapısı1.09655

V13 reddedildi ve çapa korundu

V13 hibrit uzman denemesi leaderboard’da 1.04977’den 1.09655’e geriledi. Kabul kuralı olmasaydı bu sürüm “yeni en iyi” diye taşınabilirdi; kural sayesinde V12 çapası korundu ve turnuva oradan devam etti. Skor grafiğinde V13’ün çizgi üzerinde değil, çizginin dışında durmasının sebebi budur.

03 / KARŞILAŞTIRMA

Model karşılaştırması

Gönderilen her sürümün public leaderboard RMSLE değeri ve kabul kararı.

Gönderilen her sürümün public leaderboard RMSLE değeri ve kabul kararı.
Sürüm	Public RMSLE	Karar
V6	1.09742	İlk çapa
V10	1.06016	Temiz sayfa özellik omurgası
V12	1.04977	Çok tohumlu sağlamlık
V13	1.09655	Reddedildi — çapa korundu
V15	1.04292	Yalın yapısal set
V20	1.04083	Daha güvenli karışım oranı
V24	1.03522	Kimlik hiyerarşisi karışımı
V27	1.03404	Güvenlik ölçekli meta yönlendirici
V28	1.03340	Global merkezleme
V31	1.02974	Final ensemble — 77. sıra

04 / GÖRSEL ANALİZ

Analiz görselleri

08 DOĞRULANMIŞ ÇIKTI

Doğrulama döneminde hesaplanan TreeSHAP dağılım grafiği — GÖRSEL 02Kilitli holdout üzerinde 50.000 satırlık TreeSHAP. roll_mean_7 tek başına ölçeğin tamamını kaplıyor: son yedi gözlemin ortalaması düşükse tahmin −6’ya kadar iniyor. days_since_positive’de kırmızı noktaların (uzun sessizlik) sola toplanması, modelin “bir süredir pozitif okuma yok” bilgisini doğrudan düşük tüketime çevirdiğini gösteriyor.

Özellik ailelerine göre ortalama mutlak SHAP değerleri — GÖRSEL 03Ortalama |SHAP| ölçeği acımasız: roll_mean_7 1,4218 iken ikinci sıradaki lag_7 0,1291’de kalıyor. Hava aileleri görünür ama küçük (temperature_2m_mean 0,0247). Bu tablo, geçmişi olan seriler için neden kolay, olmayanlar için neden zor olduğunu tek başına anlatıyor.

Seri başına gözlem sayısı dağılımı — GÖRSEL 04Dağılım iki uçlu: yaklaşık 1.475 seri dönemi baştan sona kaydediyor, 545 seri onun altında bir avuç gözlemle kalıyor. Medyan 170. Ortalama bir seri diye bir şey yok; model iki farklı rejimle aynı anda başa çıkmak zorunda.

Gözlenen satırlarda tarihe göre sıfır oranı — GÖRSEL 05Haziran 2025’teki düşüş kademeli değil, dikey. Öncesinde %7,3 bandında yatay seyreden sıfır oranı bir günde %2,2’ye iniyor ve ardından 2026 Mart’ına kadar yavaşça yükseliyor. Doğrulama penceresini bu kırılmanın hangi tarafına koyduğunuz, seçtiğiniz modeli değiştirir.

Serilerin kadans türüne göre dağılımı — GÖRSEL 06Symlog ölçekte: 4.125 günlük, 668 çoğunlukla günlük, 539 yetersiz geçmiş, 10 düzensiz, birer tane aylık ve seyrek seri. Haftalık ve iki haftalık kova boş; bu panel gerçek bir karışık frekans problemi değil, günlük bir panelin kenarındaki uzun kuyruk.

Kadans türüne göre sıfır oranı — GÖRSEL 07Günlük serilerde sıfır oranı %4,8, çoğunlukla günlük olanlarda %3,9, yetersiz geçmişi olanlarda %13,0. Tek aylık seri baştan sona sıfır (%100). Kadans yalnız bir veri kalitesi etiketi değil, sıfır riskinin göstergesi.

İlçelere göre sıfır tüketim oranı — GÖRSEL 0847 ilçe arasında sıfır oranı İzmir Bayındır’da %13,7 iken Balçova ve Gölmarmara’da neredeyse sıfır. Yedi katlık bu fark, komşuluk (peer_hierarchy) özelliklerinin neden geçmişi olmayan trafolarda tek gerçek dayanak olduğunu gösteriyor.

05 / KAPSAM

Kapsam ve sınırlamalar

Tablodaki bütün skorlar public leaderboard’dan; private sonuç bu çalışmada bilinmiyor ve sıralama gönderim anına aittir.
SHAP grafikleri yarışmayı kazanan V31 ensemble’ını değil, aynı veriden kurulmuş kompakt bir LightGBM modelini açıklıyor. 29 özellikle, 2025-12-01 – 2026-03-31 holdout’unda 0,29715 RMSLE veriyor.
Bu 0,29715 ile leaderboard’daki 1.02974 karşılaştırılamaz: açıklanabilirlik modeli geçmişi olan serilerde ölçülüyor, yarışma skoru ise ağırlıklı olarak geçmişi olmayan serilerde belirleniyor.
Yarışma veri seti paylaşılamadığı için depoda yalnız kod ve türetilmiş grafikler var. Grafikleri yeniden üretmek `GRIDUP_DATA_DIR` altında verinin yerel bir kopyasını gerektirir.
Hava ve takvim özellikleri dışarıdan çekilmiş bir cache’e dayanıyor. Bu cache olmadan ilgili aileler düşer ve sonuçlar birebir tekrarlanamaz.

Araştırma sonucu

GridUp’ın öğrettiği şey model seçimi değil, kabul kuralıydı. Otuz bir turun sonunda skoru 1.09742’den 1.02974’e taşıyan, tek bir parlak fikir değil; geri giden bir denemeyi (V13) taşımayı reddeden ve dış veri kazancı kanıtlanmadığında onu geri alan bir disiplin.

Kaynak kodu incele

Sonraki proje

LLM Multi-Agent Retail Optimization

Sürüm

Public RMSLE

Karar

1.09742

İlk çapa

V10

1.06016

Temiz sayfa özellik omurgası

V12

1.04977

Çok tohumlu sağlamlık

V13

1.09655

Reddedildi — çapa korundu

V15

1.04292

Yalın yapısal set

V20

1.04083

Daha güvenli karışım oranı

V24

1.03522

Kimlik hiyerarşisi karışımı

V27

1.03404

Güvenlik ölçekli meta yönlendirici

V28

1.03340

Global merkezleme

V31

1.02974

Final ensemble — 77. sıra

Kapsam ve sınırlamalar

Tablodaki bütün skorlar public leaderboard’dan; private sonuç bu çalışmada bilinmiyor ve sıralama gönderim anına aittir.

SHAP grafikleri yarışmayı kazanan V31 ensemble’ını değil, aynı veriden kurulmuş kompakt bir LightGBM modelini açıklıyor. 29 özellikle, 2025-12-01 – 2026-03-31 holdout’unda 0,29715 RMSLE veriyor.

Bu 0,29715 ile leaderboard’daki 1.02974 karşılaştırılamaz: açıklanabilirlik modeli geçmişi olan serilerde ölçülüyor, yarışma skoru ise ağırlıklı olarak geçmişi olmayan serilerde belirleniyor.

Yarışma veri seti paylaşılamadığı için depoda yalnız kod ve türetilmiş grafikler var. Grafikleri yeniden üretmek `GRIDUP_DATA_DIR` altında verinin yerel bir kopyasını gerektirir.

Hava ve takvim özellikleri dışarıdan çekilmiş bir cache’e dayanıyor. Bu cache olmadan ilgili aileler düşer ve sonuçlar birebir tekrarlanamaz.