Experimentation Velocity: Jak běžet 100+ experimentů měsíčně

Nejrychleji rostoucí firmy jako Booking.com, Netflix nebo Amazon běží stovky až tisíce experimentů měsíčně. Jak to dělají? A co potřebujete, abyste se k nim přiblížili?

Proč na velocity záleží

Matematika je jednoduchá:

• Více experimentů = více learnings
• Více learnings = rychlejší optimalizace
• Rychlejší optimalizace = rychlejší růst

Booking.com běží 25,000+ experimentů ročně. I kdyby jen 10% bylo úspěšných, to je 2,500 vylepšení produktu za rok. Vaše konkurence, která běží 10 testů měsíčně, nemá šanci.

Prerequisites pro high velocity

1. Technická infrastruktura

Bez správných nástrojů nebudete škálovat.

Komponenta	Účel	Příklady
Feature flags	Rychlé zapínání/vypínání	LaunchDarkly, Unleash, custom
Event tracking	Měření behavior	Segment, Amplitude, Mixpanel
Statistical engine	Automatická analýza	Eppo, Statsig, custom
Dashboards	Real-time visibility	Looker, Metabase, custom

2. Organizační setup

Decentralizace je klíčová:

• Každý tým může spouštět experimenty
• Centrální team poskytuje tooling a best practices
• Clear ownership — každý experiment má DRI
• Streamlined approval — ne více než 24h na schválení

3. Kulturní aspekty

• 🧪 Experimentální mindset — "nevíme, dokud netestujeme"
• 📊 Data-driven decisions — intuice je hypotéza, ne fakt
• ❌ Tolerance for failure — 70% testů "selže" — a to je OK
• 📚 Learning culture — každý test přináší insight

Build vs. Buy: Rozhodovací matrix

Faktor	Build	Buy
Upfront cost	Vysoký (eng time)	Nízký-střední
Ongoing cost	Údržba	Subscription
Customization	Neomezená	Omezená
Time to value	Měsíce	Dny
Scalability	Závisí na implementaci	Obvykle dobrá

Doporučení:

• <50 experimentů/měsíc: Kupte hotové řešení
• 50-200 experimentů/měsíc: Hybrid (koupené + custom integrace)
• 200+ experimentů/měsíc: Zvažte custom platformu

Porovnání platforem

Platforma	Best for	Cena	Pros	Cons
Optimizely	Enterprise	$$$$	Robustní, plný feature set	Drahé, komplexní
LaunchDarkly	Feature flags focus	$$$	Výborné flags, rychlé	Slabší analytics
Statsig	Data-driven teams	$$	Silná statistika, AI	Novější player
Eppo	Product teams	$$	Warehouse-native	Menší ekosystém
GrowthBook	Startups	$ (open source)	Levné, flexibilní	Vyžaduje setup

Proces pro škálování

Experiment Proposal Template

Každý experiment by měl mít:

📋 EXPERIMENT PROPOSAL

1. Hypothesis: [Co testujeme a proč]
2. Primary metric: [Jedna metrika pro rozhodnutí]
3. Secondary metrics: [Guardrail metriky]
4. Segment: [Kdo je v testu]
5. Sample size: [Kolik uživatelů potřebujeme]
6. Duration: [Jak dlouho poběží]
7. Success criteria: [Kdy je test úspěšný]
8. Owner: [Kdo je zodpovědný]

Prioritization: ICE Framework

Skórujte každý experiment 1-10:

• Impact: Jak velký dopad očekáváme?
• Confidence: Jak si jsme jistí hypotézou?
• Ease: Jak snadná je implementace?

ICE Score = (I + C + E) / 3

Nejvyšší score = nejvyšší priorita.

Weekly Review Ritual

Čas	Aktivita	Účastníci
0:00-0:10	Nové výsledky review	Všichni
0:10-0:30	Deep dive top 3 learnings	Všichni
0:30-0:45	Nové experimenty proposal	Owners
0:45-0:55	Prioritization voting	Všichni
0:55-1:00	Action items	Lead

Měření zdraví programu

Metrika	Definice	Target
Experiments launched/month	Počet spuštěných testů	100+
Win rate	% testů s pozitivním výsledkem	15-30%
Avg. experiment duration	Průměrná délka testu	2-4 týdny
Time to decision	Čas od spuštění k rozhodnutí	<3 týdny
Learnings documented	% testů s dokumentací	100%
Impact delivered	Kumulativní lift z výher	Tracking

Případová studie: Booking.com

Jak běží 25,000+ experimentů ročně:

1. Demokratizace — každý zaměstnanec může spustit test
2. Low barrier — jednoduché tooling, rychlý setup
3. Automatizace — automatická analýza, automatické zastavení
4. Kultura — testování je DNA firmy
5. Learning loops — sdílení learnings across týmy

Výsledky:

• Conversion improvements každý týden
• Tisíce small wins = massive competitive advantage
• Culture of continuous improvement

Závěr

Experimentation velocity není o chaotickém spouštění testů. Je to o systematickém přístupu k učení a optimalizaci.

Akční kroky:

1. Zhodnoťte current velocity (experimenty/měsíc)
2. Identifikujte bottlenecky (tooling? proces? kultura?)
3. Vyberte nebo upgradujte experimentation platformu
4. Implementujte proposal template a review ritual
5. Měřte program health metrics
6. Iterujte a škálujte