Repeated-Failures का Root-Cause: Established-Research से Confirmed Context: हमारी इस पूरी conversation में कई अलग-अलग hypotheses genuinely-fail हुए — Trend-Direction-v2, Pilot-Phase-13-feature, Foundational-Baseline-Audit (Weekly-Breakout, ~48.7%), DMA-C
आपका diagnosis, established research के हिसाब से, broadly सही दिशा में है: जिस universe (large‑cap, high‑liquidity, well‑covered NIFTY‑type stocks + standard technical patterns) पर आपने बार‑बार test किया है, वहाँ weak/semi‑strong efficiency के कारण exploitable edge निकालना structurally बहुत कठिन है।
नीचे तीन हिस्सों में जवाब दे रहा हूँ:
---
1. क्या failure का core कारण “Market Structure (Large‑Cap + High Liquidity + Known Patterns)” है?
Literature का consensus (developed और liquid large‑cap markets पर):
- Weak‑form EMH: past prices/volumes already prices में reflect हो चुके होते हैं; pure chart/price‑based rules से sustainable excess return निकलना मुश्किल।(cfainstitute.org)
- Semi‑strong EMH: publicly available information (including well‑known technical rules) जल्दी arbitrage हो जाती है, खासकर large‑cap, liquid stocks में, जहाँ institutions और HFT पहले से active हैं।(cfainstitute.org)
Technical rules पर empirical evidence:
- कई शुरुआती papers (जैसे South Asian/Indian markets में पुराने data पर moving averages, DMA आदि) ने कुछ profitability दिखाई थी, लेकिन वो mostly
- पुराने regime (कम competition / ज्यादा frictions),
- या pre‑2005/pre‑HFT periods के data पर,
- और अक्सर rigorous data‑snooping / transaction‑cost adjustment के बिना।(sciencedirect.com)
- जब simple MA / channel‑break rules को modern samples और stronger tests (White’s Reality Check, SPA) और realistic costs के साथ test किया जाता है, तो major equity indices पर buy‑and‑hold से ऊपर robust edge बहुत rare है, और कई बार disappear हो जाता है।(arxiv.org)
Published patterns के decay का evidence:
- McLean & Pontiff (2016) ने ~100 published return predictors पर दिखाया कि
- लगभग ¼ profit in‑sample selection bias था,
- और publication के बाद real‑time में लगभग ⅓ अतिरिक्त return arbitrage होकर गायब हो गया।(ideas.repec.org)
- मतलब: जितना ज्यादा कोई pattern documented और popular होता है, उतना जल्दी large‑cap, liquid universe में उसका edge compress होता है।
आपने specifically:
- NIFTY‑basket / large‑cap, highly‑liquid stocks
- + well‑known, publicly discussed patterns (Donchian, DMA, VCP‑style, ADX regimes, etc.)
पर बार‑बार independent hypotheses test कीं और सबने real‑money context में fail किया।
यह outcome EMH + “limits‑to‑arbitrage” framework के साथ पूरी तरह consistent है:
- जहाँ liquidity बहुत high है, spreads low हैं, और information widely shared है, वहाँ any simple, publicly‑known technical rule को multiple players arbitrage कर देते हैं, जो net‑of‑costs edge को लगभग 0 कर देता है।(cfainstitute.org)
इसलिए:
- मैं आपके इस conclusion से सहमत हूँ कि
“Repeated failures = primarily market‑structure (large‑cap, high‑efficiency) का signal हैं, न कि सिर्फ coding/implementation bug”,
बशर्ते कि:
- आपने slippage, realistic costs और data integrity ठीक से handle किए हों, और
- out‑of‑sample / live performance भी इसी pattern को confirm करता हो।
Implementation गलत हो सकती है — पर अगर कई unrelated logic उसी universe पर बार‑बार fail हो रहे हैं, तो established research के हिसाब से structural‑efficiency explanation ज्यादा credible है।
---
2. Established research आगे किस direction की तरफ़ इशारा करती है?
2.1. Small‑cap / less‑liquid side move करने का signal?
Empirical literature काफी साफ़ है कि ज्यादातर anomalies और predictable patterns:
- छोटे (small‑cap) और illiquid stocks में ज्यादा strong दिखते हैं,
- जहाँ arbitrage की limits (impact cost, funding risk, short‑sale constraints) ज़्यादा हैं।(doi.org)
Examples (including Indian context):
- India में size effect और कई cross‑sectional anomalies (size, value, momentum, liquidity) small stocks में ज्यादा strong documented हैं।(ccsenet.org)
- कुछ anomalies (जैसे extreme return effects, illiquidity premia) का premium explicitly small, illiquid segment में concentrated होता है।(sciencedirect.com)
Interpretation:
- हाँ, established research यह मानती है कि predictability/edge की probability
- large‑cap, ultra‑liquid NIFTY‑type stocks की तुलना में
- smaller, less‑liquid, harder‑to‑arbitrage stocks में ज्यादा है।
लेकिन साथ में दो सख्त caveats हैं:
1. Transaction costs, slippage, market impact
- Small/illiquid universe में यह बहुत ज्यादा होते हैं; कई academic results gross of costs होते हैं, real‑money में net edge कमजोर पड़ जाता है।(sciencedirect.com)
2. Capacity & execution risk
- Strategy की deployable capital छोटी होती है; live slippage और partial fills model से बहुत deviate कर सकते हैं।
तो research का implication यह है:
> “अगर आप price/technical‑based edge ही ढूँढना चाहते हैं, तो pure large‑cap, hyper‑liquid basket से बाहर निकलना, और carefully modelled small/mid/less‑liquid segment explore करना logically justified है — पर ये high‑friction, low‑capacity playground है, free lunch नहीं।”
2.2. Longer‑horizon और cross‑sectional दिशा
Literature का दूसरा strong signal — edge अक्सर ‘single‑stock timing’ से कम और ‘cross‑sectional और medium‑to‑long horizon’ से ज़्यादा आता है:
1. Cross‑sectional momentum (3–12 month winners vs losers)
- Jegadeesh & Titman (1993) type strategies ने globally कई markets में robust 1%/month के आसपास gross excess return दिखाया (before costs), over 3–12‑month horizon, हालाँकि 12–24 months में reversal होता है।(en.wikipedia.org)
- India सहित कई emerging markets में भी cross‑sectional momentum, size, value आदि factors documented हैं, भले बाद में कुछ decay हो।(ccsenet.org)
2. Longer‑term time‑series trend following
- Multi‑asset trend‑following (12‑month+ lookback, diversified futures) पर काफी मजबूत evidence है कि decades‑scale पर यह risk‑adjusted अच्छा perform करता है, खासकर बड़े crisis/volatility regimes में — equity indices पर pure long‑only timing से ज़्यादा robust broadly diversified futures पोर्टफोलियो में दिखता है।
3. Factor / characteristic‑based investing
- Modern literature pure chart‑patterns से हटकर size, value, quality, profitability, investment, momentum factors पर चला गया है (Fama–French style multi‑factor world)।(jstor.org)
- यहाँ भी anomalies smaller / less liquid stocks में stronger होती हैं, पर उनका structure ज्यादा stable रहता है बनिस्बत ad‑hoc chart rules के।
So अगर आप “established research किस दिशा की सलाह देगी?” को strictly समझें:
- Least promising (आपकी current set‑up जैसी):
- Short‑to‑medium horizon single‑stock timing
- on large‑cap, hyper‑liquid stocks
- using generic, well‑known single‑indicator technical patterns।
- More promising but operationally tougher paths:
1. Small / mid / less‑liquid stocks with
- tight liquidity filters,
- rigorous cost & capacity modelling।(sciencedirect.com)
2. Cross‑sectional portfolios (rank‑based, long‑short or long‑only tilts) using
- momentum, value, quality, or trend‑strength rankings।(researchcommons.waikato.ac.nz)
3. Longer‑horizon, lower‑turnover trend/factor strategies, जहाँ turnover और cost drag कम हो।
---
3. Diagnosis को “genuinely और accurate” कैसे बनायें?
अगर objective यह है कि “हम statistically साफ़ दिखा सकें कि failure structure की वजह से है, न कि सिर्फ़ coding से”, तो research‑grade approach roughly यह होगी:
3.1. Clear null: “Net alpha = 0 (after realistic costs)”
- हर strategy के लिए explicitly null define करें:
- H0: Risk‑adjusted, net‑of‑slippage & fees alpha = 0
- Newey‑West robust t‑stats, bootstrap confidence intervals use करें।
- एक ही universe पर multiple rules try किये गए हैं, तो White’s Reality Check / SPA test जैसे data‑snooping adjustments लगाएँ; कई studies ने दिखाया कि “best rule” की outperformance अक्सर सिर्फ़ data‑mining होती है।(arxiv.org)
अगर इतने conservative testing के बाद भी हर rule की net alpha statistically 0 के आसपास है, तो “no exploitable predictability in this universe/horizon” conclusion बहुत मजबूत हो जाता है।
3.2. Size / Liquidity stratification test
Same logic/code को segmented universes पर चलाएँ:
- Market‑cap buckets: e.g. NIFTY50, NIFTY Next 50, Midcap 150, Smallcap, microcaps।
- Liquidity buckets: e.g. turnover deciles, bid‑ask spread, Amihud illiquidity measure।
Research expectation (limits‑to‑arbitrage literature से):
- अगर कोई real mispricing‑driven edge है, तो
- छोटे, illiquid, high‑friction buckets में alpha > large‑cap, liquid buckets होना चाहिए।(sciencedirect.com)
अगर आपकी सभी strategies systematically:
- large‑cap bucket में fail होती हैं,
- और small/illiquid buckets में कुछ positive signal दिखने लगता है (भले gross level पर),
तो यह direct, testable confirmation होगा कि failure का core कारण universe‑selection और market‑structure है, न कि code।
3.3. Cross‑sectional बनाम pure timing
Exactly वही signals (DMA slope, Donchian breakout strength, ADX regime, etc.) लें और:
- हर rebalance date पर पूरे universe को signal‑value से rank करें,
- top decile vs bottom decile long‑short (या long‑only overweight/underweight) portfolios बनायें,
- 1–3 महीने hold करें,
- risk‑adjusted performance देखें।(researchcommons.waikato.ac.nz)
अगर:
- time‑series timing (in/out, long/flat) fail होता है,
- पर cross‑sectional ranking some alpha दिखाता है,
तो lesson होगा कि:
> “Prices individually काफी efficient हैं, लेकिन cross‑section में relative mispricing/slow‑adjustment बची हुई है” — यह modern literature के साथ align है।
3.4. Regime / volatility conditioning
- realised volatility, market drawdowns, high‑stress periods के हिसाब से performance को slice करें।
- Trend/technical rules अक्सर high‑volatility trending regimes में comparatively better perform और quiet mean‑reversion regimes में कमजोर perform करते हैं।(arxiv.org)
अगर आपका data दिखाता है कि:
- बाज़ार के हर regime में ही strategy pointless है (even in strong trends / high vol),
तो यह भी EMH‑consistent no‑edge diagnosis को और मजबूत करेगा।
3.5. Multiple‑testing thresholds (p‑hacking control)
- Harvey–Liu–Zhu आदि का सुझाव: factor / rule को “real” कहने के लिए traditional t≈2 काफी नहीं; higher hurdle (जैसे t≈3+) लेना चाहिए, क्योंकि आपने बहुत सारे variants test किये हैं।(papers.ssrn.com)
- अगर आपके सारे rules इस higher hurdle से बहुत नीचे हैं, तो statistically यह मानना ज्यादा honest है कि “कुछ भी genuinely काम नहीं कर रहा” — जो फिर से efficiency/structure explanation की तरफ़ इशारा करता है।
---
4. संक्षिप्त निष्कर्ष (aligned with established research)
1. आपका core diagnosis — कि repeated failures primary coding bug नहीं बल्कि large‑cap, hyper‑liquid, well‑arbitraged universe की structural efficiency का परिणाम हैं — academic evidence से strongly supported है।
2. Established literature आगे के लिए broadly तीन दिशाएँ दिखाती है (none is “easy”):
- (a) Smaller / less‑liquid stocks, जहाँ anomalies और technical predictability statistically stronger हैं, लेकिन costs/capacity constraints बहुत high हैं।(sciencedirect.com)
- (b) Cross‑sectional factor / momentum / trend‑strength portfolios, rather than single‑stock entry‑exit timing।(en.wikipedia.org)
- (c) Longer‑horizon, lower‑turnover strategies (trend/factors) जहाँ turnover‑driven cost drag कम हो।
3. Diagnosis को “genuinely और accurate” बनाने के लिए, आपको
- formal hypothesis testing (with data‑snooping control),
- size/liquidity stratification,
- cross‑sectional बनाम timing comparison, और
- regime analysis
को systematically apply करना होगा।
इन steps के बाद अगर result वही आता है (net alpha ≈ 0 for large‑cap, liquid NIFTY‑type universe), तो यह practically और academically दोनों स्तर पर एक बहुत strong confirmation होगा कि आपकी failures genuinely‑structural हैं, न कि सिर्फ़ implementation‑level issues।
If you have any further queries, please connect with us on 022-6290-10141 (Timings : 09.00 AM to 05.00 PM) or you can email us on info@cniinfoxchange.com