EMpulse Street FX Index: методологія

EMpulse Street FX Index публікує щоденні «вуличні» обмінні курси валют ринків, що розвиваються, до USDT (прирівняного до 1 USD): курс, за яким люди реально платять, а не офіційний. Індекс поєднує ринкові дані на основі транзакцій із котируваннями з публічних ринкових джерел; кожен ряд має клас confidence, а обмеження даних публікуються разом із ним.

Компоненти

Усі курси наводяться як фіат за 1 USDT.

Компонент на основі бірж

• Які біржі. Лише біржі, які публікують задокументований публічний API для своїх пропозицій, що читається без облікового запису, умови яких не забороняють автоматизоване зчитування чи повторне поширення, а robots.txt дозволяє відповідну кінцеву точку. Усе інше не береться до уваги, а умови кожної біржі перечитуються кожні 30 днів: біржа, умови якої змінилися, випадає автоматично. Біржі, що стоять за показником, відображаються лише як кількість (sources); перелік бірж публікується тут за їхньою згодою і в іншому разі не пов'язується з жодним показником.
• Година. Для кожної біржі, валюти та сторони найкращі пропозиції за ціною (до 20) дають найкращу ціну, медіану, ціну, зважену за глибиною, і глибину (сума пропозиції, у USDT). Сторони відповідають конвенції індексу: buy це сторона, де клієнт купує цифровий долар. Біржа, яка котирує біткоїн, а не доларовий токен, враховується через власну книгу в доларах США за ту саму годину (ціна у валюті ÷ ціна в доларах), тому кожен показник є доларовим курсом. Між біржами mid, buy і sell години є медіанами, зваженими за надійністю; exchange_spread_pct = (найвищий − найнижчий mid біржі) / медіана × 100 щонайменше за двох бірж. День бере медіани своїх годин.
• Надійність біржі (0–1, перераховується щодня за 30 днів): точність = max(0, 1 − dev / 5 %), де dev = медіанна відстань mid біржі від медіани інших бірж за ту саму годину (якщо інших бірж менше двох, від референсу дня на основі транзакцій); складник глибини (глибина відносно норми) і складник свіжості (години з даними за останню добу); 0.5·accuracy + 0.25·depth + 0.25·freshness. Біржа, ціни якої відхиляються від інших (застаріла або маніпульована книга), одразу втрачає вагу; три денні оцінки нижче 0.2 призупиняють її на тиждень.
• Confidence. День має клас high, якщо є щонайменше три біржі в межах 2 % одна від одної, medium, якщо є щонайменше три біржі, і limited, якщо їх менше. День потрапляє до єдиного публічного індексу валюти за правилом нижче; валюта, яку котирують біржі і яку не покриває жоден інший компонент, стає активною лише завдяки цьому компоненту.

Покриття та активність

Індекс валюти це одне число на день, побудоване з наведених вище компонентів:

• якщо публікує лише один компонент, індекс дорівнює цьому компоненту;
• якщо публікує кілька, перемагає найсвіжіший день; компоненти, які публікують за той самий день, усереднюються з вагами за confidence: компонент на основі транзакцій з вагою 1 / 0.6 / 0.3 для дня high / medium / limited, багатоджерельний компонент і компонент на основі бірж зі своєю оцінкою confidence (0–1, не менше 0.1).

Валюта є активною, якщо в індексі є день за останні 14 днів (/v1/currencies: status = "active", active_since = перший день поточної серії даних без перерви довше 14 днів). Валюта без свіжого дня перебуває в стані покриття в процесі: ми додаємо для неї ринкові джерела, її опублікована історія лишається доступною, і вона сама повертається до списку активних, щойно з'являється свіжий день. Жива таблиця на сайті показує лише активні валюти; кількість валют, зазначена в тарифних планах, це кількість активних валют.

Для кожної активної валюти останній день містить:

• sources: кількість незалежних ринкових джерел, що стоять за днем (компонент на основі транзакцій рахується як одне, кожна біржа компонента на основі бірж як одне). Показник публікується, коли їх два або більше, і завжди для дня limited («1 джерело, confidence: limited»); в інших випадках він порожній (null в API).
• confidence: клас останнього дня (high / medium / limited, див. нижче); якщо дню три або більше днів, він показується на один клас нижче.

Валюта публікується від свого першого ринкового джерела: день з одним джерелом має клас limited і позначку coverage improving (сайт, API, MCP): число реальне, його невизначеність зазначена, а нові джерела додаються. Для medium потрібні два незалежні джерела, для high три, що збігаються в межах 2 %. Компонент на основі бірж враховується в правилі активності лише тоді, коли в його книгах ордерів є щонайменше три незалежні пропозиції за годину та дані за два дні; валюта без жодної точки даних лишається coverage_in_progress.

Поля щоденного індексу (GET /v1/rates/{cur})

• buy: середньозважений курс дня, за яким клієнт купує USDT за фіат. Сторона, для якої за день замало точок даних, має значення null.
• sell: те саме для сторони, де клієнт продає USDT.
• mid: (buy + sell) / 2, коли існують і buy, і sell. Якщо існує лише одна сторона ринку, mid дорівнює курсу цієї сторони (див. side). Якщо немає жодної сторони, mid має значення null.
• side: на чому ґрунтується mid: both, buy (існує лише buy) або sell (існує лише sell); null, коли mid немає. mid, що ґрунтується на одній стороні ринку, зміщений приблизно на половину спреду порівняно з двосторонім, тому під час порівняння днів враховуйте side.
• spread_pct: (buy − sell) / mid × 100, лише коли side = "both"; в іншому разі null. Зазвичай він додатний; від'ємний спред може траплятися в дні з обмеженими даними і публікується як є.
• confidence: high, medium або limited. Кожна валюта має базовий клас за своїм покриттям (GET /v1/currencies: high для найкраще покритих рядів, medium для решти); день із меншою, ніж зазвичай, кількістю точок даних має клас на один нижче (high → medium, medium → limited). limited означає меншу кількість точок даних: більше шуму, можливі прогалини.
• in_progress: true для останнього дня валюти, поки день ще збирається і кількість його точок даних помітно нижча за норму попередніх 7 календарних днів (лише дні з даними). Такий день буде переглянуто. Усі інші дні мають false.
• mid_7d: середнє арифметичне чинних значень mid за останні 7 календарних днів, включно з самим днем. Дні без чинного mid пропускаються; null, якщо таких значень немає.

• chg_1d_pct, chg_7d_pct, chg_30d_pct: (mid / mid_N_days_ago − 1) × 100, порівняння з днем рівно 1, 7 або 30 календарних днів тому. null, якщо в одного з двох днів немає чинного mid (без перенесення значень через прогалини) або якщо в цих двох днів різний side (наприклад, both проти buy): односторонній mid зміщений приблизно на половину спреду, тож таке порівняння показало б рух, якого не було.

• exchange_spread_pct (Pro та Enterprise): міжбіржовий спред компонента на основі бірж за день (див. вище); null, якщо бірж менше двох.

«Чинний mid» означає mid, відмінний від null, який не позначений як викид.

Сторона, що не рухається

Іноді одна сторона ринку зупиняється, тоді як інша продовжує рухатися за цінами, що змінюються: протягом кількох днів (п'яти для денного індексу) її медіанний курс залишається в межах 0.05 %, або щодня ця сторона закривається за єдиною ціною. Така ціна є котируванням, а не ціною проведених операцій, і mid посередині між нею та активною стороною був би безглуздим. У такому разі індекс ґрунтується лише на стороні, що рухається: mid дорівнює курсу цієї сторони, side вказує її (buy або sell), хоча публікуються і buy, і sell, а spread_pct має значення null. Правило застосовується день за днем і знімається саме, щойно спокійна сторона знову починає рухатися; коли обидві сторони однаково нерухомі (ринок без руху), нічого не змінюється. Погодинний індекс застосовує те саме правило у вікні 24 години.

Викиди

День позначається flag = "outlier", якщо виконуються всі такі умови:

1. у нього є mid;
2. у нього мало точок даних (значний рух у добре покритий день ніколи не позначається: його вважають справжнім ринковим рухом);
3. його mid відхиляється більш ніж на 10% від медіани mid навколишнього вікна ±15 календарних днів (сам день не враховується);
4. у вікні є щонайменше 3 інші дні з mid (інакше даних недостатньо для оцінки, і день не позначається).

Дні-викиди зберігають власні значення buy, sell, mid і spread_pct, щоб клієнти могли їх бачити, але вони виключаються з mid_7d і всіх розрахунків chg_* (для самого дня-викиду та для днів, які посилалися б на нього).

Ревізії та терміни

• Дні є календарними днями UTC. Поточний день неповний до 00:00 UTC і переглядається протягом дня; він позначається in_progress = true, поки кількість його точок даних помітно нижча за звичайну (див. вище).
• Оскільки вікно викидів дивиться на 15 днів як назад, так і вперед, прапорці (а отже mid_7d і chg_*) останніх 15 днів можуть змінюватися, коли надходять нові дані. Уся історія перераховується при кожному оновленні.
• Безкоштовні API-ключі отримують дані до попереднього дня; ключі pro та enterprise включають поточний день.
• Серії, що доставляються кожному API-ключу, можуть містити незначні індивідуальні відмінності.

Погодинний індекс (GET /v1/rates/{cur}/hourly, Pro і Enterprise)

Погодинний індекс - це денний індекс із погодинною деталізацією: для кожної години UTC і кожної валюти buy і sell є середньозваженими курсами ринкових транзакцій години на кожній стороні, mid, side і spread_pct визначаються за денними правилами, а confidence є базовим класом валюти.

• Як будується погодинна серія. Кожна валюта з погодинними ринковими даними має серію. Для кожної години UTC використовується компонент на основі транзакцій, якщо він має значення за цю годину; інакше багатоджерельний компонент (медіана котирувань години, зважена за надійністю, USDT враховується як USD), якщо в цій годині котирували щонайменше 2 незалежні джерела; коли існують обидва, година є combined: значення на основі транзакцій, зважене з багатоджерельною медіаною, частка якої зростає разом із кількістю її джерел (до половини від 3 джерел). Якщо ці два значення відрізняються більш ніж на 3 %, година публікується з нижчим quality і перевіряється. Кожна година вказує свій component (transaction_based, multi_source, combined). Година без даних відсутня: нічого не інтерполюється і не переноситься вперед. Якщо у валюти менше ніж 6 годин зі значенням за добу UTC (для поточного дня: за останні 24 години), ці години мають quality: limited, і сайт малює їх точками, а не лінією.
• Години та сторони. Рядок існує для кожної години з ринковими даними. Щоб сторона була опублікована, потрібно щонайменше 3 точки даних за годину; якщо їх менше, вона має значення null, а коли існує лише одна сторона, mid дорівнює цій стороні (side вказує, якій). Для валют із меншою кількістю точок даних години зі значенням індексу відповідно трапляються рідше: погодинна серія має пропуски, а не шум, і це зроблено навмисно.
• Викиди всередині години. Агрегати години будуються з транзакцій у межах ±20 % від власного медіанного курсу години; після цього більше нічого не фільтрується, а погодинні рядки не мають flag. Правило щодо сторони, що не рухається (вище), застосовується у вікні 24 години.
• Денний підсумок. Кожен день у відповіді по валюті містить vwap (середньозважений курс цілого дня, обидві сторони разом), high і low (найвищий і найнижчий погодинний mid), hours (години зі значенням індексу) і peak_hour (година з найбільшою ринковою активністю). high і low беруться з годин із достатньою кількістю точок даних (щонайменше 5 за годину) і, якщо день їх має, лише з двосторонніх годин: mid, заснований на одній стороні ринку, лежить приблизно за півспреду від двостороннього, і змішування обох показало б діапазон, якого на ринку ніколи не було. hours як і раніше враховує кожну годину зі значенням індексу.
• У процесі. Поточна година UTC має in_progress = true, поки збираються дані, і буде переглянута; GET /v1/rates/hourly/latest повертає лише повні години.
• Терміни. Погодинні рядки на основі транзакцій надходять з денним оновленням, яке охоплює останні три дні (тоді підхоплюються пізні транзакції та перерахунки): оновлюється щодня, погодинна деталізація; це не потік у реальному часі. Багатоджерельні години перераховуються протягом дня за останні 72 години. Погодинні рядки, старші за горизонт історії, зараховуються до квоти історії як 1/24 денного рядка. Публічний сайт показує останні 24 повні години кожної валюти з погодинною серією та курс останньої повної години; між відомими годинами графік малює пряму лінію і утримує останнє значення до правого краю (лише для відображення).

Багатоджерельний індекс вуличного курсу (GET /v1/street-index, продукт "Street Rate Index", багатоджерельний)

Для кожної валюти, за якою публічні джерела ринку публікують вуличні курси, поряд із серією на основі транзакцій, де вона є, або самостійно, де її немає, індекс публікує курс, котирований у відкритих джерелах: у публічних Telegram-каналах обмінників, у розділах курсів місцевих видань, на форумах. Опублікований курс є фактом; ми зберігаємо число, час і посилання на допис, ніколи текст.

• Котирування: одне число з одного публічного допису: котирована валюта (ISO 4217), база (USD; USDT враховується як USD і позначається; котирування EUR зберігаються окремо й не конвертуються), сторона, курс за 1 одиницю бази, час допису (UTC), посилання. Фрагмент не довше 200 символів навколо числа зберігається лише для аудиту і ніколи не показується. Один допис може давати кілька котирувань (купівля і продаж, кілька валют, кілька міст).
• Конвенція сторони. side є дією клієнта, як в індексі: клієнт купує USD за ціною продажу обмінника (вище число) і продає USD за ціною купівлі обмінника. Допис, який позначає пару навпаки, змінюється місцями і позначається нижчим confidence. mid є котируванням без сторін.
• Вилучення. Спочатку регулярні вирази для поширених форматів ("USD 1650/1665", "Покупка: 11810 / Продажа: 11860", "$ = ₦1,650", "1 USDT = 41.25 TRY", "Dolar: 49,72", форми запису дарі, арабською, урду, бенгальською та перською; тисячі, записані пробілами, апострофами або крапками; томан = 10 ріалів). Рядки про офіційні курси, курси центральних банків, біржові та прогнозні курси пропускаються. Дописи зі словом про валюту і числом, але без збігу, надходять до мовної моделі пакетами, як дані; кожне число, яке вона повертає, перевіряється так само, як збіг регулярного виразу.
• Правдоподібний діапазон для кожної валюти та бази: еталон на основі транзакцій за останні 30 днів, інакше медіана котирувань за останні 14 днів (≥ 5), інакше початкове значення; діапазон дорівнює еталону ± 60 %. Котирування поза ним зберігаються як outlier і ніколи не потрапляють до індексу; котирування, збережені до появи діапазону, перевіряються повторно, коли він з'являється.
• Довіра до джерела (reliability, 0–1, перераховується щодня за останні 30 днів):
• точність = max(0, 1 − dev / 5 %), dev = медіана |котирування / еталон − 1|; еталоном є еталон на основі транзакцій того самого дня UTC, де він існує (каліброване джерело), інакше медіана щонайменше двох інших джерел для цієї валюти й дня без урахування самого джерела (leave-one-out); за відсутності будь-якого еталона 0.5. Для каліброваного джерела спершу вилучається зсув, спільний для всієї групи джерел цієї валюти відносно еталона (медіанне відхилення інших джерел у цей день, щонайменше двох): готівковий ринок, що котирує на кілька відсотків інакше, ніж ринок цифрового долара, є властивістю цього ринку, а не помилкою джерела, яке про нього повідомляє. Тому точність вимірює, наскільки джерело віддалене від ринкового консенсусу; розкид і викиди штрафуються, як і раніше;
• спільний зсув публікується разом із днем як basis_gap_pct = (багатоджерельний mid / еталон на основі транзакцій − 1) × 100: премія (від'ємна: дисконт) котируваного вуличного курсу до компонента на основі транзакцій за цей день, на практиці розрив між готівковим ринком і ринком цифрового долара. Це компонент індексу, а не поправка: жодна із серій нею не коригується;
• чистота = 1 − частка викидів; стабільність = max(0, 1 − dispersion / 3 %), де dispersion = медіана внутрішньоденного (max − min) / медіана котирувань джерела; регулярність = дні з котируваннями / 20, не більше 1;
• reliability = 0.5·accuracy + 0.2·cleanliness + 0.15·stability + 0.15·regularity, у межах [0.05, 1]. Джерело з менш ніж 5 котируваннями зберігає початкове значення 0.3. Три денні оцінки поспіль нижче 0.2 призупиняють джерело на 7 днів; після цього воно повертається як кандидат і має знову заслужити статус active (≥ 5 дійсних котирувань за 3 дні). Історія зберігається по днях.
• День (GET /v1/street-index/{cur}/history): mid = медіана середніх значень за дописами, зважена за надійністю (купівля й продаж одного допису усереднюються; окреме котирування береться як є), buy / sell = зважені медіани відповідних котирувань, spread_pct = (buy − sell) / mid × 100. День публікується лише за наявності ≥ 3 котирувань від ≥ 2 джерел; інакше рядка немає. День описують n_sources, n_quotes, confidence (0–1: половина залежить від кількості джерел, 1 за чотирьох і більше; половина від узгодженості, 1 коли медіанне відхилення mid дорівнює 0, і 0 за 5 %) та confidence_class (high: ≥ 3 джерел, що узгоджуються в межах 2 %; medium: ≥ 3 джерел; limited: менше джерел). Погодинна серія існує лише для годин із ≥ 3 котируваннями.
• Доступ. Безкоштовні ключі: валюти безкоштовного рівня із затримкою 1 день; Pro: усі валюти; Enterprise: також котирування за кожен день із посиланнями на їхні джерела (GET /v1/street-index/{cur}/quotes). Дні перераховуються щодня за останні 45 днів і можуть змінюватися, коли джерела переоцінюються або отримують нові позначки.
• Обмеження. Дописи це те, що джерела вирішили опублікувати; джерело може запізнюватися, помилятися або бути рекламним: саме для цього існує оцінка довіри. Покриття за валютою наведено в n_sources. Не є інвестиційною порадою.

Сторінки валют і статистика сайту

• Кожна валюта має публічну сторінку (/rates/{CUR}): курс за останню годину, зміни, останні 24 години, графіки за 90 днів і за 1 рік, порівняння офіційного й вуличного курсів, якщо продукт охоплює цю валюту, останні 30 днів та ті самі показники, які надає API. Сторінки, /sitemap.xml, /llms.txt і /llms-full.txt генеруються з індексу; цитуючи показник, вказуйте джерело як «EMpulse Street FX Index».
• Вебсайт веде власну статистику відвідувань без cookies і зовнішніх трекерів: перегляди сторінок, країни та джерела переходів агрегуються із журналу доступу сервера раз на годину; IP-адреси не зберігаються (відвідувачів рахують через хеш зі щоденно змінюваною сіллю). Країна відвідування визначається за IP-адресою за допомогою бази DB-IP Lite: IP Geolocation by DB-IP (https://db-ip.com), ліцензія CC BY 4.0.

Дошки міст і картки обмінників

• Сторінка міста (/rates/{CUR}/{city}) показує індекс по країні, а під ним дошки курсів обмінних пунктів міста, які відкрито публікують свої курси (їхні публічні сторінки та канали): медіану цих дошок, кількість обмінників за нею і клас довіри: limited за менш ніж трьох дошок, medium від трьох, high, коли дошки узгоджуються в межах 2 %. Дошка, старша за три дні, не показується.
• Кожен обмінник із публічною дошкою отримує картку, створену на основі цієї дошки: публічна назва бізнесу, його місто, його сайт або канал і курси, які він публікує. Жодну особу не записують: ні імен, ні номерів телефонів, ні документів; єдиний контакт, що зберігається, це відкрита адреса бізнесу на його власному сайті.
• Бізнес підтверджує свою картку без жодного кроку за участі людини: код у файлі або мета-тегу на його сайті, у дописі його каналу, у повідомленні боту EMpulse від облікового запису, що адмініструє канал, або посилання в листі на відкриту адресу. Підтверджена картка має позначку, стоїть першою на дошці міста і може публікувати власні курси (командою боту, через свій канал або власним ключем).
• Власні курси показуються окремо від індексу з позначкою, що це власні курси обмінника. Вони потрапляють в індекс лише як ще одне джерело з надійністю, яку воно заслуговує (за тими самими правилами довіри, що й кожне інше джерело); курс, який розходиться з дошкою міста більше ніж на правдоподібну відстань, не приймається і знижує позицію картки, але ніколи її не підвищує. Повторні відхилення призупиняють подання котирувань. Через це джерело власні курси підтверджених обмінників також враховуються в активності валюти, як і будь-яке інше джерело багатоджерельного компонента.

Коридори (GET /v1/corridors/{a}/{b}, /corridors/{A}-{B}, Pro та Enterprise)

Багато валют ринків, що розвиваються, обмінюють безпосередньо одну на одну (сом на теньге, гривню на дирхами, рупії на ріали) у публічних форумах, каналах і дошках оголошень, без доларової ланки. Індекс читає ці публічні оголошення мовами країн і публікує курс коридору пари поруч із крос-курсом, який випливає з її власних доларових ланок.

• Оголошення це один публічний допис, у якому названо дві недоларові валюти та ціну або дві суми («куплю сумы за тенге, 100 000 сум за 4 000 тенге», «1 KZT = 25.3 UZS», «vendo pesos por reales»). Ми зберігаємо пару, курс (одиниць другої валюти за 1 одиницю першої), бік автора, суми, якщо їх указано, місто та клас способу оплати (готівка / переказ / картка), час і посилання. Номери телефонів, імена користувачів, адреси e-mail і посилання всередині тексту видаляються до того, як щось буде збережено; авторів ніколи не записують. Спочатку застосовуються правила для типових форм; допис із двома валютами, яких правила не розпізнали, передається мовній моделі як дані, і кожне число, яке вона повертає, перевіряється так само, як збіг за правилом.
• Правдоподібність. Оголошення перевіряється щодо курсу, який випливає з двох доларових ланок індексу (b per USD ÷ a per USD), ± 60 %: обернене число перевертається з відповідною позначкою, число поза діапазоном вважається викидом і ніколи не потрапляє в курс. Пропозиції щодо долара в тому самому дописі залишаються для індексу долара.
• День (rate) це медіана дійсних оголошень пари за день, зважена за довірою, з low і high цього дня; sources показує кількість незалежних публічних джерел за нею; confidence дорівнює high за трьох і більше джерел, що узгоджуються в межах 3 %, medium за двох, limited за одного або коли для доларової ланки пари ще немає еталона. Пара публікується з першого оголошення; одиничне оголошення має limited.
• implied_cross це той самий курс, обчислений за двома доларовими курсами індексу за той самий день (кожен не старший за три дні); corridor_premium_pct = (rate / implied_cross − 1) × 100: ціна прямого шляху замість шляху через долар; додатне значення означає, що коридор дорожчий, від'ємне, що дешевший. Два напрямки пари утворюють одну серію: b per a і a per b обернені одне до одного, так само і премії.
• Валюти без доларового ринку. Коли валюта не має власного доларового компонента, але котирується щодо валюти, яка його має, індекс виводить її доларовий курс через коридор (a per USD = b per USD ÷ b per a, зважена медіана за такими коридорами за день). Ця похідна серія входить у правило активності, як і будь-який інший компонент, на один клас довіри нижче за коридор, з якого вона походить, і ніколи не використовується як доларова ланка іншого коридору.
• Доступ. Публічні сторінки показують останній день; ключі Pro та Enterprise також отримують поточний день в API, історію та список найдорожчих і найдешевших коридорів (/v1/corridors/top). Оголошення читаються лише з публічних джерел, чиї robots.txt і умови це дозволяють; джерела, що забороняють автоматичне читання або повторне використання, не враховуються.

Обмеження

• Вуличні курси відображають те, що люди реально платять на вуличному ринку; це не офіційні курси, не курси центрального банку і не міжбанківські курси, і вони можуть суттєво від них відрізнятися.
• Серії з confidence = limited мають пропуски (дні без значення або без mid) і вищий шум. Перевіряйте confidence і flag перед використанням значення.
• Покриття починається з різних дат для різних валют (coverage_since у GET /v1/currencies), а валюта може певний час мати статус coverage_in_progress (див. «Покриття та активність»).
• Індекс надається лише з інформаційною метою і не є інвестиційною порадою.