Data catalog
Data catalog จัดเก็บข้อมูลของ NautilusTrader ในไฟล์ Parquet เพื่อใช้ใน backtest, live trading และงานวิจัย
ภาพรวมและสถาปัตยกรรม
ParquetDataCatalog ทำงานบน catalog ที่เขียนด้วย Rust และ query engine ของ DataFusion crate ด้าน model และ
persistence ของ Rust เป็นตัวกำหนด Arrow schema ของข้อมูลที่มีมาให้ ส่วน custom data ที่ลงทะเบียนไว้จะส่ง schema และ
handler สำหรับ encode/decode ของตัวเองเข้ามาตอน runtime
Timestamp แบบจุดเวลาใช้ Timestamp(Nanosecond, Some("UTC")) ส่วน duration ยังคงเป็นจำนวนเต็ม Arrow reader และ
query ของ Nautilus จะคงความละเอียดระดับ nanosecond และ annotation UTC ไว้ SQL reader ที่ map column เหล่านี้เป็น
TIMESTAMPTZ ความละเอียดระดับ microsecond อาจตัดค่าที่ละเอียดกว่า microsecond ทิ้ง
Parquet ให้การจัดเก็บแบบ columnar ที่บีบอัดได้และเข้าถึงได้จากหลายภาษา catalog เก็บไฟล์เหล่านี้ไว้ใต้ root เดียว โดยไม่ต้องมี database service แยกต่างหาก path แบบ local หรือ URI ของ object store เป็นตัวเลือก storage backend
การ initialize
ส่ง path แบบ local หรือ URI เป็น argument แรกของ constructor
หมายเหตุ: ต้นฉบับมีเฉพาะตัวอย่าง Python จึงตัดออก
Filesystem protocol และ storage option
Catalog รองรับ storage protocol ตามที่ object-store backend ฝั่ง Rust รองรับ
Filesystem protocol ที่รองรับ
| Storage | URI scheme | Option key ที่ใช้บ่อย |
|---|---|---|
| Local filesystem | Path ธรรมดา, file | ไม่มี |
| Amazon S3 | s3 | region, access_key_id, secret_access_key, endpoint_url. |
| Google Cloud Storage | gs, gcs | service_account_path, service_account_key, application_credentials. |
| Azure Blob Storage | az, abfs | account_name, account_key, sas_token. |
| HTTP หรือ WebDAV | http, https | timeout, connect_timeout, proxy_url. |
Option key คือ configuration key ของ object_store สำหรับ URI scheme นั้น:
- Key ของ S3, GCS และ Azure ใช้แบบมี prefix ได้ด้วย เช่น
aws_region,google_application_credentialsหรือazure_storage_sas_token - Client option เช่น
timeoutใช้กับทุก scheme แบบ remote ตั้งallow_httpเป็นtrueเพื่อเชื่อมต่อผ่านhttp://ธรรมดา - S3 รองรับชื่อแบบเก่า
keyและsecretด้วย - Key ที่ไม่รู้จักจะล้มเหลวพร้อม error ที่ระบุชื่อ key นั้น
ส่ง credential และค่าตั้งอื่น ๆ ของ backend ผ่าน storage_options
หลังส่วนของ bucket, container หรือ host แล้ว base path ของ URI แบบ remote ต้องไม่มีช่องว่างหรืออักขระที่ไม่ใช่ ASCII
และต้องไม่มีอักขระที่ path ของ object-store จะ encode เช่น ~, %, #, ?, ^ หรือ | catalog จะปฏิเสธ URI
ลักษณะนี้ตอนเปิด พร้อม error ที่ระบุ URI นั้น
การบีบอัดและ row group
DataCatalogConfig กำหนดวิธีที่ catalog ที่ตั้งค่าไว้อ่านและเขียนไฟล์ข้อมูล:
| Field | ควบคุม | ค่าเริ่มต้น |
|---|---|---|
batch_size | จำนวน row ต่อ batch ที่ catalog อ่านและเขียน | 10,000 |
compression | ชื่อ codec สำหรับไฟล์ข้อมูลที่เขียน | zstd (level 1) |
max_row_group_size | จำนวน row สูงสุดต่อ row group ที่เขียน | 131,072 |
ParquetDataCatalog รับค่า batch_size และ max_row_group_size แบบเดียวกัน แต่เลือก compression ด้วยรหัสตัวเลข
ส่วน DataCatalogConfig รับชื่อด้านล่างโดยไม่สนตัวพิมพ์เล็กใหญ่:
| Codec | ชื่อใน DataCatalogConfig | รหัสใน ParquetDataCatalog |
|---|---|---|
| Uncompressed | uncompressed | 0 |
| Snappy | snappy | 1 |
| gzip | gzip | 2 |
| Brotli | brotli | 4 |
| LZ4 | lz4, lz4_raw | 5 |
| zstd | zstd | 6 |
การสร้างจะล้มเหลวหากใช้ชื่อ compression อื่น หรือตั้ง batch_size หรือ max_row_group_size เป็นศูนย์
params ใช้ส่ง option สำหรับ catalog backend ภายนอกเท่านั้น Parquet catalog จะปฏิเสธ key ใด ๆ ใน params
lz4 และ lz4_raw หมายถึง codec เดียวกัน: catalog เขียนเป็น Parquet LZ4_RAW รูปแบบ Parquet เลิกสนับสนุน
codec LZ4 แบบเก่าที่มี Hadoop framing แล้ว catalog จึงไม่เขียนแบบนั้นเลย รหัส compression 5 เขียนเป็น LZ4_RAW
แม้ว่า Parquet จะกำหนดหมายเลขของ LZ4_RAW เป็น 7 ไฟล์ที่เคยเขียนด้วย codec แบบ Hadoop framing ยังคงอ่านได้
ไม่รองรับ LZO เพราะ Parquet writer สร้างไม่ได้ ชื่อ lzo และรหัส 3 จึงล้มเหลวตอนสร้าง
การเขียนข้อมูล
ใช้ writer ที่ตรงกับประเภทข้อมูลจริง instrument definition และ custom data มี writer แยกต่างหาก
Writer สำหรับ market data ที่มีมาให้ได้แก่:
write_quote_tickswrite_trade_tickswrite_order_book_deltaswrite_order_book_depthswrite_barswrite_mark_price_updateswrite_index_price_updateswrite_option_greeks
Writer แต่ละตัวรับ start และ end แบบ optional เพื่อ override เป็น UNIX nanosecond ข้อมูลในการเรียกครั้งเดียวต้องมี
identity เดียว เช่น instrument ID หรือ bar type เดียว และต้องเรียงตาม ts_init
การเขียนข้อมูลแบบ typed, instrument และ custom data บน instance เดียวกันจะ serialize การเปลี่ยนแปลงไฟล์ระดับ native อย่าให้ query, การเขียน record หรือ catalog operation ทับซ้อนกับการเรียกอื่นบน instance เดียวกัน การเรียกพร้อมกันอาจเกิด error หากการเรียกตัวใดตัวหนึ่งต้องการสิทธิ์เข้าถึงแบบ exclusive
การตั้งชื่อไฟล์และการจัดระเบียบข้อมูล
Catalog ตั้งชื่อไฟล์ตามช่วง timestamp ด้วยรูปแบบ {start_timestamp}_{end_timestamp}.parquet โดยแปลง timestamp
ISO 8601 แต่ละตัวให้ปลอดภัยสำหรับชื่อไฟล์ด้วยการแทน : และ . ด้วย -
ข้อมูลที่มีมาให้จะจัดเป็น directory ตามประเภทข้อมูลและ identifier สำหรับ instrument ID และ bar type catalog จะลบ /
และแทน ^ ด้วย _ เมื่อสร้างชื่อ directory ที่ปลอดภัยสำหรับ URI:
catalog/
├── data/
│ ├── quotes/
│ │ └── EURUSD.SIM/
│ │ └── 2024-01-01T00-00-00-000000000Z_2024-01-01T23-59-59-999999999Z.parquet
│ └── trades/
│ └── BTCUSD.BINANCE/
│ └── 2024-01-01T00-00-00-000000000Z_2024-01-01T23-59-59-999999999Z.parquetCustom data ใช้ data/custom/<type_name>/ โดยอาจมี path segment ของ identifier ต่อท้าย
Instrument ใช้ directory หนึ่งอันต่อ instrument class จริง เช่น data/currency_pair/ หรือ data/equity/
แทนที่จะใช้ directory instruments ร่วมกัน
Query ของ catalog และ backtest จึงอ่าน เฉพาะ directory มาตรฐานเหล่านี้ query จะไม่อ่าน layout แบบเก่า เช่น
data/trade_tick/, data/quote_tick/ และ data/custom_<snake_case>/
หากต้องการอัปเกรด catalog ที่ยังใช้ layout แบบเก่า ให้แปลงด้วย nautilus catalog migrate-parquet
การเขียนที่ทับซ้อนกัน
โดยค่าเริ่มต้น การเขียนที่ช่วงเวลาทับซ้อนกันจะเกิด error เพื่อรักษาความถูกต้องของข้อมูล
ตั้ง skip_disjoint_check=True เฉพาะเมื่อตั้งใจให้ทับซ้อนเท่านั้น
การอ่านข้อมูล
ใช้ typed query เมื่อทราบประเภทผลลัพธ์ที่ต้องการ (เช่น query_quote_ticks, query_trade_ticks) โดย start และ end
เป็น UNIX nanosecond
เมื่อเปิด feature streaming ให้ลงทะเบียน catalog ผ่าน LiveNodeConfig.catalogs ด้วยรายการ DataCatalogConfig
historical request จะอ่านช่วงเวลาที่มีอยู่ใน catalog และขอช่วงที่ขาดจาก data client
Request ของ quote และ trade ที่ระบุ params["schema"] อย่างชัดเจนจะข้ามการอ่านจาก catalog และการเขียนกลับ
เพราะ schema ต้นทางอาจเปลี่ยนการ sampling หรือ trade ID แต่ key ของ catalog ไม่ได้แยกแยะส่วนนี้
ตั้ง params={"update_catalog": True} เพื่อเขียน response ที่สำเร็จจากต้นทางกลับลงใน catalog และใช้ "catalog_name"
เพื่อเลือก catalog ที่ลงทะเบียนไว้อย่างชัดเจน
การเขียนกลับต้องใช้ client ที่รายงานการเสร็จสิ้นอย่างชัดเจน เช่น Databento client อื่นจะคืนข้อมูลโดยไม่อัปเดต catalog และ log เหตุผลที่ข้ามการเขียนกลับ
การเขียนกลับใช้กฎความครอบคลุมเหล่านี้:
- Response ที่ล้มเหลวและที่เป็นระหว่างทางจะข้ามการเขียนกลับ request ที่ถูกแบ่งเป็นหลาย envelope จากต้นทางก็ข้ามเช่นกัน รวมถึง request book delta แบบ parent-symbol ที่คืน payload หลายชุด
- Request ที่มีการจำกัดจำนวน record จะข้ามการเขียนกลับ เพราะจำนวน row ที่ decode ได้ไม่สามารถพิสูจน์ได้ว่าต้นทางใช้ limit นั้นหมดหรือไม่
- Batch ที่มี instrument หรือ bar type นอกเหนือจาก request จะข้ามการเขียนกลับ เพราะไม่ทราบช่วงความครอบคลุมจากต้นทาง
- Response ว่างที่สำเร็จสามารถขยายความครอบคลุมแบบ known-empty ได้ เมื่อมีขอบเขตทั้งสองด้านและ backend รองรับ
ความล้มเหลวในการเขียน catalog จะถูก log ไว้และไม่ทำให้ข้อมูลที่คืนมาถูกทิ้ง
BacktestDataConfig: ข้อมูลสำหรับ backtest
BacktestDataConfig กำหนดข้อมูลใน catalog ที่ BacktestNode จะโหลดสำหรับหนึ่ง run
พารามิเตอร์หลัก
data_typeเป็นค่าNautilusDataType:QuoteTick,TradeTick,Bar,OrderBookDelta,OrderBookDepth,MarkPriceUpdate,IndexPriceUpdate,FundingRateUpdate,InstrumentStatus,OptionGreeks,InstrumentCloseหรือInstrumentโดยInstrumentจะโหลดทุก instrument class ที่ catalog มีสำหรับ identifier ที่เลือกcatalog_pathระบุ root ของ catalog- ต้องระบุ
instrument_id,instrument_idsหรือbar_typesอย่างใดอย่างหนึ่ง start_timeและend_timeเป็นขอบเขตเวลาแบบ UNIX nanosecond (optional)filter_exprเป็น predicate แบบ DataFusion SQL (optional)catalog_fs_protocolใช้เป็น prefix ของcatalog_pathสำหรับ remote storagecatalog_fs_rust_storage_optionsส่ง option ให้ backend ฝั่ง Rust หากไม่ได้ตั้งค่าBacktestNodeจะ fallback ไปใช้catalog_fs_storage_options- สำหรับ bar,
bar_specจะรวมกับ instrument ID เพื่อเลือก bar type แบบEXTERNALส่วนbar_typesที่ระบุอย่างชัดเจน สามารถเลือก bar แบบ internal, external หรือ composite ได้ ตัวอย่างเช่น instrumentAAPL.NASDAQกับ bar spec แบบ 5-MINUTE-LAST จะเลือกAAPL.NASDAQ-5-MINUTE-LAST-EXTERNAL optimize_file_loadingจะลงทะเบียนทั้ง directory เมื่อทำได้batch_deltas(ค่าเริ่มต้นTrue) จะ replay ข้อมูลOrderBookDeltaเป็น batchOrderBookDeltasที่ปิดด้วยF_LASTดู order book delta replay
Cloud storage และการกรอง
สำหรับ catalog บน cloud ให้ใช้ catalog_fs_protocol (เช่น s3) ร่วมกับ catalog_fs_rust_storage_options เพื่อส่ง credential
และใช้ filter_expr (เช่น ts_init >= 1704067200000000000) เพื่อกรองข้อมูล
การใช้ร่วมกับ BacktestRunConfig
ส่ง data config เหล่านี้ให้ BacktestRunConfig ผ่าน field data ร่วมกับ config ของ venue และขอบเขตเวลา start/end
ของ run
ขั้นตอนการโหลดข้อมูล
เมื่อ backtest ทำงาน BacktestNode จะประมวลผล BacktestDataConfig แต่ละตัวดังนี้:
- สร้าง
ParquetDataCatalogจาก configuration - โหลด instrument definition ที่จำเป็นระหว่างสร้าง engine
- สร้างและรัน DataFusion query จาก field ใน configuration
- เรียงข้อมูลที่ merge แล้วตาม
ts_initและเพิ่มเข้าไปใน backtest engine
การเข้าถึง catalog โดยตรง
- ใช้
ParquetDataCatalogเพื่อ query หรือเขียน catalog โดยตรง - ใช้
BacktestDataConfigเมื่อต้องการให้BacktestNodeโหลดข้อมูลจาก catalog สำหรับ run - ใช้
LiveNodeConfig.catalogsเพื่อลงทะเบียน catalog สำหรับ historical request ซึ่งไม่ได้ preload ข้อมูลแบบที่BacktestDataConfigทำ ส่วน fieldstreamingที่แยกต่างหากใช้กำหนดการเขียน Feather เท่านั้น
การ query และการกรอง
query แบบ generic เลือกกลุ่มข้อมูลผ่าน NautilusDataType ซึ่ง map ไปยัง directory ของ catalog เช่น quotes,
trades หรือ bars ใช้เมื่อต้องการควบคุม files หรือ optimize_file_loading
Query method ทั้งหมดนี้ใช้ขอบเขตเวลาแบบ UNIX nanosecond และรับ where_clause แบบ DataFusion SQL:
queryเป็น interface แบบ generic- Typed method เช่น
query_quote_ticks,query_trade_ticksและquery_barsคืนค่าเป็น model type จริง query_custom_dataresolve custom decoder ผ่าน registry ตอน runtime
ฐานข้อมูล time zone ไม่ตรงกัน
เมื่อใช้ Cargo.lock ปัจจุบัน ฟังก์ชันด้านเวลาของ DataFusion SQL จะ resolve time zone แบบมีชื่อด้วยฐานข้อมูลของ
chrono-tz 0.10.4 ที่เป็น transitive dependency (IANA 2025b) ส่วนการทำงานด้าน time zone ในแกน Rust ใช้ Jiff 0.2.38
พร้อมฐานข้อมูล IANA 2026e ที่ bundle มา ผลลัพธ์ของ zone อาจต่างกันเมื่อกฎของ zone เปลี่ยน หรือข้อมูลย้อนหลังถูกแก้ไข
หลัง 2025b จนกว่า DataFusion จะ migrate
หาก RustSec ออก advisory ประเภท unmaintained สำหรับ chrono หรือ chrono-tz ให้คงรายการ ignore ที่มีเอกสารกำกับ
ให้ตรงกันใน .cargo/audit.toml และ deny.toml จนกว่า DataFusion จะ migrate
Catalog operation
Catalog operation ใช้เปลี่ยนชื่อ, รวม หรือลบไฟล์ข้อมูล โดยมีตัวเลือกประเภทดังนี้:
NautilusDataType: เลือกกลุ่มข้อมูลNautilusDataType.Instrumentครอบคลุมทุก instrument classNautilusRecordType: เลือกกลุ่ม recordNautilusInstrumentType: เจาะจง instrument class เดียว
delete_data_range(...) รับเฉพาะ NautilusDataType เพราะมีแต่กลุ่มข้อมูลเท่านั้นที่รองรับการลบเป็นช่วง
Reset ชื่อไฟล์
Reset ชื่อไฟล์ Parquet ให้ตรงกับ timestamp ของเนื้อหา เพื่อให้การกรองตามชื่อไฟล์ยังแม่นยำ reset_all_file_names()
ประมวลผลทั้ง catalog ส่วน reset_data_file_names(...) เจาะจง data path
สำหรับประเภทข้อมูลที่แบ่ง partition ตาม instrument:
- ระบุ instrument ID เพื่อเจาะจง directory ของ instrument นั้น
- หากไม่ระบุ ID การทำงานจะอ่าน directory ของประเภทนั้นแบบ recursive และเปลี่ยนชื่อแต่ละไฟล์ภายใน directory ของ instrument ของมันเอง โดยตรวจสอบช่วงเวลาของแต่ละ directory ก่อนเปลี่ยนชื่อไฟล์ใด ๆ
กู้คืนจากชื่อไฟล์ที่ทับซ้อนกัน
ชื่อไฟล์ที่ทับซ้อนกันจะบล็อกการเขียนลงใน directory ที่ได้รับผลกระทบ การขยายความครอบคลุมที่ถูกปฏิเสธจะไม่เปลี่ยนชื่อไฟล์เลย ดังนั้นการทับซ้อนจึงบ่งชี้ว่าเกิดจากการเปลี่ยนชื่อครั้งก่อน, การย้ายไฟล์ด้วยมือ หรือ writer ที่ทำงานพร้อมกัน
เมื่อเนื้อหาของไฟล์ยังไม่ทับซ้อนกัน ให้กู้คืน directory ด้วยการ reset ชื่อไฟล์:
- หยุด writer ทุกตัวที่เขียนลง catalog
- สำรอง directory ที่ได้รับผลกระทบ การ reset จะเปลี่ยนชื่อไฟล์ทีละไฟล์ ความล้มเหลวด้าน I/O กลางทางอาจทำให้บางไฟล์ ถูกเปลี่ยนชื่อไปแล้ว บน object store ที่เปลี่ยนชื่อด้วยการ copy แล้วลบ ความล้มเหลวอาจทำให้ไฟล์มีอยู่ทั้งสองชื่อ
- รัน
reset_data_file_names(...)กับ path ที่ได้รับผลกระทบ สำหรับ custom data type ให้ใช้reset_all_file_names()แทน ซึ่งครอบคลุมทุก leaf directory รวมถึง layout แบบ custom - หากการ reset รายงานว่ามีไฟล์อื่นใช้ชื่อใหม่นั้นอยู่ ให้เปลี่ยนชื่อไฟล์นั้นเป็นชื่อช่วงเวลาที่ยังไม่มีใครใช้และอยู่นอกช่วงข้อมูล แล้วรัน reset อีกครั้ง ทำซ้ำจนกว่าจะสำเร็จ
- ยืนยันว่าไฟล์ที่เปลี่ยนชื่อแต่ละไฟล์ตรงกับช่วงของเนื้อหา จากนั้นเขียนข้อมูลช่วงเวลาถัดไปที่ไม่ทับซ้อน เพื่อยืนยันว่า directory รับการเขียนได้อีกครั้ง
การ reset ประมวลผลทีละ directory ก่อนเปลี่ยนชื่อไฟล์ใดใน directory หนึ่ง จะอ่านช่วง ts_init ของทุกไฟล์ก่อน และจะล้มเหลว
เมื่อช่วงของเนื้อหาทับซ้อนกัน หรือเมื่อชื่อใหม่ของไฟล์หนึ่งเป็นชื่อปัจจุบันของอีกไฟล์ เมื่อล้มเหลวจะไม่เปลี่ยนชื่อไฟล์ใดใน
directory นั้นเลย ส่วน directory ที่ reset ไปก่อนหน้า directory ที่ล้มเหลวจะคงชื่อใหม่ไว้
ใช้การ reset ชื่อไฟล์เฉพาะกรณีที่เสียหายแค่ชื่อไฟล์เท่านั้น เมื่อเนื้อหาของไฟล์ทับซ้อนกัน การ reset ชื่อไฟล์ไม่สามารถ กระทบยอดข้อมูลได้และจะล้มเหลว ให้สร้างช่วงที่ได้รับผลกระทบขึ้นใหม่จากต้นทางผ่านกระบวนการที่ตรวจสอบแยกต่างหาก
รวม catalog
รวมไฟล์ Parquet ขนาดเล็กเข้าด้วยกันเพื่อลดจำนวนไฟล์และ overhead ของ query เมื่อไม่ระบุขอบเขต consolidate_catalog()
จะประมวลผลทุก leaf data directory ใน catalog ส่วน consolidate_data(...) ทำงานกับ directory เดียว ระบุ instrument ID
สำหรับประเภทข้อมูลที่แบ่ง partition ตาม instrument โดยรับขอบเขต start/end และ option ensure_contiguous_files ได้
รวม catalog ตามช่วงเวลา
แบ่งไฟล์ข้อมูลเป็นช่วงเวลาคงที่ ทั้ง duration และขอบเขตเวลาใช้หน่วย nanosecond ทั้งสอง method
(consolidate_catalog_by_period และ consolidate_data_by_period) รับขอบเขตแบบ optional และ period_nanos
ระบุ identifier ให้กับ method ราย data type สำหรับข้อมูลที่แบ่ง partition ตาม instrument
- Method ระดับทั้ง catalog: ประมวลผล quote, trade, order book delta, order book depth, bar, index price, mark price, instrument close และ custom type ที่ลงทะเบียนไว้ ประเภทอื่นจะ log warning และข้ามไป
- Method ราย data type: ปฏิเสธตัวเลือกแบบ instrument และ record ซึ่งไม่มีการเขียนใหม่ตามช่วงเวลา ให้ใช้
consolidate_data(...)สำหรับกรณีเหล่านั้น
ลบช่วงข้อมูล
ลบข้อมูลภายในช่วงเวลา โดยอาจจำกัดเฉพาะ data type และ instrument เดียว ระบุ instrument ID สำหรับข้อมูลที่แบ่ง partition ตาม instrument ขอบเขตเวลาทำงานดังนี้:
- ไม่ระบุ
startจะขยายช่วงไปถึงจุดเริ่มต้น - ไม่ระบุ
endจะขยายช่วงไปถึงจุดสิ้นสุด - สำหรับ
delete_data_range(...)การไม่ระบุทั้งสองขอบเขตจะลบข้อมูลที่ตรงเงื่อนไขทั้งหมด
delete_data_range(...) รองรับ quote, trade, bar, order book delta, order book depth และ custom type ที่ลงทะเบียนไว้
ส่ง NautilusDataType.OrderBookDepth สำหรับ order book depth และ NautilusDataType.Custom("MarketTickPython")
สำหรับ custom data type
delete_catalog_range(...)จะทำงานต่อไปหลังเจอ directory ที่ไม่รองรับ โดย log warning และไม่แตะต้องข้อมูลในนั้น- ใช้
delete_data_range(...)เพื่อยืนยันว่าประเภทที่ขอรองรับจริงNautilusDataType.Instrumentจะถูกปฏิเสธ เพราะ instrument definition ไม่รองรับการลบเป็นช่วง
ลบข้อมูลถาวร
การลบไม่สามารถย้อนกลับได้ catalog จะแบ่งไฟล์ที่ทับซ้อนบางส่วนเพื่อรักษาข้อมูลที่อยู่นอกช่วงไว้
Feather streaming และการแปลง
Runtime สามารถพัก record ไว้ในไฟล์ Feather แบบ local แล้ว promote เข้า catalog ได้ด้วย
StreamingConfig(writer_path=..., catalog=DataCatalogConfig(...)) record ที่พักไว้จะ query จาก catalog ได้
หลังจาก promote สำเร็จแล้ว การ flush ข้อมูลที่พักไว้กับการ commit ลง catalog เป็นคนละขั้นตอนกัน
ค่าเริ่มต้นของ streaming คือ promote ตอนปิด, ไม่มีการ promote ตามช่วงเวลา และเก็บไฟล์ Feather ต้นทางที่ commit แล้วไว้
เมื่อตั้ง promotion_interval_ms เป็นค่าบวก:
- Live streaming ใช้การตั้งเวลาตาม wall-clock
- Backtest streaming จะตรวจสอบ clock ที่ส่งเข้ามาระหว่างการเขียนและการ flush
ดู stream data into a Parquet catalog สำหรับค่าเริ่มต้น, configuration, การมองเห็นข้อมูลใน query และการกู้คืน
StreamingFeatherWriter ยังใช้พักข้อมูลโดยตรงได้ และ session ที่เสร็จแล้วสามารถแปลงด้วยมือได้ด้วย
ParquetDataCatalog.convert_stream_to_data()
แปลจาก เอกสาร NautilusTrader © Nautech Systems Pty Ltd และผู้ร่วมพัฒนา เผยแพร่ภายใต้ LGPL-3.0 ฉบับแปลนี้ตัดเนื้อหาเฉพาะ Python ออกและเน้น Rust