tour 02 thread tracking

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Thread%20%26%20Correlation%20Tracking%0A%0A%20%20%20%20In%20distributed%20systems%2C%20a%20single%20request%20often%20spans%20multiple%20threads%2C%0A%20%20%20%20services%2C%20and%20components.%20Logler%20helps%20you%20follow%20these%20execution%20flows.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Following%20threads%20through%20logs%0A%20%20%20%202.%20Tracking%20correlation%20IDs%20across%20services%0A%20%20%20%203.%20Trace%20ID%20tracking%20for%20distributed%20systems%0A%20%20%20%204.%20Timeline%20reconstruction%0A%20%20%20%205.%20Comparing%20parallel%20executions%0A%0A%20%20%20%20Let's%20dive%20in!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Setting%20Up%20-%20Microservice%20Simulation%0A%0A%20%20%20%20We'll%20create%20logs%20that%20simulate%20a%20request%20flowing%20through%20multiple%20services%2C%0A%20%20%20%20similar%20to%20what%20you'd%20see%20in%20a%20real%20microservice%20architecture.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20%23%20Simulate%20requests%20flowing%20through%20microservices%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20def%20_add_event(offset_ms%2C%20level%2C%20message%2C%20service%2C%20thread_id%2C%20correlation_id%2C%20trace_id)%3A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3Doffset_ms)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20service%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22component%22%3A%20service%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20thread_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20correlation_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20trace_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20request_specs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-001%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-abc123%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22user%22%3A%20%22alice%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22amount%22%3A%2099.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sku%22%3A%20%22SKU-12345%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22qty%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22status%22%3A%20%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22offset_ms%22%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22thread_suffix%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-002%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-def456%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22user%22%3A%20%22bob%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22amount%22%3A%2049.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sku%22%3A%20%22SKU-54321%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22qty%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22status%22%3A%20%22failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22offset_ms%22%3A%201200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22thread_suffix%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-003%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-ghi789%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22user%22%3A%20%22carol%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22amount%22%3A%2019.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sku%22%3A%20%22SKU-88888%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22qty%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22status%22%3A%20%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22offset_ms%22%3A%202400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22thread_suffix%22%3A%203%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20for%20_spec%20in%20request_specs%3A%0A%20%20%20%20%20%20%20%20_offset%20%3D%20_spec%5B%22offset_ms%22%5D%0A%20%20%20%20%20%20%20%20_suffix%20%3D%20_spec%5B%22thread_suffix%22%5D%0A%20%20%20%20%20%20%20%20_cid%20%3D%20_spec%5B%22correlation_id%22%5D%0A%20%20%20%20%20%20%20%20_tid%20%3D%20_spec%5B%22trace_id%22%5D%0A%20%20%20%20%20%20%20%20_user%20%3D%20_spec%5B%22user%22%5D%0A%20%20%20%20%20%20%20%20_sku%20%3D%20_spec%5B%22sku%22%5D%0A%20%20%20%20%20%20%20%20_qty%20%3D%20_spec%5B%22qty%22%5D%0A%20%20%20%20%20%20%20%20_amount%20%3D%20_spec%5B%22amount%22%5D%0A%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Received%20POST%20%2Fapi%2Forders%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22http-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%205%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22DEBUG%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Validating%20JWT%20token%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22auth-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22auth-pool-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%2015%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Token%20validated%20for%20user%3A%7B_user%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22auth-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22auth-pool-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%2020%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22DEBUG%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Checking%20inventory%20for%20%7B_sku%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inventory-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22inv-worker-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%2045%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Inventory%20reserved%3A%20%7B_qty%7D%20units%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inventory-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22inv-worker-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%2050%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Processing%20payment%20%24%7B_amount%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22payment-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22payment-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20_spec%5B%22status%22%5D%20%3D%3D%20%22success%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Payment%20authorized%3A%20txn-%7B700%20%2B%20_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22payment-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22payment-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20210%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Order%20created%3A%20order-%7B400%20%2B%20_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22order-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22order-proc-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20215%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Request%20completed%3A%20201%20Created%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22http-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20350%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ERROR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Payment%20declined%3A%20insufficient%20funds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22payment-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22payment-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20355%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22WARN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rolling%20back%20inventory%20reservation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22inventory-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22inv-worker-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_add_event(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_offset%20%2B%20360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Request%20completed%3A%20402%20Payment%20Required%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22http-%7B_suffix%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_tid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Sort%20by%20timestamp%20(simulating%20collected%20logs)%0A%20%20%20%20logs.sort(key%3Dlambda%20x%3A%20x%5B%22timestamp%22%5D)%0A%0A%20%20%20%20%23%20Write%20to%20temp%20file%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22microservices.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20for%20log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20f.write(json.dumps(log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20service_count%20%3D%20len(%7Blog%5B%22service%22%5D%20for%20log%20in%20logs%7D)%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%20from%20%7Bservice_count%7D%20services%22)%0A%20%20%20%20print(%22Correlation%20IDs%3A%20req-001%20(success)%2C%20req-002%20(failed)%2C%20req-003%20(success)%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Following%20a%20Thread%0A%0A%20%20%20%20A%20thread%20represents%20a%20single%20execution%20context.%20Use%20%60follow_thread()%60%0A%20%20%20%20to%20get%20all%20logs%20from%20a%20specific%20thread%2C%20in%20chronological%20order.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20datetime%20import%20datetime%20as%20_dt%0A%20%20%20%20from%20logler.investigate%20import%20follow_thread%0A%0A%20%20%20%20def%20format_duration(timeline)%3A%0A%20%20%20%20%20%20%20%20duration%20%3D%20timeline.get(%22duration_ms%22)%0A%20%20%20%20%20%20%20%20if%20duration%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20entries%20%3D%20timeline.get(%22entries%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(entries)%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20start%20%3D%20_dt.fromisoformat(entries%5B0%5D%5B%22timestamp%22%5D.replace(%22Z%22%2C%20%22%2B00%3A00%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20end%20%3D%20_dt.fromisoformat(entries%5B-1%5D%5B%22timestamp%22%5D.replace(%22Z%22%2C%20%22%2B00%3A00%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20duration%20%3D%20(end%20-%20start).total_seconds()%20*%201000%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20duration%20%3D%20None%0A%20%20%20%20%20%20%20%20return%20%22N%2FA%22%20if%20duration%20is%20None%20else%20f%22%7Bduration%3A.0f%7Dms%22%0A%0A%20%20%20%20def%20service_label(entry)%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20entry.get(%22service_name%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20entry.get(%22fields%22%2C%20%7B%7D).get(%22component%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20entry.get(%22service%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20%22unknown%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20follow_thread%2C%20format_duration%2C%20service_label%0A%0A%0A%40app.cell%0Adef%20_(follow_thread%2C%20format_duration%2C%20log_file)%3A%0A%20%20%20%20%23%20Follow%20the%20payment-1%20thread%20(successful%20payment)%0A%20%20%20%20timeline%20%3D%20follow_thread(files%3D%5Bstr(log_file)%5D%2C%20thread_id%3D%22payment-1%22)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Thread%3A%20payment-1%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Btimeline%5B'total_entries'%5D%7D%22)%0A%20%20%20%20print(f%22Duration%3A%20%7Bformat_duration(timeline)%7D%5Cn%22)%0A%0A%20%20%20%20for%20_entry%20in%20timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20_entry%5B%22timestamp%22%5D.split(%22T%22)%5B1%5D%5B%3A12%5D%0A%20%20%20%20%20%20%20%20print(f%22%5B%7B_ts%7D%5D%20%5B%7B_entry%5B'level'%5D%7D%5D%20%7B_entry%5B'message'%5D%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Following%20a%20Correlation%20ID%0A%0A%20%20%20%20Correlation%20IDs%20track%20a%20single%20request%20across%20all%20services%20and%20threads.%0A%20%20%20%20This%20is%20essential%20for%20debugging%20distributed%20systems.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(follow_thread%2C%20format_duration%2C%20log_file%2C%20service_label)%3A%0A%20%20%20%20%23%20Follow%20the%20successful%20order%20request%0A%20%20%20%20request_timeline%20%3D%20follow_thread(files%3D%5Bstr(log_file)%5D%2C%20correlation_id%3D%22req-001%22)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Request%3A%20req-001%20(Successful%20Order)%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Brequest_timeline%5B'total_entries'%5D%7D%22)%0A%20%20%20%20print(f%22Duration%3A%20%7Bformat_duration(request_timeline)%7D%22)%0A%20%20%20%20services%20%3D%20sorted(%7Bservice_label(_e)%20for%20_e%20in%20request_timeline%5B%22entries%22%5D%7D)%0A%20%20%20%20print(f%22Services%3A%20%7B'%2C%20'.join(services)%7D%5Cn%22)%0A%0A%20%20%20%20for%20_entry%20in%20request_timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20_entry%5B%22timestamp%22%5D.split(%22T%22)%5B1%5D%5B%3A12%5D%0A%20%20%20%20%20%20%20%20_svc%20%3D%20service_label(_entry)%0A%20%20%20%20%20%20%20%20print(f%22%5B%7B_ts%7D%5D%20%5B%7B_svc%3A20%7D%5D%20%5B%7B_entry%5B'level'%5D%3A5%7D%5D%20%7B_entry%5B'message'%5D%7D%22)%0A%20%20%20%20return%20(request_timeline%2C)%0A%0A%0A%40app.cell%0Adef%20_(follow_thread%2C%20format_duration%2C%20log_file%2C%20service_label)%3A%0A%20%20%20%20%23%20Follow%20the%20failed%20order%20request%0A%20%20%20%20failed_timeline%20%3D%20follow_thread(files%3D%5Bstr(log_file)%5D%2C%20correlation_id%3D%22req-002%22)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Request%3A%20req-002%20(Failed%20Order)%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Bfailed_timeline%5B'total_entries'%5D%7D%22)%0A%20%20%20%20print(f%22Duration%3A%20%7Bformat_duration(failed_timeline)%7D%5Cn%22)%0A%0A%20%20%20%20for%20_entry%20in%20failed_timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20_entry%5B%22timestamp%22%5D.split(%22T%22)%5B1%5D%5B%3A12%5D%0A%20%20%20%20%20%20%20%20_svc%20%3D%20service_label(_entry)%0A%20%20%20%20%20%20%20%20_level%20%3D%20_entry%5B%22level%22%5D%0A%20%20%20%20%20%20%20%20%23%20Highlight%20errors%0A%20%20%20%20%20%20%20%20_marker%20%3D%20%22%3E%3E%3E%22%20if%20_level%20%3D%3D%20%22ERROR%22%20else%20%22%20%20%20%22%0A%20%20%20%20%20%20%20%20print(f%22%7B_marker%7D%20%5B%7B_ts%7D%5D%20%5B%7B_svc%3A20%7D%5D%20%5B%7B_level%3A5%7D%5D%20%7B_entry%5B'message'%5D%7D%22)%0A%20%20%20%20return%20(failed_timeline%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Following%20a%20Trace%20ID%0A%0A%20%20%20%20In%20OpenTelemetry-style%20systems%2C%20trace%20IDs%20connect%20all%20operations%0A%20%20%20%20for%20a%20single%20distributed%20transaction.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(follow_thread%2C%20log_file%2C%20service_label)%3A%0A%20%20%20%20%23%20Follow%20by%20trace%20ID%0A%20%20%20%20trace_timeline%20%3D%20follow_thread(files%3D%5Bstr(log_file)%5D%2C%20trace_id%3D%22trace-abc123%22)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Trace%3A%20trace-abc123%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Btrace_timeline%5B'total_entries'%5D%7D%22)%0A%0A%20%20%20%20%23%20Group%20by%20service%0A%20%20%20%20by_service%20%3D%20%7B%7D%0A%20%20%20%20for%20_entry%20in%20trace_timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20_svc%20%3D%20service_label(_entry)%0A%20%20%20%20%20%20%20%20if%20_svc%20not%20in%20by_service%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20by_service%5B_svc%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20by_service%5B_svc%5D.append(_entry)%0A%0A%20%20%20%20print(f%22%5CnServices%20involved%3A%20%7Blist(by_service.keys())%7D%22)%0A%20%20%20%20for%20_svc%2C%20_entries%20in%20by_service.items()%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_svc%7D%3A%20%7Blen(_entries)%7D%20entries%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Comparing%20Parallel%20Requests%0A%0A%20%20%20%20When%20debugging%2C%20you%20often%20want%20to%20compare%20a%20successful%20request%0A%20%20%20%20with%20a%20failed%20one.%20Let's%20analyze%20the%20differences%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(failed_timeline%2C%20format_duration%2C%20request_timeline)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Comparison%3A%20req-001%20vs%20req-002%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20success%20%3D%20request_timeline%0A%20%20%20%20failure%20%3D%20failed_timeline%0A%0A%20%20%20%20print(f%22%7B'Metric'%3A%3C25%7D%20%7B'Success%20(req-001)'%3A%3C20%7D%20%7B'Failure%20(req-002)'%3A%3C20%7D%22)%0A%20%20%20%20print(%22-%22%20*%2065)%0A%20%20%20%20print(f%22%7B'Total%20entries'%3A%3C25%7D%20%7Bsuccess%5B'total_entries'%5D%3A%3C20%7D%20%7Bfailure%5B'total_entries'%5D%3A%3C20%7D%22)%0A%20%20%20%20print(f%22%7B'Duration%20(ms)'%3A%3C25%7D%20%7Bformat_duration(success)%3A%3C20%7D%20%7Bformat_duration(failure)%3A%3C20%7D%22)%0A%0A%20%20%20%20%23%20Count%20by%20level%0A%20%20%20%20def%20count_levels(timeline)%3A%0A%20%20%20%20%20%20%20%20counts%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20_e%20in%20timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_lvl%20%3D%20_e%5B%22level%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%5B_lvl%5D%20%3D%20counts.get(_lvl%2C%200)%20%2B%201%0A%20%20%20%20%20%20%20%20return%20counts%0A%0A%20%20%20%20success_levels%20%3D%20count_levels(success)%0A%20%20%20%20failure_levels%20%3D%20count_levels(failure)%0A%0A%20%20%20%20print(f%22%5Cn%7B'Level%20Breakdown%3A'%3A%3C25%7D%22)%0A%20%20%20%20for%20level%20in%20%5B%22INFO%22%2C%20%22DEBUG%22%2C%20%22WARN%22%2C%20%22ERROR%22%5D%3A%0A%20%20%20%20%20%20%20%20s_count%20%3D%20success_levels.get(level%2C%200)%0A%20%20%20%20%20%20%20%20f_count%20%3D%20failure_levels.get(level%2C%200)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7Blevel%3A%3C23%7D%20%7Bs_count%3A%3C20%7D%20%7Bf_count%3A%3C20%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Finding%20Where%20Things%20Went%20Wrong%0A%0A%20%20%20%20Let's%20pinpoint%20exactly%20where%20the%20failed%20request%20diverged%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(failed_timeline%2C%20request_timeline%2C%20service_label)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Timeline%20Comparison%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20%23%20Get%20services%20visited%20in%20order%0A%20%20%20%20def%20get_service_sequence(timeline)%3A%0A%20%20%20%20%20%20%20%20seen%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_e%20in%20timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_s%20%3D%20service_label(_e)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20seen%20or%20seen%5B-1%5D%20!%3D%20_s%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seen.append(_s)%0A%20%20%20%20%20%20%20%20return%20seen%0A%0A%20%20%20%20success_path%20%3D%20get_service_sequence(request_timeline)%0A%20%20%20%20failure_path%20%3D%20get_service_sequence(failed_timeline)%0A%0A%20%20%20%20print(f%22Success%20path%3A%20%7B'%20-%3E%20'.join(success_path)%7D%22)%0A%20%20%20%20print(f%22Failure%20path%3A%20%7B'%20-%3E%20'.join(failure_path)%7D%22)%0A%0A%20%20%20%20%23%20Find%20first%20ERROR%0A%20%20%20%20print(%22%5Cn%3D%3D%3D%20First%20Error%20%3D%3D%3D%22)%0A%20%20%20%20for%20_entry%20in%20failed_timeline%5B%22entries%22%5D%3A%0A%20%20%20%20%20%20%20%20if%20_entry%5B%22level%22%5D%20%3D%3D%20%22ERROR%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Service%3A%20%7Bservice_label(_entry)%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Thread%3A%20%7B_entry.get('thread_id')%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Message%3A%20%7B_entry%5B'message'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Time%3A%20%7B_entry%5B'timestamp'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20how%20to%20track%20execution%20flows%20in%20Logler%3A%0A%0A%20%20%20%20-%20**%60follow_thread(thread_id%3D...)%60**%20-%20Track%20a%20single%20thread%0A%20%20%20%20-%20**%60follow_thread(correlation_id%3D...)%60**%20-%20Track%20a%20request%20across%20services%0A%20%20%20%20-%20**%60follow_thread(trace_id%3D...)%60**%20-%20Track%20distributed%20traces%0A%20%20%20%20-%20**Timeline%20analysis**%20-%20Compare%20durations%20and%20service%20paths%0A%0A%20%20%20%20**Key%20Insights%3A**%0A%20%20%20%20-%20Correlation%20IDs%20are%20essential%20for%20debugging%20microservices%0A%20%20%20%20-%20Comparing%20successful%20vs%20failed%20requests%20reveals%20root%20causes%0A%20%20%20%20-%20Timeline%20reconstruction%20shows%20the%20full%20request%20journey%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2003**%3A%20Hierarchy%20visualization%20(tree%20and%20waterfall%20views)%0A%20%20%20%20-%20**Tour%2004**%3A%20Investigation%20sessions%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A