tour 08 comparison

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Comparison%20%26%20Diffing%0A%0A%20%20%20%20When%20debugging%2C%20comparing%20things%20is%20essential%3A%0A%20%20%20%20-%20Before%20vs%20after%20deployment%0A%20%20%20%20-%20Successful%20vs%20failed%20requests%0A%20%20%20%20-%20Different%20time%20periods%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Comparing%20hierarchies%20(performance%20diff)%0A%20%20%20%202.%20Comparing%20threads%2Frequests%0A%20%20%20%203.%20Comparing%20time%20periods%0A%20%20%20%204.%20Cross-service%20timeline%20analysis%0A%20%20%20%205.%20Interpreting%20comparison%20results%0A%0A%20%20%20%20Let's%20dive%20in!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Setting%20Up%20-%20Two%20Versions%0A%0A%20%20%20%20We'll%20create%20%22before%22%20and%20%22after%22%20logs%20to%20simulate%0A%20%20%20%20a%20deployment%20that%20introduced%20a%20performance%20regression.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%0A%20%20%20%20%23%20BEFORE%20deployment%20-%20fast%20version%0A%20%20%20%20before_logs%20%3D%20%5B%5D%0A%0A%20%20%20%20before_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3D0)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22HTTP%20GET%20%2Fapi%2Fusers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-before%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22GET%20%2Fapi%2Fusers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20200%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20before_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3D10)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Database%20query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-before%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.db%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22Users%20DB%20Query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%2050%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20before_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3D70)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Cache%20lookup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-before%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.cache%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22User%20Cache%20Lookup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22redis%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%2010%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20before_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3D90)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Response%20formatting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-before%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22response.format%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22Format%20Response%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%2020%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20AFTER%20deployment%20-%20slow%20version%20(regression!)%0A%20%20%20%20after_logs%20%3D%20%5B%5D%0A%0A%20%20%20%20after_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D60%2C%20milliseconds%3D0)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22HTTP%20GET%20%2Fapi%2Fusers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-after%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22GET%20%2Fapi%2Fusers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20800%2C%20%20%23%204x%20slower!%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20after_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D60%2C%20milliseconds%3D10)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Database%20query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-after%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.db%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22Users%20DB%20Query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20400%2C%20%20%23%208x%20slower!%20(regression%20here)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20after_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D60%2C%20milliseconds%3D420)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22WARN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Cache%20miss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-after%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22users.cache%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22User%20Cache%20Lookup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22redis%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20after_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D60%2C%20milliseconds%3D450)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Response%20formatting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-after%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22response.format%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22Format%20Response%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%2025%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20New%20span%20added%20after%20deployment%0A%20%20%20%20after_logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D60%2C%20milliseconds%3D480)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Audit%20logging%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-after%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22audit.log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20%22users.request%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22Audit%20Log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22audit-service%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20100%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Write%20files%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20before_file%20%3D%20Path(temp_dir)%20%2F%20%22before.log%22%0A%20%20%20%20after_file%20%3D%20Path(temp_dir)%20%2F%20%22after.log%22%0A%0A%20%20%20%20with%20open(before_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20before_logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20with%20open(after_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20after_logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(f%22Created%20before.log%3A%20%7Blen(before_logs)%7D%20entries%2C%20200ms%20total%22)%0A%20%20%20%20print(f%22Created%20after.log%3A%20%7Blen(after_logs)%7D%20entries%2C%20800ms%20total%22)%0A%20%20%20%20print(%22%5CnRegression%3A%20Database%20query%20went%20from%2050ms%20to%20400ms!%22)%0A%20%20%20%20return%20after_file%2C%20before_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Comparing%20Hierarchies%0A%0A%20%20%20%20The%20%60diff_hierarchies()%60%20function%20compares%20two%20traces%0A%20%20%20%20to%20identify%20performance%20changes.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20logler.investigate%20import%20(%0A%20%20%20%20%20%20%20%20follow_thread_hierarchy%2C%0A%20%20%20%20%20%20%20%20diff_hierarchies%2C%0A%20%20%20%20%20%20%20%20format_hierarchy_diff%2C%0A%20%20%20%20%20%20%20%20compare_threads%2C%0A%20%20%20%20%20%20%20%20compare_time_periods%2C%0A%20%20%20%20%20%20%20%20cross_service_timeline%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20compare_threads%2C%0A%20%20%20%20%20%20%20%20compare_time_periods%2C%0A%20%20%20%20%20%20%20%20cross_service_timeline%2C%0A%20%20%20%20%20%20%20%20diff_hierarchies%2C%0A%20%20%20%20%20%20%20%20follow_thread_hierarchy%2C%0A%20%20%20%20%20%20%20%20format_hierarchy_diff%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(after_file%2C%20before_file%2C%20follow_thread_hierarchy)%3A%0A%20%20%20%20%23%20Build%20both%20hierarchies%0A%20%20%20%20hierarchy_before%20%3D%20follow_thread_hierarchy(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(before_file)%5D%2C%20root_identifier%3D%22trace-before%22%0A%20%20%20%20)%0A%0A%20%20%20%20hierarchy_after%20%3D%20follow_thread_hierarchy(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(after_file)%5D%2C%20root_identifier%3D%22trace-after%22%0A%20%20%20%20)%0A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22Before%3A%20%7Bhierarchy_before.get('total_duration_ms'%2C%200)%7Dms%2C%20%7Bhierarchy_before%5B'total_nodes'%5D%7D%20nodes%22%0A%20%20%20%20)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22After%3A%20%7Bhierarchy_after.get('total_duration_ms'%2C%200)%7Dms%2C%20%7Bhierarchy_after%5B'total_nodes'%5D%7D%20nodes%22%0A%20%20%20%20)%0A%20%20%20%20return%20hierarchy_after%2C%20hierarchy_before%0A%0A%0A%40app.cell%0Adef%20_(diff_hierarchies%2C%20hierarchy_after%2C%20hierarchy_before)%3A%0A%20%20%20%20%23%20Compare%20the%20hierarchies%0A%20%20%20%20diff%20%3D%20diff_hierarchies(%0A%20%20%20%20%20%20%20%20hierarchy_before%2C%20hierarchy_after%2C%20label_a%3D%22Before%20Deploy%22%2C%20label_b%3D%22After%20Deploy%22%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Hierarchy%20Comparison%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20_summary%20%3D%20diff%5B%22summary%22%5D%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22Duration%20change%3A%20%7B_summary%5B'total_duration_change_ms'%5D%3A%2B.0f%7Dms%20(%7B_summary%5B'total_duration_change_pct'%5D%3A%2B.1f%7D%25)%22%0A%20%20%20%20)%0A%20%20%20%20print(f%22Node%20count%20change%3A%20%7B_summary%5B'node_count_change'%5D%3A%2Bd%7D%22)%0A%20%20%20%20print(f%22New%20errors%3A%20%7B_summary%5B'new_errors'%5D%7D%22)%0A%20%20%20%20print(f%22Resolved%20errors%3A%20%7B_summary%5B'resolved_errors'%5D%7D%22)%0A%20%20%20%20return%20(diff%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Identifying%20Regressions%0A%0A%20%20%20%20The%20diff%20shows%20which%20nodes%20got%20slower%20(degraded)%20or%20faster%20(improved).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(diff)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20DEGRADED%20NODES%20(Got%20Slower)%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20_node%20in%20diff%5B%22degraded_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%E2%9D%8C%20%7B_node%5B'id'%5D%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20Before%3A%20%7B_node%5B'before_ms'%5D%3A.0f%7Dms%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20After%3A%20%7B_node%5B'after_ms'%5D%3A.0f%7Dms%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20Change%3A%20%7B_node%5B'change_ms'%5D%3A%2B.0f%7Dms%20(%7B_node%5B'change_pct'%5D%3A%2B.1f%7D%25)%22)%0A%20%20%20%20%20%20%20%20print()%0A%0A%20%20%20%20print(%22%3D%3D%3D%20IMPROVED%20NODES%20(Got%20Faster)%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20if%20diff%5B%22improved_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20for%20_node%20in%20diff%5B%22improved_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%E2%9C%85%20%7B_node%5B'id'%5D%7D%3A%20%7B_node%5B'change_ms'%5D%3A%2B.0f%7Dms%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22(none)%22)%0A%0A%20%20%20%20print(%22%5Cn%3D%3D%3D%20NEW%20NODES%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20_node%20in%20diff%5B%22new_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%E2%9E%95%20%7B_node%5B'id'%5D%7D%3A%20%7B_node%5B'duration_ms'%5D%3A.0f%7Dms%22)%0A%0A%20%20%20%20print(%22%5Cn%3D%3D%3D%20REMOVED%20NODES%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20if%20diff%5B%22removed_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20for%20_node%20in%20diff%5B%22removed_nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%E2%9E%96%20%7B_node%5B'id'%5D%7D%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22(none)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Formatted%20Diff%20Report%0A%0A%20%20%20%20Use%20%60format_hierarchy_diff()%60%20for%20a%20complete%20formatted%20report.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(diff%2C%20format_hierarchy_diff)%3A%0A%20%20%20%20diff_report%20%3D%20format_hierarchy_diff(diff)%0A%20%20%20%20print(diff_report)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Comparing%20Threads%2FRequests%0A%0A%20%20%20%20Compare%20two%20specific%20requests%20to%20find%20what's%20different.%0A%20%20%20%20Perfect%20for%20%22why%20did%20this%20request%20fail%20but%20that%20one%20succeed%3F%22%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%20as%20_json%0A%20%20%20%20import%20tempfile%20as%20_tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%20as%20_Path%0A%20%20%20%20from%20datetime%20import%20datetime%20as%20_datetime%2C%20timezone%20as%20_tz%2C%20timedelta%20as%20_td%0A%0A%20%20%20%20%23%20Create%20logs%20with%20successful%20and%20failed%20requests%0A%20%20%20%20_base%20%3D%20_datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3D_tz.utc)%0A%20%20%20%20_compare_logs%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Successful%20request%20(req-success)%0A%20%20%20%20_compare_logs.extend(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D0)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Request%20started%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D10)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Cache%20hit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D20)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Response%20sent%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Failed%20request%20(req-failed)%0A%20%20%20%20_compare_logs.extend(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D100)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Request%20started%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D110)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22WARN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Cache%20miss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D120)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Database%20query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D500)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22ERROR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Database%20timeout%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td(milliseconds%3D510)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22ERROR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Request%20failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20%22req-failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_compare_dir%20%3D%20_tempfile.mkdtemp()%0A%20%20%20%20compare_file%20%3D%20_Path(_compare_dir)%20%2F%20%22compare.log%22%0A%20%20%20%20with%20open(compare_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20_compare_logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(_json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(%22Created%20compare.log%20with%20successful%20and%20failed%20requests%22)%0A%20%20%20%20return%20(compare_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(compare_file%2C%20compare_threads)%3A%0A%20%20%20%20%23%20Compare%20successful%20vs%20failed%20request%0A%20%20%20%20thread_comparison%20%3D%20compare_threads(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(compare_file)%5D%2C%20correlation_a%3D%22req-success%22%2C%20correlation_b%3D%22req-failed%22%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Thread%20Comparison%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(thread_comparison%5B%22summary%22%5D)%0A%20%20%20%20return%20(thread_comparison%2C)%0A%0A%0A%40app.cell%0Adef%20_(thread_comparison)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Differences%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20_diffs%20%3D%20thread_comparison%5B%22differences%22%5D%0A%0A%20%20%20%20print(f%22Duration%20difference%3A%20%7B_diffs%5B'duration_diff_ms'%5D%3A%2B.0f%7Dms%22)%0A%20%20%20%20print(f%22Error%20difference%3A%20%7B_diffs%5B'error_diff'%5D%3A%2Bd%7D%22)%0A%0A%20%20%20%20print(%22%5CnOnly%20in%20successful%20request%3A%22)%0A%20%20%20%20for%20_msg%20in%20_diffs.get(%22only_in_a%22%2C%20%5B%5D)%5B%3A3%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%E2%80%A2%20%7B_msg%7D%22)%0A%0A%20%20%20%20print(%22%5CnOnly%20in%20failed%20request%3A%22)%0A%20%20%20%20for%20_msg%20in%20_diffs.get(%22only_in_b%22%2C%20%5B%5D)%5B%3A3%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%E2%80%A2%20%7B_msg%7D%22)%0A%0A%20%20%20%20if%20_diffs.get(%22level_changes%22)%3A%0A%20%20%20%20%20%20%20%20print(f%22%5CnLevel%20changes%3A%20%7B_diffs%5B'level_changes'%5D%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Comparing%20Time%20Periods%0A%0A%20%20%20%20Compare%20logs%20from%20different%20time%20periods%20to%20find%20what%20changed.%0A%20%20%20%20Great%20for%20%22what%20happened%20after%20the%20deployment%20at%203pm%3F%22%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%20as%20_json2%0A%20%20%20%20import%20tempfile%20as%20_tempfile2%0A%20%20%20%20from%20pathlib%20import%20Path%20as%20_Path2%0A%20%20%20%20from%20datetime%20import%20datetime%20as%20_dt2%2C%20timezone%20as%20_tz2%2C%20timedelta%20as%20_td2%0A%0A%20%20%20%20_base2%20%3D%20_dt2(2024%2C%201%2C%2015%2C%2014%2C%200%2C%200%2C%20tzinfo%3D_tz2.utc)%0A%20%20%20%20_period_logs%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Period%20A%3A%20Before%20deployment%20(14%3A00-15%3A00)%20-%20healthy%0A%20%20%20%20for%20_i%20in%20range(20)%3A%0A%20%20%20%20%20%20%20%20_period_logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base2%20%2B%20_td2(minutes%3D_i%20*%203)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Request%20processed%20successfully%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22worker-%7B_i%20%25%203%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Period%20B%3A%20After%20deployment%20(15%3A00-16%3A00)%20-%20problems%0A%20%20%20%20for%20_i%20in%20range(30)%3A%0A%20%20%20%20%20%20%20%20_level%20%3D%20%22ERROR%22%20if%20_i%20%25%205%20%3D%3D%200%20else%20%22INFO%22%0A%20%20%20%20%20%20%20%20_msg%20%3D%20%22Database%20connection%20failed%22%20if%20_level%20%3D%3D%20%22ERROR%22%20else%20%22Request%20processed%22%0A%20%20%20%20%20%20%20%20_period_logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base2%20%2B%20_td2(hours%3D1%2C%20minutes%3D_i%20*%202)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20_level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20_msg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22worker-%7B_i%20%25%205%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_period_dir%20%3D%20_tempfile2.mkdtemp()%0A%20%20%20%20period_file%20%3D%20_Path2(_period_dir)%20%2F%20%22periods.log%22%0A%20%20%20%20with%20open(period_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20_period_logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(_json2.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(%22Created%20periods.log%20spanning%2014%3A00-16%3A00%22)%0A%20%20%20%20return%20(period_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(compare_time_periods%2C%20period_file)%3A%0A%20%20%20%20%23%20Compare%20before%20and%20after%20deployment%0A%20%20%20%20period_comparison%20%3D%20compare_time_periods(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(period_file)%5D%2C%0A%20%20%20%20%20%20%20%20period_a_start%3D%222024-01-15T14%3A00%3A00Z%22%2C%0A%20%20%20%20%20%20%20%20period_a_end%3D%222024-01-15T15%3A00%3A00Z%22%2C%0A%20%20%20%20%20%20%20%20period_b_start%3D%222024-01-15T15%3A00%3A00Z%22%2C%0A%20%20%20%20%20%20%20%20period_b_end%3D%222024-01-15T16%3A00%3A00Z%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Time%20Period%20Comparison%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(period_comparison.get(%22summary%22%2C%20%22No%20summary%20available%22))%0A%20%20%20%20return%20(period_comparison%2C)%0A%0A%0A%40app.cell%0Adef%20_(period_comparison)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Period%20Details%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20_pa%20%3D%20period_comparison.get(%22period_a%22%2C%20%7B%7D)%0A%20%20%20%20_pb%20%3D%20period_comparison.get(%22period_b%22%2C%20%7B%7D)%0A%0A%20%20%20%20print(%22Period%20A%20(before)%3A%22)%0A%20%20%20%20print(f%22%20%20Total%20logs%3A%20%7B_pa.get('total_logs'%2C%200)%7D%22)%0A%20%20%20%20print(f%22%20%20Error%20rate%3A%20%7B_pa.get('error_rate'%2C%200)%3A.1%25%7D%22)%0A%0A%20%20%20%20print(%22%5CnPeriod%20B%20(after)%3A%22)%0A%20%20%20%20print(f%22%20%20Total%20logs%3A%20%7B_pb.get('total_logs'%2C%200)%7D%22)%0A%20%20%20%20print(f%22%20%20Error%20rate%3A%20%7B_pb.get('error_rate'%2C%200)%3A.1%25%7D%22)%0A%0A%20%20%20%20_changes%20%3D%20period_comparison.get(%22changes%22%2C%20%7B%7D)%0A%20%20%20%20if%20_changes%3A%0A%20%20%20%20%20%20%20%20print(%22%5CnChanges%3A%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Volume%20change%3A%20%7B_changes.get('log_volume_change_pct'%2C%200)%3A%2B.0f%7D%25%22)%0A%20%20%20%20%20%20%20%20if%20_changes.get(%22new_errors%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20New%20errors%3A%20%7B_changes%5B'new_errors'%5D%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20Cross-Service%20Timeline%0A%0A%20%20%20%20Compare%20a%20single%20request%20across%20multiple%20services%20to%20see%20timing%20and%20handoffs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cross_service_timeline%2C%20temp_dir)%3A%0A%20%20%20%20import%20json%20as%20_json3%0A%20%20%20%20from%20pathlib%20import%20Path%20as%20_Path3%0A%20%20%20%20from%20datetime%20import%20datetime%20as%20_dt3%2C%20timezone%20as%20_tz3%2C%20timedelta%20as%20_td3%0A%0A%20%20%20%20_base%20%3D%20_dt3(2024%2C%201%2C%2015%2C%2012%2C%200%2C%200%2C%20tzinfo%3D_tz3.utc)%0A%20%20%20%20_cid%20%3D%20%22req-compare-001%22%0A%0A%20%20%20%20api_log%20%3D%20_Path3(temp_dir)%20%2F%20%22compare_api.log%22%0A%20%20%20%20db_log%20%3D%20_Path3(temp_dir)%20%2F%20%22compare_db.log%22%0A%20%20%20%20cache_log%20%3D%20_Path3(temp_dir)%20%2F%20%22compare_cache.log%22%0A%0A%20%20%20%20api_entries%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td3(milliseconds%3D0)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Received%20GET%20%2Fapi%2Fusers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20_cid%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td3(milliseconds%3D120)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22User%20response%20serialized%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20_cid%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20db_entries%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td3(milliseconds%3D30)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22DB%20query%20started%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20_cid%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td3(milliseconds%3D95)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22DB%20query%20finished%20(65ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20_cid%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20cache_entries%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(_base%20%2B%20_td3(milliseconds%3D40)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Cache%20lookup%20miss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22redis%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20_cid%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%5D%0A%0A%20%20%20%20for%20_path%2C%20_entries%20in%20(%0A%20%20%20%20%20%20%20%20(api_log%2C%20api_entries)%2C%0A%20%20%20%20%20%20%20%20(db_log%2C%20db_entries)%2C%0A%20%20%20%20%20%20%20%20(cache_log%2C%20cache_entries)%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20with%20open(_path%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_entry%20in%20_entries%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_f.write(_json3.dumps(_entry)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20timeline%20%3D%20cross_service_timeline(%0A%20%20%20%20%20%20%20%20files%3D%7B%22api%22%3A%20%5Bstr(api_log)%5D%2C%20%22db%22%3A%20%5Bstr(db_log)%5D%2C%20%22cache%22%3A%20%5Bstr(cache_log)%5D%7D%2C%0A%20%20%20%20%20%20%20%20correlation_id%3D_cid%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Cross-Service%20Timeline%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Services%3A%20%7Btimeline.get('services'%2C%20%5B%5D)%7D%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Btimeline.get('total_entries'%2C%200)%7D%22)%0A%20%20%20%20print(f%22Duration%3A%20%7Btimeline.get('duration_ms'%2C%200)%7Dms%5Cn%22)%0A%0A%20%20%20%20for%20_event%20in%20timeline.get(%22timeline%22%2C%20%5B%5D)%5B%3A10%5D%3A%0A%20%20%20%20%20%20%20%20_svc%20%3D%20_event.get(%22service%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20_rel%20%3D%20_event.get(%22relative_time_ms%22%2C%200)%0A%20%20%20%20%20%20%20%20_msg%20%3D%20_event.get(%22entry%22%2C%20%7B%7D).get(%22message%22%2C%20%22%22)%0A%20%20%20%20%20%20%20%20print(f%22%2B%7B_rel%3A4d%7Dms%20%5B%7B_svc%3A8%7D%5D%20%7B_msg%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20how%20to%20compare%20logs%3A%0A%0A%20%20%20%20-%20**%60diff_hierarchies()%60**%20-%20Compare%20two%20traces%20for%20performance%20changes%0A%20%20%20%20-%20**%60format_hierarchy_diff()%60**%20-%20Format%20the%20comparison%0A%20%20%20%20-%20**%60compare_threads()%60**%20-%20Compare%20two%20requests%2Fthreads%0A%20%20%20%20-%20**%60compare_time_periods()%60**%20-%20Before%2Fafter%20time%20analysis%0A%20%20%20%20-%20**%60cross_service_timeline()%60**%20-%20Unified%20multi-service%20view%0A%0A%20%20%20%20**Key%20Insights%3A**%0A%20%20%20%20-%20Hierarchy%20diff%20finds%20performance%20regressions%0A%20%20%20%20-%20Thread%20comparison%20reveals%20why%20one%20request%20failed%0A%20%20%20%20-%20Time%20period%20comparison%20finds%20deployment%20impacts%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2009**%3A%20Distributed%20tracing%20exports%0A%20%20%20%20-%20**Tour%2010**%3A%20Smart%20sampling%20strategies%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A