tour 03 hierarchy

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Hierarchy%20Visualization%0A%0A%20%20%20%20Complex%20distributed%20systems%20create%20hierarchical%20execution%20patterns.%0A%20%20%20%20Logler%20can%20visualize%20these%20as%20trees%20and%20waterfall%20diagrams.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20OpenTelemetry%20field%20conventions%20(trace_id%2C%20span_id%2C%20parent_span_id)%0A%20%20%20%202.%20How%20to%20add%20readable%20labels%20with%20%60operation_name%60%0A%20%20%20%203.%20Tree%20visualization%0A%20%20%20%204.%20Waterfall%20(timeline)%20diagrams%0A%20%20%20%205.%20Detecting%20bottlenecks%20and%20errors%0A%0A%20%20%20%20Let's%20dive%20in!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20OpenTelemetry%20Field%20Conventions%0A%0A%20%20%20%20Logler%20follows%20**OpenTelemetry**%20conventions%20for%20distributed%20tracing.%0A%20%20%20%20These%20fields%20enable%20automatic%20hierarchy%20detection%3A%0A%0A%20%20%20%20%7C%20Field%20%7C%20Purpose%20%7C%20Example%20%7C%0A%20%20%20%20%7C-------%7C---------%7C---------%7C%0A%20%20%20%20%7C%20%60trace_id%60%20%7C%20Groups%20all%20spans%20in%20one%20request%20%7C%20%60%22trace-abc123%22%60%20%7C%0A%20%20%20%20%7C%20%60span_id%60%20%7C%20Unique%20ID%20for%20this%20operation%20%7C%20%60%22span-auth%22%60%20%7C%0A%20%20%20%20%7C%20%60parent_span_id%60%20%7C%20Links%20to%20parent%20span%20%7C%20%60%22span-root%22%60%20%7C%0A%20%20%20%20%7C%20%60operation_name%60%20%7C%20**Human-readable%20label**%20(displayed%20in%20tree)%20%7C%20%60%22Auth%20Check%22%60%20%7C%0A%20%20%20%20%7C%20%60duration_ms%60%20%7C%20How%20long%20this%20span%20took%20%7C%20%6025%60%20%7C%0A%0A%20%20%20%20**Important%3A**%20Without%20%60operation_name%60%2C%20the%20tree%20shows%20raw%20span%20IDs%20like%0A%20%20%20%20%22span-root%22%20which%20isn't%20helpful.%20Always%20add%20descriptive%20operation%20names!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Creating%20Sample%20Trace%20Data%0A%0A%20%20%20%20We'll%20simulate%20a%20dashboard%20request%20that%3A%0A%20%20%20%20-%20Authenticates%20the%20user%0A%20%20%20%20-%20Fetches%20user%20data%20(with%20a%20DB%20query%20and%20cache%20lookup)%0A%20%20%20%20-%20Fetches%20metrics%20(with%20a%20SLOW%20aggregation%20-%20our%20bottleneck)%0A%20%20%20%20-%20Has%20an%20ERROR%20in%20the%20notification%20service%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20def%20add_span(%0A%20%20%20%20%20%20%20%20span_id%2C%0A%20%20%20%20%20%20%20%20parent_span_id%2C%0A%20%20%20%20%20%20%20%20operation_name%2C%0A%20%20%20%20%20%20%20%20service%2C%0A%20%20%20%20%20%20%20%20message%2C%0A%20%20%20%20%20%20%20%20offset_ms%2C%0A%20%20%20%20%20%20%20%20duration_ms%2C%0A%20%20%20%20%20%20%20%20level%3D%22INFO%22%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Helper%20to%20create%20properly%20structured%20span%20logs.%22%22%22%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3Doffset_ms)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20OpenTelemetry%20standard%20fields%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-001%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20span_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20parent_span_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Human-readable%20label%20(THIS%20IS%20KEY%20for%20nice%20tree%20output!)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20operation_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Additional%20context%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20service%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20duration_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Root%20span%20-%20API%20Gateway%20handles%20the%20request%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-root%22%2C%20None%2C%20%22GET%20%2Fapi%2Fdashboard%22%2C%20%22api-gateway%22%2C%20%22HTTP%20GET%20%2Fapi%2Fdashboard%22%2C%200%2C%20450%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Child%3A%20Auth%20check%20(fast)%0A%20%20%20%20add_span(%22span-auth%22%2C%20%22span-root%22%2C%20%22Auth%20Check%22%2C%20%22auth-service%22%2C%20%22Validating%20JWT%20token%22%2C%205%2C%2025)%0A%0A%20%20%20%20%23%20Child%3A%20Fetch%20user%20data%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-user%22%2C%0A%20%20%20%20%20%20%20%20%22span-root%22%2C%0A%20%20%20%20%20%20%20%20%22Fetch%20User%20Profile%22%2C%0A%20%20%20%20%20%20%20%20%22user-service%22%2C%0A%20%20%20%20%20%20%20%20%22Loading%20user%20profile%20for%20user%3A123%22%2C%0A%20%20%20%20%20%20%20%2035%2C%0A%20%20%20%20%20%20%20%2080%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Grandchild%3A%20Database%20query%20under%20user%20fetch%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-user-db%22%2C%0A%20%20%20%20%20%20%20%20%22span-user%22%2C%0A%20%20%20%20%20%20%20%20%22User%20DB%20Query%22%2C%0A%20%20%20%20%20%20%20%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%22SELECT%20*%20FROM%20users%20WHERE%20id%20%3D%20123%22%2C%0A%20%20%20%20%20%20%20%2040%2C%0A%20%20%20%20%20%20%20%2045%2C%0A%20%20%20%20%20%20%20%20%22DEBUG%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Grandchild%3A%20Cache%20lookup%20under%20user%20fetch%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-user-cache%22%2C%0A%20%20%20%20%20%20%20%20%22span-user%22%2C%0A%20%20%20%20%20%20%20%20%22User%20Cache%20Lookup%22%2C%0A%20%20%20%20%20%20%20%20%22redis%22%2C%0A%20%20%20%20%20%20%20%20%22Cache%20HIT%3A%20user%3A123%3Apreferences%22%2C%0A%20%20%20%20%20%20%20%2090%2C%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20%22DEBUG%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Child%3A%20Fetch%20metrics%20(parallel%20with%20user%20data)%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-metrics%22%2C%0A%20%20%20%20%20%20%20%20%22span-root%22%2C%0A%20%20%20%20%20%20%20%20%22Fetch%20Metrics%22%2C%0A%20%20%20%20%20%20%20%20%22metrics-service%22%2C%0A%20%20%20%20%20%20%20%20%22Loading%20dashboard%20metrics%22%2C%0A%20%20%20%20%20%20%20%2035%2C%0A%20%20%20%20%20%20%20%20200%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Grandchild%3A%20SLOW%20aggregation%20-%20THIS%20IS%20THE%20BOTTLENECK%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-metrics-agg%22%2C%0A%20%20%20%20%20%20%20%20%22span-metrics%22%2C%0A%20%20%20%20%20%20%20%20%22Metrics%20Aggregation%20(SLOW)%22%2C%0A%20%20%20%20%20%20%20%20%22clickhouse%22%2C%0A%20%20%20%20%20%20%20%20%22Aggregating%201M%20rows%20-%20this%20is%20slow!%22%2C%0A%20%20%20%20%20%20%20%2040%2C%0A%20%20%20%20%20%20%20%20180%2C%0A%20%20%20%20%20%20%20%20%22WARN%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Child%3A%20Fetch%20notifications%20-%20THIS%20WILL%20HAVE%20AN%20ERROR%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-notif%22%2C%0A%20%20%20%20%20%20%20%20%22span-root%22%2C%0A%20%20%20%20%20%20%20%20%22Fetch%20Notifications%22%2C%0A%20%20%20%20%20%20%20%20%22notification-service%22%2C%0A%20%20%20%20%20%20%20%20%22Loading%20notifications%20for%20user%3A123%22%2C%0A%20%20%20%20%20%20%20%20240%2C%0A%20%20%20%20%20%20%20%2060%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Grandchild%3A%20Notification%20DB%20-%20ERROR!%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-notif-db%22%2C%0A%20%20%20%20%20%20%20%20%22span-notif%22%2C%0A%20%20%20%20%20%20%20%20%22Notification%20DB%20Query%22%2C%0A%20%20%20%20%20%20%20%20%22postgres%22%2C%0A%20%20%20%20%20%20%20%20%22Connection%20timeout%20to%20notifications%20DB%22%2C%0A%20%20%20%20%20%20%20%20245%2C%0A%20%20%20%20%20%20%20%2055%2C%0A%20%20%20%20%20%20%20%20%22ERROR%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Child%3A%20Render%20response%0A%20%20%20%20add_span(%0A%20%20%20%20%20%20%20%20%22span-render%22%2C%0A%20%20%20%20%20%20%20%20%22span-root%22%2C%0A%20%20%20%20%20%20%20%20%22Render%20Response%22%2C%0A%20%20%20%20%20%20%20%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%22Building%20JSON%20response%22%2C%0A%20%20%20%20%20%20%20%20320%2C%0A%20%20%20%20%20%20%20%2025%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Final%20response%20log%20(same%20span%20as%20root)%0A%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3D450)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20%22Response%20sent%3A%20200%20OK%20(450ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trace_id%22%3A%20%22trace-001%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span_id%22%3A%20%22span-root%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parent_span_id%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22operation_name%22%3A%20%22GET%20%2Fapi%2Fdashboard%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Write%20to%20temp%20file%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22otel.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20for%20log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20f.write(json.dumps(log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%20with%20span%20hierarchy%22)%0A%20%20%20%20print(%22Trace%20ID%3A%20trace-001%22)%0A%20%20%20%20print(%22%5CnKey%20features%20of%20this%20trace%3A%22)%0A%20%20%20%20print(%22%20%20-%20Bottleneck%3A%20Metrics%20Aggregation%20(180ms)%22)%0A%20%20%20%20print(%22%20%20-%20Error%3A%20Notification%20DB%20Query%20(connection%20timeout)%22)%0A%20%20%20%20print(%22%20%20-%20Parallel%20operations%3A%20User%20fetch%20%2B%20Metrics%20fetch%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Building%20the%20Hierarchy%0A%0A%20%20%20%20Use%20%60Investigator.build_hierarchy(trace_id)%60%20to%20reconstruct%0A%20%20%20%20parent-child%20relationships%20from%20%60span_id%60%20and%20%60parent_span_id%60%20fields.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20logler.investigate%20import%20Investigator%2C%20get_hierarchy_summary%0A%20%20%20%20from%20logler.tree_formatter%20import%20format_tree%2C%20format_waterfall%0A%20%20%20%20return%20Investigator%2C%20format_tree%2C%20format_waterfall%2C%20get_hierarchy_summary%0A%0A%0A%40app.cell%0Adef%20_(Investigator%2C%20log_file)%3A%0A%20%20%20%20%23%20Load%20logs%20and%20build%20hierarchy%0A%20%20%20%20inv%20%3D%20Investigator()%0A%20%20%20%20inv.load_files(%5Bstr(log_file)%5D)%0A%0A%20%20%20%20%23%20Build%20hierarchy%20for%20trace-001%0A%20%20%20%20hierarchy%20%3D%20inv.build_hierarchy(%22trace-001%22)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Hierarchy%20Built%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20nodes%3A%20%7Bhierarchy%5B'total_nodes'%5D%7D%22)%0A%20%20%20%20print(f%22Max%20depth%3A%20%7Bhierarchy%5B'max_depth'%5D%7D%22)%0A%20%20%20%20print(f%22Total%20duration%3A%20%7Bhierarchy.get('total_duration_ms'%2C%20'N%2FA')%7Dms%22)%0A%0A%20%20%20%20%23%20Show%20detection%20method%0A%20%20%20%20detection%20%3D%20hierarchy.get(%22detection_method%22%2C%20%22Unknown%22)%0A%20%20%20%20print(f%22Detection%20method%3A%20%7Bdetection%7D%22)%0A%20%20%20%20print(%22%5Cn(Detection%20should%20be%20'Explicit'%20since%20we%20used%20parent_span_id)%22)%0A%20%20%20%20return%20(hierarchy%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Tree%20Visualization%0A%0A%20%20%20%20The%20tree%20view%20shows%20the%20hierarchical%20structure.%20Notice%20how%20nodes%0A%20%20%20%20display%20the%20%60operation_name%60%20we%20provided%2C%20not%20raw%20span%20IDs!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(format_tree%2C%20hierarchy)%3A%0A%20%20%20%20%23%20Format%20as%20tree%20(compact%20mode)%0A%20%20%20%20print(%22%3D%3D%3D%20Compact%20Tree%20View%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20tree%20%3D%20format_tree(hierarchy%2C%20mode%3D%22compact%22%2C%20use_colors%3DFalse)%0A%20%20%20%20print(tree)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(format_tree%2C%20hierarchy)%3A%0A%20%20%20%20%23%20Detailed%20mode%20shows%20duration%20and%20entry%20counts%0A%20%20%20%20print(%22%3D%3D%3D%20Detailed%20Tree%20View%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20detailed_tree%20%3D%20format_tree(hierarchy%2C%20mode%3D%22detailed%22%2C%20use_colors%3DFalse)%0A%20%20%20%20print(detailed_tree)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Waterfall%20Diagram%0A%0A%20%20%20%20The%20waterfall%20shows%20**when**%20each%20span%20started%20and%20**how%20long**%20it%20took.%0A%20%20%20%20This%20reveals%3A%0A%20%20%20%20-%20Parallelism%20(spans%20starting%20at%20the%20same%20time)%0A%20%20%20%20-%20Bottlenecks%20(wide%20bars)%0A%20%20%20%20-%20Sequential%20dependencies%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(format_waterfall%2C%20hierarchy)%3A%0A%20%20%20%20%23%20Format%20as%20waterfall%20(timeline%20view)%0A%20%20%20%20print(%22%3D%3D%3D%20Waterfall%20Timeline%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20waterfall%20%3D%20format_waterfall(hierarchy%2C%20width%3D70)%0A%20%20%20%20print(waterfall)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Detecting%20Bottlenecks%0A%0A%20%20%20%20Logler%20automatically%20identifies%20the%20slowest%20span.%20In%20our%20trace%2C%0A%20%20%20%20it%20should%20find%20the%20%22Metrics%20Aggregation%22%20span%20(180ms).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(hierarchy)%3A%0A%20%20%20%20bottleneck%20%3D%20hierarchy.get(%22bottleneck%22)%0A%0A%20%20%20%20if%20bottleneck%3A%0A%20%20%20%20%20%20%20%20print(%22%3D%3D%3D%20Bottleneck%20Detected%20%3D%3D%3D%22)%0A%20%20%20%20%20%20%20%20print(f%22Node%3A%20%7Bbottleneck.get('node_id')%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22Duration%3A%20%7Bbottleneck.get('duration_ms'%2C%200)%7Dms%22)%0A%20%20%20%20%20%20%20%20total_ms%20%3D%20hierarchy.get(%22total_duration_ms%22%2C%201)%0A%20%20%20%20%20%20%20%20if%20total_ms%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pct%20%3D%20(bottleneck.get(%22duration_ms%22%2C%200)%20%2F%20total_ms)%20*%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Percentage%20of%20total%3A%20%7Bpct%3A.1f%7D%25%22)%0A%20%20%20%20%20%20%20%20print(%22%5CnThis%20is%20where%20optimization%20efforts%20should%20focus!%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22No%20bottleneck%20detected%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20Error%20Detection%0A%0A%20%20%20%20Logler%20tracks%20which%20nodes%20have%20errors.%20In%20our%20trace%2C%20the%0A%20%20%20%20%22Notification%20DB%20Query%22%20span%20has%20an%20ERROR%20level%20log.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(hierarchy)%3A%0A%20%20%20%20error_nodes%20%3D%20hierarchy.get(%22error_nodes%22%2C%20%5B%5D)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Error%20Analysis%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20if%20error_nodes%3A%0A%20%20%20%20%20%20%20%20print(f%22Found%20%7Blen(error_nodes)%7D%20node(s)%20with%20errors%3A%22)%0A%20%20%20%20%20%20%20%20for%20node_id%20in%20error_nodes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20-%20%7Bnode_id%7D%22)%0A%20%20%20%20%20%20%20%20print(%22%5CnThese%20nodes%20had%20ERROR%20level%20logs%20and%20may%20need%20investigation.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22No%20errors%20detected%20in%20this%20hierarchy%22)%0A%0A%20%20%20%20%23%20Show%20concurrent%20operations%0A%20%20%20%20concurrent%20%3D%20hierarchy.get(%22concurrent_count%22%2C%200)%0A%20%20%20%20if%20concurrent%3A%0A%20%20%20%20%20%20%20%20print(f%22%5CnConcurrent%20operations%20detected%3A%20%7Bconcurrent%7D%22)%0A%20%20%20%20%20%20%20%20print(%22(Multiple%20spans%20running%20in%20parallel)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%208.%20Hierarchy%20Summary%0A%0A%20%20%20%20Get%20a%20text%20summary%20suitable%20for%20reports%20or%20LLM%20context%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_hierarchy_summary%2C%20hierarchy)%3A%0A%20%20%20%20summary%20%3D%20get_hierarchy_summary(hierarchy)%0A%20%20%20%20print(summary)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20**OpenTelemetry%20Fields%20for%20Hierarchy%3A**%0A%20%20%20%20-%20%60trace_id%60%20-%20Groups%20all%20spans%20in%20a%20distributed%20trace%0A%20%20%20%20-%20%60span_id%60%20-%20Unique%20identifier%20for%20each%20operation%0A%20%20%20%20-%20%60parent_span_id%60%20-%20Links%20child%20spans%20to%20parents%0A%20%20%20%20-%20%60operation_name%60%20-%20**Human-readable%20label**%20(use%20this%20for%20nice%20output!)%0A%20%20%20%20-%20%60duration_ms%60%20-%20Time%20taken%20by%20this%20span%0A%0A%20%20%20%20**Visualization%20Functions%3A**%0A%20%20%20%20-%20%60build_hierarchy(trace_id)%60%20-%20Reconstruct%20span%20relationships%0A%20%20%20%20-%20%60format_tree(hierarchy)%60%20-%20Tree%20view%20(compact%2C%20detailed%2C%20full)%0A%20%20%20%20-%20%60format_waterfall(hierarchy)%60%20-%20Timeline%20with%20bars%0A%20%20%20%20-%20%60get_hierarchy_summary(hierarchy)%60%20-%20Text%20summary%0A%0A%20%20%20%20**Automatic%20Detection%3A**%0A%20%20%20%20-%20Bottlenecks%20(slowest%20spans)%0A%20%20%20%20-%20Errors%20(nodes%20with%20ERROR%20level%20logs)%0A%20%20%20%20-%20Concurrent%20operations%20(parallel%20spans)%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2004**%3A%20Investigation%20sessions%0A%20%20%20%20-%20**Tour%2005**%3A%20Pattern%20detection%0A%20%20%20%20-%20**Tour%2006**%3A%20Flamegraph%20visualization%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A