tour 11 ai insights

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20AI%20Investigation%20Insights%0A%0A%20%20%20%20Demonstrate%20an%20LLM-powered%20investigation%20workflow%3A%20triage%20log%20entries%2C%0A%20%20%20%20generate%20insights%2C%20explain%20errors%2C%20and%20suggest%20next%20actions.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Automatic%20triage%20of%20log%20data%0A%20%20%20%202.%20Generating%20structured%20insights%0A%20%20%20%203.%20Error%20explanation%0A%20%20%20%204.%20Suggesting%20actionable%20next%20steps%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2014%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Simulate%20a%20cascading%20failure%20scenario%0A%20%20%20%20scenario%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(0%2C%20%22INFO%22%2C%20%22api%22%2C%20%22Health%20check%20passed%22)%2C%0A%20%20%20%20%20%20%20%20(1%2C%20%22INFO%22%2C%20%22api%22%2C%20%22Request%20GET%20%2Fapi%2Fusers%20processed%20in%2045ms%22)%2C%0A%20%20%20%20%20%20%20%20(2%2C%20%22INFO%22%2C%20%22database%22%2C%20%22Connection%20pool%3A%2010%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(5%2C%20%22WARN%22%2C%20%22database%22%2C%20%22Connection%20pool%3A%203%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(8%2C%20%22WARN%22%2C%20%22database%22%2C%20%22Connection%20pool%3A%201%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(10%2C%20%22ERROR%22%2C%20%22database%22%2C%20%22Connection%20pool%20exhausted%3A%200%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(11%2C%20%22ERROR%22%2C%20%22api%22%2C%20%22Database%20connection%20timeout%20after%205000ms%22)%2C%0A%20%20%20%20%20%20%20%20(12%2C%20%22ERROR%22%2C%20%22api%22%2C%20%22Request%20GET%20%2Fapi%2Forders%20failed%3A%20database%20unavailable%22)%2C%0A%20%20%20%20%20%20%20%20(13%2C%20%22ERROR%22%2C%20%22api%22%2C%20%22Request%20POST%20%2Fapi%2Fcheckout%20failed%3A%20database%20unavailable%22)%2C%0A%20%20%20%20%20%20%20%20(14%2C%20%22WARN%22%2C%20%22loadbalancer%22%2C%20%22Backend%20api-01%20health%20check%20failed%22)%2C%0A%20%20%20%20%20%20%20%20(15%2C%20%22ERROR%22%2C%20%22loadbalancer%22%2C%20%22No%20healthy%20backends%20available%22)%2C%0A%20%20%20%20%20%20%20%20(16%2C%20%22ERROR%22%2C%20%22api%22%2C%20%22Circuit%20breaker%20OPEN%20for%20database-pool%22)%2C%0A%20%20%20%20%20%20%20%20(20%2C%20%22INFO%22%2C%20%22database%22%2C%20%22Connection%20pool%20recovering%3A%202%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(25%2C%20%22INFO%22%2C%20%22database%22%2C%20%22Connection%20pool%3A%208%2F10%20available%22)%2C%0A%20%20%20%20%20%20%20%20(30%2C%20%22INFO%22%2C%20%22api%22%2C%20%22Circuit%20breaker%20HALF-OPEN%20for%20database-pool%22)%2C%0A%20%20%20%20%20%20%20%20(35%2C%20%22INFO%22%2C%20%22api%22%2C%20%22Circuit%20breaker%20CLOSED%20for%20database-pool%22)%2C%0A%20%20%20%20%20%20%20%20(36%2C%20%22INFO%22%2C%20%22api%22%2C%20%22Request%20GET%20%2Fapi%2Fusers%20processed%20in%2052ms%22)%2C%0A%20%20%20%20%20%20%20%20(40%2C%20%22INFO%22%2C%20%22loadbalancer%22%2C%20%22Backend%20api-01%20health%20check%20passed%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20for%20offset%2C%20_level%2C%20_component%2C%20_message%20in%20scenario%3A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3Doffset)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20_level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20_message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22component%22%3A%20_component%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20_component%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22%7B_component%7D-main%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22cascading_failure.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%20simulating%20cascading%20failure%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Automatic%20Analysis%0A%0A%20%20%20%20First%2C%20let's%20triage%20the%20log%20data%20automatically%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file)%3A%0A%20%20%20%20from%20logler.investigate%20import%20search%0A%0A%20%20%20%20result%20%3D%20search(files%3D%5Bstr(log_file)%5D%2C%20query%3D%22%22%2C%20limit%3D200)%0A%0A%20%20%20%20%23%20Triage%3A%20count%20by%20level%20and%20component%0A%20%20%20%20from%20collections%20import%20Counter%2C%20defaultdict%0A%0A%20%20%20%20level_counts%20%3D%20Counter()%0A%20%20%20%20component_errors%20%3D%20defaultdict(list)%0A%0A%20%20%20%20for%20item%20in%20result.get(%22results%22%2C%20%5B%5D)%3A%0A%20%20%20%20%20%20%20%20entry%20%3D%20item%5B%22entry%22%5D%0A%20%20%20%20%20%20%20%20level_counts%5Bentry%5B%22level%22%5D%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20if%20entry%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22CRITICAL%22%2C%20%22FATAL%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_component%20%3D%20entry.get(%22fields%22%2C%20%7B%7D).get(%22component%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20component_errors%5B_component%5D.append(entry%5B%22message%22%5D)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Automatic%20Analysis%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Bresult%5B'total_matches'%5D%7D%22)%0A%20%20%20%20print(%22%5CnLevel%20distribution%3A%22)%0A%20%20%20%20for%20_level%20in%20(%22ERROR%22%2C%20%22WARN%22%2C%20%22INFO%22%2C%20%22DEBUG%22)%3A%0A%20%20%20%20%20%20%20%20_count%20%3D%20level_counts.get(_level%2C%200)%0A%20%20%20%20%20%20%20%20if%20_count%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%7B_level%7D%3A%20%7B_count%7D%22)%0A%0A%20%20%20%20print(%22%5CnError%20sources%3A%22)%0A%20%20%20%20for%20_comp%2C%20msgs%20in%20sorted(component_errors.items()%2C%20key%3Dlambda%20x%3A%20-len(x%5B1%5D))%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_comp%7D%3A%20%7Blen(msgs)%7D%20errors%22)%0A%20%20%20%20return%20(result%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Generating%20Insights%0A%0A%20%20%20%20Analyze%20the%20timeline%20to%20extract%20structured%20insights%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20%23%20Build%20timeline%20analysis%0A%20%20%20%20_entries%20%3D%20result.get(%22results%22%2C%20%5B%5D)%0A%20%20%20%20_errors%20%3D%20%5B%0A%20%20%20%20%20%20%20%20item%5B%22entry%22%5D%20for%20item%20in%20_entries%20if%20item%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22CRITICAL%22)%0A%20%20%20%20%5D%0A%20%20%20%20_warnings%20%3D%20%5B%0A%20%20%20%20%20%20%20%20item%5B%22entry%22%5D%20for%20item%20in%20_entries%20if%20item%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22WARN%22%2C%20%22WARNING%22)%0A%20%20%20%20%5D%0A%0A%20%20%20%20print(%22%3D%3D%3D%20INSIGHTS%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20%23%20Insight%201%3A%20Root%20cause%20identification%0A%20%20%20%20if%20_errors%3A%0A%20%20%20%20%20%20%20%20first_error%20%3D%20_errors%5B0%5D%0A%20%20%20%20%20%20%20%20print(f%221.%20FIRST%20ERROR%3A%20'%7Bfirst_error%5B'message'%5D%7D'%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20at%20%7Bfirst_error.get('timestamp'%2C%20'unknown')%7D%22)%0A%20%20%20%20%20%20%20%20_component%20%3D%20first_error.get(%22fields%22%2C%20%7B%7D).get(%22component%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20Component%3A%20%7B_component%7D%22)%0A%20%20%20%20%20%20%20%20print()%0A%0A%20%20%20%20%23%20Insight%202%3A%20Warning-to-error%20escalation%0A%20%20%20%20if%20_warnings%20and%20_errors%3A%0A%20%20%20%20%20%20%20%20first_warn_ts%20%3D%20_warnings%5B0%5D.get(%22timestamp%22%2C%20%22%22)%0A%20%20%20%20%20%20%20%20first_error_ts%20%3D%20_errors%5B0%5D.get(%22timestamp%22%2C%20%22%22)%0A%20%20%20%20%20%20%20%20print(f%222.%20ESCALATION%3A%20Warnings%20started%20at%20%7Bfirst_warn_ts%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20Errors%20began%20at%20%7Bfirst_error_ts%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20%7Blen(_warnings)%7D%20warnings%20preceded%20%7Blen(_errors)%7D%20errors%22)%0A%20%20%20%20%20%20%20%20print()%0A%0A%20%20%20%20%23%20Insight%203%3A%20Affected%20components%0A%20%20%20%20affected%20%3D%20set()%0A%20%20%20%20for%20_e%20in%20_errors%3A%0A%20%20%20%20%20%20%20%20_comp%20%3D%20_e.get(%22fields%22%2C%20%7B%7D).get(%22component%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20affected.add(_comp)%0A%20%20%20%20print(f%223.%20BLAST%20RADIUS%3A%20%7Blen(affected)%7D%20components%20affected%3A%20%7B'%2C%20'.join(sorted(affected))%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Error%20Explanation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20_entries%20%3D%20result.get(%22results%22%2C%20%5B%5D)%0A%20%20%20%20_errors%20%3D%20%5B%0A%20%20%20%20%20%20%20%20item%5B%22entry%22%5D%20for%20item%20in%20_entries%20if%20item%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22CRITICAL%22)%0A%20%20%20%20%5D%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Error%20Explanation%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(%22Root%20Cause%20Chain%3A%22)%0A%20%20%20%20print(%22%20%201.%20Database%20connection%20pool%20started%20draining%20(WARN)%22)%0A%20%20%20%20print(%22%20%202.%20Pool%20exhausted%20-%3E%20database%20timeout%20errors%20(ERROR)%22)%0A%20%20%20%20print(%22%20%203.%20API%20could%20not%20serve%20requests%20-%3E%205xx%20responses%20(ERROR)%22)%0A%20%20%20%20print(%22%20%204.%20Load%20balancer%20detected%20unhealthy%20backend%20(ERROR)%22)%0A%20%20%20%20print()%0A%20%20%20%20print(%22Mechanism%3A%20Connection%20pool%20exhaustion%20caused%20cascading%20failure%22)%0A%20%20%20%20print(f%22Evidence%3A%20%7Blen(_errors)%7D%20error%20entries%20across%20multiple%20components%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Suggested%20Actions%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Suggested%20Next%20Actions%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20actions%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22Increase%20database%20connection%20pool%20size%20(currently%2010)%22%2C%0A%20%20%20%20%20%20%20%20%22Add%20connection%20pool%20monitoring%20with%20early%20warning%20at%2050%25%20utilization%22%2C%0A%20%20%20%20%20%20%20%20%22Configure%20circuit%20breaker%20with%20faster%20timeout%20(currently%205000ms)%22%2C%0A%20%20%20%20%20%20%20%20%22Add%20load%20balancer%20retry%20logic%20for%20transient%20database%20failures%22%2C%0A%20%20%20%20%20%20%20%20%22Review%20database%20query%20performance%20for%20slow%20queries%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20for%20_i%2C%20action%20in%20enumerate(actions%2C%201)%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_i%7D.%20%7Baction%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Complete%20Investigation%20Workflow%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file)%3A%0A%20%20%20%20from%20logler.investigate%20import%20InvestigationSession%0A%0A%20%20%20%20session%20%3D%20InvestigationSession(files%3D%5Bstr(log_file)%5D%2C%20name%3D%22cascading_failure%22)%0A%0A%20%20%20%20%23%20Step%201%3A%20Find%20errors%0A%20%20%20%20_errors%20%3D%20session.search(level%3D%22ERROR%22)%0A%20%20%20%20%23%20Step%202%3A%20Find%20warnings%20(precursors)%0A%20%20%20%20_warnings%20%3D%20session.search(level%3D%22WARN%22)%0A%20%20%20%20%23%20Step%203%3A%20Follow%20database%20component%0A%20%20%20%20db_logs%20%3D%20session.search(query%3D%22connection%20pool%22)%0A%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(%22INVESTIGATION%20WORKFLOW%22)%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(f%22%5CnStep%201%3A%20Found%20%7B_errors%5B'total_matches'%5D%7D%20errors%22)%0A%20%20%20%20print(f%22Step%202%3A%20Found%20%7B_warnings%5B'total_matches'%5D%7D%20warnings%20(precursors)%22)%0A%20%20%20%20print(f%22Step%203%3A%20Found%20%7Bdb_logs%5B'total_matches'%5D%7D%20connection%20pool%20entries%22)%0A%20%20%20%20print(f%22%5CnHistory%3A%20%7Blen(session.get_history())%7D%20steps%20recorded%22)%0A%0A%20%20%20%20session.add_note(%22Cascading%20failure%20caused%20by%20connection%20pool%20exhaustion%22)%0A%20%20%20%20print(%22Note%20added%20to%20investigation%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20seen%20the%20LLM%20investigation%20workflow%3A%0A%0A%20%20%20%20-%20**Automatic%20Analysis**%20%E2%80%94%20Triage%20by%20level%20and%20component%0A%20%20%20%20-%20**Insights**%20%E2%80%94%20Root%20cause%2C%20escalation%20patterns%2C%20blast%20radius%0A%20%20%20%20-%20**Error%20Explanation**%20%E2%80%94%20Chain%20of%20causation%0A%20%20%20%20-%20**Next%20Actions**%20%E2%80%94%20Prioritized%20remediation%20steps%0A%20%20%20%20-%20**Investigation%20Session**%20%E2%80%94%20Full%20tracking%20of%20the%20investigation%20process%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2012**%3A%20Multi-file%20interleaving%0A%20%20%20%20-%20**Tour%2014**%3A%20Performance%20at%20scale%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A