tour 05 patterns

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Pattern%20Detection%0A%0A%20%20%20%20When%20investigating%20large%20log%20files%2C%20you%20need%20to%20identify%20recurring%20patterns%0A%20%20%20%20%E2%80%94%20repeated%20errors%2C%20frequent%20messages%2C%20and%20the%20components%20that%20produce%20them.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Finding%20patterns%20across%20thousands%20of%20log%20entries%0A%20%20%20%202.%20Ranking%20the%20most%20frequent%20issues%0A%20%20%20%203.%20Grouping%20issues%20by%20component%2Fservice%0A%20%20%20%204.%20Assessing%20pattern%20severity%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Generate%20diverse%20log%20patterns%0A%20%20%20%20patterns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22ERROR%22%2C%20%22Connection%20timeout%20to%20database%20server%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22ERROR%22%2C%20%22Connection%20timeout%20to%20database%20server%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22ERROR%22%2C%20%22Connection%20timeout%20to%20database%20server%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22ERROR%22%2C%20%22Connection%20timeout%20to%20database%20server%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22ERROR%22%2C%20%22Connection%20timeout%20to%20database%20server%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22WARN%22%2C%20%22Slow%20query%20detected%3A%20SELECT%20*%20FROM%20orders%20took%202500ms%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22WARN%22%2C%20%22Slow%20query%20detected%3A%20SELECT%20*%20FROM%20users%20took%201800ms%22)%2C%0A%20%20%20%20%20%20%20%20(%22api%22%2C%20%22WARN%22%2C%20%22Slow%20query%20detected%3A%20SELECT%20*%20FROM%20inventory%20took%203200ms%22)%2C%0A%20%20%20%20%20%20%20%20(%22worker%22%2C%20%22ERROR%22%2C%20%22Failed%20to%20process%20job%20batch-001%3A%20out%20of%20memory%22)%2C%0A%20%20%20%20%20%20%20%20(%22worker%22%2C%20%22ERROR%22%2C%20%22Failed%20to%20process%20job%20batch-002%3A%20out%20of%20memory%22)%2C%0A%20%20%20%20%20%20%20%20(%22worker%22%2C%20%22ERROR%22%2C%20%22Failed%20to%20process%20job%20batch-003%3A%20out%20of%20memory%22)%2C%0A%20%20%20%20%20%20%20%20(%22auth%22%2C%20%22WARN%22%2C%20%22Rate%20limit%20exceeded%20for%20IP%20192.168.1.50%22)%2C%0A%20%20%20%20%20%20%20%20(%22auth%22%2C%20%22WARN%22%2C%20%22Rate%20limit%20exceeded%20for%20IP%2010.0.0.100%22)%2C%0A%20%20%20%20%20%20%20%20(%22auth%22%2C%20%22ERROR%22%2C%20%22Invalid%20token%3A%20expired%20at%202024-01-15T09%3A00%3A00Z%22)%2C%0A%20%20%20%20%20%20%20%20(%22cache%22%2C%20%22WARN%22%2C%20%22Cache%20eviction%3A%20memory%20usage%20at%2095%25%22)%2C%0A%20%20%20%20%20%20%20%20(%22cache%22%2C%20%22WARN%22%2C%20%22Cache%20eviction%3A%20memory%20usage%20at%2092%25%22)%2C%0A%20%20%20%20%20%20%20%20(%22scheduler%22%2C%20%22INFO%22%2C%20%22Cron%20job%20backup_daily%20completed%20in%2045s%22)%2C%0A%20%20%20%20%20%20%20%20(%22scheduler%22%2C%20%22INFO%22%2C%20%22Cron%20job%20cleanup_logs%20completed%20in%2012s%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20Bulk%20generate%20with%20some%20normal%20entries%0A%20%20%20%20for%20_i%20in%20range(50)%3A%0A%20%20%20%20%20%20%20%20if%20_i%20%3C%20len(patterns)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_component%2C%20_level%2C%20_message%20%3D%20patterns%5B_i%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_component%20%3D%20%5B%22api%22%2C%20%22worker%22%2C%20%22auth%22%2C%20%22cache%22%2C%20%22scheduler%22%5D%5B_i%20%25%205%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_level%20%3D%20%22INFO%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_message%20%3D%20f%22Processing%20request%20%7B_i%7D%22%0A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D_i)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20_level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20_message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22component%22%3A%20_component%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22worker-%7B_i%20%25%204%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22patterns.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%20across%205%20components%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Finding%20Patterns%0A%0A%20%20%20%20Use%20%60find_patterns%60%20to%20discover%20recurring%20log%20messages%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file)%3A%0A%20%20%20%20from%20logler.investigate%20import%20search%0A%0A%20%20%20%20%23%20Find%20all%20entries%20to%20analyze%20patterns%0A%20%20%20%20result%20%3D%20search(files%3D%5Bstr(log_file)%5D%2C%20query%3D%22%22%2C%20limit%3D200)%0A%0A%20%20%20%20%23%20Group%20by%20message%20to%20find%20patterns%0A%20%20%20%20from%20collections%20import%20Counter%0A%0A%20%20%20%20messages%20%3D%20%5B_r%5B%22entry%22%5D%5B%22message%22%5D%20for%20_r%20in%20result.get(%22results%22%2C%20%5B%5D)%5D%0A%20%20%20%20pattern_counts%20%3D%20Counter(messages)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Patterns%20Found%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Total%20entries%3A%20%7Bresult%5B'total_matches'%5D%7D%22)%0A%20%20%20%20print(f%22Unique%20messages%3A%20%7Blen(pattern_counts)%7D%22)%0A%20%20%20%20print(%22%5CnTop%20patterns%20by%20frequency%3A%22)%0A%20%20%20%20for%20_msg%2C%20_count%20in%20pattern_counts.most_common(10)%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_count%3A%3E3%7Dx%5D%20%7B_msg%5B%3A80%5D%7D%22)%0A%20%20%20%20return%20(result%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Ranking%20the%20Most%20Frequent%20Issues%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20%23%20Filter%20for%20error%2Fwarning%20patterns%20only%0A%20%20%20%20error_msgs%20%3D%20%5B%5D%0A%20%20%20%20for%20_r%20in%20result.get(%22results%22%2C%20%5B%5D)%3A%0A%20%20%20%20%20%20%20%20if%20_r%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22WARN%22%2C%20%22WARNING%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20error_msgs.append(_r%5B%22entry%22%5D%5B%22message%22%5D)%0A%0A%20%20%20%20from%20collections%20import%20Counter%20as%20_Counter%0A%0A%20%20%20%20issue_counts%20%3D%20_Counter(error_msgs)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Top%203%20Most%20Frequent%20Issues%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20_i%2C%20(_msg%2C%20_count)%20in%20enumerate(issue_counts.most_common(3)%2C%201)%3A%0A%20%20%20%20%20%20%20%20severity%20%3D%20%22HIGH%22%20if%20_count%20%3E%3D%204%20else%20%22MEDIUM%22%20if%20_count%20%3E%3D%202%20else%20%22LOW%22%0A%20%20%20%20%20%20%20%20print(f%22%7B_i%7D.%20%5B%7Bseverity%7D%5D%20(%7B_count%7Dx)%20%7B_msg%5B%3A70%5D%7D%22)%0A%20%20%20%20print(f%22%5CnTotal%20issues%20found%3A%20%7Blen(issue_counts)%7D%22)%0A%20%20%20%20return%20(issue_counts%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Grouping%20by%20Component%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20from%20collections%20import%20defaultdict%0A%0A%20%20%20%20component_issues%20%3D%20defaultdict(list)%0A%20%20%20%20for%20_r%20in%20result.get(%22results%22%2C%20%5B%5D)%3A%0A%20%20%20%20%20%20%20%20if%20_r%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22WARN%22%2C%20%22WARNING%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_component%20%3D%20_r%5B%22entry%22%5D.get(%22fields%22%2C%20%7B%7D).get(%22component%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20component_issues%5B_component%5D.append(_r%5B%22entry%22%5D%5B%22message%22%5D)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Issues%20by%20Component%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20_component%2C%20msgs%20in%20sorted(component_issues.items()%2C%20key%3Dlambda%20x%3A%20-len(x%5B1%5D))%3A%0A%20%20%20%20%20%20%20%20unique%20%3D%20set(msgs)%0A%20%20%20%20%20%20%20%20print(f%22%5B%7B_component%7D%5D%20%7Blen(msgs)%7D%20issues%20(%7Blen(unique)%7D%20unique)%22)%0A%20%20%20%20%20%20%20%20for%20_msg%20in%20sorted(unique)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_count%20%3D%20msgs.count(_msg)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20-%20(%7B_count%7Dx)%20%7B_msg%5B%3A60%5D%7D%22)%0A%20%20%20%20%20%20%20%20print()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Severity%20Assessment%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(issue_counts%2C%20result)%3A%0A%20%20%20%20total%20%3D%20result%5B%22total_matches%22%5D%0A%20%20%20%20error_count%20%3D%20sum(%0A%20%20%20%20%20%20%20%201%0A%20%20%20%20%20%20%20%20for%20_r%20in%20result.get(%22results%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20if%20_r%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22ERROR%22%2C%20%22CRITICAL%22%2C%20%22FATAL%22)%0A%20%20%20%20)%0A%20%20%20%20warn_count%20%3D%20sum(%0A%20%20%20%20%20%20%20%201%20for%20_r%20in%20result.get(%22results%22%2C%20%5B%5D)%20if%20_r%5B%22entry%22%5D%5B%22level%22%5D%20in%20(%22WARN%22%2C%20%22WARNING%22)%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Pattern%20Severity%20Assessment%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Total%20entries%20analyzed%3A%20%7Btotal%7D%22)%0A%20%20%20%20print(f%22Error%20entries%3A%20%7Berror_count%7D%20(%7B100%20*%20error_count%20%2F%20total%3A.1f%7D%25)%22)%0A%20%20%20%20print(f%22Warning%20entries%3A%20%7Bwarn_count%7D%20(%7B100%20*%20warn_count%20%2F%20total%3A.1f%7D%25)%22)%0A%20%20%20%20print()%0A%0A%20%20%20%20%23%20Assess%20recurring%20patterns%0A%20%20%20%20recurring%20%3D%20%7Bmsg%3A%20cnt%20for%20msg%2C%20cnt%20in%20issue_counts.items()%20if%20cnt%20%3E%3D%202%7D%0A%20%20%20%20print(f%22Recurring%20patterns%20(2%2B%20occurrences)%3A%20%7Blen(recurring)%7D%22)%0A%20%20%20%20if%20recurring%3A%0A%20%20%20%20%20%20%20%20worst%20%3D%20max(recurring.items()%2C%20key%3Dlambda%20x%3A%20x%5B1%5D)%0A%20%20%20%20%20%20%20%20print(f%22Most%20frequent%3A%20'%7Bworst%5B0%5D%5B%3A60%5D%7D'%20(%7Bworst%5B1%5D%7Dx)%22)%0A%20%20%20%20%20%20%20%20print(%22Recommendation%3A%20Investigate%20root%20cause%20of%20recurring%20errors%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20how%20to%20detect%20and%20analyze%20log%20patterns%3A%0A%0A%20%20%20%20-%20**Pattern%20discovery**%20%E2%80%94%20Group%20messages%20by%20content%20to%20find%20recurring%20issues%0A%20%20%20%20-%20**Frequency%20ranking**%20%E2%80%94%20Identify%20the%20most%20impactful%20problems%0A%20%20%20%20-%20**Component%20grouping**%20%E2%80%94%20See%20which%20services%20produce%20the%20most%20issues%0A%20%20%20%20-%20**Severity%20assessment**%20%E2%80%94%20Quantify%20error%20vs%20warning%20ratios%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2006**%3A%20Flamegraph%20visualization%0A%20%20%20%20-%20**Tour%2007**%3A%20Error%20flow%20analysis%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A