tour 17 format detection

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Format%20Detection%20%26%20Template%20Mining%0A%0A%20%20%20%20When%20you%20encounter%20an%20unfamiliar%20log%20file%2C%20logler%20can%20automatically%0A%20%20%20%20detect%20its%20format%20and%20mine%20recurring%20templates%20using%20the%20Drain%20algorithm.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Auto-detecting%20log%20formats%20(JSON%2C%20syslog%2C%20CLF%2C%20logfmt)%0A%20%20%20%202.%20Confidence%20scoring%20and%20alternatives%0A%20%20%20%203.%20Drain%20template%20mining%20for%20pattern%20discovery%0A%20%20%20%204.%20Template%20clustering%20and%20variable%20extraction%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20return%20Path%2C%20datetime%2C%20json%2C%20temp_dir%2C%20timedelta%2C%20timezone%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Format%20Detection%0A%0A%20%20%20%20Create%20sample%20files%20in%20different%20formats%20and%20detect%20them%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20datetime%2C%20json%2C%20temp_dir%2C%20timedelta%2C%20timezone)%3A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%0A%20%20%20%20%23%20JSON%20log%20file%0A%20%20%20%20json_file%20%3D%20Path(temp_dir)%20%2F%20%22app.jsonl%22%0A%20%20%20%20with%20open(json_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(30)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20json.dumps(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D_i)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%20if%20_i%20%25%205%20!%3D%200%20else%20%22ERROR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20f%22Processing%20request%20%7B_i%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20%22api-gateway%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Syslog%20file%0A%20%20%20%20syslog_file%20%3D%20Path(temp_dir)%20%2F%20%22system.log%22%0A%20%20%20%20with%20open(syslog_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(30)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Jan%2015%2010%3A%7B_i%20%2F%2F%2060%3A02d%7D%3A%7B_i%20%25%2060%3A02d%7D%20web-prod-01%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22nginx%5B%7B1000%2B_i%7D%5D%3A%20GET%20%2Fapi%2Fendpoint-%7B_i%7D%20200%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Logfmt%20file%0A%20%20%20%20logfmt_file%20%3D%20Path(temp_dir)%20%2F%20%22metrics.log%22%0A%20%20%20%20with%20open(logfmt_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(30)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'level%3Dinfo%20msg%3D%22request%20handled%22%20method%3DGET%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22path%3D%2Fapi%2Fv%7B_i%20%25%203%20%2B%201%7D%20status%3D200%20duration%3D%7B50%20%2B%20_i%20*%203%7Dms%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20print(%22Created%203%20sample%20log%20files%3A%22)%0A%20%20%20%20print(f%22%20%20-%20%7Bjson_file.name%7D%3A%20JSON%20format%20(30%20lines)%22)%0A%20%20%20%20print(f%22%20%20-%20%7Bsyslog_file.name%7D%3A%20Syslog%20format%20(30%20lines)%22)%0A%20%20%20%20print(f%22%20%20-%20%7Blogfmt_file.name%7D%3A%20Logfmt%20format%20(30%20lines)%22)%0A%20%20%20%20return%20json_file%2C%20logfmt_file%2C%20syslog_file%0A%0A%0A%40app.cell%0Adef%20_(json_file%2C%20logfmt_file%2C%20syslog_file)%3A%0A%20%20%20%20from%20logler.format_detector%20import%20detect_format%0A%0A%20%20%20%20files%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22app.jsonl%22%3A%20str(json_file)%2C%0A%20%20%20%20%20%20%20%20%22system.log%22%3A%20str(syslog_file)%2C%0A%20%20%20%20%20%20%20%20%22metrics.log%22%3A%20str(logfmt_file)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Format%20Detection%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20name%2C%20path%20in%20files.items()%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20detect_format(path)%0A%20%20%20%20%20%20%20%20print(f%22---%20%7Bname%7D%20---%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Format%3A%20%7B_result.format%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Confidence%3A%20%7B_result.confidence%3A.1%25%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Match%20rate%3A%20%7B_result.match_rate%3A.1%25%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Sample%20size%3A%20%7B_result.sample_size%7D%22)%0A%20%20%20%20%20%20%20%20if%20_result.detected_fields%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Fields%3A%20%7B'%2C%20'.join(_result.detected_fields%5B%3A5%5D)%7D%22)%0A%20%20%20%20%20%20%20%20print()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Confidence%20Analysis%0A%0A%20%20%20%20When%20detection%20is%20uncertain%2C%20alternatives%20show%20other%20possible%20formats%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20temp_dir)%3A%0A%20%20%20%20from%20logler.format_detector%20import%20detect_format%20as%20_detect_format%0A%0A%20%20%20%20%23%20Create%20a%20mixed%20file%20for%20ambiguous%20detection%0A%20%20%20%20mixed_file%20%3D%20Path(temp_dir)%20%2F%20%22mixed.log%22%0A%20%20%20%20with%20open(mixed_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(15)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(f'%7B%7B%22ts%22%3A%20%222024-01-15T10%3A00%3A%7B_i%3A02d%7DZ%22%2C%20%22msg%22%3A%20%22json%20line%20%7B_i%7D%22%7D%7D%5Cn')%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(15)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(f%22Jan%2015%2010%3A01%3A%7B_i%3A02d%7D%20server%20app%5B%7B_i%7D%5D%3A%20syslog%20line%20%7B_i%7D%5Cn%22)%0A%0A%20%20%20%20_result%20%3D%20_detect_format(str(mixed_file))%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Confidence%20Analysis%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Primary%20format%3A%20%7B_result.format%7D%20(confidence%3A%20%7B_result.confidence%3A.1%25%7D)%22)%0A%20%20%20%20print(f%22Mixed%20content%3A%20%7B_result.mixed%7D%22)%0A%20%20%20%20print(%22%5CnAlternatives%3A%22)%0A%20%20%20%20for%20alt%20in%20_result.alternatives%3A%0A%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7Balt%5B'format'%5D%7D%3A%20confidence%3D%7Balt%5B'confidence'%5D%3A.1%25%7D%2C%20match_rate%3D%7Balt%5B'match_rate'%5D%3A.1%25%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Template%20Mining%0A%0A%20%20%20%20The%20Drain%20algorithm%20discovers%20recurring%20log%20templates%20by%0A%20%20%20%20clustering%20similar%20messages%20and%20extracting%20variable%20positions%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20logler.format_detector%20import%20mine_templates%0A%0A%20%20%20%20%23%20Create%20messages%20with%20known%20templates%0A%20%20%20%20messages%20%3D%20(%0A%20%20%20%20%20%20%20%20%5Bf%22User%20user_%7B_i%7D%20logged%20in%20from%20192.168.1.%7B_i%7D%22%20for%20_i%20in%20range(40)%5D%0A%20%20%20%20%20%20%20%20%2B%20%5Bf%22Request%20to%20%2Fapi%2Fendpoint_%7B_i%7D%20took%20%7B100%20%2B%20_i%7Dms%22%20for%20_i%20in%20range(35)%5D%0A%20%20%20%20%20%20%20%20%2B%20%5Bf%22Database%20query%20SELECT%20*%20FROM%20table_%7B_i%7D%20returned%20%7B_i%20*%2010%7D%20rows%22%20for%20_i%20in%20range(25)%5D%0A%20%20%20%20)%0A%0A%20%20%20%20mining_result%20%3D%20mine_templates(messages%2C%20max_clusters%3D100)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Template%20Mining%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Total%20messages%3A%20%7Bmining_result.total_lines%7D%22)%0A%20%20%20%20print(f%22Unique%20templates%3A%20%7Bmining_result.unique_templates%7D%22)%0A%20%20%20%20print(f%22Coverage%3A%20%7Bmining_result.coverage%3A.1%25%7D%22)%0A%20%20%20%20return%20(mining_result%2C)%0A%0A%0A%40app.cell%0Adef%20_(mining_result)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Template%20Clusters%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20for%20_i%2C%20template%20in%20enumerate(mining_result.templates%2C%201)%3A%0A%20%20%20%20%20%20%20%20print(f%22Template%20%23%7B_i%7D%3A%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Pattern%3A%20%7Btemplate%5B'template'%5D%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Count%3A%20%7Btemplate%5B'count'%5D%7D%20(%7Btemplate%5B'percentage'%5D%3A.1f%7D%25)%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Variables%3A%20%7Blen(template%5B'variable_positions'%5D)%7D%20positions%22)%0A%20%20%20%20%20%20%20%20if%20template%5B%22examples%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Example%3A%20%7Btemplate%5B'examples'%5D%5B0%5D%5B%3A70%5D%7D%22)%0A%20%20%20%20%20%20%20%20print()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20logler's%20auto-detection%20capabilities%3A%0A%0A%20%20%20%20-%20**%60detect_format()%60**%20%E2%80%94%20Classify%20log%20format%20with%20confidence%20scores%0A%20%20%20%20-%20**Alternatives**%20%E2%80%94%20See%20what%20other%20formats%20were%20considered%0A%20%20%20%20-%20**Mixed%20detection**%20%E2%80%94%20Identify%20files%20with%20multiple%20formats%0A%20%20%20%20-%20**%60mine_templates()%60**%20%E2%80%94%20Drain%20algorithm%20for%20template%20discovery%0A%20%20%20%20-%20**Variable%20extraction**%20%E2%80%94%20%60%3C*%3E%60%20marks%20dynamic%20positions%20in%20templates%0A%0A%20%20%20%20**Use%20cases%3A**%0A%20%20%20%20-%20Automatically%20configure%20parsers%20for%20unknown%20log%20files%0A%20%20%20%20-%20Discover%20recurring%20patterns%20without%20manual%20regex%20writing%0A%20%20%20%20-%20Quantify%20log%20message%20diversity%20(unique%20templates%20vs%20total%20messages)%0A%20%20%20%20-%20Identify%20the%20most%20common%20log%20patterns%20for%20monitoring%20rules%0A%0A%20%20%20%20**Previous%20tours%3A**%0A%20%20%20%20-%20**Tour%2016**%3A%20Numeric%20extraction%20and%20metrics%0A%20%20%20%20-%20**Tour%2015**%3A%20Advanced%20filtering%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A