tour 16 metrics extraction

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Numeric%20Value%20Extraction%20%26%20Metrics%0A%0A%20%20%20%20Log%20files%20often%20contain%20numeric%20values%20%E2%80%94%20response%20times%2C%20memory%20usage%2C%0A%20%20%20%20queue%20depths.%20Logler%20can%20extract%20these%2C%20compute%20statistics%2C%20detect%0A%20%20%20%20anomalies%2C%20and%20bucket%20values%20into%20time%20series.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Extracting%20numeric%20fields%20from%20log%20messages%0A%20%20%20%202.%20Computing%20summary%20statistics%20(min%2C%20max%2C%20mean%2C%20p95%2C%20p99)%0A%20%20%20%203.%20Detecting%20anomalies%20via%20z-score%0A%20%20%20%204.%20Time-series%20bucketing%20for%20trend%20analysis%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20import%20random%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20random.seed(42)%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20i%20in%20range(60)%3A%0A%20%20%20%20%20%20%20%20%23%20Normal%20response%20times%3A%2050-200ms%0A%20%20%20%20%20%20%20%20response_time%20%3D%20random.gauss(120%2C%2030)%0A%20%20%20%20%20%20%20%20%23%20Memory%20usage%3A%20500-800MB%0A%20%20%20%20%20%20%20%20memory%20%3D%20random.gauss(650%2C%2050)%0A%20%20%20%20%20%20%20%20%23%20Queue%20depth%3A%200-10%0A%20%20%20%20%20%20%20%20queue%20%3D%20max(0%2C%20int(random.gauss(3%2C%202)))%0A%0A%20%20%20%20%20%20%20%20%23%20Inject%20anomalies%20at%20i%3D25%20and%20i%3D45%0A%20%20%20%20%20%20%20%20if%20i%20%3D%3D%2025%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20response_time%20%3D%202500%20%20%23%20Massive%20spike%0A%20%20%20%20%20%20%20%20%20%20%20%20memory%20%3D%201800%20%20%23%20Memory%20leak%0A%20%20%20%20%20%20%20%20elif%20i%20%3D%3D%2045%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20response_time%20%3D%203200%20%20%23%20Another%20spike%0A%20%20%20%20%20%20%20%20%20%20%20%20queue%20%3D%2050%20%20%23%20Queue%20backup%0A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3Di%20*%2010)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20%22INFO%22%20if%20response_time%20%3C%20500%20else%20%22WARN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Request%20processed%3A%20duration%3D%7Bresponse_time%3A.0f%7Dms%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22memory%3D%7Bmemory%3A.0f%7DMB%20queue_depth%3D%7Bqueue%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22worker-%7Bi%20%25%204%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22duration_ms%22%3A%20round(response_time%2C%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22metrics_demo.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%20with%20numeric%20fields%22)%0A%20%20%20%20print(%22Fields%3A%20duration_ms%2C%20memory%20(in%20message)%2C%20queue_depth%20(in%20message)%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Extracting%20Metrics%0A%0A%20%20%20%20Use%20%60extract_metrics%60%20to%20pull%20numeric%20values%20from%20structured%20fields%0A%20%20%20%20and%20key%3Dvalue%20patterns%20in%20messages%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file)%3A%0A%20%20%20%20from%20logler.investigate%20import%20search%0A%20%20%20%20from%20logler.metrics%20import%20extract_metrics%0A%0A%20%20%20%20%23%20First%2C%20search%20for%20all%20entries%0A%20%20%20%20search_result%20%3D%20search(files%3D%5Bstr(log_file)%5D%2C%20query%3D%22%22%2C%20limit%3D1000)%0A%20%20%20%20entries%20%3D%20%5Bitem%5B%22entry%22%5D%20for%20item%20in%20search_result.get(%22results%22%2C%20%5B%5D)%5D%0A%0A%20%20%20%20result%20%3D%20extract_metrics(%0A%20%20%20%20%20%20%20%20entries%3Dentries%2C%0A%20%20%20%20%20%20%20%20bucket_size%3D%2260s%22%2C%0A%20%20%20%20%20%20%20%20anomaly_threshold%3D2.0%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Metrics%20Extracted%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Entries%20scanned%3A%20%7Blen(entries)%7D%22)%0A%20%20%20%20print(f%22Fields%20found%3A%20%7Blist(result%5B'fields'%5D.keys())%7D%22)%0A%0A%20%20%20%20for%20_field_name%2C%20_data%20in%20result%5B%22fields%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20print(f%22%5Cn%20%20%7B_field_name%7D%3A%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20%20Data%20points%3A%20%7B_data%5B'count'%5D%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20%20%20Anomalies%3A%20%7Blen(_data.get('anomalies'%2C%20%5B%5D))%7D%22)%0A%20%20%20%20%20%20%20%20if%20_data.get(%22unit%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%20%20Unit%3A%20%7B_data%5B'unit'%5D%7D%22)%0A%20%20%20%20return%20(result%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Statistical%20Summary%0A%0A%20%20%20%20Each%20field%20gets%20full%20statistics%20%E2%80%94%20min%2C%20max%2C%20mean%2C%20median%2C%20p95%2C%20p99%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Statistical%20Summary%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20for%20_field_name%2C%20_data%20in%20result%5B%22fields%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20stats%20%3D%20_data%5B%22stats%22%5D%0A%20%20%20%20%20%20%20%20print(f%22---%20%7B_field_name%7D%20---%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Min%3A%20%20%20%20%7Bstats%5B'min'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Max%3A%20%20%20%20%7Bstats%5B'max'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Mean%3A%20%20%20%7Bstats%5B'mean'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Median%3A%20%7Bstats%5B'median'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20Stddev%3A%20%7Bstats%5B'stddev'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20P95%3A%20%20%20%20%7Bstats%5B'p95'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20P99%3A%20%20%20%20%7Bstats%5B'p99'%5D%3A.1f%7D%22)%0A%20%20%20%20%20%20%20%20print()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Anomaly%20Detection%0A%0A%20%20%20%20Z-score%20anomaly%20detection%20identifies%20outliers%20that%20deviate%0A%20%20%20%20significantly%20from%20the%20series%20mean%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Anomalies%20Detected%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20total_anomalies%20%3D%200%0A%20%20%20%20for%20_field_name%2C%20_data%20in%20result%5B%22fields%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20anomalies%20%3D%20_data.get(%22anomalies%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20if%20anomalies%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22---%20%7B_field_name%7D%3A%20%7Blen(anomalies)%7D%20anomalies%20---%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20a%20in%20anomalies%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20Value%3A%20%7Ba%5B'value'%5D%3A.1f%7D%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Z-score%3A%20%7Ba%5B'z_score'%5D%3A.2f%7D%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22at%20%7Ba.get('timestamp'%2C%20'N%2FA')%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20total_anomalies%20%2B%3D%20len(anomalies)%0A%20%20%20%20%20%20%20%20%20%20%20%20print()%0A%0A%20%20%20%20if%20total_anomalies%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20print(%22No%20anomalies%20detected%20(all%20values%20within%202%20std%20deviations)%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(f%22Total%20anomalies%20across%20all%20fields%3A%20%7Btotal_anomalies%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Time-Series%20Buckets%0A%0A%20%20%20%20Values%20are%20aggregated%20into%20time%20buckets%20for%20trend%20analysis%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(result)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Time-Series%20Buckets%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20%23%20Show%20buckets%20for%20the%20first%20field%20that%20has%20them%0A%20%20%20%20for%20_field_name%2C%20_data%20in%20result%5B%22fields%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20buckets%20%3D%20_data.get(%22buckets%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20if%20buckets%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22---%20%7B_field_name%7D%20(bucket_size%3D60s)%20---%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%7B'Start'%3A%3C28%7D%20%7B'Min'%3A%3E8%7D%20%7B'Max'%3A%3E8%7D%20%7B'Avg'%3A%3E8%7D%20%7B'Count'%3A%3E6%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22-%22%20*%2065)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20b%20in%20buckets%5B%3A10%5D%3A%20%20%23%20Show%20first%2010%20buckets%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb%5B'start'%5D%3A%3C28%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb%5B'min'%5D%3A%3E8.1f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb%5B'max'%5D%3A%3E8.1f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb%5B'avg'%5D%3A%3E8.1f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb%5B'count'%5D%3A%3E6%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(buckets)%20%3E%2010%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20...%20and%20%7Blen(buckets)%20-%2010%7D%20more%20buckets%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print()%0A%20%20%20%20%20%20%20%20%20%20%20%20break%20%20%23%20Only%20show%20first%20field%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20logler's%20metrics%20extraction%20capabilities%3A%0A%0A%20%20%20%20-%20**%60extract_metrics()%60**%20%E2%80%94%20Pull%20numeric%20values%20from%20structured%20fields%20and%20messages%0A%20%20%20%20-%20**%60stats%60**%20%E2%80%94%20Full%20statistical%20summary%20(min%2C%20max%2C%20mean%2C%20median%2C%20stddev%2C%20p95%2C%20p99)%0A%20%20%20%20-%20**Anomaly%20detection**%20%E2%80%94%20Z-score%20identifies%20outliers%20automatically%0A%20%20%20%20-%20**Time-series%20buckets**%20%E2%80%94%20Aggregated%20trends%20over%20configurable%20windows%0A%0A%20%20%20%20**Use%20cases%3A**%0A%20%20%20%20-%20Monitor%20response%20time%20degradation%0A%20%20%20%20-%20Detect%20memory%20leaks%20(growing%20memory%20values)%0A%20%20%20%20-%20Identify%20queue%20backup%20events%0A%20%20%20%20-%20Correlate%20performance%20metrics%20with%20error%20spikes%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2017**%3A%20Format%20auto-detection%20and%20template%20mining%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A