tour 10 sampling

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Smart%20Sampling%20Strategies%0A%0A%20%20%20%20When%20dealing%20with%20large%20log%20files%2C%20you%20can't%20always%20process%20everything.%0A%20%20%20%20Smart%20sampling%20gives%20you%20a%20**representative%20subset**%20without%20missing%0A%20%20%20%20important%20information.%0A%0A%20%20%20%20**What%20you'll%20learn%3A**%0A%20%20%20%201.%20Representative%20sampling%20(balanced%20mix)%0A%20%20%20%202.%20Diverse%20sampling%20(maximum%20variety)%0A%20%20%20%203.%20Chronological%20sampling%20(time-spread)%0A%20%20%20%204.%20Errors-focused%20sampling%20(prioritize%20problems)%0A%20%20%20%205.%20Understanding%20coverage%20metrics%0A%0A%20%20%20%20Let's%20dive%20in!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Setting%20Up%20-%20Large%20Log%20Dataset%0A%0A%20%20%20%20We'll%20create%20a%20larger%20dataset%20with%20various%20patterns.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20import%20random%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20random.seed(42)%20%20%23%20Reproducible%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%2010%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Generate%20500%20log%20entries%20over%201%20hour%0A%20%20%20%20services%20%3D%20%5B%22api%22%2C%20%22database%22%2C%20%22cache%22%2C%20%22worker%22%2C%20%22auth%22%5D%0A%20%20%20%20messages_by_level%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22INFO%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Request%20processed%20successfully%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cache%20hit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22User%20authenticated%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Job%20completed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Health%20check%20passed%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22DEBUG%22%3A%20%5B%22Query%20executed%22%2C%20%22Token%20validated%22%2C%20%22Cache%20lookup%22%2C%20%22Processing%20started%22%5D%2C%0A%20%20%20%20%20%20%20%20%22WARN%22%3A%20%5B%22High%20latency%20detected%22%2C%20%22Cache%20miss%22%2C%20%22Retry%20attempt%22%2C%20%22Rate%20limit%20approaching%22%5D%2C%0A%20%20%20%20%20%20%20%20%22ERROR%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Connection%20timeout%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Database%20query%20failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Authentication%20error%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Service%20unavailable%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Distribution%3A%2060%25%20INFO%2C%2020%25%20DEBUG%2C%2015%25%20WARN%2C%205%25%20ERROR%0A%20%20%20%20level_weights%20%3D%20%5B(%22INFO%22%2C%2060)%2C%20(%22DEBUG%22%2C%2020)%2C%20(%22WARN%22%2C%2015)%2C%20(%22ERROR%22%2C%205)%5D%0A%0A%20%20%20%20for%20_i%20in%20range(500)%3A%0A%20%20%20%20%20%20%20%20%23%20Pick%20level%20based%20on%20weights%0A%20%20%20%20%20%20%20%20_rand%20%3D%20random.randint(1%2C%20100)%0A%20%20%20%20%20%20%20%20_cumulative%20%3D%200%0A%20%20%20%20%20%20%20%20_level%20%3D%20%22INFO%22%0A%20%20%20%20%20%20%20%20for%20_l%2C%20_w%20in%20level_weights%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cumulative%20%2B%3D%20_w%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_rand%20%3C%3D%20_cumulative%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_level%20%3D%20_l%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%0A%20%20%20%20%20%20%20%20_message%20%3D%20random.choice(messages_by_level%5B_level%5D)%0A%20%20%20%20%20%20%20%20_service%20%3D%20random.choice(services)%0A%20%20%20%20%20%20%20%20_thread%20%3D%20f%22thread-%7Brandom.randint(1%2C%2020)%7D%22%0A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(seconds%3D_i%20*%207.2)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20_level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20_message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20_service%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20_thread%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20f%22req-%7B_i%3A04d%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Write%20to%20temp%20file%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%20%20%20%20log_file%20%3D%20Path(temp_dir)%20%2F%20%22large.log%22%0A%20%20%20%20with%20open(log_file%2C%20%22w%22)%20as%20_f%3A%0A%20%20%20%20%20%20%20%20for%20_log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f.write(json.dumps(_log)%20%2B%20%22%5Cn%22)%0A%0A%20%20%20%20%23%20Count%20levels%0A%20%20%20%20_level_counts%20%3D%20%7B%7D%0A%20%20%20%20for%20_log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20_l%20%3D%20_log%5B%22level%22%5D%0A%20%20%20%20%20%20%20%20_level_counts%5B_l%5D%20%3D%20_level_counts.get(_l%2C%200)%20%2B%201%0A%0A%20%20%20%20print(f%22Created%20%7Blen(logs)%7D%20log%20entries%22)%0A%20%20%20%20print(f%22Level%20distribution%3A%20%7B_level_counts%7D%22)%0A%20%20%20%20print(%22Time%20span%3A%201%20hour%22)%0A%20%20%20%20return%20log_file%2C%20temp_dir%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Representative%20Sampling%0A%0A%20%20%20%20Gets%20a%20**balanced%20mix**%20that%20reflects%20the%20overall%20distribution.%0A%20%20%20%20Each%20log%20level%20is%20represented%20proportionally.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20logler.investigate%20import%20smart_sample%0A%20%20%20%20return%20(smart_sample%2C)%0A%0A%0A%40app.cell%0Adef%20_(log_file%2C%20smart_sample)%3A%0A%20%20%20%20%23%20Representative%20sampling%0A%20%20%20%20rep_sample%20%3D%20smart_sample(files%3D%5Bstr(log_file)%5D%2C%20strategy%3D%22representative%22%2C%20sample_size%3D50)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Representative%20Sampling%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Population%20size%3A%20%7Brep_sample%5B'total_population'%5D%7D%22)%0A%20%20%20%20print(f%22Sample%20size%3A%20%7Brep_sample%5B'sample_size'%5D%7D%22)%0A%20%20%20%20print(f%22Strategy%3A%20%7Brep_sample%5B'strategy'%5D%7D%22)%0A%0A%20%20%20%20_coverage%20%3D%20rep_sample%5B%22coverage%22%5D%0A%20%20%20%20print(%22%5CnLevel%20coverage%3A%22)%0A%20%20%20%20for%20_level%2C%20_count%20in%20_coverage.get(%22level_coverage%22%2C%20%7B%7D).items()%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_level%7D%3A%20%7B_count%7D%22)%0A%20%20%20%20print(f%22Thread%20coverage%3A%20%7B_coverage.get('thread_coverage'%2C%200)%7D%20unique%20threads%22)%0A%20%20%20%20return%20(rep_sample%2C)%0A%0A%0A%40app.cell%0Adef%20_(rep_sample)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Sample%20Messages%20(first%2010)%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20for%20_entry%20in%20rep_sample%5B%22samples%22%5D%5B%3A10%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%5B%7B_entry.get('level'%2C%20'N%2FA')%3A5%7D%5D%20%7B_entry.get('message'%2C%20'N%2FA')%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Diverse%20Sampling%0A%0A%20%20%20%20Maximizes%20**variety**%20-%20gets%20as%20many%20different%20messages%2C%0A%20%20%20%20threads%2C%20and%20services%20as%20possible.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file%2C%20smart_sample)%3A%0A%20%20%20%20%23%20Diverse%20sampling%0A%20%20%20%20diverse_sample%20%3D%20smart_sample(files%3D%5Bstr(log_file)%5D%2C%20strategy%3D%22diverse%22%2C%20sample_size%3D50)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Diverse%20Sampling%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Sample%20size%3A%20%7Bdiverse_sample%5B'sample_size'%5D%7D%22)%0A%0A%20%20%20%20_coverage%20%3D%20diverse_sample%5B%22coverage%22%5D%0A%20%20%20%20print(f%22Thread%20coverage%3A%20%7B_coverage.get('thread_coverage'%2C%200)%7D%20unique%20threads%22)%0A%0A%20%20%20%20%23%20Count%20unique%20messages%0A%20%20%20%20_unique_msgs%20%3D%20len(set(_e.get(%22message%22%2C%20%22%22)%20for%20_e%20in%20diverse_sample%5B%22samples%22%5D))%0A%20%20%20%20print(f%22Unique%20messages%3A%20%7B_unique_msgs%7D%22)%0A%20%20%20%20return%20(diverse_sample%2C)%0A%0A%0A%40app.cell%0Adef%20_(diverse_sample)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Diverse%20Sample%20Messages%20(first%2010)%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20_seen%20%3D%20set()%0A%20%20%20%20_count%20%3D%200%0A%20%20%20%20for%20_entry%20in%20diverse_sample%5B%22samples%22%5D%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20_entry.get(%22message%22%2C%20%22N%2FA%22)%0A%20%20%20%20%20%20%20%20if%20_msg%20not%20in%20_seen%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%5B%7B_entry.get('level'%2C%20'N%2FA')%3A5%7D%5D%20%7B_msg%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_seen.add(_msg)%0A%20%20%20%20%20%20%20%20%20%20%20%20_count%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_count%20%3E%3D%2010%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Chronological%20Sampling%0A%0A%20%20%20%20Spreads%20samples%20**evenly%20across%20time**.%0A%20%20%20%20Good%20for%20detecting%20patterns%20that%20change%20over%20time.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file%2C%20smart_sample)%3A%0A%20%20%20%20%23%20Chronological%20sampling%0A%20%20%20%20chrono_sample%20%3D%20smart_sample(files%3D%5Bstr(log_file)%5D%2C%20strategy%3D%22chronological%22%2C%20sample_size%3D50)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Chronological%20Sampling%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Sample%20size%3A%20%7Bchrono_sample%5B'sample_size'%5D%7D%22)%0A%0A%20%20%20%20_coverage%20%3D%20chrono_sample%5B%22coverage%22%5D%0A%20%20%20%20print(f%22Time%20coverage%3A%20%7B_coverage.get('time_coverage'%2C%200)%3A.0%25%7D%22)%0A%20%20%20%20return%20(chrono_sample%2C)%0A%0A%0A%40app.cell%0Adef%20_(chrono_sample)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Chronological%20Sample%20(showing%20time%20spread)%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20_samples%20%3D%20chrono_sample%5B%22samples%22%5D%0A%20%20%20%20%23%20Show%20first%205%20and%20last%205%20to%20demonstrate%20time%20spread%0A%20%20%20%20print(%22First%205%20samples%3A%22)%0A%20%20%20%20for%20_entry%20in%20_samples%5B%3A5%5D%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20_entry.get(%22timestamp%22%2C%20%22N%2FA%22)%0A%20%20%20%20%20%20%20%20if%20_ts%20and%20%22T%22%20in%20_ts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ts%20%3D%20_ts.split(%22T%22)%5B1%5D%5B%3A8%5D%0A%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_ts%7D%5D%20%7B_entry.get('message'%2C%20'N%2FA')%5B%3A40%5D%7D%22)%0A%0A%20%20%20%20print(%22%5Cn...%20(samples%20in%20between)%20...%5Cn%22)%0A%0A%20%20%20%20print(%22Last%205%20samples%3A%22)%0A%20%20%20%20for%20_entry%20in%20_samples%5B-5%3A%5D%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20_entry.get(%22timestamp%22%2C%20%22N%2FA%22)%0A%20%20%20%20%20%20%20%20if%20_ts%20and%20%22T%22%20in%20_ts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ts%20%3D%20_ts.split(%22T%22)%5B1%5D%5B%3A8%5D%0A%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_ts%7D%5D%20%7B_entry.get('message'%2C%20'N%2FA')%5B%3A40%5D%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Errors-Focused%20Sampling%0A%0A%20%20%20%20**Prioritizes%20errors**%20and%20includes%20context%20around%20them.%0A%20%20%20%20Best%20when%20investigating%20problems.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_file%2C%20smart_sample)%3A%0A%20%20%20%20%23%20Errors-focused%20sampling%0A%20%20%20%20errors_sample%20%3D%20smart_sample(files%3D%5Bstr(log_file)%5D%2C%20strategy%3D%22errors_focused%22%2C%20sample_size%3D50)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Errors-Focused%20Sampling%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22Sample%20size%3A%20%7Berrors_sample%5B'sample_size'%5D%7D%22)%0A%0A%20%20%20%20_coverage%20%3D%20errors_sample%5B%22coverage%22%5D%0A%20%20%20%20_level_cov%20%3D%20_coverage.get(%22level_coverage%22%2C%20%7B%7D)%0A%0A%20%20%20%20%23%20Compare%20error%20ratio%20in%20sample%20vs%20population%0A%20%20%20%20_sample_errors%20%3D%20_level_cov.get(%22ERROR%22%2C%200)%20%2B%20_level_cov.get(%22FATAL%22%2C%200)%0A%20%20%20%20_sample_total%20%3D%20sum(_level_cov.values())%0A%20%20%20%20_sample_ratio%20%3D%20_sample_errors%20%2F%20_sample_total%20if%20_sample_total%20%3E%200%20else%200%0A%0A%20%20%20%20print(%22%5CnLevel%20distribution%20in%20sample%3A%22)%0A%20%20%20%20for%20_level%2C%20_count%20in%20_level_cov.items()%3A%0A%20%20%20%20%20%20%20%20_pct%20%3D%20(_count%20%2F%20_sample_total%20*%20100)%20if%20_sample_total%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_level%7D%3A%20%7B_count%7D%20(%7B_pct%3A.0f%7D%25)%22)%0A%0A%20%20%20%20print(f%22%5CnError%20ratio%20in%20sample%3A%20%7B_sample_ratio%3A.0%25%7D%22)%0A%20%20%20%20print(%22(Population%20had%20~5%25%20errors%2C%20sample%20should%20have%20more)%22)%0A%20%20%20%20return%20(errors_sample%2C)%0A%0A%0A%40app.cell%0Adef%20_(errors_sample)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Error%20Samples%20with%20Context%20%3D%3D%3D%5Cn%22)%0A%0A%20%20%20%20_error_count%20%3D%200%0A%20%20%20%20for%20_entry%20in%20errors_sample%5B%22samples%22%5D%3A%0A%20%20%20%20%20%20%20%20if%20_entry.get(%22level%22)%20in%20%5B%22ERROR%22%2C%20%22FATAL%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%5B%7B_entry.get('level')%7D%5D%20%7B_entry.get('message')%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Service%3A%20%7B_entry.get('service')%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Thread%3A%20%7B_entry.get('thread_id')%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print()%0A%20%20%20%20%20%20%20%20%20%20%20%20_error_count%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_error_count%20%3E%3D%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Comparing%20Strategies%0A%0A%20%20%20%20Different%20strategies%20serve%20different%20purposes%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(chrono_sample%2C%20diverse_sample%2C%20errors_sample%2C%20rep_sample)%3A%0A%20%20%20%20print(%22%3D%3D%3D%20Strategy%20Comparison%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(f%22%7B'Strategy'%3A%3C20%7D%20%7B'Unique%20Msgs'%3A%3C15%7D%20%7B'Error%20%25'%3A%3C15%7D%20%7B'Best%20For'%3A%3C30%7D%22)%0A%20%20%20%20print(%22-%22%20*%2080)%0A%0A%20%20%20%20_samples_list%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(rep_sample%2C%20%22Representative%22)%2C%0A%20%20%20%20%20%20%20%20(diverse_sample%2C%20%22Diverse%22)%2C%0A%20%20%20%20%20%20%20%20(chrono_sample%2C%20%22Chronological%22)%2C%0A%20%20%20%20%20%20%20%20(errors_sample%2C%20%22Errors-Focused%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20_best_for%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Representative%22%3A%20%22Overall%20understanding%22%2C%0A%20%20%20%20%20%20%20%20%22Diverse%22%3A%20%22Discovery%2C%20exploration%22%2C%0A%20%20%20%20%20%20%20%20%22Chronological%22%3A%20%22Time-based%20patterns%22%2C%0A%20%20%20%20%20%20%20%20%22Errors-Focused%22%3A%20%22Debugging%2C%20incidents%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20for%20_sample%2C%20_name%20in%20_samples_list%3A%0A%20%20%20%20%20%20%20%20_entries%20%3D%20_sample%5B%22samples%22%5D%0A%20%20%20%20%20%20%20%20_unique%20%3D%20len(set(_e.get(%22message%22%2C%20%22%22)%20for%20_e%20in%20_entries))%0A%20%20%20%20%20%20%20%20_errors%20%3D%20sum(1%20for%20_e%20in%20_entries%20if%20_e.get(%22level%22)%20in%20%5B%22ERROR%22%2C%20%22FATAL%22%5D)%0A%20%20%20%20%20%20%20%20_error_pct%20%3D%20(_errors%20%2F%20len(_entries)%20*%20100)%20if%20_entries%20else%200%0A%0A%20%20%20%20%20%20%20%20print(f%22%7B_name%3A%3C20%7D%20%7B_unique%3A%3C15%7D%20%7B_error_pct%3A%3C15.0f%7D%25%20%7B_best_for%5B_name%5D%3A%3C30%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20Using%20Samples%20for%20Efficient%20Analysis%0A%0A%20%20%20%20Samples%20reduce%20data%20while%20preserving%20insights%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(rep_sample)%3A%0A%20%20%20%20%23%20Analyze%20patterns%20in%20the%20sample%0A%20%20%20%20_samples%20%3D%20rep_sample%5B%22samples%22%5D%0A%0A%20%20%20%20%23%20Group%20by%20message%0A%20%20%20%20_message_counts%20%3D%20%7B%7D%0A%20%20%20%20for%20_entry%20in%20_samples%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20_entry.get(%22message%22%2C%20%22unknown%22)%0A%20%20%20%20%20%20%20%20_message_counts%5B_msg%5D%20%3D%20_message_counts.get(_msg%2C%200)%20%2B%201%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Patterns%20in%20Sample%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20_sorted%20%3D%20sorted(_message_counts.items()%2C%20key%3Dlambda%20x%3A%20-x%5B1%5D)%0A%20%20%20%20for%20_msg%2C%20_count%20in%20_sorted%5B%3A5%5D%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_count%7Dx%20%7B_msg%7D%22)%0A%0A%20%20%20%20%23%20Calculate%20reduction%0A%20%20%20%20_reduction%20%3D%20(1%20-%20rep_sample%5B%22sample_size%22%5D%20%2F%20rep_sample%5B%22total_population%22%5D)%20*%20100%0A%20%20%20%20print(f%22%5CnData%20reduction%3A%20%7B_reduction%3A.0f%7D%25%22)%0A%20%20%20%20print(f%22(%7Brep_sample%5B'sample_size'%5D%7D%20samples%20from%20%7Brep_sample%5B'total_population'%5D%7D%20entries)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20learned%20smart%20sampling%20strategies%3A%0A%0A%20%20%20%20-%20**%60smart_sample(files%2C%20strategy%3D%22representative%22)%60**%20-%20Balanced%20mix%0A%20%20%20%20-%20**%60smart_sample(files%2C%20strategy%3D%22diverse%22)%60**%20-%20Maximum%20variety%0A%20%20%20%20-%20**%60smart_sample(files%2C%20strategy%3D%22chronological%22)%60**%20-%20Time-spread%0A%20%20%20%20-%20**%60smart_sample(files%2C%20strategy%3D%22errors_focused%22)%60**%20-%20Prioritize%20problems%0A%0A%20%20%20%20**When%20to%20Use%20Each%3A**%0A%20%20%20%20%7C%20Strategy%20%7C%20Use%20When%20%7C%0A%20%20%20%20%7C----------%7C----------%7C%0A%20%20%20%20%7C%20Representative%20%7C%20General%20analysis%2C%20understanding%20distribution%20%7C%0A%20%20%20%20%7C%20Diverse%20%7C%20Exploring%2C%20discovering%20patterns%20%7C%0A%20%20%20%20%7C%20Chronological%20%7C%20Time-based%20issues%2C%20trends%20%7C%0A%20%20%20%20%7C%20Errors-Focused%20%7C%20Debugging%2C%20incident%20response%20%7C%0A%0A%20%20%20%20**Key%20Benefits%3A**%0A%20%20%20%20-%20Reduce%20data%20by%2090%25%2B%20while%20keeping%20insights%0A%20%20%20%20-%20Faster%20processing%20with%20LLMs%20(fewer%20tokens)%0A%20%20%20%20-%20Coverage%20metrics%20show%20what%20you're%20capturing%0A%0A%20%20%20%20**Next%20Steps%3A**%0A%20%20%20%20-%20**Tour%2012**%3A%20Multi-file%20interleaving%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A