tour 14 performance

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Logler%20Tour%3A%20Performance%20at%20Scale%0A%0A%20%20%20%20**Benchmark%20the%20Rust%20backend%20on%20a%20realistic%20dataset.**%0A%0A%20%20%20%20Logler%20is%20built%20for%20scale%3A%0A%20%20%20%20-%20Parallel%20parsing%20with%20Rayon%0A%20%20%20%20-%20Indexed%20access%20with%20DashMap%0A%20%20%20%20-%20Efficient%20memory%20layout%0A%20%20%20%20-%20Zero-copy%20where%20possible%0A%0A%20%20%20%20**In%20this%20tour%3A**%0A%20%20%20%201.%20Generate%2010%2C000%20log%20entries%0A%20%20%20%202.%20Benchmark%20indexing%20speed%0A%20%20%20%203.%20Benchmark%20search%20operations%0A%20%20%20%204.%20Compare%20output%20formats%20(token%20efficiency)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20import%20time%0A%20%20%20%20import%20random%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timezone%2C%20timedelta%0A%0A%20%20%20%20%23%20Create%20temp%20directory%0A%20%20%20%20temp_dir%20%3D%20tempfile.mkdtemp()%0A%0A%20%20%20%20print(f%22Temp%20directory%3A%20%7Btemp_dir%7D%22)%0A%20%20%20%20return%20Path%2C%20datetime%2C%20json%2C%20random%2C%20temp_dir%2C%20time%2C%20timedelta%2C%20timezone%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Generate%2010%2C000%20Log%20Entries%0A%0A%20%20%20%20We'll%20create%20a%20realistic%20log%20file%20with%3A%0A%20%20%20%20-%20Varied%20log%20levels%20(mostly%20INFO%2C%20some%20WARN%2C%20occasional%20ERROR)%0A%20%20%20%20-%2050%20unique%20thread%20IDs%0A%20%20%20%20-%20100%20unique%20correlation%20IDs%0A%20%20%20%20-%20Realistic%20message%20patterns%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20datetime%2C%20json%2C%20random%2C%20temp_dir%2C%20time%2C%20timedelta%2C%20timezone)%3A%0A%20%20%20%20NUM_ENTRIES%20%3D%2010000%0A%0A%20%20%20%20%23%20Message%20templates%20for%20variety%0A%20%20%20%20messages%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22INFO%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Request%20processed%20successfully%20in%20%7Bms%7Dms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22User%20%7Buser_id%7D%20logged%20in%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cache%20hit%20for%20key%20%7Bkey%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Database%20query%20returned%20%7Brows%7D%20rows%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22API%20endpoint%20%2Fapi%2F%7Bendpoint%7D%20called%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Session%20%7Bsession%7D%20validated%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Batch%20job%20%7Bjob_id%7D%20completed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Health%20check%20passed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Connection%20pool%20size%3A%20%7Bsize%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory%20usage%3A%20%7Bmem%7DMB%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22WARN%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Slow%20query%20detected%3A%20%7Bms%7Dms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Rate%20limit%20approaching%20for%20%7Bclient%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Connection%20pool%20running%20low%3A%20%7Bsize%7D%20available%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22High%20memory%20usage%3A%20%7Bmem%7DMB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Retry%20attempt%20%7Battempt%7D%20for%20operation%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22ERROR%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Database%20connection%20failed%3A%20%7Berror%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Timeout%20waiting%20for%20response%20from%20%7Bservice%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Authentication%20failed%20for%20user%20%7Buser_id%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Service%20%7Bservice%7D%20unavailable%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Unhandled%20exception%3A%20%7Berror%7D%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20services%20%3D%20%5B%22api-gateway%22%2C%20%22user-service%22%2C%20%22order-service%22%2C%20%22inventory%22%2C%20%22payment%22%5D%0A%20%20%20%20errors%20%3D%20%5B%22CONN_REFUSED%22%2C%20%22TIMEOUT%22%2C%20%22AUTH_FAIL%22%2C%20%22SERVICE_DOWN%22%2C%20%22INTERNAL%22%5D%0A%0A%20%20%20%20print(f%22Generating%20%7BNUM_ENTRIES%3A%2C%7D%20log%20entries...%22)%0A%20%20%20%20start_gen%20%3D%20time.perf_counter()%0A%0A%20%20%20%20base_time%20%3D%20datetime(2024%2C%201%2C%2015%2C%200%2C%200%2C%200%2C%20tzinfo%3Dtimezone.utc)%0A%20%20%20%20logs%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20i%20in%20range(NUM_ENTRIES)%3A%0A%20%20%20%20%20%20%20%20%23%20Determine%20level%20with%20realistic%20distribution%0A%20%20%20%20%20%20%20%20r%20%3D%20random.random()%0A%20%20%20%20%20%20%20%20if%20r%20%3C%200.02%3A%20%20%23%202%25%20ERROR%0A%20%20%20%20%20%20%20%20%20%20%20%20level%20%3D%20%22ERROR%22%0A%20%20%20%20%20%20%20%20elif%20r%20%3C%200.10%3A%20%20%23%208%25%20WARN%0A%20%20%20%20%20%20%20%20%20%20%20%20level%20%3D%20%22WARN%22%0A%20%20%20%20%20%20%20%20else%3A%20%20%23%2090%25%20INFO%0A%20%20%20%20%20%20%20%20%20%20%20%20level%20%3D%20%22INFO%22%0A%0A%20%20%20%20%20%20%20%20%23%20Pick%20a%20message%20template%20and%20fill%20it%0A%20%20%20%20%20%20%20%20template%20%3D%20random.choice(messages%5Blevel%5D)%0A%20%20%20%20%20%20%20%20msg%20%3D%20template.format(%0A%20%20%20%20%20%20%20%20%20%20%20%20ms%3Drandom.randint(5%2C%20500)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20user_id%3Df%22user-%7Brandom.randint(1%2C%201000)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20key%3Df%22cache%3A%7Brandom.randint(1%2C%2010000)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3Drandom.randint(1%2C%201000)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20endpoint%3Drandom.choice(%5B%22users%22%2C%20%22orders%22%2C%20%22products%22%2C%20%22checkout%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20session%3Df%22sess-%7Brandom.randint(1%2C%205000)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20job_id%3Df%22job-%7Brandom.randint(1%2C%20100)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20size%3Drandom.randint(1%2C%20100)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mem%3Drandom.randint(100%2C%204000)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20client%3Df%22client-%7Brandom.randint(1%2C%2050)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20attempt%3Drandom.randint(1%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20error%3Drandom.choice(errors)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20service%3Drandom.choice(services)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20logs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20(base_time%20%2B%20timedelta(milliseconds%3Di%20*%20100)).isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message%22%3A%20msg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22service%22%3A%20random.choice(services)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thread_id%22%3A%20f%22worker-%7Brandom.randint(1%2C%2050)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlation_id%22%3A%20f%22req-%7Brandom.randint(1%2C%20100)%3A03d%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20gen_time%20%3D%20time.perf_counter()%20-%20start_gen%0A%0A%20%20%20%20%23%20Write%20to%20file%0A%20%20%20%20large_log%20%3D%20Path(temp_dir)%20%2F%20%22large_scale.log%22%0A%20%20%20%20start_write%20%3D%20time.perf_counter()%0A%20%20%20%20with%20open(large_log%2C%20%22w%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20for%20log%20in%20logs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20f.write(json.dumps(log)%20%2B%20%22%5Cn%22)%0A%20%20%20%20write_time%20%3D%20time.perf_counter()%20-%20start_write%0A%0A%20%20%20%20file_size%20%3D%20large_log.stat().st_size%0A%0A%20%20%20%20print(%22%5CnGeneration%20complete!%22)%0A%20%20%20%20print(f%22%20%20Entries%3A%20%7BNUM_ENTRIES%3A%2C%7D%22)%0A%20%20%20%20print(f%22%20%20File%20size%3A%20%7Bfile_size%20%2F%201024%20%2F%201024%3A.2f%7D%20MB%22)%0A%20%20%20%20print(f%22%20%20Generation%20time%3A%20%7Bgen_time%20*%201000%3A.1f%7Dms%22)%0A%20%20%20%20print(f%22%20%20Write%20time%3A%20%7Bwrite_time%20*%201000%3A.1f%7Dms%22)%0A%20%20%20%20return%20NUM_ENTRIES%2C%20file_size%2C%20large_log%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Benchmark%20Indexing%20Speed%0A%0A%20%20%20%20This%20is%20where%20the%20Rust%20backend%20shines.%20Watch%20how%20fast%20it%20indexes%2010%2C000%20entries!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(large_log%2C%20time)%3A%0A%20%20%20%20from%20logler.investigate%20import%20Investigator%2C%20RUST_AVAILABLE%0A%0A%20%20%20%20print(f%22Rust%20backend%3A%20%7B'ENABLED'%20if%20RUST_AVAILABLE%20else%20'DISABLED'%7D%22)%0A%20%20%20%20print()%0A%0A%20%20%20%20%23%20Benchmark%20indexing%0A%20%20%20%20print(%22Indexing%2010%2C000%20log%20entries...%22)%0A%20%20%20%20start_index%20%3D%20time.perf_counter()%0A%0A%20%20%20%20inv%20%3D%20Investigator()%0A%20%20%20%20inv.load_files(%5Bstr(large_log)%5D)%0A%0A%20%20%20%20index_time%20%3D%20time.perf_counter()%20-%20start_index%0A%0A%20%20%20%20print(f%22%5Cn%F0%9F%9A%80%20Indexing%20completed%20in%20%7Bindex_time%20*%201000%3A.1f%7Dms%22)%0A%20%20%20%20print(f%22%20%20%20That's%20%7B10000%20%2F%20index_time%3A%2C.0f%7D%20entries%2Fsecond!%22)%0A%0A%20%20%20%20%23%20Get%20metadata%0A%20%20%20%20meta%20%3D%20inv.get_metadata()%5B0%5D%0A%20%20%20%20print(%22%5CnIndex%20statistics%3A%22)%0A%20%20%20%20print(f%22%20%20Lines%3A%20%7Bmeta%5B'lines'%5D%3A%2C%7D%22)%0A%20%20%20%20print(f%22%20%20Unique%20threads%3A%20%7Bmeta.get('unique_threads'%2C%20'N%2FA')%7D%22)%0A%20%20%20%20print(f%22%20%20Unique%20correlations%3A%20%7Bmeta.get('unique_correlation_ids'%2C%20'N%2FA')%7D%22)%0A%20%20%20%20return%20index_time%2C%20inv%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Benchmark%20Search%20Operations%0A%0A%20%20%20%20Now%20let's%20see%20how%20fast%20searches%20are%20on%20the%20indexed%20data!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(inv%2C%20time)%3A%0A%20%20%20%20%23%20Benchmark%20different%20search%20operations%0A%20%20%20%20benchmarks%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%201.%20Search%20by%20level%0A%20%20%20%20start%20%3D%20time.perf_counter()%0A%20%20%20%20errors_result%20%3D%20inv.search(level%3D%22ERROR%22%2C%20limit%3D100)%0A%20%20%20%20level_time%20%3D%20time.perf_counter()%20-%20start%0A%20%20%20%20benchmarks.append((%22Level%20filter%20(ERROR)%22%2C%20level_time%2C%20errors_result%5B%22total_matches%22%5D))%0A%0A%20%20%20%20%23%202.%20Text%20search%0A%20%20%20%20start%20%3D%20time.perf_counter()%0A%20%20%20%20text_result%20%3D%20inv.search(query%3D%22timeout%22%2C%20limit%3D100)%0A%20%20%20%20text_time%20%3D%20time.perf_counter()%20-%20start%0A%20%20%20%20benchmarks.append((%22Text%20search%20(timeout)%22%2C%20text_time%2C%20text_result%5B%22total_matches%22%5D))%0A%0A%20%20%20%20%23%203.%20Thread%20filter%0A%20%20%20%20start%20%3D%20time.perf_counter()%0A%20%20%20%20thread_result%20%3D%20inv.search(thread_id%3D%22worker-25%22%2C%20limit%3D100)%0A%20%20%20%20thread_time%20%3D%20time.perf_counter()%20-%20start%0A%20%20%20%20benchmarks.append((%22Thread%20filter%22%2C%20thread_time%2C%20thread_result%5B%22total_matches%22%5D))%0A%0A%20%20%20%20%23%204.%20Correlation%20filter%0A%20%20%20%20start%20%3D%20time.perf_counter()%0A%20%20%20%20corr_result%20%3D%20inv.search(correlation_id%3D%22req-050%22%2C%20limit%3D100)%0A%20%20%20%20corr_time%20%3D%20time.perf_counter()%20-%20start%0A%20%20%20%20benchmarks.append((%22Correlation%20filter%22%2C%20corr_time%2C%20corr_result%5B%22total_matches%22%5D))%0A%0A%20%20%20%20%23%205.%20Combined%20filters%0A%20%20%20%20start%20%3D%20time.perf_counter()%0A%20%20%20%20combined_result%20%3D%20inv.search(level%3D%22ERROR%22%2C%20query%3D%22service%22%2C%20limit%3D100)%0A%20%20%20%20combined_time%20%3D%20time.perf_counter()%20-%20start%0A%20%20%20%20benchmarks.append((%22Combined%20filters%22%2C%20combined_time%2C%20combined_result%5B%22total_matches%22%5D))%0A%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(%22SEARCH%20BENCHMARKS%20(10%2C000%20entries)%22)%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(f%22%7B'Operation'%3A%3C30%7D%20%7B'Time'%3A%3E10%7D%20%7B'Matches'%3A%3E10%7D%22)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%0A%20%20%20%20for%20name%2C%20elapsed%2C%20matches%20in%20benchmarks%3A%0A%20%20%20%20%20%20%20%20print(f%22%7Bname%3A%3C30%7D%20%7Belapsed%20*%201000%3A%3E8.2f%7Dms%20%7Bmatches%3A%3E10%2C%7D%22)%0A%0A%20%20%20%20avg_time%20%3D%20sum(b%5B1%5D%20for%20b%20in%20benchmarks)%20%2F%20len(benchmarks)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%20%20%20%20print(f%22%7B'Average'%3A%3C30%7D%20%7Bavg_time%20*%201000%3A%3E8.2f%7Dms%22)%0A%20%20%20%20return%20(avg_time%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Output%20Format%20Comparison%20(Token%20Efficiency)%0A%0A%20%20%20%20For%20LLM%20agents%2C%20token%20count%20matters!%20Let's%20compare%20output%20formats.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(large_log)%3A%0A%20%20%20%20from%20logler.investigate%20import%20search%0A%0A%20%20%20%20%23%20Use%20standalone%20search%20function%20for%20output%20format%20comparison%0A%20%20%20%20%23%20(Investigator.search%20doesn't%20support%20output_format%20parameter)%0A%20%20%20%20formats%20%3D%20%7B%7D%0A%0A%20%20%20%20%23%20Full%20format%20(default)%0A%20%20%20%20full_result%20%3D%20search(files%3D%5Bstr(large_log)%5D%2C%20level%3D%22ERROR%22%2C%20limit%3D50%2C%20output_format%3D%22full%22)%0A%20%20%20%20formats%5B%22full%22%5D%20%3D%20full_result%0A%0A%20%20%20%20%23%20Summary%20format%0A%20%20%20%20summary_result%20%3D%20search(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(large_log)%5D%2C%20level%3D%22ERROR%22%2C%20limit%3D50%2C%20output_format%3D%22summary%22%0A%20%20%20%20)%0A%20%20%20%20formats%5B%22summary%22%5D%20%3D%20summary_result%0A%0A%20%20%20%20%23%20Count%20format%0A%20%20%20%20count_result%20%3D%20search(files%3D%5Bstr(large_log)%5D%2C%20level%3D%22ERROR%22%2C%20limit%3D50%2C%20output_format%3D%22count%22)%0A%20%20%20%20formats%5B%22count%22%5D%20%3D%20count_result%0A%0A%20%20%20%20%23%20Compact%20format%0A%20%20%20%20compact_result%20%3D%20search(%0A%20%20%20%20%20%20%20%20files%3D%5Bstr(large_log)%5D%2C%20level%3D%22ERROR%22%2C%20limit%3D50%2C%20output_format%3D%22compact%22%0A%20%20%20%20)%0A%20%20%20%20formats%5B%22compact%22%5D%20%3D%20compact_result%0A%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(%22OUTPUT%20FORMAT%20COMPARISON%22)%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(f%22%7B'Format'%3A%3C15%7D%20%7B'Tokens'%3A%3E15%7D%20%7B'Reduction'%3A%3E15%7D%22)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%0A%20%20%20%20%23%20Use%20tiktoken%20for%20accurate%20token%20counts%20(cl100k_base%20%3D%20GPT-4%20encoding)%0A%20%20%20%20import%20json%20as%20json_mod%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20tiktoken%0A%0A%20%20%20%20%20%20%20%20enc%20%3D%20tiktoken.get_encoding(%22cl100k_base%22)%0A%0A%20%20%20%20%20%20%20%20def%20count_tokens(obj)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20len(enc.encode(json_mod.dumps(obj)))%0A%0A%20%20%20%20except%20ImportError%3A%0A%20%20%20%20%20%20%20%20%23%20Fallback%20to%20char%2F4%20estimate%20if%20tiktoken%20not%20installed%0A%20%20%20%20%20%20%20%20def%20count_tokens(obj)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20len(json_mod.dumps(obj))%20%2F%2F%204%0A%0A%20%20%20%20full_tokens%20%3D%20count_tokens(full_result)%0A%20%20%20%20compact_tokens%20%3D%20count_tokens(compact_result)%0A%20%20%20%20for%20_fmt%2C%20_result%20in%20formats.items()%3A%0A%20%20%20%20%20%20%20%20_tokens%20%3D%20count_tokens(_result)%0A%20%20%20%20%20%20%20%20_reduction%20%3D%20(1%20-%20_tokens%20%2F%20full_tokens)%20*%20100%20if%20full_tokens%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20print(f%22%7B_fmt%3A%3C15%7D%20%7B_tokens%3A%3E15%2C%7D%20%7B_reduction%3A%3E14.1f%7D%25%22)%0A%20%20%20%20return%20compact_tokens%2C%20full_tokens%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Performance%20Summary%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20NUM_ENTRIES%2C%0A%20%20%20%20avg_time%2C%0A%20%20%20%20compact_tokens%2C%0A%20%20%20%20file_size%2C%0A%20%20%20%20full_tokens%2C%0A%20%20%20%20index_time%2C%0A)%3A%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20print(%22PERFORMANCE%20SUMMARY%22)%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%0A%20%20%20%20print(f%22%5CnDataset%3A%20%7BNUM_ENTRIES%3A%2C%7D%20entries%20(%7Bfile_size%20%2F%201024%20%2F%201024%3A.2f%7D%20MB)%22)%0A%0A%20%20%20%20print(%22%5Cn%F0%9F%93%8A%20Indexing%3A%22)%0A%20%20%20%20print(f%22%20%20%20Time%3A%20%7Bindex_time%20*%201000%3A.1f%7Dms%22)%0A%20%20%20%20print(f%22%20%20%20Throughput%3A%20%7BNUM_ENTRIES%20%2F%20index_time%3A%2C.0f%7D%20entries%2Fsec%22)%0A%0A%20%20%20%20print(%22%5Cn%F0%9F%94%8D%20Search%20(average)%3A%22)%0A%20%20%20%20print(f%22%20%20%20Time%3A%20%7Bavg_time%20*%201000%3A.2f%7Dms%22)%0A%20%20%20%20print(f%22%20%20%20Throughput%3A%20%7BNUM_ENTRIES%20%2F%20avg_time%3A%2C.0f%7D%20entries%2Fsec%22)%0A%0A%20%20%20%20print(%22%5Cn%F0%9F%92%BE%20Token%20Efficiency%20(compact%20vs%20full)%3A%22)%0A%20%20%20%20print(f%22%20%20%20Full%3A%20%7Bfull_tokens%3A%2C%7D%20tokens%22)%0A%20%20%20%20print(f%22%20%20%20Compact%3A%20%7Bcompact_tokens%3A%2C%7D%20tokens%22)%0A%20%20%20%20print(f%22%20%20%20Savings%3A%20%7B(1%20-%20compact_tokens%20%2F%20full_tokens)%20*%20100%3A.1f%7D%25%22)%0A%0A%20%20%20%20print(%22%5Cn%22%20%2B%20%22%3D%22%20*%2060)%0A%20%20%20%20print(%22Use%20these%20numbers%20as%20a%20baseline%3B%20timings%20vary%20by%20machine.%22)%0A%20%20%20%20print(%22%3D%22%20*%2060)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20You've%20seen%20Logler's%20performance%20at%20scale%3A%0A%0A%20%20%20%20-%20**10%2C000%20entries%20indexed**%20in%20milliseconds%0A%20%20%20%20-%20**Sub-millisecond%20searches**%20on%20indexed%20data%0A%20%20%20%20-%20**Token-efficient%20output**%20for%20LLM%20agents%0A%0A%20%20%20%20**Example%20scaling%20(varies%20by%20machine)%3A**%0A%20%20%20%20-%20100K%20entries%3A%20~500ms%20index%2C%20~5ms%20search%0A%20%20%20%20-%201M%20entries%3A%20~5s%20index%2C%20~50ms%20search%0A%20%20%20%20-%20Limited%20by%20available%20CPU%20%2B%20memory%0A%0A%20%20%20%20**Why%20it's%20fast%3A**%0A%20%20%20%20-%20Rust%20backend%20with%20Rayon%20parallelism%0A%20%20%20%20-%20DashMap%20for%20concurrent%20indexing%0A%20%20%20%20-%20Pre-built%20indices%20for%20common%20queries%0A%20%20%20%20-%20Zero-copy%20parsing%20where%20possible%0A%0A%20%20%20%20Use%20these%20benchmarks%20to%20set%20expectations%20for%20your%20environment.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(temp_dir)%3A%0A%20%20%20%20import%20shutil%0A%0A%20%20%20%20shutil.rmtree(temp_dir%2C%20ignore_errors%3DTrue)%0A%20%20%20%20print(%22Cleaned%20up%20temp%20files%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A