tour 11 metrics caching

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22sqler%22%2C%20%22marimo%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20---%20marimo%20scaffolding%20(please%20ignore)%20---%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20SQLer%20Tour%3A%20Metrics%2C%20Caching%20%26%20Pools%0A%0A%20%20%20%20This%20notebook%20covers%20SQLer's%20production-ready%20features%20for%20monitoring%0A%20%20%20%20and%20performance%20optimization.%0A%0A%20%20%20%20You'll%20learn%3A%0A%0A%20%20%20%201.%20Metrics%20collection%20(Prometheus%2FStatsD%20compatible)%0A%20%20%20%202.%20Query%20result%20caching%20with%20TTL%0A%20%20%20%203.%20Cache-aware%20models%0A%20%20%20%204.%20Connection%20pooling%20concepts%0A%0A%20%20%20%20Let's%20explore!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Setting%20Up%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20sqler%20import%20SQLerDB%2C%20SQLerModel%0A%20%20%20%20from%20sqler.cache%20import%20CacheAwareModel%2C%20QueryCache%2C%20cached_query%0A%20%20%20%20from%20sqler.metrics%20import%20MetricsCollector%2C%20metrics%0A%20%20%20%20from%20sqler.query%20import%20SQLerField%20as%20F%0A%0A%20%20%20%20db%20%3D%20SQLerDB.in_memory()%0A%20%20%20%20print(%22Database%20connected!%22)%0A%20%20%20%20print(%22Imports%20ready%3A%20metrics%2C%20cache%2C%20pool%20modules%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20CacheAwareModel%2C%0A%20%20%20%20%20%20%20%20F%2C%0A%20%20%20%20%20%20%20%20MetricsCollector%2C%0A%20%20%20%20%20%20%20%20QueryCache%2C%0A%20%20%20%20%20%20%20%20SQLerModel%2C%0A%20%20%20%20%20%20%20%20cached_query%2C%0A%20%20%20%20%20%20%20%20db%2C%0A%20%20%20%20%20%20%20%20metrics%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(SQLerModel%2C%20db)%3A%0A%20%20%20%20class%20User(SQLerModel)%3A%0A%20%20%20%20%20%20%20%20_table%20%3D%20%22users%22%0A%20%20%20%20%20%20%20%20name%3A%20str%0A%20%20%20%20%20%20%20%20email%3A%20str%0A%20%20%20%20%20%20%20%20active%3A%20bool%20%3D%20True%0A%0A%20%20%20%20User.set_db(db)%0A%0A%20%20%20%20%23%20Create%20sample%20users%0A%20%20%20%20for%20_i%20in%20range(10)%3A%0A%20%20%20%20%20%20%20%20User(name%3Df%22User%7B_i%7D%22%2C%20email%3Df%22user%7B_i%7D%40example.com%22%2C%20active%3D_i%20%25%202%20%3D%3D%200).save()%0A%0A%20%20%20%20print(f%22Created%20%7BUser.query().count()%7D%20users%22)%0A%20%20%20%20return%20(User%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Metrics%20Collection%0A%0A%20%20%20%20SQLer's%20%60MetricsCollector%60%20automatically%20tracks%20query%20performance%0A%20%20%20%20and%20exports%20in%20Prometheus%20or%20StatsD%20formats%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(F%2C%20User%2C%20metrics)%3A%0A%20%20%20%20%23%20Enable%20the%20global%20metrics%20collector%0A%20%20%20%20metrics.reset()%20%20%23%20Clear%20any%20previous%20metrics%0A%20%20%20%20metrics.enable(slow_threshold_ms%3D50)%0A%0A%20%20%20%20%23%20Run%20some%20queries%0A%20%20%20%20User.query().all()%0A%20%20%20%20User.query().filter(F(%22active%22)%20%3D%3D%20True).all()%0A%20%20%20%20User.query().count()%0A%20%20%20%20User.query().filter(F(%22name%22)%20%3D%3D%20%22User1%22).first()%0A%0A%20%20%20%20print(%22Metrics%20collector%20enabled!%22)%0A%20%20%20%20print(%22%20%20Slow%20query%20threshold%3A%2050ms%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(metrics)%3A%0A%20%20%20%20%23%20Get%20aggregated%20metrics%0A%20%20%20%20_m%20%3D%20metrics.get_metrics()%0A%0A%20%20%20%20print(%22Collected%20Metrics%3A%22)%0A%20%20%20%20print(f%22%20%20Total%20queries%3A%20%7B_m%5B'queries'%5D%5B'total_queries'%5D%7D%22)%0A%20%20%20%20print(f%22%20%20Total%20errors%3A%20%7B_m%5B'queries'%5D%5B'total_errors'%5D%7D%22)%0A%20%20%20%20print(f%22%20%20Avg%20duration%3A%20%7B_m%5B'queries'%5D%5B'avg_duration_ms'%5D%3A.2f%7Dms%22)%0A%20%20%20%20print(f%22%20%20Max%20duration%3A%20%7B_m%5B'queries'%5D%5B'max_duration_ms'%5D%3A.2f%7Dms%22)%0A%0A%20%20%20%20%23%20Per-table%20operations%0A%20%20%20%20print(%22%5CnPer-table%20operations%3A%22)%0A%20%20%20%20for%20_table%2C%20_ops%20in%20_m%5B'tables'%5D.items()%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7B_table%7D%3A%20%7B_ops%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Prometheus%20Export%0A%0A%20%20%20%20Export%20metrics%20in%20Prometheus%20text%20format%20for%20monitoring%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(metrics)%3A%0A%20%20%20%20%23%20Export%20in%20Prometheus%20format%0A%20%20%20%20_prom%20%3D%20metrics.prometheus_export()%0A%0A%20%20%20%20print(%22Prometheus%20export%20(partial)%3A%22)%0A%20%20%20%20for%20_line%20in%20_prom.split(%22%5Cn%22)%5B%3A15%5D%3A%0A%20%20%20%20%20%20%20%20if%20_line%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%7B_line%7D%22)%0A%20%20%20%20print(%22%20%20...%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Query%20Result%20Caching%0A%0A%20%20%20%20Cache%20expensive%20query%20results%20with%20TTL-based%20expiration%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(QueryCache)%3A%0A%20%20%20%20%23%20Create%20a%20cache%0A%20%20%20%20cache%20%3D%20QueryCache(max_size%3D100%2C%20default_ttl_seconds%3D60)%0A%0A%20%20%20%20print(%22Cache%20created!%22)%0A%20%20%20%20print(%22%20%20Max%20size%3A%20100%20entries%22)%0A%20%20%20%20print(%22%20%20Default%20TTL%3A%2060%20seconds%22)%0A%20%20%20%20return%20(cache%2C)%0A%0A%0A%40app.cell%0Adef%20_(F%2C%20User%2C%20cache)%3A%0A%20%20%20%20%23%20Manual%20caching%0A%20%20%20%20_key%20%3D%20%22active_users%22%0A%0A%20%20%20%20if%20not%20cache.has(_key)%3A%0A%20%20%20%20%20%20%20%20print(%22Cache%20MISS%20-%20fetching%20from%20database...%22)%0A%20%20%20%20%20%20%20%20_users%20%3D%20User.query().filter(F(%22active%22)%20%3D%3D%20True).all()%0A%20%20%20%20%20%20%20%20cache.set(_key%2C%20_users%2C%20ttl_seconds%3D30%2C%20table%3D%22users%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22Cache%20HIT!%22)%0A%20%20%20%20%20%20%20%20_users%20%3D%20cache.get(_key)%0A%0A%20%20%20%20print(f%22Got%20%7Blen(_users)%7D%20active%20users%22)%0A%0A%20%20%20%20%23%20Check%20again%20(should%20be%20cached%20now)%0A%20%20%20%20if%20cache.has(_key)%3A%0A%20%20%20%20%20%20%20%20print(%22%5CnSecond%20check%3A%20Cache%20HIT!%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cache)%3A%0A%20%20%20%20%23%20Cache%20statistics%0A%20%20%20%20_stats%20%3D%20cache.stats%0A%0A%20%20%20%20print(%22Cache%20Statistics%3A%22)%0A%20%20%20%20print(f%22%20%20Size%3A%20%7B_stats.size%7D%2F%7B_stats.max_size%7D%22)%0A%20%20%20%20print(f%22%20%20Hits%3A%20%7B_stats.hits%7D%22)%0A%20%20%20%20print(f%22%20%20Misses%3A%20%7B_stats.misses%7D%22)%0A%20%20%20%20print(f%22%20%20Hit%20rate%3A%20%7B_stats.hit_rate%3A.1%25%7D%22)%0A%20%20%20%20print(f%22%20%20Evictions%3A%20%7B_stats.evictions%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Cached%20Query%20Decorator%0A%0A%20%20%20%20Use%20%60%40cached_query%60%20for%20automatic%20caching%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(User%2C%20cache%2C%20cached_query)%3A%0A%20%20%20%20%40cached_query(ttl_seconds%3D60%2C%20table%3D%22users%22%2C%20cache%3Dcache)%0A%20%20%20%20def%20get_user_count()%3A%0A%20%20%20%20%20%20%20%20print(%22%20%20(executing%20query...)%22)%0A%20%20%20%20%20%20%20%20return%20User.query().count()%0A%0A%20%20%20%20%23%20First%20call%20-%20hits%20database%0A%20%20%20%20print(%22First%20call%3A%22)%0A%20%20%20%20_count1%20%3D%20get_user_count()%0A%20%20%20%20print(f%22Count%3A%20%7B_count1%7D%22)%0A%0A%20%20%20%20%23%20Second%20call%20-%20from%20cache%0A%20%20%20%20print(%22%5CnSecond%20call%3A%22)%0A%20%20%20%20_count2%20%3D%20get_user_count()%0A%20%20%20%20print(f%22Count%3A%20%7B_count2%7D%22)%0A%0A%20%20%20%20%23%20Invalidate%20and%20call%20again%0A%20%20%20%20cache.invalidate_table(%22users%22)%0A%20%20%20%20print(%22%5CnAfter%20invalidate_table('users')%3A%22)%0A%20%20%20%20_count3%20%3D%20get_user_count()%0A%20%20%20%20print(f%22Count%3A%20%7B_count3%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Pattern-Based%20Invalidation%0A%0A%20%20%20%20Invalidate%20multiple%20cache%20entries%20at%20once%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cache)%3A%0A%20%20%20%20%23%20Add%20multiple%20cache%20entries%0A%20%20%20%20cache.set(%22users%3Apage%3A1%22%2C%20%5B%22user1%22%2C%20%22user2%22%5D%2C%20ttl_seconds%3D60)%0A%20%20%20%20cache.set(%22users%3Apage%3A2%22%2C%20%5B%22user3%22%2C%20%22user4%22%5D%2C%20ttl_seconds%3D60)%0A%20%20%20%20cache.set(%22users%3Apage%3A3%22%2C%20%5B%22user5%22%2C%20%22user6%22%5D%2C%20ttl_seconds%3D60)%0A%20%20%20%20cache.set(%22products%3Apage%3A1%22%2C%20%5B%22prod1%22%2C%20%22prod2%22%5D%2C%20ttl_seconds%3D60)%0A%0A%20%20%20%20print(f%22Cache%20size%3A%20%7Blen(cache)%7D%22)%0A%0A%20%20%20%20%23%20Invalidate%20all%20user%20pages%0A%20%20%20%20_count%20%3D%20cache.invalidate_pattern(%22users%3Apage%3A*%22)%0A%20%20%20%20print(f%22%5CnInvalidated%20%7B_count%7D%20entries%20matching%20'users%3Apage%3A*'%22)%0A%20%20%20%20print(f%22Cache%20size%20after%3A%20%7Blen(cache)%7D%22)%0A%0A%20%20%20%20%23%20products%3Apage%3A1%20should%20still%20exist%0A%20%20%20%20print(f%22products%3Apage%3A1%20exists%3A%20%7Bcache.has('products%3Apage%3A1')%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20Cache-Aware%20Models%0A%0A%20%20%20%20Models%20that%20automatically%20invalidate%20cache%20on%20save%2Fdelete%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CacheAwareModel%2C%20SQLerModel%2C%20db)%3A%0A%20%20%20%20from%20sqler.cache%20import%20get_cache%0A%0A%20%20%20%20%23%20CacheAwareModel%20uses%20the%20global%20cache%0A%20%20%20%20_global_cache%20%3D%20get_cache()%0A%0A%20%20%20%20class%20Product(CacheAwareModel%2C%20SQLerModel)%3A%0A%20%20%20%20%20%20%20%20_table%20%3D%20%22products%22%0A%20%20%20%20%20%20%20%20name%3A%20str%0A%20%20%20%20%20%20%20%20price%3A%20float%0A%0A%20%20%20%20%20%20%20%20class%20Meta%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cache_table%20%3D%20%22products%22%0A%0A%20%20%20%20Product.set_db(db)%0A%0A%20%20%20%20%23%20Cache%20some%20product%20data%20in%20global%20cache%0A%20%20%20%20_global_cache.set(%22all_products%22%2C%20%22cached%20data%22%2C%20table%3D%22products%22)%0A%20%20%20%20print(f%22Cached%20'all_products'%3A%20%7B_global_cache.has('all_products')%7D%22)%0A%0A%20%20%20%20%23%20Save%20triggers%20cache%20invalidation%20on%20global%20cache%0A%20%20%20%20_prod%20%3D%20Product(name%3D%22Widget%22%2C%20price%3D29.99).save()%0A%20%20%20%20print(f%22After%20save%20-%20'all_products'%20cached%3A%20%7B_global_cache.has('all_products')%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%208.%20Connection%20Pooling%0A%0A%20%20%20%20For%20production%20with%20concurrent%20access%2C%20use%20connection%20pools.%0A%0A%20%20%20%20**Note%3A**%20Pools%20require%20disk-based%20databases%2C%20so%20we'll%20show%20the%20API%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20print(%22Connection%20Pool%20Features%3A%22)%0A%20%20%20%20print(%22%22)%0A%20%20%20%20print(%22%20%20%23%20Create%20pooled%20database%22)%0A%20%20%20%20print(%22%20%20db%20%3D%20PooledSQLerDB.on_disk('app.db'%2C%20max_connections%3D10)%22)%0A%20%20%20%20print(%22%22)%0A%20%20%20%20print(%22%20%20%23%20Use%20exactly%20like%20SQLerDB%22)%0A%20%20%20%20print(%22%20%20User.set_db(db)%22)%0A%20%20%20%20print(%22%20%20users%20%3D%20User.query().all()%22)%0A%20%20%20%20print(%22%22)%0A%20%20%20%20print(%22%20%20%23%20Check%20pool%20stats%22)%0A%20%20%20%20print(%22%20%20stats%20%3D%20db.pool_stats()%22)%0A%20%20%20%20print(%22%20%20print(f'In%20use%3A%20%7Bstats.in_use_connections%7D')%22)%0A%20%20%20%20print(%22%20%20print(f'Available%3A%20%7Bstats.available_connections%7D')%22)%0A%20%20%20%20print(%22%22)%0A%20%20%20%20print(%22WAL%20mode%20benefits%3A%22)%0A%20%20%20%20print(%22%20%20-%20Multiple%20concurrent%20readers%22)%0A%20%20%20%20print(%22%20%20-%20Writers%20don't%20block%20readers%22)%0A%20%20%20%20print(%22%20%20-%20Readers%20don't%20block%20writers%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%209.%20Metrics%20with%20Labels%0A%0A%20%20%20%20Add%20custom%20labels%20for%20multi-tenant%20or%20multi-instance%20monitoring%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MetricsCollector%2C%20User)%3A%0A%20%20%20%20%23%20Create%20collector%20with%20custom%20labels%0A%20%20%20%20_collector%20%3D%20MetricsCollector()%0A%20%20%20%20_collector.enable(%0A%20%20%20%20%20%20%20%20slow_threshold_ms%3D100%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22service%22%3A%20%22api%22%2C%20%22environment%22%3A%20%22production%22%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Run%20a%20query%0A%20%20%20%20User.query().count()%0A%0A%20%20%20%20%23%20Export%20shows%20labels%0A%20%20%20%20_prom%20%3D%20_collector.prometheus_export()%0A%20%20%20%20print(%22Prometheus%20with%20labels%3A%22)%0A%20%20%20%20for%20_line%20in%20_prom.split(%22%5Cn%22)%5B%3A5%5D%3A%0A%20%20%20%20%20%20%20%20if%20_line%20and%20not%20_line.startswith(%22%23%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%7B_line%7D%22)%0A%0A%20%20%20%20_collector.disable()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20SQLer%20production%20features%3A%0A%0A%20%20%20%20%7C%20Feature%20%7C%20Description%20%7C%0A%20%20%20%20%7C---------%7C-------------%7C%0A%20%20%20%20%7C%20%60MetricsCollector%60%20%7C%20Collect%20query%20performance%20metrics%20%7C%0A%20%20%20%20%7C%20%60.prometheus_export()%60%20%7C%20Export%20in%20Prometheus%20format%20%7C%0A%20%20%20%20%7C%20%60.statsd_export()%60%20%7C%20Export%20in%20StatsD%20format%20%7C%0A%20%20%20%20%7C%20%60QueryCache%60%20%7C%20TTL-based%20query%20result%20cache%20%7C%0A%20%20%20%20%7C%20%60%40cached_query%60%20%7C%20Decorator%20for%20automatic%20caching%20%7C%0A%20%20%20%20%7C%20%60.invalidate_pattern()%60%20%7C%20Wildcard%20cache%20invalidation%20%7C%0A%20%20%20%20%7C%20%60CacheAwareModel%60%20%7C%20Auto-invalidate%20on%20model%20changes%20%7C%0A%20%20%20%20%7C%20%60ConnectionPool%60%20%7C%20Thread-safe%20connection%20pooling%20%7C%0A%20%20%20%20%7C%20%60PooledSQLerDB%60%20%7C%20SQLerDB%20with%20built-in%20pooling%20%7C%0A%0A%20%20%20%20**Best%20Practices%3A**%0A%20%20%20%20-%20Enable%20metrics%20for%20production%20monitoring%0A%20%20%20%20-%20Cache%20expensive%20queries%20with%20appropriate%20TTL%0A%20%20%20%20-%20Use%20%60invalidate_table()%60%20after%20bulk%20updates%0A%20%20%20%20-%20Use%20connection%20pooling%20for%20concurrent%20access%0A%20%20%20%20-%20Set%20%60slow_threshold_ms%60%20to%20track%20slow%20queries%0A%0A%20%20%20%20**That's%20the%20end%20of%20the%20SQLer%20tour!**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(db%2C%20metrics)%3A%0A%20%20%20%20metrics.disable()%0A%20%20%20%20db.close()%0A%20%20%20%20print(%22Database%20closed!%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A