tour 07 export import

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22sqler%22%2C%20%22marimo%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20---%20marimo%20scaffolding%20(please%20ignore)%20---%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20SQLer%20Tour%3A%20Export%20%26%20Import%0A%0A%20%20%20%20This%20notebook%20covers%20SQLer's%20data%20export%20and%20import%20capabilities%20for%0A%20%20%20%20backup%2C%20migration%2C%20and%20data%20interchange.%0A%0A%20%20%20%20You'll%20learn%3A%0A%0A%20%20%20%201.%20Export%20to%20CSV%2C%20JSON%2C%20and%20JSONL%20formats%0A%20%20%20%202.%20Export%20query%20results%20vs%20entire%20tables%0A%20%20%20%203.%20Import%20data%20from%20files%0A%20%20%20%204.%20Streaming%20large%20datasets%0A%20%20%20%205.%20Export%2FImport%20results%20and%20error%20handling%0A%0A%20%20%20%20Let's%20explore!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Setting%20Up%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20sqler%20import%20SQLerDB%2C%20SQLerModel%0A%20%20%20%20from%20sqler.export%20import%20(%0A%20%20%20%20%20%20%20%20export_csv_string%2C%0A%20%20%20%20%20%20%20%20export_json_string%2C%0A%20%20%20%20)%0A%20%20%20%20from%20sqler.query%20import%20SQLerField%20as%20F%0A%0A%20%20%20%20db%20%3D%20SQLerDB.in_memory()%0A%20%20%20%20print(%22Database%20connected!%22)%0A%20%20%20%20print(%22%5CnExport%20formats%3A%20CSV%2C%20JSON%2C%20JSONL%22)%0A%20%20%20%20return%20F%2C%20SQLerModel%2C%20db%2C%20export_csv_string%2C%20export_json_string%0A%0A%0A%40app.cell%0Adef%20_(SQLerModel%2C%20db)%3A%0A%20%20%20%20class%20User(SQLerModel)%3A%0A%20%20%20%20%20%20%20%20_table%20%3D%20%22users%22%0A%20%20%20%20%20%20%20%20name%3A%20str%0A%20%20%20%20%20%20%20%20email%3A%20str%0A%20%20%20%20%20%20%20%20age%3A%20int%0A%20%20%20%20%20%20%20%20active%3A%20bool%20%3D%20True%0A%0A%20%20%20%20User.set_db(db)%0A%0A%20%20%20%20%23%20Create%20sample%20data%0A%20%20%20%20users_data%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Alice%22%2C%20%22alice%40example.com%22%2C%2030)%2C%0A%20%20%20%20%20%20%20%20(%22Bob%22%2C%20%22bob%40example.com%22%2C%2025)%2C%0A%20%20%20%20%20%20%20%20(%22Carol%22%2C%20%22carol%40example.com%22%2C%2035)%2C%0A%20%20%20%20%20%20%20%20(%22Dave%22%2C%20%22dave%40example.com%22%2C%2028)%2C%0A%20%20%20%20%20%20%20%20(%22Eve%22%2C%20%22eve%40example.com%22%2C%2032)%2C%0A%20%20%20%20%5D%0A%20%20%20%20for%20name%2C%20email%2C%20age%20in%20users_data%3A%0A%20%20%20%20%20%20%20%20User(name%3Dname%2C%20email%3Demail%2C%20age%3Dage).save()%0A%0A%20%20%20%20print(f%22Created%20%7BUser.query().count()%7D%20users%22)%0A%20%20%20%20return%20(User%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Export%20to%20CSV%20String%0A%0A%20%20%20%20Export%20query%20results%20to%20CSV%20format.%20In%20the%20browser%2C%20we%20use%20string%20export%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(User%2C%20export_csv_string)%3A%0A%20%20%20%20%23%20Export%20all%20users%20to%20CSV%0A%20%20%20%20csv_data%20%3D%20export_csv_string(User.query())%0A%0A%20%20%20%20print(%22CSV%20Export%3A%22)%0A%20%20%20%20print(csv_data)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(F%2C%20User%2C%20export_csv_string)%3A%0A%20%20%20%20%23%20Export%20filtered%20results%0A%20%20%20%20active_users%20%3D%20User.query().filter(F(%22age%22)%20%3E%2028)%0A%20%20%20%20csv_filtered%20%3D%20export_csv_string(active_users)%0A%0A%20%20%20%20print(%22CSV%20Export%20(age%20%3E%2028)%3A%22)%0A%20%20%20%20print(csv_filtered)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Export%20to%20JSON%20String%0A%0A%20%20%20%20Export%20to%20JSON%20format%20for%20APIs%20and%20web%20applications%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(User%2C%20export_json_string)%3A%0A%20%20%20%20%23%20Export%20all%20users%20to%20JSON%0A%20%20%20%20json_data%20%3D%20export_json_string(User.query()%2C%20indent%3D2)%0A%0A%20%20%20%20print(%22JSON%20Export%3A%22)%0A%20%20%20%20print(json_data)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Export%20Specific%20Fields%0A%0A%20%20%20%20Control%20which%20fields%20are%20exported%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(User%2C%20export_csv_string%2C%20export_json_string)%3A%0A%20%20%20%20%23%20Export%20only%20specific%20fields%0A%20%20%20%20csv_partial%20%3D%20export_csv_string(User.query()%2C%20fields%3D%5B%22name%22%2C%20%22email%22%5D)%0A%20%20%20%20print(%22CSV%20with%20selected%20fields%3A%22)%0A%20%20%20%20print(csv_partial)%0A%0A%20%20%20%20%23%20JSON%20with%20selected%20fields%0A%20%20%20%20json_partial%20%3D%20export_json_string(User.query()%2C%20fields%3D%5B%22name%22%2C%20%22age%22%5D%2C%20indent%3D2)%0A%20%20%20%20print(%22%5CnJSON%20with%20selected%20fields%3A%22)%0A%20%20%20%20print(json_partial)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Import%20from%20CSV%0A%0A%20%20%20%20Import%20data%20from%20CSV%20format.%20Let's%20create%20a%20new%20model%20and%20import%20data%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(SQLerModel%2C%20db)%3A%0A%20%20%20%20import%20csv%0A%20%20%20%20import%20io%0A%0A%20%20%20%20from%20sqler.export%20import%20ImportResult%20as%20ImpResult%0A%0A%20%20%20%20class%20Product(SQLerModel)%3A%0A%20%20%20%20%20%20%20%20_table%20%3D%20%22products%22%0A%20%20%20%20%20%20%20%20name%3A%20str%0A%20%20%20%20%20%20%20%20price%3A%20float%0A%20%20%20%20%20%20%20%20category%3A%20str%0A%0A%20%20%20%20Product.set_db(db)%0A%0A%20%20%20%20%23%20Simulate%20CSV%20data%20(in%20real%20usage%2C%20this%20would%20come%20from%20a%20file)%0A%20%20%20%20csv_content%20%3D%20%22%22%22name%2Cprice%2Ccategory%0A%20%20%20%20Widget%2C29.99%2Celectronics%0A%20%20%20%20Gadget%2C49.99%2Celectronics%0A%20%20%20%20Tool%2C19.99%2Chardware%0A%20%20%20%20Book%2C14.99%2Cmedia%22%22%22%0A%0A%20%20%20%20%23%20Parse%20CSV%20and%20import%0A%20%20%20%20reader%20%3D%20csv.DictReader(io.StringIO(csv_content))%0A%20%20%20%20imported%20%3D%20%5B%5D%0A%20%20%20%20for%20row%20in%20reader%3A%0A%20%20%20%20%20%20%20%20p%20%3D%20Product(name%3Drow%5B%22name%22%5D%2C%20price%3Dfloat(row%5B%22price%22%5D)%2C%20category%3Drow%5B%22category%22%5D)%0A%20%20%20%20%20%20%20%20p.save()%0A%20%20%20%20%20%20%20%20imported.append(p)%0A%0A%20%20%20%20print(f%22Imported%20%7Blen(imported)%7D%20products%22)%0A%20%20%20%20for%20p%20in%20Product.query().all()%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7Bp.name%7D%3A%20%24%7Bp.price%7D%20(%7Bp.category%7D)%22)%0A%20%20%20%20return%20(ImpResult%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Import%20from%20JSON%0A%0A%20%20%20%20Import%20data%20from%20JSON%20format%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(SQLerModel%2C%20db)%3A%0A%20%20%20%20import%20json%0A%0A%20%20%20%20class%20Order(SQLerModel)%3A%0A%20%20%20%20%20%20%20%20_table%20%3D%20%22orders%22%0A%20%20%20%20%20%20%20%20customer%3A%20str%0A%20%20%20%20%20%20%20%20total%3A%20float%0A%20%20%20%20%20%20%20%20status%3A%20str%20%3D%20%22pending%22%0A%0A%20%20%20%20Order.set_db(db)%0A%0A%20%20%20%20%23%20Simulate%20JSON%20data%0A%20%20%20%20json_content%20%3D%20%22%22%22%5B%0A%20%20%20%20%20%20%20%20%7B%22customer%22%3A%20%22Alice%22%2C%20%22total%22%3A%2099.99%2C%20%22status%22%3A%20%22shipped%22%7D%2C%0A%20%20%20%20%20%20%20%20%7B%22customer%22%3A%20%22Bob%22%2C%20%22total%22%3A%20149.50%2C%20%22status%22%3A%20%22pending%22%7D%2C%0A%20%20%20%20%20%20%20%20%7B%22customer%22%3A%20%22Carol%22%2C%20%22total%22%3A%2075.00%2C%20%22status%22%3A%20%22delivered%22%7D%0A%20%20%20%20%5D%22%22%22%0A%0A%20%20%20%20%23%20Parse%20and%20import%0A%20%20%20%20orders_data%20%3D%20json.loads(json_content)%0A%20%20%20%20for%20order_dict%20in%20orders_data%3A%0A%20%20%20%20%20%20%20%20Order(**order_dict).save()%0A%0A%20%20%20%20print(f%22Imported%20%7BOrder.query().count()%7D%20orders%22)%0A%20%20%20%20for%20o%20in%20Order.query().all()%3A%0A%20%20%20%20%20%20%20%20print(f%22%20%20%7Bo.customer%7D%3A%20%24%7Bo.total%7D%20(%7Bo.status%7D)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20Export%20Results%0A%0A%20%20%20%20The%20export%20functions%20return%20%60ExportResult%60%20with%20metadata%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%0A%20%20%20%20%23%20When%20exporting%20to%20files%2C%20you%20get%20an%20ExportResult%0A%20%20%20%20%23%20(In%20WASM%20we%20can't%20write%20files%2C%20so%20we%20show%20the%20concept)%0A%0A%20%20%20%20print(%22ExportResult%20fields%3A%22)%0A%20%20%20%20print(%22%20%20-%20path%3A%20output%20file%20path%22)%0A%20%20%20%20print(%22%20%20-%20format%3A%20'csv'%2C%20'json'%2C%20or%20'jsonl'%22)%0A%20%20%20%20print(%22%20%20-%20count%3A%20number%20of%20records%20exported%22)%0A%20%20%20%20print(%22%20%20-%20size_bytes%3A%20file%20size%22)%0A%0A%20%20%20%20%23%20Example%20(would%20work%20in%20native%20Python)%3A%0A%20%20%20%20%23%20result%20%3D%20export_csv(User.query()%2C%20%22%2Ftmp%2Fusers.csv%22)%0A%20%20%20%20%23%20print(f%22Exported%20%7Bresult.count%7D%20records%20to%20%7Bresult.path%7D%22)%0A%20%20%20%20%23%20print(f%22File%20size%3A%20%7Bresult.size_bytes%7D%20bytes%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%208.%20Import%20Results%20and%20Error%20Handling%0A%0A%20%20%20%20Import%20operations%20return%20%60ImportResult%60%20with%20error%20details%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(ImpResult)%3A%0A%20%20%20%20%23%20ImportResult%20tracks%20success%2Ffailure%0A%20%20%20%20print(%22ImportResult%20fields%3A%22)%0A%20%20%20%20print(%22%20%20-%20count%3A%20total%20records%20attempted%22)%0A%20%20%20%20print(%22%20%20-%20succeeded%3A%20records%20successfully%20imported%22)%0A%20%20%20%20print(%22%20%20-%20failed%3A%20records%20that%20failed%22)%0A%20%20%20%20print(%22%20%20-%20errors%3A%20list%20of%20error%20details%22)%0A%20%20%20%20print(%22%20%20-%20success_rate%3A%20succeeded%20%2F%20count%22)%0A%0A%20%20%20%20%23%20Example%20result%0A%20%20%20%20example%20%3D%20ImpResult(count%3D10%2C%20succeeded%3D8%2C%20failed%3D2%2C%20errors%3D%5B%7B%22row%22%3A%203%2C%20%22error%22%3A%20%22invalid%20email%22%7D%5D)%0A%20%20%20%20print(f%22%5CnExample%3A%20%7Bexample.succeeded%7D%2F%7Bexample.count%7D%20succeeded%20(%7Bexample.success_rate%3A.0%25%7D)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%209.%20JSONL%20Format%20for%20Streaming%0A%0A%20%20%20%20JSONL%20(JSON%20Lines)%20is%20ideal%20for%20large%20datasets%20-%20one%20record%20per%20line%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(User)%3A%0A%20%20%20%20%23%20JSONL%20format%3A%20one%20JSON%20object%20per%20line%0A%20%20%20%20%23%20Great%20for%20streaming%20large%20datasets%0A%0A%20%20%20%20jsonl_data%20%3D%20%5B%5D%0A%20%20%20%20for%20user%20in%20User.query().all()%3A%0A%20%20%20%20%20%20%20%20record%20%3D%20%7B%22name%22%3A%20user.name%2C%20%22email%22%3A%20user.email%2C%20%22age%22%3A%20user.age%7D%0A%20%20%20%20%20%20%20%20jsonl_data.append(str(record).replace(%22'%22%2C%20'%22'))%0A%0A%20%20%20%20print(%22JSONL%20format%20(one%20record%20per%20line)%3A%22)%0A%20%20%20%20for%20line%20in%20jsonl_data%3A%0A%20%20%20%20%20%20%20%20print(line)%0A%0A%20%20%20%20print(%22%5CnBenefits%20of%20JSONL%3A%22)%0A%20%20%20%20print(%22%20%20-%20Stream%20processing%20(no%20need%20to%20load%20entire%20file)%22)%0A%20%20%20%20print(%22%20%20-%20Easy%20to%20append%20new%20records%22)%0A%20%20%20%20print(%22%20%20-%20Line-by-line%20error%20recovery%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20SQLer%20export%2Fimport%20features%3A%0A%0A%20%20%20%20%7C%20Function%20%7C%20Description%20%7C%0A%20%20%20%20%7C----------%7C-------------%7C%0A%20%20%20%20%7C%20%60export_csv(query%2C%20path)%60%20%7C%20Export%20to%20CSV%20file%20%7C%0A%20%20%20%20%7C%20%60export_csv_string(query)%60%20%7C%20Export%20to%20CSV%20string%20%7C%0A%20%20%20%20%7C%20%60export_json(query%2C%20path)%60%20%7C%20Export%20to%20JSON%20file%20%7C%0A%20%20%20%20%7C%20%60export_json_string(query)%60%20%7C%20Export%20to%20JSON%20string%20%7C%0A%20%20%20%20%7C%20%60export_jsonl(query%2C%20path)%60%20%7C%20Export%20to%20JSONL%20file%20%7C%0A%20%20%20%20%7C%20%60import_csv(Model%2C%20path)%60%20%7C%20Import%20from%20CSV%20file%20%7C%0A%20%20%20%20%7C%20%60import_json(Model%2C%20path)%60%20%7C%20Import%20from%20JSON%20file%20%7C%0A%20%20%20%20%7C%20%60import_jsonl(Model%2C%20path)%60%20%7C%20Import%20from%20JSONL%20file%20%7C%0A%20%20%20%20%7C%20%60stream_jsonl(query%2C%20path)%60%20%7C%20Stream%20large%20datasets%20%7C%0A%0A%20%20%20%20**Key%20Options%3A**%0A%20%20%20%20-%20%60fields%3D%5B...%5D%60%3A%20Export%20only%20specific%20fields%0A%20%20%20%20-%20%60indent%3D2%60%3A%20Pretty-print%20JSON%0A%20%20%20%20-%20%60include_id%3DTrue%60%3A%20Include%20model%20ID%20in%20export%0A%0A%20%20%20%20**Next%20up%3A**%20Tour%2008%20covers%20Full-Text%20Search!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(db)%3A%0A%20%20%20%20db.close()%0A%20%20%20%20print(%22Database%20closed!%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A