onnx mnist1d

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22marimo%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22moutils%20%40%20..%2Fpublic%2Fwheels%2Fmoutils-0.4.4-py3-none-any.whl%22%2C%20%22mnist1d%3B%20sys_platform%20!%3D%20'emscripten'%22%2C%20%22pymde%3B%20sys_platform%20!%3D%20'emscripten'%22%2C%20%22torch%3B%20sys_platform%20!%3D%20'emscripten'%22%2C%20%22onnx%3B%20sys_platform%20!%3D%20'emscripten'%22%2C%20%22onnxruntime%3B%20sys_platform%20!%3D%20'emscripten'%22%5D%0A%23%20%0A%23%20%5Btool.uv.sources.torch%5D%0A%23%20index%20%3D%20%22pytorch-cpu%22%0A%23%20%0A%23%20%5B%5Btool.uv.index%5D%5D%0A%23%20name%20%3D%20%22pytorch-cpu%22%0A%23%20url%20%3D%20%22https%3A%2F%2Fdownload.pytorch.org%2Fwhl%2Fcpu%22%0A%23%20explicit%20%3D%20true%0A%23%20%0A%23%20%5Btool.marimo.runtime%5D%0A%23%20cache_cells%20%3D%20true%0A%23%20pin_modules%20%3D%20false%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22observed%22%0A%23%20%2F%2F%2F%0A%22%22%22Cache%20a%20live%20ONNX%20runtime%20object%20%E2%80%94%20no%20widget%2C%20no%20framework%20on%20the%20wire.%0A%0AAn%20MLP%20is%20trained%20on%20MNIST-1D%20and%20a%20PyMDE%20embedding%20is%20computed%2C%20all%20inside%20a%0A%60mo.persistent_cache%60%20block.%20The%20block%20also%20builds%20a%20%60moutils.onnx.OnnxRuntime%60%2C%0Aand%20moutils'%20cache%20stub%20stores%20that%20object%20as%20exactly%20its%20ONNX%20bytes.%20On%20a%20cache%0Ahit%20(the%20exported%20page)%20the%20whole%20block%20is%20skipped%20%E2%80%94%20torch%20%2F%20pymde%20%2F%20mnist1d%0Anever%20import%20%E2%80%94%20yet%20%60runtime%60%20is%20restored%20as%20a%20working%20inference%20session.%20Lasso%20a%0Aregion%20in%20the%20embedding%20and%20inference%20runs%20*in%20Python*%3A%20native%20%60onnxruntime%60%20on%0Aa%20host%2C%20%60onnxruntime-web%60%20when%20the%20page%20runs%20in%20the%20browser%20via%20WASM.%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0Awith%20app.setup(hide_code%3DTrue)%3A%0A%20%20%20%20import%20time%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20intro()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20A%20live%20ONNX%20runtime%2C%20restored%20straight%20from%20the%20cache%0A%0A%20%20%20%20An%20MLP%20trained%20on%20**MNIST-1D**%20and%20a%20**PyMDE**%20embedding%20of%20the%20held-out%0A%20%20%20%20set.%20The%20training%20cell%20builds%20a%20%60moutils.onnx.OnnxRuntime%60%20and%20wraps%0A%20%20%20%20everything%20in%20%60mo.persistent_cache%60%20%E2%80%94%20moutils'%20**cache%20stub**%20serializes%0A%20%20%20%20that%20runtime%20object%20as%20exactly%20its%20ONNX%20bytes.%20On%20this%20page%20it's%20a%20**cache%0A%20%20%20%20hit**%2C%20so%20torch%20%2F%20pymde%20%2F%20mnist1d%20never%20import%2C%20yet%20%60runtime%60%20comes%20back%20as%20a%0A%20%20%20%20working%20session.%0A%0A%20%20%20%20**Lasso%20a%20region**%20below%2C%20then%20toggle%20through%20the%20selected%20samples%3A%20each%20one%0A%20%20%20%20runs%20through%20the%20restored%20runtime%20*in%20Python*%20%E2%80%94%20%60onnxruntime-web%60%20here%20in%20the%0A%20%20%20%20browser%20%E2%80%94%20and%20the%20confusion%20matrix%20summarizes%20the%20region%20from%20cached%0A%20%20%20%20predictions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20train()%3A%0A%20%20%20%20%23%20Everything%20expensive%20is%20cached%2C%20including%20the%20OnnxRuntime%20object%20(stored%0A%20%20%20%20%23%20by%20moutils'%20stub%20as%20its%20ONNX%20bytes).%20torch%20%2F%20pymde%20%2F%20mnist1d%20import%20inside%0A%20%20%20%20%23%20the%20block%2C%20so%20on%20a%20cache%20hit%20the%20block%20is%20skipped%20and%20none%20of%20them%20load.%0A%20%20%20%20%40mo.persistent_cache(method%3D%22lazy%22)%0A%20%20%20%20def%20_train()%3A%0A%20%20%20%20%20%20%20%20import%20io%0A%0A%20%20%20%20%20%20%20%20import%20pymde%0A%20%20%20%20%20%20%20%20import%20torch%0A%20%20%20%20%20%20%20%20from%20mnist1d.data%20import%20get_dataset_args%2C%20make_dataset%0A%20%20%20%20%20%20%20%20from%20moutils.onnx%20import%20OnnxRuntime%0A%0A%20%20%20%20%20%20%20%20args%20%3D%20get_dataset_args()%0A%20%20%20%20%20%20%20%20args.num_samples%20%3D%2010000%20%20%23%2080%2F20%20-%3E%208000%20train%20%2F%202000%20test%0A%20%20%20%20%20%20%20%20data%20%3D%20make_dataset(args)%0A%20%20%20%20%20%20%20%20x_train%20%3D%20torch.tensor(data%5B%22x%22%5D%2C%20dtype%3Dtorch.float32)%0A%20%20%20%20%20%20%20%20y_train%20%3D%20torch.tensor(data%5B%22y%22%5D)%0A%20%20%20%20%20%20%20%20x_test_np%20%3D%20data%5B%22x_test%22%5D.astype(%22float32%22)%0A%20%20%20%20%20%20%20%20y_test%20%3D%20data%5B%22y_test%22%5D.astype(int)%0A%0A%20%20%20%20%20%20%20%20model%20%3D%20torch.nn.Sequential(%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.nn.Linear(40%2C%20256)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.nn.ReLU()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.nn.Linear(256%2C%20100)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.nn.ReLU()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.nn.Linear(100%2C%2010)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20opt%20%3D%20torch.optim.Adam(model.parameters()%2C%20lr%3D3e-3)%0A%20%20%20%20%20%20%20%20loss_fn%20%3D%20torch.nn.CrossEntropyLoss()%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(400)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20opt.zero_grad()%0A%20%20%20%20%20%20%20%20%20%20%20%20loss_fn(model(x_train)%2C%20y_train).backward()%0A%20%20%20%20%20%20%20%20%20%20%20%20opt.step()%0A%0A%20%20%20%20%20%20%20%20model.eval()%0A%20%20%20%20%20%20%20%20with%20torch.no_grad()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20test_logits%20%3D%20model(torch.tensor(x_test_np))%0A%20%20%20%20%20%20%20%20test_pred%20%3D%20test_logits.argmax(1).numpy()%0A%20%20%20%20%20%20%20%20acc%20%3D%20float((test_pred%20%3D%3D%20y_test).mean())%0A%0A%20%20%20%20%20%20%20%20buf%20%3D%20io.BytesIO()%0A%20%20%20%20%20%20%20%20torch.onnx.export(%0A%20%20%20%20%20%20%20%20%20%20%20%20model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(torch.zeros(1%2C%2040)%2C)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20buf%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20input_names%3D%5B%22x%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20output_names%3D%5B%22logits%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dynamic_axes%3D%7B%22x%22%3A%20%7B0%3A%20%22n%22%7D%2C%20%22logits%22%3A%20%7B0%3A%20%22n%22%7D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dynamo%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20The%20runtime%20object%20itself%20is%20cached%20%E2%80%94%20moutils'%20stub%20keeps%20only%20its%0A%20%20%20%20%20%20%20%20%23%20bytes%20and%20restores%20a%20working%20session%20downstream.%0A%20%20%20%20%20%20%20%20runtime%20%3D%20OnnxRuntime(buf.getvalue())%0A%0A%20%20%20%20%20%20%20%20mde%20%3D%20pymde.preserve_neighbors(%0A%20%20%20%20%20%20%20%20%20%20%20%20torch.tensor(x_test_np)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20embedding_dim%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20constraint%3Dpymde.Standardized()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20repulsive_fraction%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20verbose%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20embedding_2d%20%3D%20mde.embed(verbose%3DFalse).cpu().numpy()%0A%20%20%20%20%20%20%20%20trained_at%20%3D%20time.time()%0A%20%20%20%20%20%20%20%20return%20acc%2C%20embedding_2d%2C%20runtime%2C%20test_pred%2C%20trained_at%2C%20x_test_np%2C%20y_test%0A%0A%20%20%20%20%23%20torch-free%20after%20this%3A%20numpy%20loads%20directly%3B%20%60runtime%60%20restores%20through%0A%20%20%20%20%23%20moutils'%20stub%20(a%20live%20onnxruntime-web%20session)%20for%20the%20in-browser%20inference.%0A%20%20%20%20acc%2C%20embedding_2d%2C%20runtime%2C%20test_pred%2C%20trained_at%2C%20x_test_np%2C%20y_test%20%3D%20_train()%0A%20%20%20%20return%20acc%2C%20embedding_2d%2C%20runtime%2C%20test_pred%2C%20trained_at%2C%20x_test_np%2C%20y_test%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20status(acc%2C%20trained_at)%3A%0A%20%20%20%20_age_min%20%3D%20(time.time()%20-%20trained_at)%20%2F%2060%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%9A%A1%20**Restored%20from%20the%20cache**%20%E2%80%94%20this%20MLP%20was%20trained%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_age_min%3A%2C.0f%7D%20minutes%20ago%3B%20the%20OnnxRuntime%20and%20PyMDE%20embedding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22bound%20here%20without%20re-running%20a%20step.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_age_min%20%3E%201%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%F0%9F%94%A5%20**Cold%20run**%20%E2%80%94%20the%20export%20will%20carry%20these%20results%20as%20cache%20blobs.%22%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20Held-out%20accuracy%20**%7Bacc%3A.1%25%7D**%20%C2%B7%20400%20Adam%20steps%20%C2%B7%2040%E2%86%92256%E2%86%92100%E2%86%9210%20MLP%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20embedding_plot(embedding_2d%2C%20y_test)%3A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6%2C%205))%0A%20%20%20%20_sc%20%3D%20_ax.scatter(%0A%20%20%20%20%20%20%20%20embedding_2d%5B%3A%2C%200%5D%2C%20embedding_2d%5B%3A%2C%201%5D%2C%20c%3Dy_test%2C%0A%20%20%20%20%20%20%20%20cmap%3D%22tab10%22%2C%20s%3D10%2C%20alpha%3D0.6%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_title(%22MNIST-1D%20held-out%20embedding%20(PyMDE)%20%E2%80%94%20lasso%20to%20pick%20a%20sample%22)%0A%20%20%20%20_ax.set_axis_off()%0A%20%20%20%20_fig.colorbar(_sc%2C%20ax%3D_ax%2C%20ticks%3Dnp.arange(10)%2C%20shrink%3D0.8)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20embed_plot%20%3D%20mo.ui.matplotlib(_ax)%0A%20%20%20%20embed_plot%0A%20%20%20%20return%20(embed_plot%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20select(embed_plot%2C%20embedding_2d)%3A%0A%20%20%20%20%23%20Which%20held-out%20samples%20fall%20inside%20the%20lasso.%0A%20%20%20%20_mask%20%3D%20embed_plot.value.get_mask(embedding_2d%5B%3A%2C%200%5D%2C%20embedding_2d%5B%3A%2C%201%5D)%0A%20%20%20%20sel%20%3D%20np.nonzero(_mask)%5B0%5D%0A%20%20%20%20return%20(sel%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20toggle(sel)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20len(sel)%20%3D%3D%200%2C%0A%20%20%20%20%20%20%20%20mo.md(%22*Lasso-select%20a%20region%20in%20the%20embedding%20above%20to%20run%20samples%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22through%20the%20model.*%22)%2C%0A%20%20%20%20)%0A%20%20%20%20pick%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20%20%20%20%200%2C%20len(sel)%20-%201%2C%20value%3D0%2C%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22sample%20within%20selection%20(%7Blen(sel)%7D%20selected)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20len(sel)%20%3E%201%0A%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20)%0A%20%20%20%20pick%20if%20pick%20is%20not%20None%20else%20mo.md(%22**1%20sample%20selected.**%22)%0A%20%20%20%20return%20(pick%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20inference(pick%2C%20runtime%2C%20sel%2C%20test_pred%2C%20x_test_np%2C%20y_test)%3A%0A%20%20%20%20_k%20%3D%20pick.value%20if%20pick%20is%20not%20None%20else%200%0A%20%20%20%20_i%20%3D%20int(sel%5B_k%5D)%0A%0A%20%20%20%20%23%20Inference%20runs%20in%20Python%20through%20the%20cached%20runtime%20%E2%80%94%20native%20onnxruntime%0A%20%20%20%20%23%20on%20a%20host%2C%20onnxruntime-web%20in%20the%20browser.%0A%20%20%20%20_logits%20%3D%20(await%20runtime.run(%7B%22x%22%3A%20x_test_np%5B_i%20%3A%20_i%20%2B%201%5D%7D%2C%20%5B%22logits%22%5D))%5B0%5D%5B0%5D%0A%20%20%20%20_p%20%3D%20np.exp(_logits%20-%20_logits.max())%0A%20%20%20%20_p%20%3D%20_p%20%2F%20_p.sum()%0A%20%20%20%20_pred%20%3D%20int(_p.argmax())%0A%0A%20%20%20%20_fig%2C%20(_ax_sig%2C%20_ax_bar)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3D(9%2C%202.6)%2C%20width_ratios%3D%5B1%2C%201.2%5D%0A%20%20%20%20)%0A%20%20%20%20_ax_sig.plot(x_test_np%5B_i%5D%2C%20color%3D%22%232563eb%22)%0A%20%20%20%20_ax_sig.set_title(f%22selected%20signal%20%C2%B7%20true%20label%20%7Bint(y_test%5B_i%5D)%7D%22)%0A%20%20%20%20_ax_sig.set_axis_off()%0A%0A%20%20%20%20_colors%20%3D%20%5B%22%232563eb%22%20if%20k%20%3D%3D%20_pred%20else%20%22%23cbd5e1%22%20for%20k%20in%20range(10)%5D%0A%20%20%20%20_ax_bar.bar(range(10)%2C%20_p%2C%20color%3D_colors)%0A%20%20%20%20_ax_bar.set_xticks(range(10))%0A%20%20%20%20_ax_bar.set_title(%0A%20%20%20%20%20%20%20%20f%22live%20ONNX%20prediction%3A%20%7B_pred%7D%20(%7B_p%5B_pred%5D%3A.0%25%7D)%22%0A%20%20%20%20%20%20%20%20%2B%20(%22%22%20if%20_pred%20%3D%3D%20int(test_pred%5B_i%5D)%20else%20%22%20%C2%B7%20differs%20from%20cache!%22)%0A%20%20%20%20)%0A%20%20%20%20_ax_bar.set_ylim(0%2C%201)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20confusion(sel%2C%20test_pred%2C%20y_test)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20len(sel)%20%3C%205%2C%0A%20%20%20%20%20%20%20%20mo.md(%22*Select%20at%20least%205%20points%20to%20see%20a%20confusion%20matrix%20for%20the%20region.*%22)%2C%0A%20%20%20%20)%0A%20%20%20%20import%20matplotlib.patches%20as%20mpatches%0A%0A%20%20%20%20_yt%2C%20_yp%20%3D%20y_test%5Bsel%5D%2C%20test_pred%5Bsel%5D%0A%20%20%20%20_cm%20%3D%20np.zeros((10%2C%2010)%2C%20int)%0A%20%20%20%20for%20_t%2C%20_p%20in%20zip(_yt%2C%20_yp)%3A%0A%20%20%20%20%20%20%20%20_cm%5B_t%2C%20_p%5D%20%2B%3D%201%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(4.6%2C%204.2))%0A%20%20%20%20_ax.imshow(_cm%2C%20cmap%3D%22Blues%22)%0A%20%20%20%20_ax.set_xticks(range(10))%0A%20%20%20%20_ax.set_yticks(range(10))%0A%20%20%20%20_ax.set_xlabel(%22predicted%22)%0A%20%20%20%20_ax.set_ylabel(%22true%22)%0A%20%20%20%20_ax.set_title(f%22confusion%20on%20selection%20%C2%B7%20n%3D%7Blen(sel)%7D%20%C2%B7%20acc%20%7B(_yt%20%3D%3D%20_yp).mean()%3A.0%25%7D%22)%0A%0A%20%20%20%20_hi%20%3D%20_cm.max()%20%2F%202%20if%20_cm.max()%20else%201%0A%20%20%20%20for%20_t%20in%20range(10)%3A%0A%20%20%20%20%20%20%20%20for%20_p%20in%20range(10)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_cm%5B_t%2C%20_p%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(_p%2C%20_t%2C%20_cm%5B_t%2C%20_p%5D%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22white%22%20if%20_cm%5B_t%2C%20_p%5D%20%3E%20_hi%20else%20%22black%22%2C%20fontsize%3D8)%0A%20%20%20%20for%20_d%20in%20range(10)%3A%0A%20%20%20%20%20%20%20%20_ax.add_patch(mpatches.Rectangle(%0A%20%20%20%20%20%20%20%20%20%20%20%20(_d%20-%200.5%2C%20_d%20-%200.5)%2C%201%2C%201%2C%20fill%3DFalse%2C%20edgecolor%3D%22%2316a34a%22%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22*Confusion%20matrix%20uses%20the%20model's%20**cached**%20test%20predictions%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(they%20ship%20in%20the%20export)%20%E2%80%94%20no%20per-point%20inference%20needed.*%22)%2C%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20footer()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20The%20cached%20value%20here%20is%20the%20%60OnnxRuntime%60%20**object**%20itself%3A%20moutils'%0A%20%20%20%20%60CustomStub%60%20stores%20it%20as%20exactly%20its%20ONNX%20bytes%20and%20restores%20a%20working%0A%20%20%20%20session%20on%20the%20other%20side%20of%20the%20cache%20%E2%80%94%20including%20inside%20a%20static%20WASM%0A%20%20%20%20export%2C%20where%20%60onnxruntime-web%60%20runs%20it%20in%20your%20browser.%20torch%20never%20crosses%0A%20%20%20%20the%20wire.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A