benchmark log explorer

%23%20%2F%2F%2F%20script%0A%23%20%5Btool.marimo.opengraph%5D%0A%23%20title%20%3D%20%22Benchmark%20Log%20Explorer%22%0A%23%20description%20%3D%20%22Explore%20benchmark%20logs%2C%20leaderboard%20summaries%2C%20and%20validation-mode%20diagnostics.%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.3%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20auto_download%3D%5B%22html%22%5D)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Log%20Explorer%0A%0A%20%20%20%20Explore%20benchmark%20logs%20written%20as%20%60inferred%2Fbenchmark_log_*.parquet%60%20files.%0A%0A%20%20%20%20The%20raw%20log%20tables%20are%20visible%20verbatim%2C%20so%20Marimo's%20built-in%20tools%20can%20be%20used%20for%20visualization%20and%20exports%20(e.g.%20to%20CSV).%20For%20other%20views%20and%20visualization%2C%20only%20the%20%60(feature_view%2C%20model_name)%60%20tuple%20with%20the%20best%20RMSLE%20are%20considered.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20init()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20json%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20LOG_DIR%20%3D%20Path(%22inferred%22)%0A%20%20%20%20LOG_PATTERN%20%3D%20%22benchmark_log_*.parquet%22%0A%20%20%20%20ALL_MACHINES%20%3D%20%22__all_machines__%22%0A%20%20%20%20ALL_VALIDATIONS%20%3D%20%22__all_validations__%22%0A%20%20%20%20PRIMARY_VALIDATION%20%3D%20%22research_country_year%22%0A%0A%20%20%20%20FEATURE_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22tabular_core%22%3A%20%22Tabular%20Baseline%22%2C%0A%20%20%20%20%20%20%20%20%22tabular_sat%22%3A%20%22Tabular%20%2B%20Engineered%20Satellite%22%2C%0A%20%20%20%20%20%20%20%20%22tabular_core_plus_viirs_s2_products%22%3A%20%22Tabular%20%2B%20VIIRS%20%2B%20S2%20Products%22%2C%0A%20%20%20%20%20%20%20%20%22tabular_core_plus_implisat%22%3A%20%22Tabular%20%2B%20ImpliSat%20PSNR%22%2C%0A%20%20%20%20%20%20%20%20%22clay_pca%22%3A%20%22CLAY%20Embeddings%22%2C%0A%20%20%20%20%20%20%20%20%22satmae_pca%22%3A%20%22SatMAE%20Embeddings%22%2C%0A%20%20%20%20%20%20%20%20%22tabular_core_plus_clay_cluster%22%3A%20%22Tabular%20%2B%20CLAY%20EVoC%20Cluster%22%2C%0A%20%20%20%20%20%20%20%20%22tabular_core_plus_satmae_cluster%22%3A%20%22Tabular%20%2B%20SatMAE%20EVoC%20Cluster%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20FEATURE_KIND_ORDER%20%3D%20%5B%22tabular%22%2C%20%22cluster%22%2C%20%22embedding%22%5D%0A%20%20%20%20CV_MODE_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22research_country_year%22%3A%20%22Country-year%20holdout%22%2C%0A%20%20%20%20%20%20%20%20%22group_location%22%3A%20%22GroupKFold%20by%20location%22%2C%0A%20%20%20%20%20%20%20%20%22kfold%22%3A%20%22KFold%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20CV_MODE_ORDER%20%3D%20%5BPRIMARY_VALIDATION%2C%20%22group_location%22%2C%20%22kfold%22%5D%0A%0A%20%20%20%20def%20extract_machine(path%3A%20Path)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20name%20%3D%20path.name%0A%20%20%20%20%20%20%20%20if%20name.startswith(%22benchmark_log_%22)%20and%20name.endswith(%22.parquet%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20name%5Blen(%22benchmark_log_%22)%20%3A%20-len(%22.parquet%22)%5D%0A%20%20%20%20%20%20%20%20return%20path.stem%0A%0A%20%20%20%20def%20feature_label(feature_view%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20return%20FEATURE_LABELS.get(feature_view%2C%20feature_view.replace(%22_%22%2C%20%22%20%22).title())%0A%0A%20%20%20%20def%20cv_mode_label(cv_mode%3A%20object)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20if%20pd.isna(cv_mode)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22Unknown%20validation%22%0A%20%20%20%20%20%20%20%20cv_mode_text%20%3D%20str(cv_mode)%0A%20%20%20%20%20%20%20%20return%20CV_MODE_LABELS.get(cv_mode_text%2C%20cv_mode_text.replace(%22_%22%2C%20%22%20%22).title())%0A%0A%20%20%20%20def%20ordered_cv_modes(values%3A%20object)%20-%3E%20list%5Bstr%5D%3A%0A%20%20%20%20%20%20%20%20unique%20%3D%20%5Bvalue%20for%20value%20in%20pd.Series(values).dropna().astype(str).unique().tolist()%20if%20value%5D%0A%20%20%20%20%20%20%20%20known%20%3D%20%5Bmode%20for%20mode%20in%20CV_MODE_ORDER%20if%20mode%20in%20unique%5D%0A%20%20%20%20%20%20%20%20other%20%3D%20sorted(mode%20for%20mode%20in%20unique%20if%20mode%20not%20in%20known)%0A%20%20%20%20%20%20%20%20return%20known%20%2B%20other%0A%0A%20%20%20%20def%20infer_feature_kind(feature_view%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20if%20feature_view.endswith(%22_pca%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22embedding%22%0A%20%20%20%20%20%20%20%20if%20%22_cluster%22%20in%20feature_view%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22cluster%22%0A%20%20%20%20%20%20%20%20return%20%22tabular%22%0A%0A%20%20%20%20def%20_timestamp_text(value%3A%20object)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20if%20pd.isna(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22%0A%20%20%20%20%20%20%20%20return%20pd.to_datetime(value%2C%20unit%3D%22s%22%2C%20utc%3DTrue).strftime(%22%25Y-%25m-%25d%20%25H%3A%25M%3A%25SZ%22)%0A%0A%20%20%20%20def%20load_benchmark_logs(log_dir%3A%20Path%20%3D%20LOG_DIR)%3A%0A%20%20%20%20%20%20%20%20paths%20%3D%20sorted(log_dir.glob(LOG_PATTERN))%0A%20%20%20%20%20%20%20%20inventory_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20frames%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20errors%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20for%20path%20in%20paths%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20machine%20%3D%20extract_machine(path)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20frame%20%3D%20pd.read_parquet(path).copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20errors.append(%7B%22machine%22%3A%20machine%2C%20%22path%22%3A%20str(path)%2C%20%22error%22%3A%20str(exc)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20row_count%20%3D%20int(len(frame))%0A%20%20%20%20%20%20%20%20%20%20%20%20timestamps%20%3D%20frame%5B%22timestamp%22%5D.dropna()%20if%20%22timestamp%22%20in%20frame.columns%20else%20pd.Series(dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20%20%20%20%20earliest%20%3D%20int(timestamps.min())%20if%20not%20timestamps.empty%20else%20np.nan%0A%20%20%20%20%20%20%20%20%20%20%20%20latest%20%3D%20int(timestamps.max())%20if%20not%20timestamps.empty%20else%20np.nan%0A%20%20%20%20%20%20%20%20%20%20%20%20feature_views%20%3D%20int(frame%5B%22feature_view%22%5D.nunique())%20if%20%22feature_view%22%20in%20frame.columns%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20model_names%20%3D%20int(frame%5B%22model_name%22%5D.nunique())%20if%20%22model_name%22%20in%20frame.columns%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20status_counts%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20frame%5B%22status%22%5D.fillna(%22missing%22).value_counts().sort_index().to_dict()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20%22status%22%20in%20frame.columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20inventory_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22machine%22%3A%20machine%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22path%22%3A%20str(path)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rows%22%3A%20row_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_views%22%3A%20feature_views%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22models%22%3A%20model_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22earliest_run%22%3A%20_timestamp_text(earliest)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latest_run%22%3A%20_timestamp_text(latest)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22status_counts%22%3A%20json.dumps(status_counts%2C%20sort_keys%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20enriched%20%3D%20frame.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20enriched.insert(0%2C%20%22machine%22%2C%20machine)%0A%20%20%20%20%20%20%20%20%20%20%20%20enriched.insert(1%2C%20%22log_path%22%2C%20str(path))%0A%20%20%20%20%20%20%20%20%20%20%20%20frames.append(enriched)%0A%0A%20%20%20%20%20%20%20%20if%20inventory_rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20inventory%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(inventory_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%5B%22latest_run%22%2C%20%22machine%22%5D%2C%20ascending%3D%5BFalse%2C%20True%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20inventory%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22machine%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22path%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rows%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_views%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22models%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22earliest_run%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latest_run%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22status_counts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20non_empty%20%3D%20%5Bf.dropna(axis%3D1%2C%20how%3D%22all%22)%20for%20f%20in%20frames%20if%20not%20f.empty%5D%0A%20%20%20%20%20%20%20%20logs%20%3D%20pd.concat(non_empty%2C%20ignore_index%3DTrue)%20if%20non_empty%20else%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20if%20not%20logs.empty%20and%20%22timestamp%22%20in%20logs.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20logs%5B%22run_datetime%22%5D%20%3D%20pd.to_datetime(logs%5B%22timestamp%22%5D%2C%20unit%3D%22s%22%2C%20utc%3DTrue)%0A%20%20%20%20%20%20%20%20return%20inventory%2C%20logs%2C%20pd.DataFrame(errors)%0A%0A%20%20%20%20def%20choose_best_rows(%0A%20%20%20%20%20%20%20%20frame%3A%20pd.DataFrame%2C%0A%20%20%20%20%20%20%20%20subset_cols%3A%20tuple%5Bstr%2C%20...%5D%20%3D%20(%22feature_view%22%2C%20%22model_name%22)%2C%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20if%20frame.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20frame.copy()%0A%0A%20%20%20%20%20%20%20%20dedupe_cols%20%3D%20%5Bcolumn%20for%20column%20in%20subset_cols%20if%20column%20in%20frame.columns%5D%0A%20%20%20%20%20%20%20%20if%20not%20dedupe_cols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20frame.copy()%0A%20%20%20%20%20%20%20%20metric_group_cols%20%3D%20%5Bcolumn%20for%20column%20in%20dedupe_cols%20if%20column%20!%3D%20%22model_name%22%5D%0A%20%20%20%20%20%20%20%20ordered%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20frame.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%22feature_view%22%2C%20%22model_name%22%2C%20%22mean_rmsle%22%2C%20%22std_rmsle%22%2C%20%22fit_seconds%22%2C%20%22timestamp%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ascending%3D%5BTrue%2C%20True%2C%20True%2C%20True%2C%20True%2C%20False%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20na_position%3D%22last%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.drop_duplicates(subset%3Ddedupe_cols%2C%20keep%3D%22first%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ordered%5B%22feature_label%22%5D%20%3D%20ordered%5B%22feature_view%22%5D.map(feature_label)%0A%20%20%20%20%20%20%20%20ordered%5B%22feature_kind%22%5D%20%3D%20ordered%5B%22feature_view%22%5D.map(infer_feature_kind)%0A%20%20%20%20%20%20%20%20if%20%22cv_mode%22%20in%20ordered.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22cv_mode_label%22%5D%20%3D%20ordered%5B%22cv_mode%22%5D.map(cv_mode_label)%0A%20%20%20%20%20%20%20%20if%20metric_group_cols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22delta_vs_best_in_view%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22mean_rmsle%22%5D%20-%20ordered.groupby(metric_group_cols)%5B%22mean_rmsle%22%5D.transform(%22min%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22within_view_rank%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ordered.groupby(metric_group_cols)%5B%22mean_rmsle%22%5D.rank(method%3D%22dense%22%2C%20ascending%3DTrue).astype(int)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22delta_vs_best_in_view%22%5D%20%3D%20ordered%5B%22mean_rmsle%22%5D%20-%20ordered%5B%22mean_rmsle%22%5D.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered%5B%22within_view_rank%22%5D%20%3D%20ordered%5B%22mean_rmsle%22%5D.rank(method%3D%22dense%22%2C%20ascending%3DTrue).astype(int)%0A%20%20%20%20%20%20%20%20ordered%5B%22fit_seconds%22%5D%20%3D%20ordered%5B%22fit_seconds%22%5D.astype(float)%0A%20%20%20%20%20%20%20%20ordered%5B%22log10_fit_seconds%22%5D%20%3D%20np.log10(ordered%5B%22fit_seconds%22%5D.fillna(1e-3).clip(lower%3D1e-3))%0A%20%20%20%20%20%20%20%20ordered%5B%22run_datetime_text%22%5D%20%3D%20ordered%5B%22timestamp%22%5D.map(_timestamp_text)%0A%20%20%20%20%20%20%20%20return%20ordered.dropna(subset%3D%5B%22mean_rmsle%22%5D).reset_index(drop%3DTrue)%0A%0A%20%20%20%20def%20summarize_scope(raw_frame%3A%20pd.DataFrame%2C%20best_frame%3A%20pd.DataFrame)%20-%3E%20dict%5Bstr%2C%20object%5D%3A%0A%20%20%20%20%20%20%20%20if%20raw_frame.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20summary%3A%20dict%5Bstr%2C%20object%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22raw_rows%22%3A%20int(len(raw_frame))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22deduped_rows%22%3A%20int(len(best_frame))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22machines%22%3A%20int(raw_frame%5B%22machine%22%5D.nunique())%20if%20%22machine%22%20in%20raw_frame.columns%20else%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best_model%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best_feature_view%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best_rmsle%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_model%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_feature_view%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_fit_seconds%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best_view_label%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best_view_rmsle%22%3A%20None%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20ok_frame%20%3D%20raw_frame%5Braw_frame%5B%22status%22%5D.fillna(%22%22)%20%3D%3D%20%22ok%22%5D.copy()%0A%20%20%20%20%20%20%20%20if%20ok_frame.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20summary%0A%0A%20%20%20%20%20%20%20%20best_run%20%3D%20ok_frame.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22mean_rmsle%22%2C%20%22std_rmsle%22%2C%20%22fit_seconds%22%5D%2C%20ascending%3D%5BTrue%2C%20True%2C%20True%5D%0A%20%20%20%20%20%20%20%20).iloc%5B0%5D%0A%20%20%20%20%20%20%20%20slowest_run%20%3D%20ok_frame.sort_values(%22fit_seconds%22%2C%20ascending%3DFalse).iloc%5B0%5D%0A%20%20%20%20%20%20%20%20best_view%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20best_frame.groupby(%5B%22feature_view%22%2C%20%22feature_label%22%5D%2C%20as_index%3DFalse)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22mean_rmsle%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20summary.update(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_model%22%3A%20best_run%5B%22model_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_feature_view%22%3A%20feature_label(best_run%5B%22feature_view%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_rmsle%22%3A%20float(best_run%5B%22mean_rmsle%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_model%22%3A%20slowest_run%5B%22model_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_feature_view%22%3A%20feature_label(slowest_run%5B%22feature_view%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slowest_fit_seconds%22%3A%20float(slowest_run%5B%22fit_seconds%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_view_label%22%3A%20best_view%5B%22feature_label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_view_rmsle%22%3A%20float(best_view%5B%22mean_rmsle%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20summary%0A%0A%20%20%20%20def%20summarize_validation_modes(raw_frame%3A%20pd.DataFrame%2C%20best_frame%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20if%20raw_frame.empty%20or%20%22cv_mode%22%20not%20in%20raw_frame.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.DataFrame()%0A%0A%20%20%20%20%20%20%20%20raw_summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_frame.groupby(%22cv_mode%22%2C%20as_index%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raw_rows%3D(%22model_name%22%2C%20%22size%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20feature_views%3D(%22feature_view%22%2C%20%22nunique%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20models%3D(%22model_name%22%2C%20%22nunique%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20best_summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20best_frame.groupby(%22cv_mode%22%2C%20as_index%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20deduped_rows%3D(%22model_name%22%2C%20%22size%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20best_rmsle%3D(%22mean_rmsle%22%2C%20%22min%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20summary%20%3D%20raw_summary.merge(best_summary%2C%20on%3D%22cv_mode%22%2C%20how%3D%22left%22)%0A%20%20%20%20%20%20%20%20summary%5B%22cv_mode_label%22%5D%20%3D%20summary%5B%22cv_mode%22%5D.map(cv_mode_label)%0A%20%20%20%20%20%20%20%20summary%5B%22deduped_rows%22%5D%20%3D%20summary%5B%22deduped_rows%22%5D.fillna(0).astype(int)%0A%20%20%20%20%20%20%20%20mode_order%20%3D%20ordered_cv_modes(summary%5B%22cv_mode%22%5D)%0A%20%20%20%20%20%20%20%20summary%5B%22cv_mode%22%5D%20%3D%20pd.Categorical(summary%5B%22cv_mode%22%5D%2C%20categories%3Dmode_order%2C%20ordered%3DTrue)%0A%20%20%20%20%20%20%20%20return%20summary.sort_values(%22cv_mode%22).reset_index(drop%3DTrue)%0A%0A%20%20%20%20def%20build_validation_overlap(%0A%20%20%20%20%20%20%20%20best_frame%3A%20pd.DataFrame%2C%0A%20%20%20%20%20%20%20%20baseline_mode%3A%20str%20%3D%20PRIMARY_VALIDATION%2C%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20if%20best_frame.empty%20or%20%22cv_mode%22%20not%20in%20best_frame.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.DataFrame()%0A%0A%20%20%20%20%20%20%20%20baseline%20%3D%20best_frame%5Bbest_frame%5B%22cv_mode%22%5D%20%3D%3D%20baseline_mode%5D.copy()%0A%20%20%20%20%20%20%20%20if%20baseline.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.DataFrame()%0A%0A%20%20%20%20%20%20%20%20baseline%20%3D%20baseline.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3A%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_view%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mean_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22std_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%5D.rename(%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mean_rmsle%22%3A%20%22baseline_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22std_rmsle%22%3A%20%22baseline_std_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fit_seconds%22%3A%20%22baseline_fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20comparison%20%3D%20best_frame%5Bbest_frame%5B%22cv_mode%22%5D%20!%3D%20baseline_mode%5D.copy()%0A%20%20%20%20%20%20%20%20if%20comparison.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.DataFrame()%0A%0A%20%20%20%20%20%20%20%20overlap%20%3D%20comparison.merge(%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on%3D%5B%22feature_view%22%2C%20%22feature_label%22%2C%20%22model_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20how%3D%22inner%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20overlap.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20overlap%0A%0A%20%20%20%20%20%20%20%20overlap%5B%22delta_vs_primary%22%5D%20%3D%20overlap%5B%22mean_rmsle%22%5D%20-%20overlap%5B%22baseline_rmsle%22%5D%0A%20%20%20%20%20%20%20%20overlap%5B%22direction%22%5D%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20%20%20%20%20overlap%5B%22delta_vs_primary%22%5D%20%3C%3D%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Better%20than%20country-year%20holdout%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Worse%20than%20country-year%20holdout%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20overlap%5B%22feature_model%22%5D%20%3D%20overlap%5B%22feature_label%22%5D%20%2B%20%22%20%2F%20%22%20%2B%20overlap%5B%22model_name%22%5D%0A%20%20%20%20%20%20%20%20overlap%5B%22cv_mode_label%22%5D%20%3D%20overlap%5B%22cv_mode%22%5D.map(cv_mode_label)%0A%20%20%20%20%20%20%20%20mode_order%20%3D%20ordered_cv_modes(overlap%5B%22cv_mode%22%5D)%0A%20%20%20%20%20%20%20%20overlap%5B%22cv_mode%22%5D%20%3D%20pd.Categorical(overlap%5B%22cv_mode%22%5D%2C%20categories%3Dmode_order%2C%20ordered%3DTrue)%0A%20%20%20%20%20%20%20%20return%20overlap.sort_values(%5B%22cv_mode%22%2C%20%22delta_vs_primary%22%2C%20%22feature_label%22%2C%20%22model_name%22%5D).reset_index(drop%3DTrue)%0A%0A%20%20%20%20def%20build_insight_lines(best_frame%3A%20pd.DataFrame)%20-%3E%20list%5Bstr%5D%3A%0A%20%20%20%20%20%20%20%20if%20best_frame.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5B%22No%20successful%20rows%20are%20available%20for%20derived%20comparisons.%22%5D%0A%0A%20%20%20%20%20%20%20%20lines%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20best_view%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20best_frame.groupby(%5B%22feature_view%22%2C%20%22feature_label%22%5D%2C%20as_index%3DFalse)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22mean_rmsle%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Best%20current%20feature%20view%20is%20%60%7Bbest_view%5B'feature_label'%5D%7D%60%20with%20best%20logged%20RMSLE%20%60%7Bbest_view%5B'mean_rmsle'%5D%3A.4f%7D%60.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20best_by_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20best_frame.groupby(%5B%22feature_kind%22%2C%20%22feature_view%22%2C%20%22feature_label%22%5D%2C%20as_index%3DFalse)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%5B%22feature_kind%22%2C%20%22mean_rmsle%22%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20embedding_best%20%3D%20best_by_kind%5Bbest_by_kind%5B%22feature_kind%22%5D%20%3D%3D%20%22embedding%22%5D%0A%20%20%20%20%20%20%20%20cluster_best%20%3D%20best_by_kind%5Bbest_by_kind%5B%22feature_kind%22%5D%20%3D%3D%20%22cluster%22%5D%0A%20%20%20%20%20%20%20%20if%20not%20embedding_best.empty%20and%20not%20cluster_best.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20embed_row%20%3D%20embedding_best.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cluster_row%20%3D%20cluster_best.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compact%20cluster%20summaries%20beat%20raw%20embedding-only%20views%20in%20this%20log%20slice%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Bcluster_row%5B'feature_label'%5D%7D%60%20reaches%20%60%7Bcluster_row%5B'mean_rmsle'%5D%3A.4f%7D%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22versus%20best%20raw-embedding%20view%20%60%7Bembed_row%5B'feature_label'%5D%7D%60%20at%20%60%7Bembed_row%5B'mean_rmsle'%5D%3A.4f%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20tabpfn%20%3D%20best_frame%5Bbest_frame%5B%22family%22%5D%20%3D%3D%20%22tabpfn%22%5D.copy()%0A%20%20%20%20%20%20%20%20non_tabpfn%20%3D%20best_frame%5Bbest_frame%5B%22family%22%5D%20!%3D%20%22tabpfn%22%5D.copy()%0A%20%20%20%20%20%20%20%20if%20not%20tabpfn.empty%20and%20not%20non_tabpfn.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20non_tabpfn_best%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20non_tabpfn.sort_values(%5B%22feature_view%22%2C%20%22mean_rmsle%22%2C%20%22fit_seconds%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.drop_duplicates(%22feature_view%22%2C%20keep%3D%22first%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.loc%5B%3A%2C%20%5B%22feature_view%22%2C%20%22mean_rmsle%22%2C%20%22fit_seconds%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.rename(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mean_rmsle%22%3A%20%22best_non_tabpfn_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fit_seconds%22%3A%20%22best_non_tabpfn_fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_cmp%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tabpfn.merge(non_tabpfn_best%2C%20on%3D%22feature_view%22%2C%20how%3D%22inner%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.assign(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3Dlambda%20d%3A%20d%5B%22mean_rmsle%22%5D%20-%20d%5B%22best_non_tabpfn_rmsle%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20runtime_ratio%3Dlambda%20d%3A%20d%5B%22fit_seconds%22%5D%20%2F%20d%5B%22best_non_tabpfn_fit_seconds%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22gap%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20tabpfn_cmp.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20best_tabpfn%20%3D%20tabpfn_cmp.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20worst_tabpfn%20%3D%20tabpfn_cmp.iloc%5B-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22TabPFN%20is%20competitive%20on%20compact%20views%20(but%20not%20dominant)%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22its%20smallest%20gap%20is%20%60%7Bbest_tabpfn%5B'gap'%5D%3A%2B.4f%7D%60%20on%20%60%7Bbest_tabpfn%5B'feature_label'%5D%7D%60%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22while%20its%20worst%20gap%20is%20%60%7Bworst_tabpfn%5B'gap'%5D%3A%2B.4f%7D%60%20on%20%60%7Bworst_tabpfn%5B'feature_label'%5D%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20embedding_tabpfn%20%3D%20tabpfn_cmp%5Btabpfn_cmp%5B%22feature_kind%22%5D%20%3D%3D%20%22embedding%22%5D.sort_values(%22gap%22%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20embedding_tabpfn.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%20%3D%20embedding_tabpfn.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20worst%20TabPFN%20gap%20in%20this%20scope%20is%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Brow%5B'feature_label'%5D%7D%60%20with%20%60%7Brow%5B'gap'%5D%3A%2B.4f%7D%60%20RMSLE%20and%20a%20runtime%20ratio%20of%20%60%7Brow%5B'runtime_ratio'%5D%3A.1f%7Dx%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20rho%20%3D%20best_frame%5B%22mean_rmsle%22%5D.corr(best_frame%5B%22std_rmsle%22%5D)%0A%20%20%20%20%20%20%20%20if%20pd.notna(rho)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22RMSLE%20score%20and%20instability%20often%20move%20together%3A%20correlation(mean%20RMSLE%2C%20std%20RMSLE)%20is%20%60%7Brho%3A.2f%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20lines%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ALL_MACHINES%2C%0A%20%20%20%20%20%20%20%20ALL_VALIDATIONS%2C%0A%20%20%20%20%20%20%20%20LOG_DIR%2C%0A%20%20%20%20%20%20%20%20PRIMARY_VALIDATION%2C%0A%20%20%20%20%20%20%20%20alt%2C%0A%20%20%20%20%20%20%20%20build_insight_lines%2C%0A%20%20%20%20%20%20%20%20build_validation_overlap%2C%0A%20%20%20%20%20%20%20%20choose_best_rows%2C%0A%20%20%20%20%20%20%20%20cv_mode_label%2C%0A%20%20%20%20%20%20%20%20load_benchmark_logs%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20ordered_cv_modes%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20summarize_scope%2C%0A%20%20%20%20%20%20%20%20summarize_validation_modes%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LOG_DIR%2C%20load_benchmark_logs)%3A%0A%20%20%20%20inventory_df%2C%20all_logs_df%2C%20load_errors_df%20%3D%20load_benchmark_logs(LOG_DIR)%0A%20%20%20%20return%20all_logs_df%2C%20inventory_df%2C%20load_errors_df%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ALL_MACHINES%2C%20inventory_df%2C%20mo)%3A%0A%20%20%20%20if%20inventory_df.empty%3A%0A%20%20%20%20%20%20%20%20machine_selector%20%3D%20None%0A%20%20%20%20%20%20%20%20exclude_dummy_mean%20%3D%20None%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20options%20%3D%20%7B%22All%20machines%22%3A%20ALL_MACHINES%7D%0A%20%20%20%20%20%20%20%20options.update(%7Brow%5B%22machine%22%5D%3A%20row%5B%22machine%22%5D%20for%20_%2C%20row%20in%20inventory_df.iterrows()%7D)%0A%20%20%20%20%20%20%20%20default_value%20%3D%20inventory_df%5B%22machine%22%5D.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20machine_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Doptions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Ddefault_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Lab%20machine%3A%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20exclude_dummy_mean%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Exclude%20%60dummy_mean%60%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20exclude_dummy_mean%2C%20machine_selector%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ALL_MACHINES%2C%0A%20%20%20%20ALL_VALIDATIONS%2C%0A%20%20%20%20PRIMARY_VALIDATION%2C%0A%20%20%20%20all_logs_df%2C%0A%20%20%20%20cv_mode_label%2C%0A%20%20%20%20exclude_dummy_mean%2C%0A%20%20%20%20machine_selector%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20ordered_cv_modes%2C%0A)%3A%0A%20%20%20%20if%20machine_selector%20is%20None%20or%20exclude_dummy_mean%20is%20None%20or%20all_logs_df.empty%3A%0A%20%20%20%20%20%20%20%20validation_selector%20%3D%20None%0A%20%20%20%20%20%20%20%20controls%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20%60benchmark_log_*.parquet%60%20files%20were%20found%20under%20%60inferred%2F%60.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20machine_scope_value%20%3D%20machine_selector.value%0A%20%20%20%20%20%20%20%20if%20machine_scope_value%20%3D%3D%20ALL_MACHINES%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20machine_frame%20%3D%20all_logs_df.copy()%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20machine_frame%20%3D%20all_logs_df%5Ball_logs_df%5B%22machine%22%5D%20%3D%3D%20machine_scope_value%5D.copy()%0A%0A%20%20%20%20%20%20%20%20cv_modes%20%3D%20ordered_cv_modes(machine_frame%5B%22cv_mode%22%5D)%20if%20%22cv_mode%22%20in%20machine_frame.columns%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20validation_options%20%3D%20%7B%22All%20validations%22%3A%20ALL_VALIDATIONS%7D%0A%20%20%20%20%20%20%20%20validation_options.update(%7Bcv_mode_label(cv_mode)%3A%20cv_mode%20for%20cv_mode%20in%20cv_modes%7D)%0A%20%20%20%20%20%20%20%20if%20PRIMARY_VALIDATION%20in%20cv_modes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20default_validation_option%20%3D%20cv_mode_label(PRIMARY_VALIDATION)%0A%20%20%20%20%20%20%20%20elif%20cv_modes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20default_validation_option%20%3D%20%22All%20validations%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20default_validation_option%20%3D%20%22All%20validations%22%0A%0A%20%20%20%20%20%20%20%20validation_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Dvalidation_options%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Ddefault_validation_option%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Validation%3A%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20controls%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20machine_selector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20validation_selector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exclude_dummy_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B0.34%2C%200.28%2C%200.2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20controls%0A%20%20%20%20return%20(validation_selector%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ALL_MACHINES%2C%0A%20%20%20%20ALL_VALIDATIONS%2C%0A%20%20%20%20all_logs_df%2C%0A%20%20%20%20choose_best_rows%2C%0A%20%20%20%20cv_mode_label%2C%0A%20%20%20%20exclude_dummy_mean%2C%0A%20%20%20%20machine_selector%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20summarize_scope%2C%0A%20%20%20%20validation_selector%2C%0A)%3A%0A%20%20%20%20if%20machine_selector%20is%20None%20or%20all_logs_df.empty%3A%0A%20%20%20%20%20%20%20%20audit_best_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20audit_raw_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20selected_best_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20selected_raw_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20scope_summary%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20scope_name%20%3D%20%22No%20data%22%0A%20%20%20%20%20%20%20%20selected_validation_name%20%3D%20%22All%20validations%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20selected_scope_value%20%3D%20machine_selector.value%0A%20%20%20%20%20%20%20%20if%20selected_scope_value%20%3D%3D%20ALL_MACHINES%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_raw_df%20%3D%20all_logs_df.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20scope_name%20%3D%20%22All%20machines%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_raw_df%20%3D%20all_logs_df%5Ball_logs_df%5B%22machine%22%5D%20%3D%3D%20selected_scope_value%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20scope_name%20%3D%20selected_scope_value%0A%0A%20%20%20%20%20%20%20%20if%20exclude_dummy_mean%20is%20not%20None%20and%20exclude_dummy_mean.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_raw_df%20%3D%20audit_raw_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20audit_raw_df%5B%22model_name%22%5D.fillna(%22%22)%20!%3D%20%22dummy_mean%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D.copy()%0A%0A%20%20%20%20%20%20%20%20selected_raw_df%20%3D%20audit_raw_df.copy()%0A%20%20%20%20%20%20%20%20selected_validation_name%20%3D%20%22All%20validations%22%0A%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20validation_selector%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20%22cv_mode%22%20in%20selected_raw_df.columns%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20validation_selector.value%20!%3D%20ALL_VALIDATIONS%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_raw_df%20%3D%20selected_raw_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_raw_df%5B%22cv_mode%22%5D.fillna(%22%22)%20%3D%3D%20validation_selector.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_validation_name%20%3D%20cv_mode_label(validation_selector.value)%0A%0A%20%20%20%20%20%20%20%20sort_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20column%20in%20%5B%22timestamp%22%2C%20%22cv_mode%22%2C%20%22feature_view%22%2C%20%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20column%20in%20audit_raw_df.columns%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20sort_ascending%20%3D%20%5BFalse%20if%20column%20%3D%3D%20%22timestamp%22%20else%20True%20for%20column%20in%20sort_columns%5D%0A%20%20%20%20%20%20%20%20audit_raw_df%20%3D%20audit_raw_df.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20sort_columns%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ascending%3Dsort_ascending%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20na_position%3D%22last%22%2C%0A%20%20%20%20%20%20%20%20).reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20selected_raw_df%20%3D%20selected_raw_df.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20sort_columns%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ascending%3Dsort_ascending%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20na_position%3D%22last%22%2C%0A%20%20%20%20%20%20%20%20).reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20selected_ok_df%20%3D%20selected_raw_df%5Bselected_raw_df%5B%22status%22%5D.fillna(%22%22)%20%3D%3D%20%22ok%22%5D.copy()%0A%20%20%20%20%20%20%20%20audit_ok_df%20%3D%20audit_raw_df%5Baudit_raw_df%5B%22status%22%5D.fillna(%22%22)%20%3D%3D%20%22ok%22%5D.copy()%0A%20%20%20%20%20%20%20%20selected_best_df%20%3D%20choose_best_rows(selected_ok_df)%0A%20%20%20%20%20%20%20%20audit_best_df%20%3D%20choose_best_rows(%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_ok_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20subset_cols%3D(%22cv_mode%22%2C%20%22feature_view%22%2C%20%22model_name%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20scope_summary%20%3D%20summarize_scope(selected_raw_df%2C%20selected_best_df)%0A%20%20%20%20%20%20%20%20scope_summary%5B%22validation_scope%22%5D%20%3D%20selected_validation_name%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20audit_best_df%2C%0A%20%20%20%20%20%20%20%20audit_raw_df%2C%0A%20%20%20%20%20%20%20%20scope_name%2C%0A%20%20%20%20%20%20%20%20scope_summary%2C%0A%20%20%20%20%20%20%20%20selected_best_df%2C%0A%20%20%20%20%20%20%20%20selected_raw_df%2C%0A%20%20%20%20%20%20%20%20selected_validation_name%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(inventory_df%2C%20load_errors_df%2C%20mo%2C%20scope_name%2C%20scope_summary)%3A%0A%20%20%20%20if%20not%20scope_summary%3A%0A%20%20%20%20%20%20%20%20summary_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22No%20rows%20available%20for%20selected%20machine%20%60%7Bscope_name%7D%60.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20scope_summary.get(%22best_model%22)%20is%20None%3A%0A%20%20%20%20%20%20%20%20summary_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Machine%3A**%20%60%7Bscope_name%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Validation%3A**%20%60%7Bscope_summary%5B'validation_scope'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Raw%20rows%20%60%7Bscope_summary%5B'raw_rows'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Deduped%20combinations%20%60%7Bscope_summary%5B'deduped_rows'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22No%20%60status%20%3D%3D%20ok%60%20rows%20are%20available%20for%20derived%20summaries.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20cards%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Machine%3A**%20%60%7Bscope_name%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Validation%3A%20%60%7Bscope_summary%5B'validation_scope'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Raw%20rows%3A%20%60%7Bscope_summary%5B'raw_rows'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22After%20dedupe%3A%20%60%7Bscope_summary%5B'deduped_rows'%5D%7D%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Best%20feature%20view%3A**%20%60%7Bscope_summary%5B'best_view_label'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Best%20RMSLE%20overall%3A%20%60%7Bscope_summary%5B'best_view_rmsle'%5D%3A.4f%7D%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Best%20run%3A**%20%60%7Bscope_summary%5B'best_model'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22View%3A%20%60%7Bscope_summary%5B'best_feature_view'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22RMSLE%3A%20%60%7Bscope_summary%5B'best_rmsle'%5D%3A.4f%7D%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Slowest%20run%3A**%20%60%7Bscope_summary%5B'slowest_model'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22View%3A%20%60%7Bscope_summary%5B'slowest_feature_view'%5D%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Fit%20time%3A%20%60%7Bscope_summary%5B'slowest_fit_seconds'%5D%3A.1f%7D%60%20s%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20summary_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Lab%20Machine%20Summary%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(cards%2C%20widths%3D%22equal%22%2C%20align%3D%22stretch%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20inventory_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Full%20Log%20Inventory%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(inventory_df%2C%20label%3D%22Discovered%20log%20files%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20if%20load_errors_df.empty%3A%0A%20%20%20%20%20%20%20%20errors_panel%20%3D%20None%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20errors_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Load%20Errors%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(load_errors_df%2C%20label%3D%22Unreadable%20log%20files%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20sections%20%3D%20%5Bsummary_panel%2C%20inventory_panel%5D%0A%20%20%20%20if%20errors_panel%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20sections.append(errors_panel)%0A%20%20%20%20mo.vstack(sections)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(build_insight_lines%2C%20mo%2C%20selected_best_df%2C%20selected_validation_name)%3A%0A%20%20%20%20if%20selected_best_df.empty%3A%0A%20%20%20%20%20%20%20%20insights_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20successful%20rows%20are%20available%20to%20summarize.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20insight_lines%20%3D%20build_insight_lines(selected_best_df)%0A%20%20%20%20%20%20%20%20insight_markdown%20%3D%20%22%5Cn%22.join(%5Bf%22-%20%7Bline%7D%22%20for%20line%20in%20insight_lines%5D)%0A%20%20%20%20%20%20%20%20insights_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%20High%20Level%20Observations%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22These%20are%20observations%20from%20the%20selected%20results%20under%20%60%7Bselected_validation_name%7D%60.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Binsight_markdown%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20insights_panel%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20mo%2C%20selected_best_df%2C%20selected_validation_name)%3A%0A%20%20%20%20if%20selected_best_df.empty%3A%0A%20%20%20%20%20%20%20%20charts_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20successful%20rows%20are%20available%20for%20charts.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20chart_feature_order%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_best_df.groupby(%22feature_label%22)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values()%0A%20%20%20%20%20%20%20%20%20%20%20%20.index.tolist()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20chart_model_order%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_best_df.groupby(%22model_name%22)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values()%0A%20%20%20%20%20%20%20%20%20%20%20%20.index.tolist()%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20chart_data%20%3D%20selected_best_df.where(selected_best_df.notna()%2C%20other%3DNone)%0A%20%20%20%20%20%20%20%20base_heatmap%20%3D%20alt.Chart(chart_data).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22feature_label%3AN%22%2C%20title%3DNone%2C%20sort%3Dchart_feature_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22model_name%3AN%22%2C%20title%3DNone%2C%20sort%3Dchart_model_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22machine%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_kind%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22family%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22mean_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22std_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22fit_seconds%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22run_datetime_text%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20rmsle_heatmap%20%3D%20alt.layer(%0A%20%20%20%20%20%20%20%20%20%20%20%20base_heatmap.mark_rect().encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%22mean_rmsle%3AQ%22%2C%20title%3D%22Mean%20RMSLE%22%2C%20scale%3Dalt.Scale(scheme%3D%22teals%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20base_heatmap.mark_text(fontSize%3D11%2C%20color%3D%22%230f172a%22).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text(%22mean_rmsle%3AQ%22%2C%20format%3D%22.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20).properties(width%3D720%2C%20height%3Dmax(240%2C%2024%20*%20len(chart_model_order))%2C%20title%3D%22Best%20logged%20RMSLE%20by%20feature%20view%20and%20model%22)%0A%0A%20%20%20%20%20%20%20%20delta_heatmap%20%3D%20alt.layer(%0A%20%20%20%20%20%20%20%20%20%20%20%20base_heatmap.mark_rect().encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta_vs_best_in_view%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Delta%20vs%20best%20in%20view%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22oranges%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20base_heatmap.mark_text(fontSize%3D11%2C%20color%3D%22%23111827%22).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text(%22delta_vs_best_in_view%3AQ%22%2C%20format%3D%22%2B.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D720%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(240%2C%2024%20*%20len(chart_model_order))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Penalty%20relative%20to%20the%20local%20best%20feature-view%20result%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20instability_scatter%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_circle(opacity%3D0.8)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22mean_rmsle%3AQ%22%2C%20title%3D%22Mean%20RMSLE%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22std_rmsle%3AQ%22%2C%20title%3D%22Std%20of%20fold%20RMSLE%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%22family%3AN%22%2C%20title%3D%22Family%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Shape(%22feature_kind%3AN%22%2C%20title%3D%22Feature%20kind%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Size(%22log10_fit_seconds%3AQ%22%2C%20title%3D%22log10%20fit%20seconds%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22machine%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22family%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22mean_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22std_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22fit_seconds%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(width%3D420%2C%20height%3D320%2C%20title%3D%22Performance%20vs%20instability%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fit_time_histogram%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(width%3D180%2C%20height%3D260)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar(opacity%3D0.8)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22log10_fit_seconds%3AQ%22%2C%20bin%3Dalt.Bin(maxbins%3D20)%2C%20title%3D%22log10%20fit%20seconds%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22count()%3AQ%22%2C%20title%3D%22Deduped%20rows%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%22family%3AN%22%2C%20title%3D%22Family%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Column(%22feature_kind%3AN%22%2C%20title%3DNone%2C%20sort%3D%5B%22tabular%22%2C%20%22cluster%22%2C%20%22embedding%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22family%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_kind%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22count()%3AQ%22%2C%20title%3D%22Rows%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(title%3D%22Runtime%20distribution%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20tabpfn_rows%20%3D%20selected_best_df%5Bselected_best_df%5B%22family%22%5D%20%3D%3D%20%22tabpfn%22%5D.copy()%0A%20%20%20%20%20%20%20%20non_tabpfn_best%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_best_df%5Bselected_best_df%5B%22family%22%5D%20!%3D%20%22tabpfn%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%5B%22feature_view%22%2C%20%22mean_rmsle%22%2C%20%22fit_seconds%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20.drop_duplicates(%22feature_view%22%2C%20keep%3D%22first%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.loc%5B%3A%2C%20%5B%22feature_view%22%2C%20%22feature_label%22%2C%20%22mean_rmsle%22%2C%20%22fit_seconds%22%2C%20%22model_name%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.rename(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mean_rmsle%22%3A%20%22best_non_tabpfn_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fit_seconds%22%3A%20%22best_non_tabpfn_fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%22%3A%20%22best_non_tabpfn_model%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tabpfn_compare%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_rows.merge(non_tabpfn_best%2C%20on%3D%5B%22feature_view%22%2C%20%22feature_label%22%5D%2C%20how%3D%22inner%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.assign(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3Dlambda%20d%3A%20d%5B%22mean_rmsle%22%5D%20-%20d%5B%22best_non_tabpfn_rmsle%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20runtime_ratio%3Dlambda%20d%3A%20d%5B%22fit_seconds%22%5D%20%2F%20d%5B%22best_non_tabpfn_fit_seconds%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22gap%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20tabpfn_compare.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20TabPFN%20rows%20are%20available%20for%20comparison%20in%20this%20scope.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_chart_data%20%3D%20tabpfn_compare.where(tabpfn_compare.notna()%2C%20other%3DNone)%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_gap_chart%20%3D%20alt.layer(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(tabpfn_chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22gap%3AQ%22%2C%20title%3D%22TabPFN%20RMSLE%20gap%20vs%20best%20non-TabPFN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22feature_label%3AN%22%2C%20title%3DNone%2C%20sort%3Dchart_feature_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gap%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gap%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22redyellowgreen%22%2C%20reverse%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_non_tabpfn_model%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22mean_rmsle%3AQ%22%2C%20title%3D%22TabPFN%20RMSLE%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22best_non_tabpfn_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gap%3AQ%22%2C%20format%3D%22%2B.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22fit_seconds%3AQ%22%2C%20title%3D%22TabPFN%20fit%20seconds%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22best_non_tabpfn_fit_seconds%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22runtime_ratio%3AQ%22%2C%20format%3D%22.1f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(tabpfn_chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_circle(color%3D%22%230f172a%22%2C%20opacity%3D0.9)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22gap%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22feature_label%3AN%22%2C%20sort%3Dchart_feature_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Size(%22runtime_ratio%3AQ%22%2C%20title%3D%22Runtime%20ratio%20vs%20best%20non-TabPFN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gap%3AQ%22%2C%20format%3D%22%2B.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22runtime_ratio%3AQ%22%2C%20format%3D%22.1f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).properties(width%3D720%2C%20height%3D220%2C%20title%3D%22TabPFN%20competitiveness%20by%20feature%20view%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_panel%20%3D%20tabpfn_gap_chart%0A%0A%20%20%20%20%20%20%20%20charts_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Errors%20and%20Time%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%20we%20compare%20the%20observed%20feature-view%20%C3%97%20model%20matrix%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22runtime%20cost%20and%20tradeoffs%20using%20TabPFN.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Active%20validation%20filter%3A%20%60%7Bselected_validation_name%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rmsle_heatmap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_heatmap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Binstability_scatter%2C%20fit_time_histogram%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tabpfn_panel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20charts_panel%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20PRIMARY_VALIDATION%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20audit_best_df%2C%0A%20%20%20%20audit_raw_df%2C%0A%20%20%20%20build_validation_overlap%2C%0A%20%20%20%20cv_mode_label%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20summarize_validation_modes%2C%0A)%3A%0A%20%20%20%20if%20audit_raw_df.empty%3A%0A%20%20%20%20%20%20%20%20audit_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20rows%20are%20available%20for%20validation-mode%20diagnostics.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20coverage_df%20%3D%20summarize_validation_modes(audit_raw_df%2C%20audit_best_df)%0A%20%20%20%20%20%20%20%20coverage_panel%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20coverage_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20column%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cv_mode_label%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22raw_rows%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22deduped_rows%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_views%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22models%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20column%20in%20coverage_df.columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Coverage%20by%20validation%20mode%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20audit_best_df.empty%20or%20coverage_df.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20heatmap_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22No%20successful%20rows%20are%20available%20for%20validation-mode%20heatmaps.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_feature_order%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20audit_best_df.groupby(%22feature_label%22)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.index.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_model_order%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20audit_best_df.groupby(%22model_name%22)%5B%22mean_rmsle%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.min()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.index.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_mode_order%20%3D%20coverage_df%5B%22cv_mode_label%22%5D.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20rmsle_domain%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(audit_best_df%5B%22mean_rmsle%22%5D.min())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(audit_best_df%5B%22mean_rmsle%22%5D.max())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_chart_data%20%3D%20audit_best_df.where(audit_best_df.notna()%2C%20other%3DNone)%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_heatmap_base%20%3D%20alt.Chart(audit_chart_data).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D220%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(220%2C%2024%20*%20len(audit_model_order))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%22feature_label%3AN%22%2C%20title%3DNone%2C%20sort%3Daudit_feature_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22model_name%3AN%22%2C%20title%3DNone%2C%20sort%3Daudit_model_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cv_mode_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22family%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22mean_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22std_rmsle%3AQ%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22fit_seconds%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22run_datetime_text%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20heatmap_panel%20%3D%20alt.layer(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20audit_heatmap_base.mark_rect().encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mean_rmsle%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Mean%20RMSLE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22teals%22%2C%20domain%3Drmsle_domain)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20audit_heatmap_base.mark_text(fontSize%3D10%2C%20color%3D%22%230f172a%22).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text(%22mean_rmsle%3AQ%22%2C%20format%3D%22.3f%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).facet(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(%22cv_mode_label%3AN%22%2C%20title%3DNone%2C%20sort%3Daudit_mode_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Best%20logged%20RMSLE%20by%20validation%20mode%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20overlap_df%20%3D%20build_validation_overlap(audit_best_df%2C%20baseline_mode%3DPRIMARY_VALIDATION)%0A%20%20%20%20%20%20%20%20if%20coverage_df.empty%20or%20coverage_df%5B%22cv_mode_label%22%5D.nunique()%20%3C%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overlap_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Only%20one%20validation%20mode%20is%20currently%20available%20in%20this%20scope.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20elif%20overlap_df.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overlap_panel%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22No%20shared%20%60(feature_view%2C%20model_name)%60%20combinations%20were%20found%20against%20%60%7Bcv_mode_label(PRIMARY_VALIDATION)%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overlap_order%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overlap_df.groupby(%22feature_model%22)%5B%22delta_vs_primary%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mean()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.index.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20mode_order%20%3D%20overlap_df%5B%22cv_mode_label%22%5D.drop_duplicates().tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20overlap_panel%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(overlap_df.where(overlap_df.notna()%2C%20other%3DNone))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(width%3D220%2C%20height%3Dmax(120%2C%2020%20*%20len(overlap_order)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta_vs_primary%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22RMSLE%20delta%20vs%20%7Bcv_mode_label(PRIMARY_VALIDATION)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Y(%22feature_model%3AN%22%2C%20title%3DNone%2C%20sort%3Doverlap_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22direction%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Better%20than%20country-year%20holdout%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Worse%20than%20country-year%20holdout%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%230f766e%22%2C%20%22%23c2410c%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Column(%22cv_mode_label%3AN%22%2C%20title%3DNone%2C%20sort%3Dmode_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cv_mode_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feature_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_name%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22baseline_rmsle%3AQ%22%2C%20title%3D%22Country-year%20holdout%20RMSLE%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22mean_rmsle%3AQ%22%2C%20title%3D%22Comparison%20RMSLE%22%2C%20format%3D%22.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22delta_vs_primary%3AQ%22%2C%20format%3D%22%2B.4f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22baseline_fit_seconds%3AQ%22%2C%20title%3D%22Country-year%20fit%20seconds%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22fit_seconds%3AQ%22%2C%20title%3D%22Comparison%20fit%20seconds%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Overlap%20delta%20vs%20%7Bcv_mode_label(PRIMARY_VALIDATION)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20audit_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Validation%20Modes%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%20we%20compare%20the%20three%20validation%20modes%20used.%20Missing%20cells%20indicate%20unfinished%20runs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20coverage_panel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20heatmap_panel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overlap_panel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20audit_panel%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20selected_best_df%2C%20selected_raw_df%2C%20selected_validation_name)%3A%0A%20%20%20%20raw_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22machine%22%2C%0A%20%20%20%20%20%20%20%20%22log_path%22%2C%0A%20%20%20%20%20%20%20%20%22timestamp%22%2C%0A%20%20%20%20%20%20%20%20%22feature_view%22%2C%0A%20%20%20%20%20%20%20%20%22cv_mode%22%2C%0A%20%20%20%20%20%20%20%20%22seed%22%2C%0A%20%20%20%20%20%20%20%20%22model_name%22%2C%0A%20%20%20%20%20%20%20%20%22family%22%2C%0A%20%20%20%20%20%20%20%20%22mean_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%22std_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%22fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%22pca_components%22%2C%0A%20%20%20%20%20%20%20%20%22status%22%2C%0A%20%20%20%20%20%20%20%20%22notes%22%2C%0A%20%20%20%20%20%20%20%20%22tuned_params%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20best_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22machine%22%2C%0A%20%20%20%20%20%20%20%20%22cv_mode_label%22%2C%0A%20%20%20%20%20%20%20%20%22feature_label%22%2C%0A%20%20%20%20%20%20%20%20%22feature_kind%22%2C%0A%20%20%20%20%20%20%20%20%22feature_view%22%2C%0A%20%20%20%20%20%20%20%20%22model_name%22%2C%0A%20%20%20%20%20%20%20%20%22family%22%2C%0A%20%20%20%20%20%20%20%20%22mean_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%22delta_vs_best_in_view%22%2C%0A%20%20%20%20%20%20%20%20%22std_rmsle%22%2C%0A%20%20%20%20%20%20%20%20%22fit_seconds%22%2C%0A%20%20%20%20%20%20%20%20%22within_view_rank%22%2C%0A%20%20%20%20%20%20%20%20%22pca_components%22%2C%0A%20%20%20%20%20%20%20%20%22run_datetime_text%22%2C%0A%20%20%20%20%20%20%20%20%22tuned_params%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20raw_table%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20selected_raw_df%5B%5Bcolumn%20for%20column%20in%20raw_columns%20if%20column%20in%20selected_raw_df.columns%5D%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Raw%20log%20rows%22%2C%0A%20%20%20%20)%0A%20%20%20%20best_table%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20selected_best_df%5B%5Bcolumn%20for%20column%20in%20best_columns%20if%20column%20in%20selected_best_df.columns%5D%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Best%20row%20per%20feature_view%20%C3%97%20model_name%20within%20selected%20validation%20scope%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Tables%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20first%20table%20preserves%20raw%20log%20rows.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20second%20applies%20the%20best-result%20collapse%20used%20by%20the%20charts%20under%20%60%7Bselected_validation_name%7D%60.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_table%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20best_table%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A