Hur sänker jag min Databricks-/EMR-/Glue-räkning utan att förstöra något?

Molnbaserade data-infra-räkningar skenar sällan iväg av ett stort misstag — de kryper uppåt genom ett dussin små beslut som var rimliga då och aldrig sågs över igen. Den goda nyheten: de flesta billiga fixarna är också de säkra.

Låg risk, gör dessa först

• Anpassa antalet instanser efter faktisk användning, inte den peak du en gång provisionerade för. Om den genomsnittliga CPU-användningen över ett jobbs executorer ligger under 40% är du med stor sannolikhet överprovisionerad — detta är nästan en gratislunch eftersom det inte ändrar jobblogiken alls.
• Slå på autoskalning om du inte redan gjort det. Fast klusterstorlek innebär att betala för toppkapacitet dygnet runt. De flesta hanterade Spark-plattformar (Databricks, EMR) stödjer detta nativt med minimal konfiguration.
• Flytta lämpliga batch-arbetsbelastningar till spot-/preemptible-instanser. Ett omkörbart, checkpointat batch-jobb (inte ett långlivat stateful streaming-jobb) passar oftast säkert, ofta till 60-90% rabatt mot on-demand-priser.

Medelrisk, testa först

• Minska antalet shuffle-partitioner om det är försiktigt satt högt. Färre, större partitioner betyder mindre task-schemaläggnings-overhead, men går man för långt återinförs precis de minnestrycksproblem som det höga antalet troligen sattes för att undvika — verifiera mot GC-tid och spill-bytes efter ändringen, inte bara väggklockstiden.
• Slå ihop små, frekventa jobb till färre, större körningar. Kluster-start-/uppvärmningstid är fast overhead som betalas varje körning; ett jobb som körs var 5:e minut betalar den overheaden 12x oftare än samma arbete, batchat per timme.

Högre risk, kräver riktig validering

• Att byta instansfamilj (t.ex. minnesoptimerad till general-purpose) ändrar minne-per-kärna- förhållandet som ditt jobb implicit var inställt mot — en kostnadsvinst på pappret kan bli en prestandaregression eller OOM i praktiken.
• Aggressiva TTL-/livscykeländringar på mellanlagring sparar lagringskostnad men kan tyst förstöra allt nedströms som antog att datan fortfarande skulle finnas där.