Karl-Josef Weiss wurde 1979 geboren und schloss im Jahr 2006 sein Studium der Rechtswissenschaften an der Universität Wien ab. Nach dem Gerichtspraktikum am Landesgericht Korneuburg war er im Niederösterreichischen Landesdienst zunächst an der Bezirkshauptmannschaft Mistelbach tätig.
Es folgten zehn Jahre an der Bezirkshauptmannschaft Korneuburg. Von Jänner 2017 bis Dezember 2020 war Karl-Josef Weiss Bezirkshauptmann-Stellvertreter in Hollabrunn, ab Dezember 2020 Bezirkshauptmann-Stellvertreter in Tulln.