Hermann II. war Mitregent des Vaters und könnte das Kloster Regenbach als Herrschaftsstützpunkt, Repräsentationsbau, Stätte religiöser Absicherung, vielleicht als Grablege und als vorgeschobenen Posten gegen die Würzbürger Bischofskirche angelegt haben. Er wurde 997 Nachfolger seines Vaters in Schwaben-Rätien-Elsaß. Er war kein junger Mann mehr und politisch von erheblichem Gewicht, wahrscheinlich ein Vertrauter des jungen Kaisers. Er zog zeitweise mit OTTO III. nach Italien und begleitete ihn auch auf seinem zweiten Romzug. Er bezeugte 998 eine Urkunde, mit der der Kaiser einem Grafen Berthold das Marktrecht in Villingen verlieh. Beim dritten und letzten Romzug war er offenbar nicht dabei. Hermann war verheiratet mit Gerberga von Burgund, der Tochter des burgundischen Königs Konrad. Diese war eine Urenkelin der Herzogin Regilinde und eine Enkelin der schwäbischen Herzogstochter Bertha, die den burgundischen König Rudolf geheiratet hatte. Diese familiäre Beziehung zur ältesten schwäbischen Herzogsfamilie war sicher für Hermanns Stellung in Schwaben nicht unwichtig. Von größerer Bedeutung aber war, daß Gerbergas Mutter Mathilde eine Enkelin HEINRICHS I. und seiner Frau Mathilde war, die Tochter ihrer Tochter Gerberga, die mit dem französischen König Ludwig IV., einem KAROLINGER, verheiratet gewesen war. Hermann gehörte also über seine Frau Gerberga zur sächsischen Königsfamilie, und seine Ernennung zum Herzog von Schwaben bedeutete auch eine Anerkennung dieses herausragenden Ranges durch den Kaiser. Hermann erstrebte nach dessen Tod 1002 als Kandidat des Erzbischofs Heriberts von Köln die Nachfolge gegen Herzog Otto von Kärnten und Herzog Heinrich IV. von Bayern. Bei der Leichenfeier OTTOS III. am 5. April 1002 hatte der größte Teil der anwesenden Großen ihn anerkannt, ihm Schutz und Beistand versprochen, Heinrich dagegen für ungeeignet zum Herrschen erklärt. Es ist bis jetzt lebhaft umstritten, worauf Hermann seine Kandidatur letztlich gründete, wobei offen bleiben muß, ob vielleicht Gerberga die treibende Kraft war [Die Töchter Mathilde und Gisela waren außergewöhnlich tatkräftige, politisch engagierte und ehrgeizige Frauen, ihr Vater dagegen, wenn wir Thietmar glauben wollen, ein zurückhaltender und milder Mann. Könnten dann die Töchter den politischen Ehrgeiz von ihrer Mutter geerbt haben?]. Zwar wird Hermann von seinem Verwandten Thietmar von Merseburg als ein gottesfürchtiger und demütiger Mann geschildert, der gerade wegen seiner Milde von vielen zum Widerstand gegen den nach des Chronisten Meinung rechtmäßigen Kandidaten verführt worden sei, doch kann es ihm an "königlichen" Anspruch und Selbstbewußtsein kaum gefehlt haben. Da Otto von Kärnten, dessen Sohn Konrad mit Hermanns Tochter Mathilde vermählt war, verzichtete, stiegen Hermanns Chancen, weil Ottos Parteigänger in ihm den geeigneten Kandidaten sahen. Trotz weitreichender Familienverbindungen scheitere er letztlich am Durchsetzungswillen Heinrichs, obwohl er die Unterstützung vieler Fürsten und Bischöfe hatte, die ihn bei OTTOS Beisetzung im April 1002 in Aachen zum Nachfolger designiert hatten. Heinrich kam ihm zuvor und ließ sich im Juli vor allem durch geistliche Fürsten wählen und von Erzbischof Willigis von Mainz krönen. Hermann besaß zunächst einen beachtlichen Anhang und bei seinem ersten Kriegszug stand auch ein Teil der Franken auf seiner Seite. Mehrere militärische Aktionen und Plünderungszüge wurden von beiden Seiten durchgeführt, mehrmals zog auch Heinrichs Heer durch Franken, das von Thietmar nun als königstreu geschildert wurde, und durch Schwaben und verwüstete Hermanns Besitzungen. Im Herzogtum selber kam es zu Unruhen, weil der Bischof von Straßburg und Bischof Heinrich von Würzburg auf Heinrichs Seite standen und sich von einer Schwächung des Herzogs eine Verbesserung der eigenen Stellung versprachen. Nach hartnäckigem Widerstand unterlag Hermann und mußte sich am 1.10.1002 demütig in Bruchsal vor HEINRICH unterwerfen. Bis auf einen von ihm zu zahlenden Schadensersatz für Übergriffe seiner Leute in Straßburg blieb er besitzmäßig offenbar ungeschoren und wurde in Schwaben als Herzog bestätigt. Die durchaus glaubwürdigen Miracula S. Verenae berichteten, dass dem Schwaben-Herzog Hermann zunächst mehrere Töchter geboren worden waren und er erst nach einer Wallfahrt zur heiligen Verena in Zurzach einen männlichen Leibeserben, den späteren Hermann III., erhielt. Im Zusammenhang mit der Beerdigung ihres Sohnes Berthold haben Hermann und Gerberga in Marchtal ein weltliches Chorherrenstift eingerichtet und aus Hermanns mütterlichem Erbe bepfründet.