Auf Konrad folgte in der Herzogswürde Hermann II. (997-1003) nach einer Nachricht sein Sohn, nach einer anderen sein Neffe, Sohn seines Bruders Udo, der im Jahr 982 in Calabrien gefallen war. Vermählt war er mit Gerberga, Tochter König Konrads von Burgund, einer Stiefschwester von Gisela, der Mutter des späteren Kaisers HEINRICH II. und Witwe eines Grafen Hermann von Werla. Bei OTTOS zweiter Romfahrt erscheint er im März 999 zu Rom in seiner Umgebung, wie der Kaiser anderseits bei seinem letzten Zug nach Italien den 11. Juni 1000 die schwäbische Pfalz Hohentwiel berührte.
Nachdem OTTO jenseits der Alpen im Jahr 1002 seinen Tod gefunden und mit ihm die männliche Nachkommenschaft OTTOS I. erloschen war, trat unter anderen Bewerbern um die Königskrone auch Herzog Hermann auf. Sonst als mächtiger, reicher und kluger, dabei aber demütiger und milder Mann geschildert, scheint er hier mehr fremder Eingebung gefolgt zu sein. Bei dem Leichenbegräbnis OTTOS in Aachen (den 5. April 1002) wußte er von den meisten anwesenden Großen des Reiches die Zusage ihrer Mitwirkung für seine Pläne zu erreichen und es mögen zu seinen Anhängern namentlich der Erzbischof Heribert von Köln, sodann Gottfried, wahrscheinlich Graf der Ardennen und spätere Herzog von Nieder-Lothringen, Erzbischof Gisiler von Magdeburg, der sächsische Graf Brun, sehr wahrscheinlich damals schon sein Schwiegersohn, gehört haben. Allein im Juni 1002 wurde zu Mainz vornehmlich auf Betreiben des Mainzer Erzbischofs Willigis der nächste Blutsverwandte des verstorbenen Kaisers (Eigener Einwurf: Nach meiner Meinung ist dies nicht richtig, da Otto von Worms und die Kinder des Pfalzgrafen Ezzo näher mit OTTO III. verwandt waren), der Bayern-Herzog von der jüngeren sächsischen Linie, durch fränkische, bayerische und oberlothringische Große zum König gewählt. Es war Herzog Hermann von Schwaben den Monat zuvor nicht gelungen, Heinrich den Rheinübergang zu verwehren, indem ihn der letztere durch einen verstellten Rückzug überlistet hatte, und auch mit einem Vorschlag, das Reich zu teilen, fand er keinen Anklang. Erbittert fiel er nunmehr im Bunde mit seinem Schwiegersohn Konrad, dem Sohne Herzog Ottos von Kärnten, über die erste Stadt seines Herzogtums Straßburg her, weil dieselbe zu ihrem königlich gesinnten Bischof hielt, und ließ sie ausplündern. Auch die Kathedralkirche wurde ausgeraubt und eingeäschert, eine Untat, welche keineswegs sicher mit Hermanns Wissen geschah, diesem jedoch von den mönchischen Schriftstellern seiner Zeit schwer angerechnet wird.
König HEINRICH seinerseits war durch O-Franken und das nördliche  Schwaben zum Bodensee gezogen, woselbst er sich am 24. Juni und den folgenden Tagen auf der Insel Reichenau aufhielt. Es kam ihm hier das Gerücht zu, Hermann wolle den Streit in offenem Kampfe entscheiden, allein schon am 29. des Monats erhielt er die Nachricht, der Herzog wolle und könne bei seinem Vorsatze nicht beharren. Sofort wandte er sich über Sontheim an der Brenz nach Franken, indem er unterwegs die Höfe Hermanns verwüstete. Dessen Leute führten noch einige glückliche Unternehmungen gegen HEINRICHS Anhänger, die Bischöfe von Straßburg, sowie seinen Schwager, dem Grafen Gerhard im Elsaß, aus und entrissen den beiden ersteren namentlich durch List die Feste Breisach. Allein da der Herzog den König in allen anderen Landschaften nach einander anerkannt sah, entschloß er sich, ehe der bereits für das kommende Frühjahr gegen ihn geplante Feldzug zur Ausführung kam, zur Nachgiebigkeit. Als HEINRICH sich gerade in Bruchsal aufhielt, eilte er zu ihm, bat ihn hier am 1. Oktober demütig um Verzeihung und erhielt dieselbe, wie berichtet wird, auch wirklich durch Vermittlung der Königin und der Fürsten. Von nun an blieb er dem König ergeben, fand sich einige Male am Hoflager ein und hatte sich auch der königlichen Gunst wiederholt zu erfreuen. Doch starb er bereits den 3. oder 4. Mai 1003.
Herzog Hermann II. hinterließ außer seinem gleichnamigen Sohne und Nachfolger drei Töchter, welche vielfach in die Geschichte ihrer Tage verflochten sind. Wahrscheinlich die älteste von ihnen, die schöne, kluge und geschäftsgewandte, wissenschaftlich gebildete, aber auch stolze Gisela, heiratete noch jung in 1. Ehe, welcher ein Sohn Liudolf entsproß, den sächsischen Grafen Bruno (von Braunschweig) einen nahen Verwandten des Kaiserhauses. Früh verwitwet reichte sie - ohne Zweifel um das Jahr 1007 - ihre Hand dem ritterlichen Ernst von der Ostmark, der durch sie das Herzogtum Schwaben gewann. Zuletzt - wohl spätestens gegen Ende des Jahres 1016 - wurde sie die Gemahlin des SALIERS, in der Folge Kaiser KONRAD II. Einigen freilich nicht ganz zuverlässigen Nachrichten zufolge hätte sie Konrad entführt, jedenfalls aber verstieß der Bund gegen die kirchlichen Eheverbote wegen zu naher Verwandtschaft [KONRAD sowohl als Gisela stammten von König HEINRICH I. ab, jener in 4., diese in 3. Generation (Richtig ist 5. und 4. Generation)]. Die zweite Tochter Mathilde vermählte sich zuerst mit Konrad, einem Oheim Kaiser KONRADS, Sohn und Nachfolger Herzog Ottos von Kärnten, nach seinem Tode mit Herzog Friedrich II. von Ober-Lothringen. Die dritte Tochter, deren Namen wohl eher Beatrix als Brigitte gewesen, war ohne Zweifel die Gemahlin Adalberos aus dem Stamme der EPPENSTEINER Grafen im Mürzthal, Nachfolger von Konrad im Herzogtum Kärnten [Unrichtig ist die Annahme einer vierten Tochter Gerberga, welche an den Markgrafen Heinrich vom Nordgau verheiratet und Mutter des späteren schwäbischen Herzogs Otto III. gewesen sein soll, sowie nicht genügend zu begründen die zweier weiterer Töchter Hadwig, Gemahlin des Grafen Eppo von Nellenburg und Mutter Eberhards des Seligen von Nellenburg, und Richware, 1. Gemahlin Berchtolds von Zähringen, Herzog von Kärnten.].