Pfaffenhofen: Unter Fuggerscher Herrschaft, die Bauernkriege und der Dreißigjährige Krieg
Im Jahr 1507 verkaufte Maximilian I. Pfaffenhofen sowie die Herrschaft Kirchberg-Weißenhorn und weitere Ländereien an den wohlhabenden Augsburger Handelstreibenden Jakob Fugger den Reichen (1459–1525). Die Gesamtsumme des Verkaufs betrug 50.000 Gulden, wovon 3.550 Gulden auf die Herrschaft Pfaffenhofen entfielen. Obwohl die Landeshoheit weiterhin bei den Habsburgern verblieb, ermöglichte dieser Kauf der Fugger-Familienlinie „von der Lilie“ einen beispiellosen sozialen Aufstieg. Die Fugger hatten bereits seit Ende des 14. Jahrhunderts durch Handel mit Stoffen und Metallen enorme Reichtümer angehäuft. 1511 wurden sie als Kaufleute in den Adelsstand erhoben, was in der ständischen Gesellschaft des späten Mittelalters äußerst unüblich war.
Im Jahr 1519 verstarb Maximilian I. und sein Enkel Karl V. folgte ihm auf den Thron. Während der Bauernaufstände von 1524 und 1525 stellten sich die Fugger auf die Seite der habsburgischen Herrscher und der Obrigkeit, da Jakob Fugger vor allem eigennützige Interessen verfolgte. Die Aufstände führten auch in Pfaffenhofen zu heftigen Auseinandersetzungen zwischen dem Schwäbischen Bund, in dem Obrigkeit und Klerus vereint waren, einerseits und der Bauernschaft andererseits. Viele Einwohner Pfaffenhofens und der umliegenden Dörfer und Weiler unterstützten die Bauernschaft und ihre Forderungen, wie sie auch in den Memminger „Zwölf Artikeln“ niedergelegt waren. Diese „Zwölf Artikel“ enthielten unter anderem die Forderung nach einer selbstständigen Wahl des Pfarrers sowie das Recht auf Mitsprache und Mitbestimmung in gemeinschaftlichen Angelegenheiten. Die Artikel werden heute als frühe Form einer Menschenrechtsdeklaration betrachtet.
Im April 1525 besetzten Bauern aus der Region die Klöster in Ottobeuren und Elchingen sowie das nahegelegene Schloss Bühl. Zahlreiche Geistliche flohen im Zuge dessen nach Weißenhorn, um der aufgebrachten Bauernschaft zu entkommen. Nach dem vergeblichen Versuch, in die Stadt einzudringen, zogen sie weiter nach Roggenburg, wo das Kloster geplündert und schwer beschädigt wurde. Etwa 200 Bauern aus Pfaffenhofen und den umliegenden Dörfern beteiligten sich an den Aufständen gegen den Schwäbischen Bund.
Die Truppen des Schwäbischen Bundes, angeführt von Georg Truchseß von Waldburg (1488–1531), konnten die Aufstände in Mittelschwaben schließlich zurückdrängen. Bereits im April 1525 erzielten sie einen wichtigen Sieg in der Schlacht bei Leipheim. Die besiegten Bauern wurden daraufhin hart bestraft, und einige ihrer Anführer, wie der in der Region bekannte Bauernführer Jörg Ebner, der den Zug nach Weißenhorn angeführt hatte, wurden hingerichtet. Auch in Pfaffenhofen und den umliegenden Ortschaften wurden Strafen gegen die Aufrührer verhängt.
Im Jahr 1525 verstarb Jakob Fugger. Sein Neffe Anton übernahm nun die fuggerschen Herrschaften in Bayerisch-Schwaben. Die Familie blieb auch weiterhin eng mit dem habsburgischen Herrscherhaus verbunden. 1530 besuchten Kaiser Karl V. und sein Bruder König Ferdinand Weißenhorn. Sie wurden von zahlreichen Bediensteten und von berittenen Truppen begleitet, die auch in Pfaffenhofen untergebracht und versorgt wurden.
In der zweiten Hälfte des 16. Jahrhunderts kam es zu kleineren Herrschaftskonflikten zwischen den fuggerschen Herrschern und den Ulmer Patrizierfamilien, die in Pfaffenhofen und den heutigen Ortsteilen Besitztümer hatten. Dennoch wurden wichtige Entwicklungen in der Ortsentwicklung vorgenommen, wie etwa der Bau des Amtshauses im Jahr 1538 und des Schul- und Mesnerhauses in der Nähe der Kirche. Letzteres diente bis zum Abriss in den 1980er Jahren auch als Rathaus.
Für die Zeit des Dreißigjährigen Krieges (1618–1648) sind kaum Zeugnisse erhalten geblieben. Es wird vermutet, dass ein großer Teil der Bevölkerung Pfaffenhofens und der umliegenden Ortschaften den kriegerischen Auseinandersetzungen zum Opfer fiel. Schätzungsweise überlebten nur etwa 300 Bewohner. Auch die Pest und andere Krankheiten wüteten in dieser Zeit, was verheerende Auswirkungen auf die Bevölkerung hatte.