Das Schloß in Wasseralfingen in der Nähe des Kochers,war einst eine Wasserburg. Es besteht aus einem schlichten Viereckbau mit Innenhof umringt von einem Graben (Wassergraben) .
Als Gründer wird der Ellwanger Ritter Ulrich von Ahelfingen genannt. Entstanden ist das Schloß im 14. Jahrhundert, vermutlich vor 1337 und wurde 1377 Sitz der Ulrichschen Linie. Der Bau scheint für die damalige Zeit sehr weiträumig gewesen zu sein.
Im Laufe des folgenden Jahrhunderts kam das Schloß abwechselnd in die Hände von Adelsgeschlechtern. Ulrich Hagg überließ dieselbe seinem Schwager Hans v. Lierheim, dieser, unter Vorbehalt der Wiederlösung, seinem Neffen, Hans von Haggen, welcher 1406 an die Truchsetze v. Stetten verkaufte.
Von diesen brachte Ulrich von Ahelfingen auch diese 2. Hälfte an sich (1407), aber nur um sie 1409 an Konrad v. Pfalheim abzutreten. Bei ihm haben Konrad und Hans, die Söhne jenenHans v. Lierheim, ihr Wiederlösungsrecht geltend gemacht (um 1414). Konrad v. Lierheim erwarb auch den Anteil seines Bruders (1424-1429), sein Sohn Jörg aber hat an Hans und Ulrich v. Ahelfingen 1479 für 2800 Kreuzer den Halbteil des Schlosses samt den Gütern und einem Teil Wasseralfingens verkauft.
So war endlich die Burg und Herrschaft wieder zusammen. Mit dem Enkel von Wilhelm v. Ahelfingen nämlich Wolf v. Ahelfingen erlosch die Familie und die Probstei Ellwangen zog als Lehensherrin das Ganze an sich (um 1553).
Doch hatte König Wenzel etliche Güter zu Wasseralfingen für Reichslehen erklärt und Wolfs nächster Erbe, Wilhelm v.Wöllwarth nahm mehreres in Anspruch, z.B. die Dorfmühle. Die Dormühle wurde jedoch 1563 von Ellwangen abgekauft.
Ellwangen verknüpfte die Besitzungen beider Ahelfinger Linien zu einem Oberamt, dessen Amtsmann in Westhausen saß, der Adlige Oberamtmann wohnte aber im Schloß Wasseralfingen.
In diesem wohnte nachher kurze Zeit der Württembergische Oberamtmann von Aalen, hierauf ein Oberforstmeister und 1817 wurden für die königlichen Eisenhütten Wohnungen eingerichtet; die Schloßkapelle war zeitweise eine Werkstätte und die Schloßgüter wurden zum Teil verkauft und getauscht, ein ansehnlicher Teil wurde verpachtet.
Heute ist im Schloß eine Sprachheilschule untergebracht.