Hvad betyder dette?

Groft sagt går det ud på at studere elementer som ikke ændres af bestemte "virkninger". Ved første øjekast lyder dette lidt underligt: Man udfører en "virkning" på elementet, men der sker ikke noget? Men tænk for eksempel på en ligesidet trekant: Hvis man drejer den 120º om dens centrum, ender man med en trekant som ikke er til at skelne fra den man startede med (medmindre man har navngivet hjørnerne til at begynde med); se Eksempel 5.3 her: http://www-history.mcs.st-and.ac.uk/~edmund/lnotes/node7.html

Et andet eksempel: Betragt polynomiet x² + 2xy + y². Hvis vi udfører virkningen "byt om på x og y" på dette polynomium, så får vi y² + 2yx + x², og dette er lig med det oprindelige polynomium!

Ordet "invariant" bruges ofte også i betydningen "topologisk invariant": Groft sagt er dette en egenskab ved en figur som er uændret under såkaldte "homeomorfier" (fx skrympning af figuren). Se http://en.wikipedia.org/wiki/Topological_property

Tak for hjælpen :)
Men når du skriver "elementer" mener du så elementerne i gruppe og ringe(abstrakt alegbra)? Hvis nej, kan man ligeså godt erstatte ordet med "objekter"?

Velbekomme. :) Ja, man kan lige så godt erstatte ordet med "objekter". (Dette ord kan også godt dække over de ting der udgør en gruppe/ring. Der findes ikke rigtigt en stringent definition af hvad et "objekt" er, og heller ikke af hvad et "element" er; det er bare ord man bruger til at tale om de ting man nu studerer i matematik.) Jeg tror at i invariantteori er de objekter man studerer faktisk funktioner.