meta name="robots" content="noindex, nofollow"> вот это - именно тег, и он запрещает индексацию страниц поисковым роботам. Еще как вариант в robots.txt записывают информацию о неиндексации.

Как узнать,что твой партнер по обмену ссылками не впишет свой раздел "links" в robots.txt как неиндексируемый? Ведь тогда теряется весь смысл заниматься обменом ссылками... вот ИМЕННО ЧТО НИКАК, так как изначально обмен ссылками был для людей. А они как раз robots.txt обычно не смотрят