Старинная и очень красивая легенда о любви Козы Корпеш и Баян Сулу, чем-то напоминает всемирную историю Ромео и Джульетты, подобные сюжеты о вечной любви, наверное есть в эпосах многих народов. Казахская легенда красива и романтична она ни кого не оставит равнодушным, и во все времена найдутся люди искренне сопереживающие героям степного романа.
Друзья с детства Сарыбай и Карабай поклялись поженить своих детей, которых еще до появления на свет обручили. Не дождавшись рождения сына, умирает во время охоты Сарыбай. Подрастающие Козы и Баян, еще не видевшие друг друга, но связанные узами брачного договора, наконец, полюбили друг друга. Проходит время и вероломный Карабай меняет жизненные планы. Он обещает отдать свою дочь за местного палуана Кодара, спасшего однажды его отары от джута. Кодар становится преградой между влюбленными. В этом вечном треугольнике первым сложил буйную голову Козы. Опечаленая Баян, чтобы отомстить убийце, прибегает к хитрости. Она обещает выйти замуж за Кодара, если тот выроет для нее колодец с ключевой водой. Кодар принимается за работу, углубляясь, держась за волосы коварной Баян. Девушка неожиданно отрезает косы: Кодар проваливается в бездну и погибает. Тем самым, Козы отомщен. На его могиле героиня легенды закалывает себя кинжалом. Старики рассказывают, что захоронение проросло дивным кустом шиповника, на котором однажды зацвели алая и белая розы... Цветы, однако, не долго радовали глаз путника. Они поникли, почернели, и засохли…
Эта лирическая поэма казахского народа многие годы интересовала драматургов, этнографов и историков многих народов. Одна из первых записей легенды была сделана для А. С. Пушкина и сохранилась в его архиве. В конце прошлого века известный исследователь Центральной Азии и Казахстана Г. Н. Потанин писал: «...Любимая повесть, которую знает вся степь от Оренбурга до Зайсана, верх казахской этики, это история красавицы Баян сулу, которая влюбилась в Козы Корпеша...».
Мазар Козы Корпеш-Баян Сулу был воздвигнут близ аула Тансык Аягузского района Восточно-Казахстанской области. Мазар является одим из древнейших памятников в Казахстане, дошедших до нашего времени. По мнению некоторых исследователей этот памятник был воздвигнут в V-X вв., по мнению других - в X-XI вв. Общая высота мазара составляет 11,65 м, толщина стены 1,86 м. Вход в мавзолей с востока имеет маленькие окна размером 0,7×0,5 см. Перед входом в мавзолей установлены попрано четыре скульптуры, которые изображают по народному преданию Козы Корпеш, Баян сулу, её младшую сестру и сноху.
Первоначально объёмная композиция мазара при квадратном плане (с внешней стороны 7,1×7,1 м, с внутренней 3,38×3,38 м) представляла собой четырёхгранную пирамиду, образованную путём напуска рядов горизонтальной кладки и увенчанную фигурным шпилем. Этим древним сооружением, его необычной архитектурной формой, а в особенности его историей, во все времена интересовались ученые и путешественники. Сохранились записи некоторых исследователей XIX в., посещавших памятник. Чокан Валиханов, побывавший у памятника в 1856 г., был поражен его высотой: девять человек должны были встать друг на друга, чтобы верхний дотянулся до купола. Большую ценность представляют зарисовки сделанные казахским ученым этнографом, на которых он изобразил стоявшие у памятника каменные изваяния.
В 1982 году Мазар Козы Корпеш и Баян сулу был включен в список памятников истории и культуры Казахстана Республиканского значения и взят под охрану государства.
Одним из самых первых архитектурных сооружений города Семей дошедших до нашего времени - являются Ямышевские ворота. Это фортификационное сооружение признано памятником архитектуры XVIII века.
Акбаур – интересный природно-исторический памятник Верхнего Прииртышья, неолитический храмовый комплекс. Термин «Акбаур» используется для обозначения района, ограниченного селами Б.Утепов, Васильевка, бывшим санаторием Горняк, Кочунай, Кок-Тау.