[El Scorpio]

А хочу свои ПК и ноутбук подключить посредством маршрутизатора к этой локальной сети, ну и соответственно пользоваться интернетом. »

Смотря какой маршрутизатор. Просто лично я с ними мало имел дел из-за того, что в нашем городке пока только ADSL используется.
В одном DLink (точную марку не скажу) на WAN-порту можно было создавать сразу два соединения - основное PPPoE для выхода в интернет и дополнительный IP-адрес для локальной сети провайдера.
Впрочем, схожая функция может быть у всех моделей - достаточно будет поинтересоваться у продавца в магазине или попросить его включить устройство на месте и поглядеть на его меню.

P.S.
А модем - вкусный. Курочить его не стоит - лучше попытаться продать знакомому человеку, желающему подключиться к ADSL. Всё равно провайдеры с барского плеча обычно говнище всякое вручают