Задание

Написать web-crawler - консольное приложение, которое на вход получает:

• url входа,
• степень параллелизма (кол-во одновременно обрабатываемых url’ов)

Результат сохраняет в файл в виде:
url: content-type, response length

Учитывать возможность выделения кода в компонент, который будет встраиваться в другие приложения и тестируемость.

Реализация консольного приложения

Аргументы командной строки:
—urls ‘url1’ ‘url2’ —max-degree-of-parallelism 1 —output-file result.txt
где:
—urls - список url через пробел
—max-degree-of-parallelism - количество одновременно обрабатываемых url’ов
—output-file - файл с результатом