Введення до іменованих конвеєрів
Linux Journal. Andy Vaught on Sun, 1997-08-31 23:00 http://www2.linuxjournal.com/article/2156
Передмова
Невеличкий опис іменованих конвеєрів.
Однією з найкорисніших фундаментальних властивостей Unix (у тому числі й Linux) є конвеєри. Конвеєри уможливлюють зв'язок між процесами, котрі не призначались спеціально для такої взаємодії. А це дозволяє знаряддям з досить вузьким колом функцій комбінуватись у різні способи для виконання складніших завдань.
Прості приклади
Простий приклад використання конвеєра:
ls | grep x
Оболонка bash, перевіряючи командний рядок, знаходить вертикальну риску |, що розділює дві команди, після чого, як і інші оболонки, запускає обидві команди, під'єднуючи вивід першої команди до вводу другої. Програма ls видає список файлів у поточному каталозі, тоді як grep читає вивід ls й видруковує лише ті лінії, які містять x.
Наведений приклад, відомий більшості користувачів Unix, є так званим "неназваним конвеєром". Такий конвеєр існує лише в ядрі й недоступний для процесів, що його створили — в даному випадку це оболонка bash. Кому невідомо: головний процес — це перший процес, створений програмою. Він може, в свою чергу, створювати підпроцеси.
Іншим різновидом конвеєрів є іменовані конвеєри, які іноді також називаються FIFO. FIFO походить від "First In First Out" і посилається на властивість упорядкування данних, коли перші байти що надійшли у пам'ять, будуть також першими байтами які буде з неї вилучено. Ім'я іменованого конвеєра є дійсною назвою файла у файловій системі. Конвеєри виводяться командою ls так само як і решта файлів і кількома невеликими відмінностями:
% ls -l fifo1
prw-r--r-- 1 andy users 0 Jan 22 23:11 fifo1|
Буква p у лівій частині виводу вказує на те що fifo1 є конвеєром (pipe). Решта бітів дозволу вказують на те хто може читати або записувати до конвеєра, так само як і решта звичайних файлів. На системах із сучасною ls, знак | в кінці назви файла буде додатковою підказкою, а на Лінукс системах із опцією кольорового виводу консолі, fifo1| буде також видрукувано червоним за замовчуванням.
(Ваш вивід може відрізнятися від наведеного вище, звичайно).
У старших Лінукс системах, іменовані конвеєри утворюються за допомогою mknod програми, як правило розміщеної у /etc директорії. На більш сучасних системах, mkfifo є стандартною утилітою для цього. Програма mkfifo бере один або більше назв файлів як аргументи і утворює конвеєри із цими під цими назвами. Наприклад, щоб створити імeнований конвеєр під назвою pipe1, запустіть команду:
mkfifo pipe1
Найпростіший спосіб демонстрації як іменовані конвеєри працюють, це за допомогою прикладів. Скажімо, ми створили pipe1, як було показано вище. У другій віртуальній консолі, назвемо її консоль 1, введіть:
ls -l > pipe1
тепер відкрийте ще одну консоль, назвемо її консоль 2, і скомандуйте:
cat < pipe1
Вуаля! Вивід команди що була запущена у першій консолі буде показано в другій. Зауважте що порядок у якому ви запустите команди не має значення, так команда cat у другій консолі зачекає на ls першої.
Ви, напевне помітили, що перша команда, запущена вами ніби підвисає. Це відбувається тому що другий кінець конвеєра не є ще під'єднаним, тож ядро відкладає завершення першого процесу доти, доки другий процес відкриє конвеєр. У жаргоні Юнікс говорять, що процес блоковано, оскільки він очікує щоб щось сталося.
Одне з дуже корисних застосувань іменованих конвеєрів, це можливість комунікації зовсім різних програм. Так, скажімо, програма яка обслуговує якісь запити (друкування файлів, доступ до бази даних, тощо) може відкрити конвеєр для читання. Потім інший процес міг би робити запити, відкривши конвеєр і пишучи туди команди. Тобто "сервер" може виконувати завдання для клієнта. Блокування теж можливе, якщо клієнт нічого не записує, а сервер не читає.
Схиблені конвеєри
Створіть два іменованих конвеєра pipe1 та pipe2. Введіть команди:
echo -n x | cat - pipe1 > pipe2 &
cat < pipe2 > pipe1
Нічого не відбудеться, з першого погляду, на екрані нічого не з'явиться, але якщо ви запустите top (подібну ps команду для відображення статусу процесів), то ви побачите що обидві cat програми неначе схибились, забираючи всі ресурси і копіюючи літеру x вперед і назад у нескінченному циклі. Після того як ви притиснете Ctrl+C щоб вийти із циклу, ви можете отримати повідомлення "broken pipe". Ця помилка виникає коли присутній процес що записує у конвеєр і процес що процес що зчитує з конвеєра раптом закриває свій кінець. Оскільки читач зник, дані не мають куди йти. При нормальних обставинах, пишучий кінець закінчить запис і закриє конвеєр, читач побачить EOF (End Of File) і теж припинить роботу.
Поява "broken pipe" помилки у великій мірі залежить від того у який саме момент ви притиснули Ctrl-C клавіші. Якщо друга cat тільки-но прочитала x, натискання Ctrl-C зупинить другий cat, pipe1 буде закрито і перша cat без помилок закінчить свою роботу. На противагу, якщо другий cat очікує на перший щоб той записав x, Ctrl-C призведе до закриття pipe2 до того як перша cat зможе записати туди, це видасть повідомлення про помилку. Цей тип поводження, загалом, відомий як стан перегону (race condition).
Заміна команд
Bash використовує іменовані конвеєри у дуже вмілий спосіб. Згадайте, що стається коли ви включаєте команду в круглі дужки, команда буде запущена у підоболонці, тобто оболонка клонує сама себе і клон інтерпретує команди в дужках. Ми можемо вносити декілька команд в дужки, всі вони будуть інтерпретовані підоболонкою:
(ls -l; ls -a) > ls.out
Запише вивід обох команд у файл ls.out файл.
Заміна команд відбувається коли ви добавляєте < або > спереду лівої дужки. Наприклад, запуск команди:
cat <(ls -l)
призведе до того що команда ls -l буде виконана у підоболонці, як завжди, але вивід буде перенаправлено до тимчасового іменованого конвеєру, який bash створить, дасть йому назву і видалить пізніше. В результаті cat отримує чинний файл який вона може читати, і ми бачимо вивід ls -l, навіть якщо це вимусило до одного зайвого кроку щоб його отримати. Аналогічно, запуск >(команда) призведе до створення bash тимчасового конвеєру з назвою, з якого команди всередині дужок будуть читати, отримувати свій ввід.
Якщо ви хочете побачити чи дві директорії включають ті самі назви файлів, запустіть єдину команду:
cmp <(ls dir1) <(ls dir2)
Програма порівнювання cmp, побачить назви двох файлів, точніше двох іменованих конвеєрів які bash автоматично створить, і прочитає і порівняє їх.
Заміна команд також робить tee утиліту (використовується для проглядання та збереження змісту виводу команд) набагато кориснішою у тому що дозволяє один потік вводу бути прочитаним багатьма "читачами" без необхідності у тимчасових файлах - bash виконає всю роботу за вас. Команда:
ls | tee >(grep foo | wc > foo.count) \
>(grep bar | wc > bar.count) \
| grep baz | wc > baz.count
лічить кількість повторювань foo, bar та baz у виводі ls та записує цю інформацію у три різні файли. Заміни команд можуть навіть гніздитись:
cat <(cat <(cat <(ls -l)))
працює дуже-дуже обхідним шляхом щоб перечислити зміст теперішньої директорії.
Як ви бачите, якщо неіменовані конвеєри дозволяють поєднувати прості команди, іменовані конвеєри із допомогою bash, дозволяють створення цілих розгалужень конвеєрів. Можливості тут обмежуються тільки вашою уявою.