Теоретическая информатика — 06 — Билеты

  1. Основные понятия теории информации
  2. Энтропия. Определение и основные свойства
  3. Единственность определения функции энтропии
  4. Совместная энтропия, условная энтропия, взаимная информация. Свойства
  5. Кодирование сигналов. Основные определения
  6. Неравенство Крафта для префиксных кодов
  7. Оптимальное кодирование
  8. Неравенство Крафта-Макмиллана для однозначно декодируемых кодов
  9. Понятие информационной ёмкости канала. Примеры
  10. Передача информации по каналам с шумом. Основные определения
  11. Теорема Шеннона
  12. Задача кластеризации. Иерархические методы
  13. Задача кластеризации. Алгоритм $k$-средних
  14. Спектральная кластеризация. Постановка задачи
  15. Алгоритм спектральной кластеризации
  16. Метод опорных векторов для линейно разделимых выборок
  17. Метод опорных векторов с мягким зазором
  18. Задача линейной регрессии
  19. Сингулярное разложение матрицы
  20. Гребневая регрессия