Раздел 02 · Каталог
Архитектура — это правило, по которому нейроны соединены друг с другом. Оно определяет, что модель способна заметить: соседние пиксели, порядок слов или связь между далёкими фразами.
Хронология
Розенблатт строит перцептрон — железный ящик с моторчиками, крутящими потенциометры-веса.
Обратное распространение ошибки становится общим местом: теперь можно обучать глубокие слои.
LeCun показывает LeNet-5: свёртки читают рукописные цифры на конвертах.
AlexNet выигрывает ImageNet с огромным отрывом. Обучение переезжает на видеокарты.
Появляются GAN: две сети играют друг против друга, и одна из них учится рисовать.
Статья про механизм внимания хоронит рекуррентность и открывает эпоху трансформеров.
Диффузионные модели и большие языковые модели: генерация становится массовым инструментом.