LinkedIn sẽ ra mắt tính năng tìm kiếm người mới được hỗ trợ bởi AI trong tuần này, sau khoảng thời gian có vẻ như đã chờ đợi rất lâu cho những gì lẽ ra phải là một sản phẩm tự nhiên dành cho AI sáng tạo.
Phải ba năm sau khi ra mắt ChatGPT và sáu tháng sau khi LinkedIn ra mắt dịch vụ tìm kiếm việc làm bằng AI. Đối với các nhà lãnh đạo kỹ thuật, dòng thời gian này minh họa một bài học quan trọng cho doanh nghiệp: Triển khai Generative AI trong môi trường doanh nghiệp thực là một thách thức, đặc biệt là ở quy mô 1,3 tỷ người dùng. Đó là một quá trình tối ưu hóa thực dụng chậm chạp và tàn bạo.
Tài khoản sau đây dựa trên một số cuộc phỏng vấn độc quyền với nhóm kỹ thuật và sản phẩm LinkedIn đằng sau buổi ra mắt.
Đầu tiên, đây là cách sản phẩm hoạt động: Giờ đây, người dùng có thể nhập truy vấn bằng ngôn ngữ tự nhiên như, “Ai là người am hiểu về việc chữa bệnh ung thư?” vào thanh tìm kiếm của LinkedIn.
Tìm kiếm cũ của LinkedIn, dựa trên từ khóa, có thể đã bị hỏng. Nó sẽ chỉ tìm kiếm những tài liệu tham khảo về “ung thư”. Nếu người dùng muốn tìm hiểu sâu hơn, họ sẽ phải chạy các tìm kiếm từ khóa cứng nhắc, riêng biệt cho “ung thư” và sau đó là “ung thư” và cố gắng ghép các kết quả lại với nhau theo cách thủ công.
Tuy nhiên, hệ thống hỗ trợ AI mới hiểu được ý định của tìm kiếm vì LLM dưới mui xe nắm bắt được ý nghĩa ngữ nghĩa. Ví dụ, nó thừa nhận rằng “ung thư” về mặt khái niệm có liên quan đến “ung thư” và thậm chí ít trực tiếp hơn với “nghiên cứu về gen”. Kết quả là, nó hiển thị một danh sách những người có liên quan hơn nhiều, bao gồm cả các nhà lãnh đạo và nhà nghiên cứu ung thư, ngay cả khi hồ sơ của họ không sử dụng từ chính xác “ung thư”.
Hệ thống cũng cân bằng sự liên quan này với sự hữu dụng. Thay vì chỉ hiển thị bác sĩ ung thư hàng đầu thế giới (người có thể là kết nối cấp độ thứ ba không thể truy cập được), nó cũng sẽ cân nhắc xem ai trong mạng lưới trực tiếp của bạn – như kết nối cấp độ một – là “khá phù hợp” và có thể đóng vai trò là cầu nối quan trọng với chuyên gia đó.
Tuy nhiên, có thể cho rằng, bài học quan trọng hơn dành cho những người thực hành doanh nghiệp là “sách dạy nấu ăn” mà LinkedIn đã phát triển: một quy trình chưng cất nhiều giai đoạn, có thể nhân rộng, đồng thiết kế và tối ưu hóa không ngừng. LinkedIn đã phải hoàn thiện điều này trên một sản phẩm trước khi thử nó trên một sản phẩm khác.
Wenjing Zhang, Phó Giám đốc Kỹ thuật của LinkedIn, viết trong một bài đăng về việc ra mắt sản phẩm và cũng là người đã nói chuyện với VentureBeat vào tuần trước trong một cuộc phỏng vấn: “Đừng cố gắng làm tất cả mọi thứ cùng một lúc”. Cô lưu ý rằng “tham vọng lớn lao” trước đó nhằm xây dựng một hệ thống thống nhất cho tất cả các sản phẩm của LinkedIn đã “làm chậm tiến độ”.
Thay vào đó, LinkedIn tập trung vào việc giành được một ngành dọc trước tiên. Sự thành công của Tìm kiếm việc làm bằng AI đã ra mắt trước đó – dẫn đến những người tìm việc mà không cần bằng cấp 4 năm Khả năng được tuyển dụng cao hơn 10% theo Phó Giám đốc Kỹ thuật Sản phẩm Erran Berger – đã cung cấp bản thiết kế.
Giờ đây, công ty đang áp dụng kế hoạch chi tiết đó cho một thách thức lớn hơn nhiều. Berger nói với VentureBeat: “Có thể thực hiện điều này trên hàng chục triệu công việc là một chuyện. “Đó là một việc khác để thực hiện điều này trên một tỷ thành viên phía bắc.”
Đối với các nhà xây dựng AI doanh nghiệp, hành trình của LinkedIn cung cấp cẩm nang kỹ thuật cho những gì nó Thực ra cần chuyển từ một sản phẩm thí điểm thành công sang một sản phẩm có quy mô hàng tỷ người dùng.
Thử thách mới: biểu đồ 1,3 tỷ thành viên
Berger giải thích, sản phẩm tìm kiếm việc làm đã tạo ra một công thức mạnh mẽ mà sản phẩm tìm kiếm người mới có thể xây dựng dựa trên đó.
Công thức bắt đầu với một “tập dữ liệu vàng” chỉ từ vài trăm đến một nghìn cặp hồ sơ truy vấn thực, được chấm điểm một cách tỉ mỉ dựa trên tài liệu “chính sách sản phẩm” chi tiết dài 20 đến 30 trang. Để mở rộng quy mô này cho hoạt động đào tạo, LinkedIn đã sử dụng tập hợp vàng nhỏ này để thúc đẩy một mô hình nền tảng lớn tạo ra một khối lượng lớn tổng hợp dữ liệu huấn luyện. Dữ liệu tổng hợp này được sử dụng để huấn luyện một 7 tỷ tham số Mô hình “Chính sách sản phẩm” — đánh giá mức độ liên quan có độ chính xác cao, quá chậm để sản xuất trực tiếp nhưng hoàn hảo để giảng dạy các mô hình nhỏ hơn.
Tuy nhiên, đội đã sớm gặp phải bức tường. Trong sáu đến chín tháng, họ đã nỗ lực đào tạo một mô hình duy nhất có thể cân bằng giữa việc tuân thủ chính sách nghiêm ngặt (mức độ liên quan) với các tín hiệu tương tác của người dùng. “Khoảnh khắc aha” đến khi họ nhận ra rằng họ cần phải giải quyết vấn đề. Họ đã chắt lọc mô hình chính sách 7B thành một Mô hình giáo viên 1.7B chỉ tập trung vào sự liên quan. Sau đó, họ ghép nối nó với các mô hình giáo viên riêng biệt được đào tạo để dự đoán các hành động cụ thể của thành viên, chẳng hạn như nộp đơn xin việc cho sản phẩm việc làm hoặc kết nối và theo dõi để tìm kiếm mọi người. Nhóm “nhiều giáo viên” này tạo ra điểm xác suất mềm mà mô hình học sinh cuối cùng đã học được để bắt chước thông qua mất phân kỳ KL.
Kiến trúc kết quả hoạt động như một đường dẫn hai giai đoạn. Đầu tiên, một cái lớn hơn Mô hình tham số 8B xử lý việc truy xuất rộng rãi, tạo ra một mạng lưới rộng để kéo các ứng viên ra khỏi biểu đồ. Sau đó, mô hình sinh viên được chắt lọc kỹ lưỡng sẽ tiếp tục xếp hạng chi tiết. Trong khi sản phẩm tìm kiếm việc làm đã triển khai thành công một 0,6B (600 triệu) tham số sinh viên, sản phẩm tìm kiếm người mới thậm chí còn yêu cầu nén mạnh mẽ hơn. Như Zhang lưu ý, nhóm đã cắt giảm mô hình sinh viên mới của họ từ 440M xuống chỉ còn Thông số 220M đạt được tốc độ cần thiết cho 1,3 tỷ người dùng với mức độ liên quan bị mất ít hơn 1%.
Nhưng việc áp dụng điều này vào tìm kiếm người đã phá vỡ kiến trúc cũ. Vấn đề mới không chỉ bao gồm xếp hạng nhưng cũng có thu hồi.
“Một tỷ hồ sơ,” Berger nói, là một “con thú khác”.
Ngăn truy xuất trước đó của nhóm được xây dựng trên CPU. Để xử lý yêu cầu về quy mô mới và độ trễ của trải nghiệm tìm kiếm “linh hoạt”, nhóm đã phải chuyển chỉ mục của mình sang Cơ sở hạ tầng dựa trên GPU. Đây là sự thay đổi kiến trúc nền tảng mà sản phẩm tìm kiếm việc làm không yêu cầu.
Về mặt tổ chức, LinkedIn được hưởng lợi từ nhiều cách tiếp cận. Có một thời gian, LinkedIn có hai nhóm riêng biệt – tìm kiếm việc làm và tìm kiếm người – cố gắng giải quyết vấn đề song song. Nhưng khi nhóm tìm kiếm việc làm đạt được bước đột phá bằng cách sử dụng phương pháp chắt lọc theo định hướng chính sách, Berger và đội ngũ lãnh đạo của ông đã can thiệp. Họ đã mời các kiến trúc sư của cuộc tìm kiếm việc làm — trưởng nhóm sản phẩm Rohan Rajiv và trưởng nhóm kỹ thuật Wenjing Zhang — để cấy trực tiếp ‘sách dạy nấu ăn’ của họ sang miền mới.
Chưng cất để tăng thông lượng gấp 10 lần
Khi vấn đề truy xuất được giải quyết, nhóm phải đối mặt với thách thức về thứ hạng và hiệu quả. Đây là nơi cuốn sách nấu ăn được điều chỉnh bằng các kỹ thuật tối ưu hóa mới và tích cực.
Bài đăng kỹ thuật của Zhang cung cấp các chi tiết cụ thể mà khán giả kỹ sư AI của chúng tôi sẽ đánh giá cao. Một trong những tối ưu hóa quan trọng hơn là kích thước đầu vào.
Để nuôi mô hình, nhóm đã đào tạo khác LLM với học tăng cường (RL) cho một mục đích duy nhất: tóm tắt bối cảnh đầu vào. Mô hình “tóm tắt” này có thể giảm kích thước đầu vào của mô hình bằng cách 20 lần với sự mất mát thông tin tối thiểu.
Kết quả tổng hợp của mô hình tham số 220M và mức giảm đầu vào 20 lần? MỘT Tăng gấp 10 lần thông lượng xếp hạng cho phép nhóm phục vụ mô hình một cách hiệu quả cho cơ sở người dùng khổng lồ của mình.
Chủ nghĩa thực dụng hơn là cường điệu: xây dựng công cụ chứ không phải đại lý
Trong suốt các cuộc thảo luận của chúng tôi, Berger kiên quyết về một điều khác có thể thu hút sự chú ý của mọi người: Giá trị thực sự của các doanh nghiệp ngày nay nằm ở việc hoàn thiện hệ thống gợi ý, chứ không phải ở việc theo đuổi “sự cường điệu của đại lý”. Ông cũng từ chối nói về những mẫu máy cụ thể mà công ty sử dụng để tìm kiếm, cho rằng điều đó gần như không thành vấn đề. Công ty lựa chọn các mô hình dựa trên mô hình nào họ thấy hiệu quả nhất cho nhiệm vụ.
Tính năng tìm kiếm người mới được hỗ trợ bởi AI là sự thể hiện triết lý của Berger rằng tốt nhất trước tiên bạn nên tối ưu hóa hệ thống đề xuất. Kiến trúc này bao gồm một “lớp định tuyến truy vấn thông minh” mới, như Berger giải thích, bản thân nó được hỗ trợ bởi LLM. Bộ định tuyến này quyết định một cách thực tế xem truy vấn của người dùng — chẳng hạn như “chuyên gia tin cậy” — nên chuyển đến ngăn xếp ngữ nghĩa, ngôn ngữ tự nhiên mới hay tìm kiếm từ vựng cũ, đáng tin cậy.
Toàn bộ hệ thống phức tạp này được thiết kế để trở thành một “công cụ” giúp tương lai đại lý sẽ sử dụng, không phải bản thân đại lý.
Berger nói: “Các sản phẩm của đại lý chỉ tốt khi những công cụ mà chúng sử dụng để hoàn thành nhiệm vụ cho con người”. “Bạn có thể có mô hình suy luận tốt nhất thế giới và nếu bạn đang cố gắng sử dụng một tác nhân để tìm kiếm người nhưng công cụ tìm kiếm người đó không tốt lắm, thì bạn sẽ không thể thực hiện được.”
Bây giờ tính năng tìm kiếm người đã có sẵn, Berger gợi ý rằng một ngày nào đó công ty sẽ cung cấp cho các đại lý sử dụng tính năng này. Nhưng ông không cung cấp chi tiết về thời gian. Ông cũng cho biết công thức được sử dụng cho công việc và tìm kiếm người sẽ được áp dụng trên các sản phẩm khác của công ty.
Đối với các doanh nghiệp xây dựng lộ trình AI của riêng mình, cẩm nang của LinkedIn rất rõ ràng:
- Hãy thực dụng: Đừng cố gắng đun sôi đại dương. Giành được một ngành dọc, ngay cả khi phải mất 18 tháng.
- Mã hóa “sách dạy nấu ăn”: Biến chiến thắng đó thành một quá trình có thể lặp lại (tài liệu chính sách, quy trình chưng cất, đồng thiết kế).
- Tối ưu hóa không ngừng: Lợi nhuận gấp 10 lần thực sự đến sau đó mô hình ban đầu, về việc cắt tỉa, chắt lọc và tối ưu hóa tính sáng tạo giống như một trình tóm tắt được đào tạo về RL.
Hành trình của LinkedIn cho thấy rằng đối với AI doanh nghiệp trong thế giới thực, việc tập trung vào các mô hình cụ thể hoặc hệ thống tác nhân thú vị nên lùi lại phía sau. Lợi thế chiến lược, lâu dài đến từ việc làm chủ được đường ống — cuốn sách dạy nấu ăn ‘bản địa AI’ về đồng thiết kế, chắt lọc và tối ưu hóa triệt để.