Câu chuyện Emil Emil như một nhà nghiên cứu AI tự làm

Nhìn vào những trải nghiệm trong quá khứ của bạn, thật thú vị khi thấy sự đa dạng như vậy trong những gì bạn đã theo đuổi. Nhân tiện, tôi thực sự yêu thích CV của bạn – phần quirks đặc biệt thú vị để đọc. Bạn có thể cho chúng tôi biết một chút về cuộc sống tiền AI của bạn?

Ở tuổi thiếu niên, tôi tập trung vào việc phát triển một lý thuyết về phát triển cá nhân hơn là nghiên cứu cho các kỳ thi. Khi tôi học xong trung học, tôi đã thử nó.

Tôi chuyển từ Thụy Điển đến Ghana, Tây Phi. Tôi bắt đầu làm giáo viên ở nông thôn, nhưng sau khi cầu khẩn tinh thần của vị tù trưởng đã chết của họ, sau đó họ đã chú thích tôi là vua của làng họ.

Sau khi tôi rời Ghana, tôi trở về Thụy Điển để làm tài xế xe tải. Sau đó tôi tham gia một ban nhạc và lưu diễn ở Mỹ, Mexico và Châu Âu. Tl; dr, tôi đã dành một vài năm lập kế hoạch và bắt tay vào những cuộc phiêu lưu phát triển cá nhân. Chúng được mô phỏng một cách lỏng lẻo sau cuộc hành trình của người anh hùng Jungian với những ảnh hưởng của Phật giáo và chủ nghĩa khắc kỷ.

Từ những chuyến đi của mình, tôi đã tiếp xúc với rất nhiều vấn đề xã hội dẫn tôi đến việc kinh doanh xã hội ở tuổi hai mươi. Tôi bắt đầu làm việc với Trung tâm Skoll dành cho doanh nhân xã hội tại Đại học Oxford. Một điều đã dẫn đến một điều khác, và cuối cùng tôi đã thành lập một công ty đầu tư để tài trợ cho các sáng kiến ​​giáo dục.

Khi nào bạn bắt đầu hành trình của mình tại Ecole42? Điều gì thúc đẩy bạn theo đuổi con đường này?

Tôi nhận ra rằng tôi thích trở thành một nhà sản xuất và lập trình trở thành nút thắt đối với nhiều mục tiêu dài hạn của tôi. Tôi bắt đầu học cách đây ba năm.

Tôi đã chọn 42 vì họ là một trong số ít các tổ chức giáo dục dựa trên việc học tập thực hành tốt nhất. 42 là một trường đại học ngang hàng được tạo ra từ những nguyên tắc đầu tiên để giải thích cho những gì chúng ta biết về việc học khoa học.

Có ý nghĩa. Làm thế nào để học lập trình dẫn bạn đến ML / DL?

Tôi đã dành sáu tháng lập trình ở C và sau đó thực tập học sâu tại FloydHub.

Trong thời gian thực tập, Tôi đã dành hai tháng đầu tiên để chơi với các mô hình và thực hiện các thuật toán học sâu cốt lõi từ đầu. Sau đó, tôi đã dành hai tháng để tô màu hình ảnh với các mạng thần kinh và kết thúc quá trình thực tập của mình với một dự án dịch các mô hình thiết kế sang HTML.

Bạn có thể đọc về những gì tôi đã làm trên blog FloydHub. Sự ra mắt của giai đoạn AI trong sự nghiệp của tôi.

Bạn rõ ràng có những giá trị mạnh mẽ liên quan đến giáo dục và ý tưởng về cách thức mà nó thực hiện tốt nhất. Nó cho thấy trong lựa chọn cá nhân của bạn và công việc của bạn với các khoản đầu tư vào các sáng kiến ​​giáo dục. Bạn có nghĩ rằng tự giáo dục là tương lai không?

Nhiều người đang nhận ra rằng giáo dục là một trò chơi chứng thực có tổng bằng không. Nó phục vụ những người có một loại động lực nhất định từ cùng một nền tảng kinh tế xã hội.

Tôi tin rằng hầu hết những người tham vọng đã tìm kiếm các tuyến đường thay thế, nhưng có một số lựa chọn tốt. Gần đây, chúng tôi đã thấy sự gia tăng của các trường đại học cho tự động, 40-50 hoặc hơn. Họ đang sử dụng các hệ thống phần mềm để chuyển từ hệ thống giáo viên và trung tâm thi sang hệ thống đánh giá ngang hàng và tập trung vào danh mục đầu tư.

Những trường đại học ngang hàng này đang ở giai đoạn đầu và nhiều người vẫn thích động lực dựa trên kỳ thi. Tuy nhiên, ngày càng trở nên tốt hơn và tôi tự tin rằng chúng sẽ trở thành xu hướng trong thập kỷ tới.

Bạn có thể nói rõ hơn về tín hiệu trong quá trình tự học không? Nói cách khác, làm thế nào chúng ta có thể nhận ra khi chúng ta đi đúng hướng hoặc theo đuổi trải nghiệm học tập đúng đắn?

Tạo ra giá trị bằng kiến ​​thức của bạn là bằng chứng của việc học. Tôi thấy việc học tập là sản phẩm phụ của việc cố gắng đạt được mục tiêu nội tại, thay vì một hoạt động biệt lập để trở thành giáo dục.

Bằng chứng ban đầu về kiến ​​thức thực tế thường đến từ các số liệu sử dụng trên GitHub hoặc số liệu người đọc từ blog công việc của bạn. Tiến bộ trong công việc lý thuyết bắt đầu bằng việc có các nhà nghiên cứu mà bạn cho là thú vị tham gia vào công việc của bạn.

Hương vị có nhiều việc phải làm về phát triển nhân vật hơn là kiến ​​thức. Bạn cần nếm trải để hình thành ý kiến ​​độc lập về một lĩnh vực, có can đảm theo đuổi các lĩnh vực độc đáo và không bị cuốn vào sự tự ngưỡng mộ.

Hương vị có liên quan đến tác động mà công việc của bạn gây ra.

Bạn có nói rằng có một chương trình giảng dạy lý tưởng cho một sinh viên AI tự học không?

Khi bạn có động lực nội tại, bạn muốn tránh khái niệm về một chương trình giảng dạy càng nhiều càng tốt.

Điều quan trọng là học tối thiểu và sau đó bắt đầu khám phá.

Biết cách viết mã là điều kiện tiên quyết. Sau đó, tôi đã dành 1-2 tháng để hoàn thành khóa học Fast.ai V3 và dành 4-5 tháng nữa để hoàn thành các dự án cá nhân hoặc tham gia các cuộc thi học máy. Nó rất quan trọng để thu thập bằng chứng khách quan rằng bạn có thể áp dụng học máy.

Đây là những gì tôi đã vạch ra như một hướng dẫn sơ bộ:

Sau sáu tháng, tôi đã khuyên bạn nên thực tập. Sau đó, bạn sẽ sẵn sàng nhận một công việc trong ngành hoặc tư vấn để tự tài trợ cho nghiên cứu của mình.

Nghe có vẻ hấp dẫn và thiết thực như bạn nghĩ tất cả mọi người? Có những người mà bạn đề nghị nó so với không? Bạn có lời khuyên nào về việc bắt đầu từ đâu cho những ai muốn theo dõi hành trình tương tự của bạn không?

Các hệ thống hỗ trợ trong tự giáo dục vẫn đang được phát triển sớm, vì vậy nó phù hợp nhất cho những người chấp nhận sớm. Các yêu cầu chính là tự lái và có thể xử lý áp lực bên ngoài, ví dụ: bạn bè và gia đình sẽ đặt câu hỏi cho quyết định của bạn. Nó cũng đáng lưu ý rằng các khoản vay sinh viên, thị thực và tài trợ nghiên cứu khó có được hơn.

Về mặt tích cực, các trường đại học ngang hàng thường miễn học phí và don don yêu cầu bằng cấp ba. Tôi sẽ kiểm tra mạng lưới 42 trường, mà tôi là một phần của, nhưng cũng là Trường Holberton và Trường Lambda.

Chúng tôi đã nói chuyện về cách quá trình phỏng vấn cho các vị trí AI bị phá vỡ. Tôi tưởng tượng rằng, đặc biệt đúng đối với những người tự học bước vào lĩnh vực này. Bạn nghĩ vấn đề đó có thể được khắc phục như thế nào?

Nhiều doanh nghiệp vừa và nhỏ thích danh mục đầu tư hơn độ. Khi nói đến các công ty lớn hơn, nó trở thành một nghệ thuật hơn là một khoa học.

Tại các công ty lớn, ít hơn một vài phần trăm được tự học bằng ML. Trong số đó, hầu hết các don don đều đi qua các kênh tuyển dụng cổ điển. Do khối lượng ứng viên đại học mà một công ty lớn phải đối mặt, họ khó khăn hơn trong việc điều chỉnh việc tuyển dụng theo danh mục đầu tư.

Đây không phải là một vấn đề dễ dàng, đây là những hướng dẫn sơ bộ mà tôi đã chia sẻ trước đó:

Tôi không biết nó sẽ trông như thế nào trong thực tế, nhưng tôi tưởng tượng rằng việc truyền đạt rõ ràng rằng bạn có một ca khúc riêng cho việc tuyển dụng dựa trên danh mục đầu tư và cách bạn định lượng chất lượng của danh mục đầu tư .

Hãy nghĩ về nó như là đánh giá một quá trình hơn là các câu hỏi dành riêng cho kỹ năng. Tập trung vào giai đoạn ban đầu để thảo luận sâu về danh mục đầu tư của họ. Cũng có thể hữu ích khi hỏi cách họ giải quyết vấn đề từng bước một, không phải là một lời trêu ghẹo não với một câu trả lời cụ thể, mà là một vấn đề kết thúc mở hơn liên quan đến lĩnh vực chuyên môn của họ.

Tùy thuộc vào băng thông của người nộp đơn, cũng có thể đáng để thực hiện một bài kiểm tra tại nhà, sau đó là một bài tập hợp đồng được trả lương ngắn hơn.

Nghe có vẻ hiệu quả hơn nhiều so với quy trình tuyển dụng thông thường . Giả sử họ có thể thành thạo nghệ thuật tìm đường vào kênh tuyển dụng, làm thế nào một ứng viên tự học có thể tăng cơ hội nhận được lời đề nghị làm việc cho một công ty lớn?

Để có cơ hội nhận được lời đề nghị cao, bạn cần hiểu hầu hết cuốn sách Deep Learning của Ian Goodfellow và Bẻ khóa phỏng vấn mã hóa, và tìm một tá người từ các công ty lớn để thực hiện các cuộc phỏng vấn giả. Nếu bạn tự học toàn thời gian, sẽ mất khoảng hai năm.

Cuối cùng, việc thuê các đường ống tại các công ty lớn đánh giá động lực bên ngoài của bạn, khả năng học hỏi một kiến ​​thức nhất định. Tuy nhiên, bạn tự học vì bạn có động lực nội tại mạnh mẽ. Buộc bản thân phải học một kiến ​​thức là một điều kinh khủng. Trong trường hợp của tôi, tôi nghĩ rằng chi phí cơ hội quá cao để nghiên cứu cho các cuộc phỏng vấn.

Tôi bắt đầu làm việc với Google vì tôi đã sao chép một bài báo ML, viết một bài đăng trên blog về nó và quảng bá nó. Bộ phận thương hiệu của Google đang tìm kiếm các nghiên cứu trường hợp về sản phẩm của họ, TensorFlow trong trường hợp này. Họ đã làm một video về dự án của tôi. Một người nào đó ở Google đã xem video, mặc dù bộ kỹ năng của tôi có thể hữu ích và đã ping tôi trên Twitter.

Những gì tôi đã thấy công việc đang trở nên tốt ở một thị trường ngách và cho cả thế giới biết về nó. Có một blog, hoạt động trên Twitter và tham gia với các nhà nghiên cứu qua email.

Bạn có lời khuyên nào cho việc tạo danh mục đầu tư AI không?

nhà tuyển dụng kiểm tra danh mục đầu tư của bạn, bạn có 10 giây để thể hiện sự quan tâm của họ và 20 giây nữa để thuyết phục họ rằng bạn phù hợp.

Giá trị tin cậy của danh mục đầu tư tỷ lệ thuận với mức độ rõ ràng của bằng chứng về công việc của bạn và nó có liên quan như thế nào với người sử dụng lao động.

Đó là lý do tại sao chứng chỉ khóa học trực tuyến yếu vì nó khó cho nhà tuyển dụng biết cách đánh giá. Họ giả định hầu hết các bản sao và dán các bài tập. Điều này cũng đúng với các mục danh mục đầu tư thường xuyên. Các dự án nhóm yếu hơn vì họ không biết những gì bạn đã đóng góp.

Tính mới lạ có giá trị xác thực cao bởi vì nó chứng minh rằng bạn có kiến ​​thức độc đáo và rõ ràng rằng nó đến từ bạn. Tái tạo một bài báo không có mã là bằng chứng cho thấy bạn có thể hiểu các bài học máy. Và việc tạo một bài đăng blog chuyên sâu về công việc của bạn tạo thêm bằng chứng cho thấy bạn đã đóng góp thực sự.

Để tạo thêm bằng chứng, bạn có thể tham gia vào một quy trình khách quan để đánh giá công việc của mình, dưới hình thức học máy các cuộc thi, xuất bản bài báo hoặc chia sẻ trực tuyến để xem công chúng nghĩ gì về công việc của bạn. Nghiên cứu chính thức thường được đo lường bằng cách xuất bản các bài báo của tác giả đầu tiên trong các hội nghị hoặc tạp chí chất lượng cao.

Đó là bối cảnh dẫn đến chủ đề này:

Làm thế nào một người nào đó có thể khởi động nghiên cứu AI như một học viên tự học?

tweet như một phác thảo sơ bộ:

Điều quan trọng là phải có đủ kỹ năng học máy thực tế để tự tài trợ cho việc khám phá nghiên cứu ban đầu của bạn với hợp đồng, có đủ kỹ năng để thử nghiệm nhanh và thử các lĩnh vực khác nhau để tìm ra một chuyên ngành mà bạn muốn dành vài lần tiếp theo năm trên.

Sau đó, bạn muốn quyết định xem bạn muốn theo đuổi nghiên cứu chính thức hay nghiên cứu độc lập. Vì nhiều lý do tương tự tôi tự học, tôi cũng có xu hướng thực hiện nghiên cứu độc lập.

Có một xu hướng nghiên cứu gần đây của các công ty AI lớn được hưởng lợi từ làm việc ở quy mô . H ow có thể các phòng thí nghiệm nghiên cứu vừa và nhỏ có thể ở lại trong trò chơi không? Rich Sutton cũng đã thảo luận điều này trong một bài tiểu luận. Những người chơi nhỏ hơn có thể áp dụng loại chiến lược nào để thoát khỏi cái bẫy đó?

Điều mà Sutton chỉ ra là những mô hình tốt nhất có xu hướng có ít linh mục. Nhưng hầu hết nếu không phải tất cả các khối xây dựng ngày nay trong AI có thể đã được phát minh bằng máy tính nhỏ. Các phòng thí nghiệm công nghiệp có một lợi thế đáng kể khi áp dụng những điều này vào thế giới thực, nhưng điều đó chủ yếu là mối quan tâm đối với ngành công nghiệp hiện nay. , đó là những gì hầu hết cuối cùng nói về. Kết quả là, những gì mà trở thành xu hướng.

Tuy nhiên, nếu bạn kết thúc với các vấn đề ngoài ngân sách tính toán của mình, bạn bắt đầu chần chừ bằng cách mày mò với siêu âm. Bạn không có đủ tài nguyên để xây dựng một quét siêu tham số hiệu quả, vì vậy cuối cùng bạn sẽ thực hiện các thay đổi kiến ​​trúc đặc biệt. Bạn không có khả năng đóng góp, bạn học chậm và kết thúc với những hóa đơn tính toán khổng lồ.

Chu kỳ thử nghiệm nhanh là rất quan trọng để học hiệu quả.

Khi bạn đang học, hãy nhắm đến các thí nghiệm chỉ mất chưa đến 10 phút. Nếu bạn đang xây dựng một danh mục đầu tư ứng dụng, nó sẽ rất tốt nếu một thử nghiệm mất một ngày kể từ khi bạn có hầu hết các siêu đường kính và nếu bạn đang thực hiện nghiên cứu, tôi sẽ nhắm đến việc quét 20-50 thử nghiệm trong vài giờ. Điều này thường có thể được thực hiện bằng cách sử dụng một điểm chuẩn nhỏ hơn hoặc thu hẹp phạm vi vấn đề.

Lời khuyên tuyệt vời. Các lĩnh vực nghiên cứu AI thú vị không đòi hỏi quá nhiều tính toán là gì?

Tôi đồng ý với 'Biện pháp thông minh' của François Chollet. liên quan đến hiệu quả thu nhận kỹ năng, tức là các hệ thống có thể giải quyết một loạt các nhiệm vụ liên quan đến sự không chắc chắn. Các hệ thống ngày nay dẫn đến việc khái quát hóa cục bộ và có rất ít bằng chứng cho thấy chúng hữu ích cho trí thông minh giống con người.

Rất nhiều điều này phải làm với các lĩnh vực liên quan đến lý luận, đây là những gì tôi đã nêu ra trước đó:

Ngoài ra, tôi cũng muốn thêm Mạng định tuyến và CRL (Soạn các phép biến đổi biểu diễn). Mạng phá vỡ một vấn đề thành logic trung gian và tạo các mô hình chuyên biệt cho từng bước. Không được giám sát và học chương trình giảng dạy sẽ rất quan trọng để phát triển ý tưởng 'Kiến thức cốt lõi' của Chollet, một bộ linh mục cốt lõi để cho phép lý luận.

Bạn đang hy vọng học hỏi hay giải quyết gì tiếp theo trong sự nghiệp của bạn?

Tương tự như tìm con đường tự học của tôi, tôi muốn tìm phong cách nghiên cứu của mình. Tôi quan tâm đến vĩ mô và vi mô, tôi hy vọng sẽ đóng góp cho AI liên quan đến sự sáng tạo và cải thiện khả năng suy luận mạng lưới thần kinh.

Chỉ vì những cú đá, chúng ta hãy đi lạc hơn vào lãnh thổ giả định trước khi chúng ta kết luận . Bạn sẽ nói chúng ta cách AGI bao xa?

Các mô hình tuần tự tinh vi nhất hiện nay không thể khái quát hóa để giải quyết bổ sung, tuy nhiên, chúng tôi đang thực hiện nhiều cải tiến trong việc mở rộng quy mô cục bộ mô hình tổng hợp. Kể từ khi phát triển học tập sâu, chúng tôi chỉ thực hiện những cải tiến cận biên về trí thông minh nói chung.

Sự gia tăng đáng kể nhất về số lượng các nhà nghiên cứu AI, khả năng tiếp cận giáo dục và tài nguyên tính toán có thể sẽ xảy ra trong thập kỷ tới. Đường cong học tập tập thể của chúng ta trong AI sẽ bị san phẳng sau thời điểm này. Do đó, vào cuối những năm 2020, chúng ta sẽ hiểu rõ hơn nếu có những cách tiếp cận tổng quát hơn về học máy.

Ý kiến ​​của bạn về cuộc tranh luận giữa AI tượng trưng và kết nối ?

Cấp độ quá cao không hữu ích.

Tôi thích thảo luận về việc triển khai có dữ liệu để hỗ trợ cho yêu cầu bồi thường. Ví dụ: mạng MAC, Máy tạo nơ ron thần kinh và Mạng định tuyến có tạo ra logic trung gian hay chúng là các bảng băm lớn với các hàm băm nhạy cảm cục bộ?

Nhiều cuộc tranh luận thú vị xoay quanh cuộc gọi của Chollet để chuyển từ nhiệm vụ mạng cụ thể để đạt được hiệu quả kỹ năng.

AI có thể có ý thức không?

Có. Tôi nghĩ rằng ý thức là một quang phổ và thường được coi là điểm khi chúng ta tự nhận thức được, điều này xảy ra vào khoảng hai tuổi đối với con người. Đó là một điểm khi chúng ta có đủ sự trừu tượng chung và cấp độ cao của thế giới để bắt đầu hình thành một bản sắc mạch lạc.

Điều đó dẫn đến một câu hỏi khác, làm thế nào để bạn phát triển một bản sắc khi bạn không có những ràng buộc như Bản chất và nuôi dưỡng? Bạn có thể tạo ra các ràng buộc một cách giả tạo để tạo ra ảo ảnh về một bản sắc giống con người, nhưng danh tính nhân tạo có lẽ sẽ phát triển từ các hạn chế về thông tin và năng lượng.

Tôi đoán chúng ta sẽ phải chờ xem sau đó, tiến hóa. Mọi người có thể đi đâu để tìm hiểu thêm về bạn và công việc của bạn?

Bạn có thể kết nối với tôi trên Twitter: @emilwallner và trên GitHub (emilwallner).